Die ABU-Prüfungen sind heute nur ungenügend geeignet, das Können der Lernenden sichtbar zu machen

Ein Hauptinteresse am Gegenstand der vorliegenden Evaluation leitet sich aus dem kürzlich abgeschlossenen Reform-Projekt Allgemeinbildung 2030 ab. Mit der Reform sollten der allgemeinbildende Unterricht (ABU) grundsätzlich gestärkt und ein effektiverer Kompetenzenaufbau ermöglicht werden, v.a. in den Bereichen Sprache und Kommunikation sowie den überfachlichen Kompetenzen (wie digitale Skills, Kompetenzen für eine nachhaltige Entwicklung oder lebenslanges Lernen, für die es metakognitive Lernstrategien braucht oder intrapersonale Kompetenzen wie Volition, Persistenz, Anpassungsfähigkeit und Problemlösen). In diesem Zusammenhang wurde bereits 2022 über die Streichung der Schlussprüfung nachgedacht. Dies und die kommunizierten Ziele der Reform flossen in die Konzeption der vorliegenden Evaluation ein.

1. Die Evaluation legte erstens einen Schwerpunkt auf die Eignung der drei Teile des Qualifikationsverfahrens ABU (Erfahrungsnote, Schlussprüfung und Vertiefungsarbeit [VA]), kompetenzorientiert zu prüfen, wie es Verordnung und Rahmenlehrplan verlangen.[1] Darunter wird der situationsspezifische Einsatz von konzeptuellem und prozeduralem Wissen zur Lösung einer mehr oder weniger komplexen Transferaufgabe verstanden, die geeignet ist, Ergebnisse von Denkhandlungen oder -operationen[2] sicht- und damit prüfbar zu machen.[3] Die Schlussprüfung wurde schwergewichtig und aus mehreren Blickwinkeln untersucht, weil deren Aufgaben gemäss Beobachtungen zu oft zu wenig kompetenzorientiert ausgerichtet seien (z.B. Feller & Iselin, 2021) und häufig ähnliche Aufgaben im Unterricht im Rahmen von Tests zur Generierung von Erfahrungsnoten verwendet würden (ebd.). Die Schlussprüfung bildet damit ein zentrales Element zur Entwicklung einer kompetenzorientierteren Prüfungs- und Unterrichtskultur (Prodromou, 1995) – einem der Hauptziele der Reform ABU 2030.
2. Zweitens wurden die formalen Rahmenbedingungen und Umsetzungsformen der Schlussprüfung und der Vertiefungsarbeit untersucht, um Aussagen zur Chancengerechtigkeit zu ermöglichen. Eine Vereinheitlichung insbesondere der Rahmenbedingungen für das QV war ein wichtiges Ziel der Reform ABU 2030.

Datenerhebung und Auswertung

Der grösste Teil der Daten wurde bei den Chefexpertinnen ABU an den Berufsfachschulen in der Deutschschweiz mit standardisierten Fragebogen und halboffen formulierten Fragen erhoben. Es konnten 65 Fragebogen ausgewertet werden (Rücklaufquote 55%). Sie stammen aus Berufsfachschulen fast aller Kantone (mit den Ausnahmen BS, GL, AI und AR). Damit waren rund 24’200 (von total 45’000 Lernenden), die in der Deutschschweiz jährlich das QV ABU absolvieren, durch die Antworten ihrer Chefexpertinnen vertreten.

Eine Hauptfrage der Evaluation lautete: Wie gut ist die Schlussprüfung, wie sie heute in den Berufsfachschulen durchgeführt wird, geeignet, um kompetenzorientiert zu prüfen? Diese Frage wird unter Berücksichtigung sämtlicher Daten mit «ungenügend» beantwortet.

In semistrukturierten Interviews wurden zudem vier Fachexperten aus drei Hochschulen zur Prüfungs- und Unterrichtspraxis an Berufsfachschulen befragt. Ihre Expertise basiert auf Hospitationen vor Ort und dem Austausch mit angehenden ABU-Lehrpersonen in den Studiengängen. Um einen exemplarischen Einblick in die Umsetzung der Schlussprüfung zu bekommen, wurden schliesslich elf (von zwölf durchgeführten) schriftliche Prüfungen aus dem Kanton Bern mit Hilfe eines Kriterienrasters bewertet.

1. Kompetenzorientierung in den drei Teilen des QV

Schlussprüfung. Eine Hauptfrage der Evaluation lautete: Wie gut ist die Schlussprüfung, wie sie heute in den Berufsfachschulen durchgeführt wird, geeignet, um kompetenzorientiert zu prüfen?

Diese Frage wird unter Berücksichtigung sämtlicher Daten mit «ungenügend» beantwortet.

• Die Aufgaben der Schlussprüfung im Lernbereich Gesellschaft weisen fast durchwegs einen zu starken Fokus auf ein kleinschrittiges Abfragen von isoliertem Faktenwissen ohne Anwendungsauftrag auf. Demgegenüber sind die Prüfungen im Lernbereich Sprache und Kommunikation oft kompetenzorientiert gestaltet. Die beiden Lernbereiche werden fast nie verknüpft geprüft, obwohl dies die Kompetenzorientierung der Aufgaben erheblich steigern würde.
  In den meisten Fällen fehlt ein wichtiges Merkmal von kompetenzorientierten Prüfungen: dass ein Transferschritt verlangt wird. Gemäss Aussagen der Chefexperten hat das damit zu tun, dass in vielen Fachschaften ein Team die Prüfungsaufgaben erstellt und die Lehrpersonen wenig bis keine Möglichkeit haben, diese an den gehaltenen Unterricht anzupassen. So fällt die Prüfung bisweilen zu einfach (weil es nur eine Reproduktionsaufgabe ist) oder zu schwierig aus (weil im Unterricht das nötige Wissen nicht erarbeitet worden ist). Zudem wird oft kein Unterschied zwischen den Aufgaben für Lernende in drei- resp. vierjährigen beruflichen Grundbildungen gemacht. Einen grundsätzlichen Zielkonflikt der Prüfungen thematisieren die Chefexpertinnen aber nur am Rande: Transferaufgaben machen eine gewisse Individualisierung der Prüfungen nötig («wer lehrt, prüft»); gleichzeitig möchte man über standardisierte Prüfungen Chancengerechtigkeit herstellen («für alle gleich ist fair»).
• Zweitens werden in der Schlussprüfung überwiegend andere Kompetenzen ermittelt als die, die geprüft werden sollen. Einerseits zeigt die Analyse der Prüfungen, dass häufig reines Faktenwissen genannt oder erklärt werden muss, was in der oft gefundenen Kombination mit Open Book zu einem Abschreiben verkommt. Falls keine Hilfsmittel erlaubt sind, fehlt die nötige Komplexität kompetenzorientierter Aufgaben, die u.a. verlangt, dass zur Bearbeitung verschiedene Wissensarten eingesetzt werden müssen.[4] Laut Chefexperten werden in nicht wenigen Fällen vor allem gewisse intrapersonale Kompetenzen erfasst, die nötig sind, um eine stoffmässig umfangreiche (Reproduktions-)Prüfung zu meistern, so z.B. die Fähigkeit, auf einen gewissen Zeitpunkt hin viel Stoff reproduktionsbereit zu haben. In kompetenzorientierten Prüfungen muss aber das benötigte Wissen durchdrungen sein, um es gezielt zur Problemlösung in einem neuen Kontext einsetzen zu können.

Erfahrungsnote. Die Erfahrungsnote ist grundsätzlich gut geeignet, um Kompetenzen abzubilden, sagen viele Chefexpertinnen. Durch den Einsatz verschiedener Prüfungsformen könnten die Entwicklung und die Performanz von Kompetenzen bewertet werden. Einige kritische Stimmen bemängeln allerdings, dass Lehrpersonen oft nicht kompetent genug seien, um aussagekräftig kompetenzorientiert zu prüfen. Es würde auch hier zu häufig Faktenwissen abgefragt und selten wirklich kompetenzorientiert geprüft – und wenn, dann mit projektartigen Prüfungsformen. Deren Korrektur wiederum sei aber anspruchsvoll, so dass die Leistungen als Folge ungeeigneter Kriterien häufig zu «mild» bewertet würden.

Fast alle Chefexperten stufen die Vertiefungsarbeit als am geeignetsten ein, um Kompetenzen zu prüfen.

Vertiefungsarbeit. Fast alle Chefexperten stufen die Vertiefungsarbeit als am geeignetsten ein, um Kompetenzen zu prüfen. Hier könnten die Lernenden während der gesamten Dauer der Vertiefungsarbeit viele Kompetenzen aus dem Bereich Sprache und Kommunikation sowie intrapersonale Kompetenzen (vor allem Zeitmanagement, Volition und Anstrengungsbereitschaft über eine längere Zeit) zeigen. Der zusätzliche Erkenntnisgewinn zur Erfahrungsnote falle allerdings eher tief aus, zumal gemessen am hohen zeitlichen Aufwand für die Durchführung. Chefexpertinnen meinten zudem, dass VA bisweilen nicht zielführend begleitet würden; ebenso würden eine ungeeignete Themenwahl und ebensolche Zielsetzungen der Realisierung eines hohen Eigenanteils entgegenstehen.

2. Heterogene Rahmenbedingungen in zwei Teilen des QV

Schlussprüfung. Die gefundene Heterogenität in den formalen Rahmenbedingungen der Schlussprüfung fiel etwas weniger gross aus als vermutet. Die Lernenden werden fast immer kurz vor Ende der Lehre während zwei bis drei Stunden schriftlich mit einer Papier-und-Stift-Prüfung geprüft und dürfen mehr oder weniger zahlreiche Hilfsmittel benutzen. Es gibt bereits heute Schulen, die die Schlussprüfung mündlich durchführen.

Die Dauer, die Form sowie die erlaubten Hilfsmittel unterscheiden sich wegen einzelnen Ausnahmen jedoch beträchtlich. So wird eine Lernende an einer Schule während 30 Minuten mündlich geprüft, ihr steht ein Spicker von vorgegebener Grösse als Hilfsmittel zur Verfügung. An einer anderen Schule wird im gleichen Fach während 240 Minuten Closed Book und schriftlich geprüft.

Die Entstehung der Schlussprüfung ist in vielen Schulen ähnlich. Meist ist es ein Team aus der ABU-Fachgruppe einer Schule, das die Prüfung für alle Klassen einheitlich erstellt. In nur zwei Kantonen (LU und FR) werden die Prüfungen von einer kantonalen Erstellgruppe erarbeitet. Und es gibt Schulen, in denen jede einzelne Lehrperson ihre eigene Schlussprüfung macht.

Vertiefungsarbeit (VA). Die formalen Rahmenbedingungen der VA fallen teilweise sehr heterogen aus. So findet man Schulen, die kein VA-Prüfungsgespräch durchführen, während andere ein Gespräch zwischen fünf und 25 Minuten Dauer vorsehen. Die gewährte Erarbeitungsdauer liegt zwischen den Extremwerten von sechs Wochen und sechs Monaten. Ebenso werden die Positionen Erarbeitungsprozess, Produkt, Präsentation und (falls durchgeführt) Prüfungsgespräch sehr unterschiedlich gewichtet. Schliesslich weist das geforderte Mass an «Eigenanteil» bzw. «originalem Anteil» stark auseinanderliegende Werte auf (zwischen 0% und >80%). Sehr ähnlich sind hingegen der Durchführungszeitpunkt vor den Sommerferien sowie der Umstand, dass in beinahe allen antwortenden Berufsfachschulen Teile des Produktes in einer digitalen Form (Video, Blogg, etc.) eingereicht werden dürfen.

Wie sich heterogene Rahmenbedingungen auf die Chancengerechtigkeit auswirken

Die erheblichen Unterschiede in den Rahmenbedingungen des QV führen im Vergleich zwischen Kantonen und Berufsfachschulen zu erheblichen Ungerechtigkeiten, wie sie im Rahmen der berufskundlichen Prüfungen vermieden werden.

Die erheblichen Unterschiede in den Rahmenbedingungen des QV führen im Vergleich zwischen Kantonen und Berufsfachschulen zu erheblichen Ungerechtigkeiten, wie sie im Rahmen der berufskundlichen Prüfungen vermieden werden. Problematisch ist auch die meist gewählte Reihenfolge von (erst) Vertiefungsarbeit und (dann) Schlussprüfung. Sie führt zu Ungleichheiten zwischen schwächeren und stärkeren Lernenden, weil die Note der VA vor der Schlussprüfung bekannt gegeben werden darf. Damit können sich die Jugendlichen ausrechnen, welchen Aufwand sie zur Vorbereitung treiben wollen und sich im besten Falle auf die oft anspruchsvolle Berufskunde-Prüfung konzentrieren. Etliche Chefexpertinnen finden das für (Noten-)schwache Lernende unfair.

Schwächere Lernende würden ausserdem ungleich stärker mit Prüfungsvorbereitungen belastet, da ihnen effektive Lernstrategien fehlten, um sich auf die Schlussprüfung vorzubereiten. Die Benachteiligung von Schwächeren sei also eine doppelte, wenn die Schlussprüfung nach der Vertiefungsarbeit stattfindet.[5] Schliesslich sei die Hürde für sie oft grösser, weil die Schlussprüfung an vielen Berufsfachschulen für Lernende von vierjährigen Lehren erstellt werde und keine Anpassung durch die prüfende Lehrperson stattfindet (oder stattfinden darf). An 63% der antwortenden Berufsfachschulen werden mehr Klassen mit drei- als mit vierjährigen Berufslehren unterrichtet.

Die Schlussprüfung generiert vor allem Nutzen für die Lehr- und Leitungspersonen

Lehr- und Leitungspersonen profitieren davon, dass sie durch den Austausch während der Entwicklung der Prüfungsaufgaben ihre professionelle Kompetenz erweitern können.

Angesichts der skizzierten Ergebnisse ist ein Befund besonders auffällig: Dass Lehr- und Leitungspersonen mit der aktuellen Form der Schlussprüfung zufrieden sind. Dies steht im Widerspruch zur festgestellten geringen Kompetenzorientierung, der von den Chefexperten nur als mittelmässig eingeschätzten Aussagekraft der Schlussprüfungsnote und dem als zu gering taxierten zusätzlichen Erkenntnisgewinn der VA gegenüber der Erfahrungsnote. Offenbar generiert die aktuelle Form der Prüfung einen hohen Nutzen – aber nicht, indem sie Erkenntnisse über das Können der Lernenden ermöglicht, sondern für die Lehr- und Leitungspersonen selber, die darum keine Änderung wünschen. Nach Aussagen der Chefexpertinnen ist das namentlich darauf zurückzuführen, dass Lehr- und Leitungspersonen davon profitieren, dass sie durch den Austausch während der Entwicklung der Prüfungsaufgaben ihre professionelle Kompetenz erweitern können. Dadurch fände mindestens einmal im Jahr informelles Lernen statt. Die Lehrpersonen seien so eher in der Lage, in ihrem Unterricht ähnliche Inhalte durchzunehmen und ähnliche Kompetenzen zu fördern, wie sie dann geprüft werden. Zudem finden einzelne QV-Verantwortliche und ABU-Lehrpersonen die schriftliche Prüfung (unbewusst) gut, weil damit Lernende und Lehrpersonen diszipliniert werden könnten.

Chance für einen höheren Grad an Kompetenzorientierung

Es zeichnet sich ab, dass die meisten Kantone die schriftliche Schlussprüfung beibehalten werden. Da gemäss Verordnung und Rahmenlehrplan kompetenzorientiert geprüft werden muss, bleibt – unabhängig von der Form, wie eine Prüfung angelegt ist (mündlich, schriftlich, digital) – der Umstand, dass Prüfungsaufgaben bestimmte Merkmale von kompetenzorientiertem Prüfen aufweisen müssen. Zur Lösung eines komplexen Problems müssen der Einsatz von konzeptuellem und methodischem Wissen sowie kleinere oder grössere Transferschritte verlangt werden. Gemäss den Ergebnissen der vorliegenden Evaluation wird dies häufig aber noch nicht in genügendem Masse umgesetzt.

Gleichzeitig ist es eine Chance, wenn sich kantonale Arbeitsgruppen und Fachschaften in Berufsfachschulen zusammen auf den Weg machen und im Team anspruchsvolle Prüfungen erstellen müssen. Aufgaben dieser Art können und sollen auch zur Ermittlung von Erfahrungsnoten eingesetzt werden und die bereits vielerorts gut implementierten prozessorientierten Prüfungsformen ergänzen. Damit könnte ein wichtiges Ziel der Reform Allgemeinbildung 2030, ein kompetenzorientierterer ABU, erreicht werden.

Hadorn, C. (2023). Evaluation des Qualifikationsverfahrens QV im allgemeinbildenden Unterricht ABU in den Kantonen der Deutschschweiz (Eidgenössische Hochschule für Berufsbildung EHB).

Ein Interview mit Corinne Hadorn ist hier zu finden.

Literatur

• Aebli, H. (1976). Grundformen des Lehrens. Eine allgemeine Didaktik auf kognitionspsychologischer Grundlage. Klett.
• Aebli, H. (1980/81). Denken: das Ordnen des Tuns. Bd.I: Kognitive Aspekte der Handlungstheorie. Bd. II: Denkprozesse. Klett-Cotta.
• Anderson, L., W. & Krathwohl, D. R. (2001). A Taxonomy for Learning, Teaching and Assessing. Longman.
• Feller, R., & Iselin, M. (2021). Review „Allgemeinbildung 2030 in der beruflichen Grundbildung“. Bericht zuhanden des Staatssekretariats für Bildung Forschung und Innovation (SBFI). Staatssekretariat für Bildung, Forschung und Innovation SBFI.
• Maier, U., Kleinknecht, M., Metz, K., & Bohl, T. (2010). Ein allgemeindidaktisches Kategoriensystem zur Analyse des kognitiven Potenzials von Aufgaben. Beiträge zur Lehrerinnen- und Lehrerbildung, 28(1), 84–96.
• Musekamp, F. (2011). Zum Zusammenhang von Objektivität, Reliabilität und Validität bei verschiedenen Erhebungsmethoden der beruflichen Kompetenzdiagnostik. In F. Howe & G. Spöttl (Hrsg.), Kompetenzdiagnostik in der beruflichen Bildung – Probleme und Perspektiven. (Bd. 7, S. 40–56). Peter Lang, Internationaler Verlag der Wissenschaften.
• Prodromou, L. (1995). The backwash-effect: from testing to teaching. ELT Journal, 49(1), 209–213.
• Scharnhorst, U. (2018). Kompetenzorientiert prüfen. Wissen anwenden und reflektieren statt wiedergeben. skilled, 2(18), 15.
• Schori Bondeli, R., Schmuki, D., & Erne, M. (2017). Unser Leben. Unsere Welt. Unsere Sprachen. hep Verlag.

Das vorliegende Werk ist urheberrechtlich geschützt. Erlaubt ist jegliche Nutzung ausser die kommerzielle Nutzung. Die Weitergabe unter der gleichen Lizenz ist möglich; sie erfordert die Nennung des Urhebers.