Open-Book-Prüfungen mit generativer KI in der Berufsbildung: Zeit für eine kritische Zwischenbilanz

Innert weniger Jahre haben KI-Anwendungen wie ChatGPT auch in Bildungswesen und Unterricht Eingang gefunden. Damit stellt sich die Frage, wie sich die Beurteilung von Lernleistungen verändert, wenn Lernende solche Werkzeuge in Prüfungssituationen verwenden.

Besonders deutlich sichtbar wird dies aktuell in der schweizerischen Berufsbildung, insbesondere bei schriftlichen Prüfungen. Während an Hochschulen, Gymnasien und in der obligatorischen Schule die Nutzung von KI bei schriftlichen Prüfungen bislang eher zurückhaltend zugelassen wird, ist die berufliche Grundbildung in einzelnen Berufen und Schulen diesbezüglich offener, sowohl bei schulischen Abschlussprüfungen als auch bei Prüfungen im Ausbildungsverlauf. Begründet wird dieser Ansatz häufig damit, dass der kompetente Umgang mit KI inzwischen selbst Bestandteil beruflicher Handlungskompetenz sei. Wer im späteren Berufsalltag mit digitalen Assistenzsystemen arbeite, so das Argument, solle diese Werkzeuge bereits während der Ausbildung und entsprechend auch bei Prüfungen einsetzen dürfen.

Wie aussagekräftig sind schriftliche Prüfungen mit generativer KI?

Wir stehen dieser Entwicklung nicht grundsätzlich ablehnend gegenüber. Abhängig von den verfolgten Lernzielen kann die Zulassung der Nutzung bei einzelnen Prüfungen didaktisch sinnvoll sein, und ohnehin ist die Einschränkung der Nutzung von KI bei offeneren Beurteilungsformaten (z.B. schriftlichen Arbeiten, Präsentationen) nicht realistisch. Gleichzeitig wirft jedoch die Geschwindigkeit, mit der Open-Book-Prüfungen unter Einbezug generativer KI in einzelnen Bereichen der Berufsbildung Einzug gehalten haben, Fragen auf. Unseres Erachtens wurde nämlich bislang noch wenig untersucht, welche Folgen diese Entwicklung für die Aussagekraft von Prüfungen und damit letztlich für die Glaubwürdigkeit von Qualifikationsverfahren hat. Entsprechend beschäftigen diese Fragen auch viele Lehrpersonen und sorgen teilweise für Verunsicherung.

Unseres Erachtens wurde bislang noch wenig untersucht, welche Folgen diese Entwicklung für die Aussagekraft von Prüfungen und damit letztlich für die Glaubwürdigkeit von Qualifikationsverfahren hat.

Dieser Beitrag verfolgt deshalb drei Ziele. Zunächst wird die Entwicklung von Open-Book-Prüfungen im Kontext technologischer Veränderungen kurz nachgezeichnet. Anschliessend wird die gegenwärtige Praxis in der beruflichen Grundbildung der Schweiz skizziert. Abschliessend werden zentrale Herausforderungen diskutiert und Überlegungen für den zukünftigen Umgang mit KI-gestützten Open-Book-Prüfungen formuliert.

Generative KI ist mehr als ein zusätzliches Hilfsmittel

Die Zulassung von Hilfsmitteln bei Prüfungen ist keineswegs ein neues Phänomen, weder in der Berufsbildung noch in anderen Bildungsbereichen. So gehören Nachschlagewerke wie Wörterbücher, Gesetzestexte oder Formelsammlungen sowie fachspezifische Hilfsmittel wie Taschenrechner seit vielen Jahren selbstverständlich zu zahlreichen Prüfungsformaten. Ebenfalls seit Langem etabliert sind Open-Book-Prüfungen, welche die Nutzung schriftlicher Informationsquellen wie etwa Lehrmittel und Unterrichtsunterlagen erlauben.

Keine Neuheit ist auch die Nutzung digitaler Technologien bei Prüfungen. So gibt es seit vielen Jahren Formate, in denen digitale Endgeräte und entsprechende Software zur Lösungserfassung eingesetzt werden, etwa mittels Multiple-Choice-Aufgaben. In einem weiteren Schritt etablierten sich digitale Open-Book-Prüfungen, bei denen auch digitale Wissensbestände und schliesslich das Internet genutzt werden können. Hinter dieser letzteren Öffnung stand allerdings die Annahme, dass die Lernenden Informationen zwar recherchieren, die Lösungen letztlich jedoch in eigenständigen Arbeitsschritten ausarbeiten würden.

Aus unserer Sicht stellt die Nutzung generativer KI deshalb nicht einfach den nächsten Schritt in der Entwicklung von Hilfsmitteln dar, sondern einen qualitativen Bruch, der eine grundlegende Neubewertung bestehender Prüfungsformate erforderlich macht.

Mit der Veröffentlichung von ChatGPT Ende 2022 veränderte sich diese Ausgangslage grundlegend. Aufgaben, die zuvor eigenständige Recherche, Analyse oder Textproduktion voraussetzten, konnten nun innerhalb weniger Sekunden durch KI-Systeme bearbeitet werden. Diese Entwicklung wurde bei der Konzeption vieler Open-Book-Prüfungen nicht antizipiert, nicht zuletzt in der Berufsbildung. Vielmehr wurden Lehrpersonen sowie die für Qualifikationsverfahren verantwortlichen Prüfungsautorinnen und -autoren von der Geschwindigkeit der technologischen Entwicklung überrascht. Aus unserer Sicht stellt die Nutzung generativer KI deshalb nicht einfach den nächsten Schritt in der Entwicklung von Hilfsmitteln dar, sondern einen qualitativen Bruch, der eine grundlegende Neubewertung bestehender Prüfungsformate erforderlich macht.

Wie verbreitet sind Open-Book-Prüfungen mit KI in der beruflichen Grundbildung?

Zur Verbreitung von Open-Book-Prüfungen in der beruflichen Grundbildung der Schweiz liegen bislang keine wissenschaftlichen Untersuchungen vor. Aufgrund unserer Erfahrungen in der Aus- und Weiterbildung von Berufsfachschullehrpersonen sowie zahlreicher Gespräche mit Lehrpersonen und Schulleitungen zeigt sich jedoch ein differenziertes Bild. Von einer flächendeckenden Nutzung kann keine Rede sein. Viele berufliche Grundbildungen halten weiterhin an traditionellen Prüfungsformaten fest, bei denen digitale Hilfsmittel oder KI nicht zugelassen sind. Auch in der Berufsmaturität spielen Open-Book-Prüfungen bei den Abschlussprüfungen bislang kaum eine Rolle.

Besonders weit geht die kaufmännische Grundbildung, deren schriftliche Abschlussprüfung als digitale Open-Book-Prüfung ausgestaltet ist und grundsätzlich auch die Nutzung generativer KI zulässt.

Dennoch ist in einzelnen Grundbildungen eine deutliche Öffnung zu beobachten. Besonders weit geht die kaufmännische Grundbildung, deren schriftliche Abschlussprüfung als digitale Open-Book-Prüfung ausgestaltet ist und grundsätzlich auch die Nutzung generativer KI zulässt. Ziel dieses Prüfungsformats ist es, komplexe und praxisnahe Handlungssituationen abzubilden. Gleichzeitig hat die Reform innerhalb der Berufsfachschulen erhebliche Diskussionen ausgelöst und ist öffentlich kritisch thematisiert worden.

Auch bei den Prüfungen zur Ermittlung der Erfahrungsnote zeigt sich uns eine zunehmende, allerdings sehr uneinheitliche Nutzung von Open-Book- und KI-gestützten Prüfungen. So orientieren sich in der kaufmännischen Grundbildung einige Lehrpersonen bewusst am Format der neuen Abschlussprüfungen, während andere ebenso bewusst an restriktiveren Prüfungsformaten festhalten, um Grundwissen weiterhin überprüfen zu können. Ähnliche Entwicklungen lassen sich auch in vielen weiteren Grundbildungen – etwa in der Informatik, aber auch im Allgemeinbildenden Unterricht (ABU) – beobachten, wobei die konkrete Ausgestaltung häufig in der Verantwortung der Schulen oder Lehrpersonen liegt. Viele Lehrpersonen erleben dabei ein Spannungsfeld zwischen dem Anspruch, zeitgemässe Prüfungsformen zu entwickeln, und dem Anliegen, die Aussagekraft ihrer Prüfungen zu erhalten.

Prüfungen mit KI: Herausforderungen und Risiken

Auch wenn die Zulassung der Nutzung von KI in der Kompetenzbeurteilung je nach verfolgtem Lernziel sinnvoll sein kann, gehen entsprechend ausgestaltete schriftliche Prüfungen aus unserer Sicht mit mehreren Herausforderungen und Risiken einher.

1. Fragliche Validität: Die zentrale Herausforderung betrifft die Validität. Wird die Nutzung generativer KI uneingeschränkt zugelassen, ist zunehmend unklar, was geprüft und beurteilt wird: berufliche Handlungskompetenz im engeren Sinn, Kompetenzen im Umgang mit KI (insbesondere Recherche- und Promptingkompetenzen) oder aber die Leistungsfähigkeit der eingesetzten KI, da sich der Eigenanteil der Prüfungskandidatinnen und -kandidaten an der erbrachten Leistung häufig nicht mehr zuverlässig von den Beiträgen der KI trennen lässt. Besonders problematisch erscheint dies in Berufen, in denen die Nutzung von KI keinen zentralen Bestandteil beruflicher Handlungskompetenz darstellt. Sollen Prüfungen beispielsweise Aufschluss darüber geben, inwiefern Lernende die Voraussetzungen für die Interaktion mit Eltern oder für die Erstellung eines mechanischen Gewindes mitbringen, lässt sich dies bei uneingeschränkter KI-Nutzung nicht valide beurteilen. Doch selbst in Berufen, in denen der kompetente Umgang mit KI als Bestandteil beruflicher Handlungskompetenz gilt, oder auch im Allgemeinbildenden Unterricht (ABU), ist die Validität von Prüfungen, die eine uneingeschränkte Nutzung von KI zulassen, in Frage gestellt.
2. Fragliche Objektivität und faire Prüfungsbedingungen: Neben der Validität stellen sich auch Fragen hinsichtlich der Objektivität und der Prüfungsbedingungen. Die Bewertung KI-gestützter Prüfungsleistungen eröffnet einen grösseren Interpretationsspielraum, etwa wenn beurteilt werden muss, in welchem Ausmass eine Lösung eigenständig erarbeitet oder wesentlich durch KI unterstützt wurde. Zudem bestehen bislang meist keine verbindlichen Vorgaben dazu, welche KI-Systeme oder Versionen verwendet werden dürfen, obwohl sich diese hinsichtlich Leistungsfähigkeit und Funktionsumfang teilweise erheblich unterscheiden. Bei klassischen Hilfsmitteln wie Taschenrechner hingegen sind die zugelassenen Modelle und Funktionen in der Regel präzise definiert. Diese Problematik könnte weiter an Brisanz gewinnen, wenn Anbieter die Preise zur Nutzung ihrer leistungsfähigsten Modelle weiter kontinuierlich erhöhen.
3. Verlust der Überprüfung von Grundwissen: Qualifikationsverfahren sollten auch künftig sicherstellen, dass Lernende über die theoretischen Grundlagen ihrer Berufsausübung verfügen. Dazu gehört die Überprüfung von Basiswissen und grundlegenden theoretischen Zusammenhängen (K1 und K2). Dieses Wissen bildet eine zentrale Grundlage beruflicher Handlungskompetenz und ist zugleich Voraussetzung für weiterführende Bildungswege, etwa die Berufsmaturität oder die höhere Berufsbildung. Schriftliche Open-Book-Prüfungen mit uneingeschränkter KI-Nutzung können eine Überprüfung solchen Grundwissens aber kaum leisten. Deshalb sind wir der Auffassung, dass – wenn die Nutzung von KI zugelassen werden soll – Prüfungen mehrere Stufen umfassen sollen, wobei ein erster Teil mit Papier und Stift gelöst wird und erst bei einem zweiten Teil das eigene Gerät eingesetzt und KI verwendet werden kann.
4. Delegitimierung schriftlicher Prüfungen: Wird die Aussagekraft schriftlicher Prüfungen durch eine uneingeschränkte KI-Nutzung relativiert, könnte dieses klassische Prüfungsformat, gerade am Ende einer Grundbildung, noch grundsätzlicher infrage gestellt werden. Damit würde sich eine Entwicklung akzentuieren, die man in den vergangenen Jahren unter Verweis auf die Handlungskompetenzorientierung (HKO) in zahlreichen Grundbildungen vorangetrieben hat. Aus unserer Sicht wäre dies problematisch. Schriftliche Prüfungen ermöglichen eine vergleichsweise objektive Beurteilung breiten fachlichen Grundwissens und ergänzen dadurch praxisorientierte Prüfungsformate gerade in Lehrbetrieben und in üK-Zentren in entscheidender Weise. Dadurch tragen auch sie wesentlich zur Zertifizierungs- und Selektionsfunktion von Qualifikationsverfahren bei. Würde diese Funktion aber geschwächt, bestünde die Gefahr, dass Berufsabschlüsse an Glaubwürdigkeit verlieren und die gesellschaftliche Anerkennung der Berufsbildung weiter zurückgeht.
5. Mangelhafte Abbildung des Umgangs mit KI in der Arbeitswelt: Im schulischen Kontext geht manchmal vergessen, dass die Nutzung von KI in der Arbeitswelt stark branchen- und betriebsspezifisch erfolgt. So verfügen mittlerweile viele Unternehmen über teilweise umfassende Vorgaben dazu, welche KI-Systeme eingesetzt und welche Informationen in Prompts verwendet bzw. an externe Systeme übermittelt werden dürfen. Darum können einige (oder sogar viele) der berufsspezifischen Kompetenzen im Hinblick auf KI nicht oder nur teilweise in der Berufsfachschule gefördert und beurteilt werden. Eine weitgehend freie KI-Nutzung kann die berufliche Realität nur unzureichend abbilden. Wenn der Umgang mit KI als Teil beruflicher Handlungskompetenz gefördert und beurteilt werden, muss dies unter Berücksichtigung der jeweiligen berufsspezifischen Rahmenbedingungen geschehen. Eine wichtige Rolle könnte dabei die überbetriebliche Ausbildung übernehmen, die näher an den Betrieben und den dortigen technologischen Entwicklungen angesiedelt ist.

Empfehlungen

Die Diskussion um Open-Book-Prüfungen sollte unseres Erachtens weder von grundsätzlicher Technologiebegeisterung noch von einer generellen Ablehnung generativer KI geprägt sein. Entscheidend ist vielmehr, welche Kompetenzen Qualifikationsverfahren nachweisen sollen und welche Prüfungsformate sich dafür eignen.

Bei schriftlichen Abschlussprüfungen des Qualifikationsverfahrens sprechen die dargestellten Herausforderungen dafür, die uneingeschränkte Nutzung generativer KI zurückhaltend zu handhaben.

Bei schriftlichen Abschlussprüfungen des Qualifikationsverfahrens sprechen die dargestellten Herausforderungen dafür, die uneingeschränkte Nutzung generativer KI zurückhaltend zu handhaben. Mit Blick auf die jüngste öffentliche Debatte um das QV der Kaufleute wäre der zuständigen Trägerschaft entsprechend zu wünschen, dass sie den Mut aufbringt, das revidierte QV ernsthaft zu diskutieren – allenfalls auch im Dialog mit den Kantonen. Angesichts des rasanten technologischen Wandels, dessen Tragweite vor wenigen Jahren nur schwer vorauszusehen war, wäre eine Überarbeitung des Prüfungsformats keineswegs ein Zeichen eines gescheiterten Reformprozesses, sondern Ausdruck einer verantwortungsvollen und evidenzbasierten Weiterentwicklung.

Etwas anders stellt sich die Situation bei Prüfungen zur Ermittlung der Erfahrungsnote dar, nicht zuletzt deshalb, weil ihre Ausgestaltung die Glaubwürdigkeit national standardisierter Berufsabschlüsse weniger direkt berührt. Allerdings kommt gerade diesen Prüfungen eine wichtige Funktion beim Aufbau und bei der Überprüfung von Grundlagenwissen zu. Auch hier sollte KI deshalb nicht generell, sondern gezielt und in Abhängigkeit von den jeweiligen Lern- und Prüfungszielen zugelassen werden. Schulen sollten Lehrpersonen entsprechend nicht dazu drängen, KI bei solchen Prüfungen möglichst systematisch zuzulassen.

Eine nicht systematische, sondern vielmehr gezielte Zulassung bietet sich hingegen vor allem bei Lerneinheiten an, in denen Kompetenzen im Umgang mit KI ausdrücklich aufgebaut werden. Eine uneingeschränkte Nutzung ist auch in diesem Fall meist nicht sinnvoll. Denkbar wäre hingegen das oben erwähnte Format mehrstufigerer Prüfungen: In einem ersten Schritt ohne KI-Zugang könnte beispielsweise ein Vorgehen skizziert und begründet werden, in einem zweiten Schritt wird es mit KI umgesetzt.

Die Gestaltung solcher Prüfungsarrangements stellt hohe Anforderungen an die Lehrpersonen. Sie müssen beurteilen können, wann der Einsatz von KI einen didaktischen Mehrwert bietet und wann er die Aussagekraft einer Prüfung beeinträchtigt.

Die Gestaltung solcher Prüfungsarrangements stellt hohe Anforderungen an die Lehrpersonen. Sie müssen beurteilen können, wann der Einsatz von KI einen didaktischen Mehrwert bietet und wann er die Aussagekraft einer Prüfung beeinträchtigt. Angesichts der bestehenden Unsicherheiten braucht es deshalb entsprechende Weiterbildung, Orientierung und Raum für den professionellen Austausch über eine Prüfungskultur, die mit der technologischen Entwicklung Schritt hält, ohne zentrale Ansprüche an die Qualität von Prüfungen preiszugeben.

Wir bedanken uns für Hinweise von Maja Pesic, Peter Wlodarczak und Michael Zwick im Rahmen ihres Studiums als Berufsfachschullehrpersonen an der PH Zürich.

Das vorliegende Werk ist urheberrechtlich geschützt. Erlaubt ist jegliche Nutzung ausser die kommerzielle Nutzung. Die Weitergabe unter der gleichen Lizenz ist möglich; sie erfordert die Nennung des Urhebers.