Blick in die Glaskugel

Der Test beginnt mit einer einfachen und zufällig ausgewählten Aufgabe. Basierend auf der eingegebenen Lösung wird der Schwierigkeitsgrad der nächsten Aufgabe angepasst.

Stellwerk stellt in der Deutschschweiz eine der am häufigsten angewendeten Standortbestimmungen der Sekundarstufe I dar. Sie wird gemäss der jährlichen Kantonsumfrage von IDES in elf deutschschweizer Kantonen durchgeführt. Das Testsystem soll den Schülerinnen und Schülern von der 7. bis zur 9. Klasse (Stellwerk 7 bis 9) auf Grundlage des Lehrplans 21 ermöglichen, ihre Kompetenzentwicklung schulhausunabhängig einzuschätzen (Moser, 2006).

Stellwerktests sind standardisiert. Sie decken losgelöst vom Schultyp auf der Grundlage des Lehrplans 21 die Fächer Mathematik, Deutsch, Französisch, Englisch und neu Natur und Technik ab. Stellwerktests sind sogenannt adaptive Testverfahren. Basierend auf einem Aufgabenpool mit mehreren hundert standardisierten Testaufgaben folgt das Testverfahren laufend dem Antwortverhalten der Schülerinnen und Schüler. Der Test beginnt mit einer einfachen und zufällig ausgewählten Aufgabe. Basierend auf der eingegebenen Lösung wird der Schwierigkeitsgrad der nächsten Aufgabe angepasst. Der Test dauert so lange, bis grössere Schwankungen in diesen Anpassungen ausbleiben und setzt dann den erreichten Punktewert der getesteten Person fest (Kanton Luzern, 2021b; Stellwerk, 2021). Der Punktewert erscheint pro Fach auf einer normierten Skala von 200 bis 800 Punkten mit einem Mittelwert von 500 Punkten und einer Standardabweichung von 100 Punkten. Die Normierung schafft so ein Bezugssystem zur Einordnung der individuellen Testergebnisse über Schulhausgrenzen hinweg (Moser, 2006; Stellwerk, 2021).

Für die Nahtstelle zwischen der Sekundarstufe I und II wird Stellwerk 9 in etlichen Kantonen eine zentrale Bedeutung eingeräumt. Die Einsatzvarianten reichen dabei von einem freiwilligen Einsatz durch Lehrpersonen oder Schulen über die Durchführung von einem Test bis hin zum obligatorischen Absolvieren aller Tests (EDK, 2021). Im Kanton Luzern etwa sind die Tests für alle Lernenden Verpflichtung; die Ergebnisse sind den Berufsfachschulen zur Verfügung zu stellen. So können die individuellen Resultate des Stellwerktests mit den Profilvorgaben unterschiedlicher Lehrberufe abgeglichen werden, welche auf Basis der Lehrpläne und beruflichen Anforderungsprofilen festgelegt wurden.

Gerade die Testergebnisse des Stellwerk 9 (3. Klasse Sek I) beeinflussen aber immer mehr auch den Selektionsprozess am Übertritt von der Sek I in die Sek II. Obwohl Stellwerk als schulische Standortbestimmung bzw. Förderinstrument und nicht als Eignungstest oder Selektionsinstrument konzipiert wurde, achtet eine zunehmende Zahl von Betrieben bei der Auswahl zukünftiger Lernenden auf die Resultate der Tests und fordern diese auch von den Jugendlichen ein (Kanton Luzern, 2022; Keller, 2014; Stalder & Walker, 2012). Dabei werden für Berufe entlang von Erwartungen und schulischen Anforderungen auf Basis der erwähnten Kompetenzniveaus bestimmte Mindesttestwerte im Stellwerk 9 deklariert. Bereits haben etliche Organisationen der Arbeitswelt Leistungsminima festgelegt, die angehende Lernende erreichen sollten, wenn sie einen Beruf erlernen wollen.

Die Aussagekraft von Stellwerk 9 Testwerten – Ergebnisse aus einer Studie in Luzern

Es fällt auf, dass die Leistungsunterschiede zwischen den Fächern bei den EBA-Lernenden grösser ausfallen als bei den EFZ-Lernenden.

Bei all dem ist allerdings unklar, wie geeignet Stellwerk 9 überhaupt ist, spätere Leistungen der Jugendlichen in der Berufsbildung vorauszusagen. Die vorliegende Studie der Pädagogischen Hochschule Luzern geht dieser Fragen anhand von Längsschnittdaten aus acht Berufsfeldern[1] nach. Sie untersuchte von 2019 bis 2022 die Vorhersagekraft der Testergebnisse des Stellwerk 9 in den Fächern Mathematik, Deutsch und Französisch für die schulischen Leistungen in den ersten zwei Jahren der beruflichen Grundbildung im berufskundlichen (BKU) und allgemeinbildenden Unterricht (ABU) im Kanton Luzern. Ausgewertet wurden dafür die Daten von drei Kohorten mit 6’687 Lernenden (36% weiblich, 64% männlich) in acht Berufsfeldern.

Die durchschnittlichen Testergebnisse des Stellwerk 9 der Lernenden in den unterschiedlichen Berufsfeldern zeigen deutliche Unterschiede in den EBA- und EFZ-Ausbildungen (Tabelle 1). Dabei fällt auf, dass die Leistungsunterschiede zwischen den Fächern bei den EBA-Lernenden grösser ausfallen als bei den EFZ-Lernenden. Das heisst, dass die EBA-Lernenden häufiger in einem Fach eine relative Stärke und gleichzeitig im anderen Fach eine relative Schwäche aufweisen (z.B. Schreinerpraktiker/innen EBA mit 350 Punkten in Deutsch vs. 432 Punkten in Mathematik). Bei den EFZ-Lernenden zeigt sich ein deutlich homogeneres Leistungsprofil.

Tabelle 1. Stellwerk 9 Testergebnisse unterteilt nach Berufsfelder und EBA bzw. EFZ. Skala von 200 bis 800 Punkten, Mittelwert = 500, Standardabweichung = 100. * hier liegen keine oder zu wenige Daten vor.

Um die Vorhersagekraft der Testergebnisse des Stellwerk 9 in den Fächern Deutsch, Mathematik und Französisch für die späteren ABU- und BKU-Noten in den acht Berufsfeldern zu untersuchen, wurden Zusammenhänge über zwei Jahre betrachtet. Die Abbildungen zeigen, in welchen Berufsfeldern und Lernbereichen die Vorhersagekraft schwach (Testergebnisse erklären < 9% der späteren Leistungen), mittel (Testergebnisse erklären 9-25% der späteren Leistungen) oder stark (Testergebnisse erklären >25% der späteren Leistungen) war. Die Charakterisierung der Effektstärken («schwach», «mittel», «stark») beruht auf der in der psychologischen Forschung üblichen Einteilung (Cohen, 1988).

Grundsätzlich sind die Zusammenhänge zwischen den Testergebnissen des Stellwerk 9 und den späteren BKU-Noten höher als die Zusammenhänge mit den späteren ABU-Noten. Die meisten Effekte liegen von der Stärke her in einem mittleren Mass. Für Deutsch zeigt sich dies relativ homogen über alle Berufsfelder mit dem stärksten Effekt im Berufsfeld Informatik. Für Französisch sind insgesamt die schwächsten Zusammenhänge erkennbar. Diverse stärkere Effekte zeigen sich für Mathematik und BKU. Über alle Berufsfelder betrachtet haben die Testergebnisse in Deutsch und Mathematik die stärkste Vorhersagekraft für die späteren schulischen Leistungen in der beruflichen Grundbildung. Diese Vorhersagekraft zeigt sich besonders in den Berufsfeldern Automobil[2], Natur[3] und Informatik[4].

Es gibt kein Berufsfeld, in dem sich anhand der vorliegenden Daten überhaupt keine Zusammenhänge finden lassen. Zahlreiche dieser Zusammenhänge nur jedoch schwach bis sehr schwach ausgeprägt. Dies zeigt sich vor allem in den Berufsfeldern Detailhandel, Bau und Gesundheit.

Fazit

Das heisst im Umkehrschluss, dass durchschnittlich 84% der späteren schulischen Leistungen in der beruflichen Grundbildung durch andere Einflussfaktoren bestimmt sind, welche Testergebnisse von Stellwerk 9 nicht abzubilden vermögen.

Die Zusammenhänge zwischen den Leistungen im Stellwerk 9 Test und den späteren Leistungen im allgemeinbildenden und berufskundlichen Unterricht über zwei Jahre weisen darauf hin, dass die Testergebnisse des Stellwerk 9 relevante Informationen zum Leistungsprofil der Lernenden bieten können. Wie stark sie dies in den einzelnen untersuchten Berufsfeldern tun, ist aber sehr unterschiedlich und reicht von 7% für Deutsch im ABU Gesundheit bis 41% für Mathematik im BKU Informatik. In der Mehrheit sind mittlere Effekte zu beobachten mit einer Vorhersagekraft von durchschnittlich 16%. Das heisst im Umkehrschluss, dass durchschnittlich 84% der späteren schulischen Leistungen in der beruflichen Grundbildung durch andere Einflussfaktoren bestimmt sind, welche Testergebnisse von Stellwerk 9 nicht abzubilden vermögen. Das ist sehr bedeutsam, denn es zeigt, dass der Übergang in die Berufsbildung für die Jugendlichen und jungen Erwachsenen eine wichtige Chance ist, auch ihr schulisches Leistungspotenzial neu zu entdecken. Ob das gelingt, hängt von einer Vielzahl weiterer, über die in Stellwerk 9 gemessenen Leistungen hinausgehender Faktoren ab.

Die Studie zeigt insgesamt, dass Stellwerk 9 den Jugendlichen und Bildungsverantwortlichen relevante Hinweise im Berufswahlprozess und für die Unterstützung in der beruflichen Grundbildung bieten können (z.B. Förderung und Begleitung von EBA-Lernenden mit heterogenen Kompetenzprofilen). Die Testergebnisse können damit als erweiterte Standortbestimmung betrachtet werden. Aufgrund ihrer sehr unterschiedlichen bzw. mittleren Vorhersagekraft müssen sie aber kritisch gewürdigt und als zusätzliche Informationsquelle im Übergang in die Berufsbildung bedacht genutzt werden – zumal unklar ist, wie gut sie die Leistungen im betrieblichen Kontext voraussagen. Da sich zwischen den Lernbereichen und Berufsfeldern grosse Unterschiede zeigen, braucht es zudem mehr Forschung mit Langzeitdaten in verschiedenen Kantonen. Hier liesse sich die Vorhersagekraft von Stellwerk 9 auch im Zusammenhang mit weiteren kontextuellen und schulischen Einflussfaktoren untersuchen.

[1] Die Basis dieser Systematik bilden die schulischen Ausbildungsprofile im Kanton Luzern.

[2] Automobil-Fachmann/-frau EFZ, Automobil-MechatronikerIn EFZ, LackierassistentIn EBA, CarrosseriespenglerIn EFZ, FahrzeugschlosserIn EFZ

[3] LandwirtIn EFZ, MilchtechnologIn EFZ, MilchpraktikerIn EBA, Fachmann/-frau Hauswirtschaft EFZ, FloristIn EFZ, GärtnerIn EFZ

[4] MedientechnologIn EFZ, InformatikerIn EFZ, MediamatikerIn EFZ, AutomatikerIn EFZ, ICT-Fachmann/-frau EFZ

Literatur

• Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, N.J.: L. Erlbaum Associates.
• EDK. (2021). Standardisierte Leistungstests. EDK – Schweizerische Konferenz der kantonalen Erziehungsdirektoren.
• Institut für Bildungsevaluation (o. D.). Interpretation der Ergebnisse im Stellwerk-Test. Universität Zürich.
• Kanton Luzern. (2021a). Leistungsmessung mit Stellwerk 8 & 9. Kanton Luzern Dienststelle Volksschulbildung.
• Kanton Luzern. (2021b). Stellwerktest 2021 Auswertung Kanton Luzern. Kanton Luzern Dienststelle Volksschulbildung.
• Kanton Luzern. (2022). Eignungstests im Kanton Luzern. Luzern.
• Keller, F. (2014). Strukturelle Faktoren des Bildungserfolgs: Wie das Bildungssystem den Übertritt ins Berufsleben bestimmt. Springer VS.
• Moser, U. (2006). Wie werden die Ergebnisse in den Stellwerk-Tests interpretiert? Von den Testergebnissen zu einer professionellen Beurteilung der Kompetenzen der Schülerinnen und Schüler. Institut für Bildungsevaluation Universität Zürich.
• Stalder, M., & Walker, K. (2012). Gesamtschau Übergang I im Kanton Zürich – Bericht. Mittelschul- und Berufsbildungsamt Kanton Zürich.
• Stellwerk. (2021). Wie wird das Stellwerk-Ergebnis interpretiert und genutzt? Lehrmittelverlag St. Gallen, Lehrmittelverlag Zürich.
• Stellwerk. (o. D.). Information zu Stellwerk 2.0 für Lehrpersonen, Schülerinnen und Schüler, Eltern und weitere Interessierte. Lehrmittelverlag St. Gallen, Lehrmittelverlag Zürich.

Das vorliegende Werk ist urheberrechtlich geschützt. Erlaubt ist jegliche Nutzung ausser die kommerzielle Nutzung. Die Weitergabe unter der gleichen Lizenz ist möglich; sie erfordert die Nennung des Urhebers.