De grandes différences dans la détermination de la note d’expérience

Les personnes effectuant actuellement un apprentissage d’employé-e de commerce profil E suivent une procédure de qualification dans laquelle les résultats obtenus dans la discipline « économie et société » (E&S) sont pris en compte dans une note d’expérience et dans une note pour l’examen final. La note d’expérience est calculée à partir des résultats semestriels obtenus dans cette discipline dans le cadre de l’enseignement et représente un tiers de la note E&S.

Considérés comme la « grande finale », les examens de fin d’apprentissage sont au centre de l’attention en raison de leur importance. Les examens de fin d’apprentissage commerciaux en Suisse alémanique ont déjà fait l’objet de recherches. Créées de manière centralisée, les séries d’examens de la Suisse alémanique, de la Suisse romande et du Tessin sont comparées chaque année à l’issue des examens de fin d’apprentissage. L’objectif de cette mesure d’assurance qualité établie au niveau national est d’identifier les éventuelles mesures nécessaires afin de garantir en particulier l’équivalence des futurs examens.

En revanche, les examens servant de base au calcul de la note d’expérience ont été analysés pour la première fois dans l’étude sur la qualité des examens écrits dans la discipline économie et société (E&S) des écoles professionnelles commerciales en Suisse (Spengler, 2022).[1] Cet article présente les principaux résultats de cette étude et explique les enseignements qui en ont été tirés pour l’actuelle réforme de l’apprentissage commercial

Dans l’étude mentionnée, le contenu de 178 examens individuels du quatrième semestre de la formation initiale suivie dans le profil E a été analysé. Tous les examens individuels qui ont été pris en compte dans une classe pendant le semestre forment un ensemble d’examens. L’échantillon comprend 38 ensembles d’examens provenant de 13 cantons. Les examens examinés concernent 810 apprenant-e-s de Suisse alémanique et 324 apprenant-e-s des régions francophone et italophone, ce qui représente environ un sixième des quelque 7000 apprenant-e-s concernés par l’étude.

Les différents exercices et / ou les quelque 9400 étapes de raisonnement évaluées en règle générale par un point ont notamment été analysés selon les critères suivants : contenu spécialisé, exigences cognitives, mise en contexte et format d’exercice.

Les différents exercices soit les quelque 9400 étapes de raisonnement, évaluées en règle générale par un point, ont notamment été analysés selon les critères suivants : contenu spécialisé, exigences cognitives, mise en contexte et format d’exercice. En combinaison avec d’autres catégories, la mise en contexte a été utilisée comme indicateur pour évaluer l’orientation de l’exercice vers la pratique opérationnelle. Par exemple, les exercices axés sur la pratique ayant un lien avec une situation concrète sont fortement orientées vers l’action. A l’opposé, on trouve des tâches de mémorisation abstraites, centrées sur les connaissances.

Pour évaluer la qualité des ensembles d’examens, neuf examens de fin d’apprentissage pertinents, datant des années 2015–2017 soit 1800 étapes de raisonnement notées ont été analysés avec la même méthode. Les valeurs obtenues ont été utilisées comme référence lors de la comparaison.

Les résultats les plus importants

Pour résumer, l’étude parvient par rapport à l’échantillon aux conclusions suivantes :

• On constate de grandes différences en ce qui concerne les résultats à obtenir pour la même note de contrôle continu. L’ensemble d’examens le plus court de l’échantillon se compose de trois examens individuels. Les apprenant-e-s devaient effectuer 120 étapes de raisonnement notées pendant la durée d’examen totale de 105 minutes. L’ensemble d’épreuves le plus long de l’échantillon a une durée de 480 minutes et se compose de plus de dix examens individuels ; avec un total de 480 étapes de réflexion testées, il exige quatre fois plus des apprenants. En moyenne, un ensemble d’examens comprend environ 230 étapes de raisonnement qui doivent être effectuées pendant une durée d’examen totale de 270 minutes.
• Concernant les contenus techniques, 35 % des exercices de l’échantillon sont des exercices de comptabilité et de calcul axés sur la pratique. Ce pourcentage est trop élevé compte tenu de la dotation horaire selon le plan de formation et par rapport à l’idée d’un examen représentatif. Un pourcentage approprié serait de 26 %. Il semble que les exercices de comptabilité soient très prisés par les enseignant-e-s lors des examens. Cela pourrait être dû au fait que les enseignants accordent une grande importance à la pensée commerciale dans cette systématique fondamentale des actifs, des passifs, des charges et des produits et des questions qui y sont liées, et qu’ils y consacrent (trop) de temps en cours. Des réflexions sur l’économie de l’évaluation de la prestation d’examen pourraient également jouer un rôle.
• Concernant les exigences cognitives, la majeure partie des exercices faisant appel à la mémoire se distinguent par leur absence de lien avec une situation concrète. En moyenne, le pourcentage atteint environ 32 %. D’une part, de tels exercices présentent seulement un faible niveau d’exigences cognitives. De plus, en raison de l’absence de lien avec une situation concrète, ces exercices sont peu adaptés pour évaluer une compétence pratique professionnelle. Pourtant, c’est précisément cette compétence opérationnelle qui doit être érigée en objectif de la formation professionnelle initiale, conformément à l’ordonnance sur la formation de 2012.[2] On constate cependant de grandes différences entre les ensembles d’examens : la part des exercices faisant appel à la mémoire va de 15 % à 60 % environ. Un pourcentage élevé d’exercices de ce type signifie un nombre moindre d’exercices de compréhension et d’exercices axés sur la pratique.
• Concernant la mise en contexte, la majorité des exercices (56 % en moyenne) présente un rapport à une situation construite. De nombreux exercices (38 %) sont formulés de manière abstraite de sorte qu’ils ne s’intègrent dans aucune situation concrète. En revanche, les tâches ayant un rapport réel avec l’actualité sont plutôt rares (5%).
• En ce qui concerne le format des exercices, les exercices de calcul et de comptabilité sont très nombreux (environ 40%) et les exercices à réponse courte sont fréquents (22%). Un argumentaire détaillé est demandé dans seulement 13 % des exercices. Selon l’étude, 7 % des exercices sont des exercices de mise en correspondance dans lesquels il faut classer des exemples dans un système de classification. Les exercices alternatifs représentent 7 % des exercices proposés aux examens et sont trop nombreux. Généralement, de tels exercices font peu appel aux connaissances. En raison du facteur aléatoire propre à ces exercices, ils doivent être considérés comme indésirables. En effet, l’exercice peut être effectué correctement avec une probabilité de 50 %, sans la moindre compétence spécifique.
• Concernant la validité par rapport à la matière, seuls 90 % des contenus des examens correspondent aux objectifs de performance définis dans le plan de formation. En moyenne, 10 % des exercices ne répondent pas au critère de la validité par rapport au contenu sur lequel porte l’examen. La situation est toutefois très hétérogène : sur tous les ensembles d’examens, ces pourcentages varient entre 2 % et 20 % environ. Dans un cas unique, le pourcentage de contenus non conformes au programme d’enseignement atteint même plus de 30 %. En comparaison, ce pourcentage est de seulement 2 % pour les examens de fin d’apprentissage, également analysés dans cette étude.
• Concernant la validité par rapport aux processus de raisonnement, 10 % des exercices présentent des exigences cognitives trop élevées pour les apprenant-e-s si l’on se base sur les directives du plan de formation. En comparaison, des exigences cognitives trop élevées ont été constatées dans seulement 3,5 % des exercices proposés aux examens de fin d’apprentissage, également analysés dans cette étude.
• Par rapport à la qualité des examens de fin d’apprentissage, il existe, pour les examens servant de base pour la détermination de la note d’expérience, un potentiel pour améliorer la validité par rapport aux contenus stipulés dans les programmes (validité curriculaire).
• En conclusion, on ne peut pas s’attendre à une équivalence des ensembles d’examens des notes d’expérience qui en résultent en raison des disparités constatées au niveau des exigences cognitives, de la validité des contenus sur lesquels porte l’examen, du nombre divers d’examens et de la durée totale des ensembles d’examens.

Conclusions et problèmes

Alors que la révision totale de la formation commerciale initiale est imminente, on peut déduire les problématiques et enseignements suivants de cette étude :

1^er problème : « OrFo long »

En conclusion, on ne peut pas s’attendre à une équivalence des ensembles d’examens et / ou des notes de contrôle continu.

L’étude montre que des éléments obsolètes, issus d’anciens concepts et règlements de formation, peuvent rester dans le quotidien scolaire, même des décennies après leur abrogation. Des structures et des contenus sont concrètement concernés par l’effet à long terme des ordonnances sur la formation (OrFo).

Sur le plan des structures, l’échantillon montre qu’il existe des différences dans l’approche didactique et dans la compréhension de l’examen pour la note de contrôle continu dans la discipline E&S. Avec la réforme de l’apprentissage commercial en 2003 et l’introduction de la discipline E&S, l’objectif poursuivi par le législateur était que les apprenant-e-s se penchent sur les différents aspects (financiers, commerciaux, juridiques, politiques, macro-économiques et sociaux) d’un problème. Le caractère multidisciplinaire des contenus des cours dans la discipline E&S devait renforcer la compréhension globale des apprenant-e-s et développer leurs compétences opérationnelles dans le domaine commercial. Or, la présente étude montre que seulement 75 % des ensembles d’examens issus de l’échantillon présentent un caractère multidisciplinaire et correspondent à l’orientation visée dans la discipline E&S. Contre toute attente, un ensemble d’examens sur quatre est délimité par thème spécifique. Concrètement, cette approche correspond à la structure de l’apprentissage commercial de 1986, lorsque les différentes matières spécialisées (gestion d’entreprise, comptabilité, etc.) étaient enseignées séparément et faisaient l’objet d’examens distincts. Les raisons expliquant le maintien d’anciennes structures résident peut-être dans l’interprétation des nouvelles ordonnances sur la formation, dans l’attention accordée aux ressources disponibles et dans la mise en œuvre organisationnelle par les directions d’école, les groupes de discipline et les enseignant-e-s.

En ce qui concerne les contenus, l’échantillon montre que certains contenus sont issus de précédents concepts de la formation commerciale initiale datant des années 1986 et 2003 et ont résisté aux efforts de réforme. Une explication possible se trouve dans les documents de cours et les supports didactiques ou peut-être dans la motivation des enseignant-e-s et leur conviction personnelle quant à l’importance de certains contenus selon eux. Il est important de comprendre que les objectifs de performance définis dans le plan de formation déterminent les exigences minimales pour l’enseignement et fixent simultanément les exigences maximales pour les examens. Des contenus didactiques qui dépassent ce cadre peuvent être souhaitables, mais ils ne doivent pas faire l’objet d’un examen.

Conclusion : la réforme à venir sera mise en œuvre de manière judicieuse si l’on parvient à convaincre les acteurs et actrices de la vie scolaire à abandonner les routines éprouvées et à développer de nouvelles structures organisationnelles scolaires et de nouveaux contenus didactiques via l’intégration des disciplines.

2^e problème : prédominance de la pensée cloisonnée par matière

L’étude montre que la pensée cloisonnée par matière prédomine et que la réforme sera (aussi) un défi pour les enseignant-e-s en E&S.

L’échantillon montre que seulement 75 % des ensembles d’examens correspondent à l’orientation didactique mentionnée ci-dessus pour la discipline E&S. Cependant, même si les examens se composent généralement d’une combinaison de matières relevant de la discipline E&S, les contenus sont très peu testés de manière inclusive. Les examens portaient et portent seulement (et à juste titre) sur des matières spécifiques, conformément à un outil efficace sur le plan de la gestion, à savoir le catalogue d’objectifs évaluateurs de l’ordonnance sur la formation de 2012.

Conclusion : la réforme à venir sera mise en œuvre si les enseignant-e-s parviennent à dépasser les limites de l’approche par matière, appliquée jusqu’à présent, de sorte qu’un apprentissage global basé sur des problématiques et des exercices ayant un lien concret avec la réalité soit possible à l’école.

3^e problème : hétérogénéité dans la détermination de la note de contrôle continu

L’étude a mis en évidence une grande hétérogénéité concernant la note d’expérience, c’est-à-dire la mesure des résultats dans le domaine peu harmonisé du quotidien scolaire.

En fonction de l’aspect considéré, l’échantillon a révélé les différences décrites ci-dessus, au-delà des régions linguistiques, entre les écoles mais aussi au sein des écoles.

On peut s’attendre à ce que cette hétérogénéité dans le domaine de la note d’expérience s’accentue encore, compte tenu de la mise en œuvre de la réforme par les différentes écoles, de la diversité des formes d’examens et de la transformation numérique qui progresse.

Conclusion : il faut tout spécialement veiller à ce que la diversité naissante en comparaison croisée soit en adéquation avec le principe d’égalité des chances afin que les exigences propres aux différents concepts de formation dans le domaine de la note d’expérience puissent être perçues comme étant équivalentes.

La présente contribution est protégée par le droit d'auteur. Toute utilisation est autorisée à l'exception de l'utilisation commerciale. La distribution sous la même licence est possible ; elle nécessite toutefois la mention de l’auteur.