Usage de l’IA générative dans les examens à livre ouvert des formations professionnelles : l’heure du premier bilan critique est venue

Quelques années ont suffi aux systèmes d’intelligence artificielle (IA) comme ChatGPT pour voir leur usage s’imposer jusque dans le monde de l’éducation et de l’enseignement, entraînant dès lors une interrogation : qu’est-ce que cela va changer à l’évaluation des performances des élèves si ceux-ci utilisent ces outils durant leurs examens ?

La question occupe notamment le système de formation professionnelle suisse, surtout pour les examens écrits : alors que les hautes écoles, les gymnases et les établissements scolaires obligatoires affichent toujours une certaine retenue vis-à-vis de l’introduction de l’IA pour ce format d’examen, on observe une plus grande ouverture dans certains métiers et certaines écoles de formation professionnelle initiale, que ce soit pour les examens finaux ou les examens réalisés en cours de cursus – un choix souvent justifié par le fait que savoir utiliser l’IA fait désormais partie des compétences métier attendues : les personnes qui seront plus tard amenées à travailler avec des outils d’assistance numérique, nous dit-on, doivent avoir le droit d’utiliser ces systèmes dès leur période de formation, et par conséquent aussi durant leurs examens.

Quelle pertinence pour les examens écrits autorisant l’IA générative ?

Notre position ne consiste pas en une opposition de principe face à ces évolutions : selon les objectifs pédagogiques poursuivis, autoriser les candidats et candidates à un examen à utiliser l’IA peut avoir du sens sur le plan didactique. Du reste, il ne serait pas réaliste de vouloir limiter son usage dans les formats d’évaluation plus ouverts (travaux écrits ou présentations, par exemple). Cela étant, la vitesse à laquelle les examens à livre ouvert autorisant l’usage de l’IA générative se sont imposés dans certains domaines de la formation professionnelle soulève quelques interrogations. Peu d’études semblent s’être jusqu’à présent attardées sur les conséquences de cette évolution pour la pertinence des examens et, au bout du compte, pour la crédibilité des procédures de qualification ; autant de questions qui préoccupent pourtant un grand nombre d’enseignants et enseignantes, non sans parfois nourrir leurs inquiétudes.

Peu d’études semblent s’être jusqu’à présent attardées sur les conséquences de cette évolution pour la pertinence des examens et, au bout du compte, pour la crédibilité des procédures de qualification.

Le présent article poursuit trois objectifs. D’abord, retracer brièvement l’évolution des examens dits à livre ouvert à l’heure des transformations numériques. Ensuite, revenir sur les pratiques actuelles de la formation professionnelle initiale suisse. Enfin, réfléchir aux défis majeurs posés par ces transformations et aux usages que l’on pourrait faire des examens à livre ouvert assistés par IA.

L’IA générative : bien plus qu’un nouvel outil

Dans la formation professionnelle comme dans les autres branches du système éducatif, le fait d’autoriser certains outils lors des examens est loin de constituer un phénomène nouveau. La consultation d’ouvrages de référence comme les dictionnaires, les textes législatifs ou les recueils de formules mathématiques et l’utilisation d’outils spécifiques comme la calculatrice tombent sous le sens depuis de nombreuses années, ceci pour une multitude de formats d’examen. Les examens dits à livre ouvert, qui autorisent le recours à des sources d’information écrites telles que les supports pédagogiques ou les documents de cours, se sont imposés il y a de cela longtemps également.

Utiliser les nouvelles technologies numériques pendant les examens n’a rien de nouveau non plus : les formats intégrant le recours à des équipements numériques terminaux existent depuis de nombreuses années, de même que les logiciels permettant de réaliser certains exercices, comme les questionnaires à choix multiple. En autorisant la consultation de ressources numériques, et en fin de compte d’internet, les examens numériques à livre ouvert ont franchi une étape supplémentaire, mais celle-ci supposait que les personnes candidates – bien qu’autorisées à rechercher des informations sur internet – gardent une certaine autonomie dans l’accomplissement du travail demandé.

De notre point de vue, l’utilisation de l’IA générative ne constitue donc pas une simple nouvelle étape dans le développement des outils numériques, mais une rupture qualitative qui impose de repenser en profondeur les formats des examens.

Une situation qui a radicalement changé depuis la mise en ligne de ChatGPT à la fin de l’année 2022 : des exercices qui présupposaient autrefois de mener des recherches en autonomie, d’analyser les résultats obtenus puis de produire un texte peuvent dorénavant être réalisés en quelques secondes grâce à l’IA. Or, cette évolution n’avait pas été anticipée lorsqu’ont été conçus les nombreux examens à livre ouvert, en particulier dans le monde de la formation professionnelle. Les professeurs et les personnes chargées de rédiger les examens pour les procédures de qualification ont été pris de court par la rapidité à laquelle ces changements technologiques se sont imposés. De notre point de vue, l’utilisation de l’IA générative ne constitue donc pas une simple nouvelle étape dans le développement des outils numériques, mais une rupture qualitative qui impose de repenser en profondeur les formats des examens.

À quel point les examens à livre ouvert assistés par IA se sont-ils imposés dans les formations professionnelles initiales ?

Aucune étude scientifique ne s’est jusqu’à présent penchée sur la propagation des examens à livre ouvert dans les formations professionnelles initiales en Suisse. D’après notre expérience dans des formations initiales et continues destinées au futur personnel enseignant des écoles professionnelles, et d’après les nombreux échanges que nous avons eus avec des professeurs et des directeurs et directrices d’écoles professionnelles, un tableau nuancé se profile tout de même. On ne peut pas dire que les usages couvrent l’ensemble du territoire : nombreuses sont les formations professionnelles initiales qui restent attachées aux formats d’examen classiques interdisant le recours à des outils numériques ou à l’IA. Et, dans les examens finaux des maturités professionnelles aussi, les examens à livre ouvert restent encore peu répandus.

C’est notamment le cas dans la formation initiale en commerce, qui va loin en ce sens : l’examen final écrit y prend la forme d’un examen numérique à livre ouvert autorisant en principe l’usage de l’IA générative.

L’ouverture vers ce format est en revanche très nette dans certaines formations initiales. C’est notamment le cas dans la formation initiale en commerce, qui va loin en ce sens : l’examen final écrit y prend la forme d’un examen numérique à livre ouvert autorisant en principe l’usage de l’IA générative. L’objectif de ce format est de donner une image réaliste et complexe des situations que les personnes candidates seront amenées à rencontrer dans le commerce. On sait toutefois aussi que la réforme ayant touché les écoles professionnelles a déclenché des discussions nourries et un certain nombre de critiques du côté du grand public.

On observe aussi, dans les examens ayant pour but de déterminer la note d’expérience, un recours de plus en plus fréquent, quoique très disparate, au format à livre ouvert intégrant l’IA. Dans les formations initiales en commerce, certaines personnes enseignantes optent par exemple délibérément pour ce nouveau format pour les examens finaux, quand d’autres font tout aussi délibérément le choix d’en rester à des formats plus contraignants pour pouvoir continuer à contrôler les connaissances de base. Des évolutions similaires s’observent dans beaucoup d’autres formations initiales, ainsi en informatique et en enseignement de culture générale (ECG), à ceci près que l’aménagement concret des examens est alors généralement du ressort des établissements scolaires ou des enseignantes et enseignants. Nombre de professeurs ressentent alors une certaine tension entre, d’une part, la volonté de créer des formats d’examen adaptés aux nouvelles réalités du monde, et, d’autre part, le souci de préserver la pertinence des examens en question.

Les défis et les risques posés par l’autorisation de l’IA dans les examens

Quand bien même autoriser l’utilisation de l’IA dans l’évaluation des compétences peut avoir du sens selon l’objectif pédagogique poursuivi, d’après nous, les examens écrits aménagés en ce sens ne sont pas sans poser certains défis et risques :

1. Une validité remise en question: Le principal enjeu concerne la validité des examens : si l’on autorise sans restrictions l’usage de l’IA générative, alors on saura de moins en moins clairement ce qui est contrôlé et évalué exactement par l’examen : s’agit-il des compétences métier au sens strict, de la maîtrise de l’IA (avec, en particulier, la capacité à effectuer des recherches et à prompter), ou bien des performances de l’IA utilisée, sachant que bien souvent, la part de travail fournie par les candidats et candidates est difficile à dissocier des résultats produits par la machine ? Cette absence de clarté se révèle être particulièrement problématique pour les métiers dans lesquels l’usage de l’IA ne constitue pas un élément clé des compétences professionnelles attendues. Impossible par exemple pour un examen de déterminer clairement, dans le cas où l’IA serait utilisée sans restrictions, si les élèves aspirant à enseigner remplissent les conditions nécessaires pour interagir avec les parents ou pour fabriquer un système de filetage. Du reste, même dans les métiers requérant de savoir utiliser l’IA et dans l’enseignement de culture générale (ECG), la validité des examens autorisant un usage sans restrictions de l’IA se retrouve remise en question.
2. Une objectivité incertaine et la question des conditions de passation des examens: Après la validité, viennent les questions liées à l’objectivité et aux conditions dans lesquelles se déroulent les examens. L’évaluation de productions d’examen assistées par IA ouvre de fait une marge d’interprétation plus large lorsqu’il s’agit, par exemple, de déterminer le niveau d’autonomie de l’élève dans la résolution d’un exercice ou, au contraire, de l’assistance majeure de l’IA dans le processus. Il n’existe du reste pour le moment, dans la plupart des cas, aucune norme contraignante concernant le choix des systèmes d’IA ou des versions autorisés, et ce alors même que les différences en matière de performances et de fonctionnalités sont dans certains cas de taille. Avec les outils classiques comme les calculatrices, les modèles et les fonctions autorisés sont généralement clairement définis. Il est à noter que ce problème pourra être amené à s’intensifier si les fournisseurs d’IA continuent à augmenter les tarifs de leurs modèles les plus performants.
3. Impossibilité de contrôler les connaissances de base: Les procédures de qualification doivent continuer à garantir que les élèves disposent bien des connaissances théoriques fondamentales nécessaires à l’exercice de leur métier. Doivent pour cela être contrôlés les connaissances de base ainsi que la maîtrise de l’arrière-plan théorique. Il s’agit là de connaissances qui, en plus de former un élément clé des compétences métier, sont une condition préalable à la poursuite de sa formation, par exemple si l’élève souhaite passer une maturité professionnelle ou s’inscrire à une formation professionnelle supérieure. Or, impossible de contrôler l’acquisition des connaissances de base avec le format d’examen écrit à livre ouvert autorisant un usage sans restrictions de l’IA. Nous estimons pour cette raison que, si l’IA venait à être autorisée lors des examens, il conviendrait d’organiser ces derniers en deux temps : une première étape consisterait à réaliser les exercices demandés à l’aide d’un papier et d’un crayon, et une deuxième étape autoriserait les élèves à utiliser leurs propres dispositifs numériques et l’IA.
4. La perte de légitimité des examens écrits: Si les examens écrits venaient à voir leur pertinence remise en cause par un usage sans restrictions de l’IA, c’est tout ce format classique d’examen qui se retrouverait fondamentalement remis en question, a fortiori à l’issue des formations initiales. On verrait alors s’accentuer un phénomène de délégitimation qui a touché de nombreuses formations initiales sous l’impulsion de l’orientation vers les compétences opérationnelles ces dernières années. Il nous semble que cette délégitimation serait problématique, car en fournissant une évaluation relativement objective de vastes connaissances professionnelles de base, les examens écrits apportent un complément décisif aux formats d’examen tournés vers la pratique, en particulier dans les entreprises formatrices et les centres de cours interentreprises, contribuant ce faisant de manière importante à la fonction de certification et de sélection des procédures de qualification. En fragilisant donc cette fonction que revêtent les examens écrits, on court le risque de voir les diplômes professionnels perdre de leur crédibilité, et, dans ce cas, la reconnaissance sociale dont bénéficie la formation professionnelle s’étiolerait.
5. Une image peu réaliste des usages de l’IA dans le monde du travail: Les écoles ont parfois tendance à oublier que les usages de l’IA dépendent dans une large mesure du secteur professionnel concerné et des entreprises. Beaucoup d’entre elles disposent en effet désormais de leurs propres directives plus ou moins détaillées sur les systèmes d’IA qu’elles autorisent à utiliser et sur les informations pouvant être transmises ou non à des tiers par le biais de prompts. Les écoles professionnelles ne sont donc pas en mesure d’encourager et d’évaluer, ou alors ne le sont que dans une certaine limite, l’acquisition de certaines compétences métier spécifiques liées à l’usage de l’IA (voire peut-être même une bonne partie d’entre elles). Autoriser un usage sans restrictions de l’IA, c’est donc donner une image incomplète des réalités du métier. Aussi, si la maîtrise de l’IA est enseignée et évaluée comme compétence métier, il faut que ce soit en tenant compte des conditions particulières d’exercice du métier en question. Les cours interentreprises, qui sont plus proches du monde du travail et des transformations technologiques qui s’y opèrent, pourraient ici jouer un rôle important.

Nos recommandations

Nous sommes d’avis que les discussions menées sur les examens à livre ouvert ne doivent être nourries ni par un enthousiasme de principe pour les nouvelles technologies numériques, ni par une position de refus général vis-à-vis de l’IA générative. Bien plus décisif est de savoir quelles compétences doivent être contrôlées par les procédures de qualification et quels formats d’examen se prêtent le mieux à ces contrôles.

Dans le cas des examens finaux écrits de la procédure de qualification, les enjeux précédemment exposés laissent à penser qu’il vaut mieux se montrer prudent quant à l’idée d’autoriser l’usage de l’IA générative sans restrictions

Dans le cas des examens finaux écrits de la procédure de qualification, les enjeux précédemment exposés laissent à penser qu’il vaut mieux se montrer prudent quant à l’idée d’autoriser l’usage de l’IA générative sans restrictions. Compte tenu des débats qui ont agité le grand public récemment au sujet de la procédure de qualification dans le domaine du commerce, il serait souhaitable que les organismes responsables aient le courage d’engager une discussion sérieuse sur la révision de la procédure de qualification, dans l’idéal en discutant avec les cantons. Étant donné la vitesse fulgurante à laquelle s’opèrent les changements technologiques, dont on peinait encore à anticiper l’impact il y a quelques années, une refonte du format d’examen ne signerait pas l’échec du processus de réforme, mais témoignerait au contraire d’une évolution responsable appuyée sur des preuves scientifiques.

Le cas des examens visant à déterminer la note d’expérience des élèves est quelque peu différent, ne serait-ce que parce que leur aménagement touche moins à la crédibilité des diplômes professionnels standardisés à l’échelle du pays. Cela étant, ces examens remplissent une fonction essentielle en matière d’acquisition et de contrôle des connaissances de base. Ici aussi, l’utilisation de l’IA ne doit donc pas être autorisée de façon globale, mais doit l’être de manière ciblée, en tenant compte des objectifs d’apprentissage et des finalités de l’examen. Pour cette raison, il ne faut pas que les établissements scolaires poussent les professeurs à autoriser systématiquement l’IA pour ces examens.

Autoriser un usage non systématique mais davantage ciblé de l’IA est une piste intéressante notamment pour les unités d’apprentissage visant expressément le développement des compétences liées à la maîtrise de l’IA. Là encore, autoriser l’IA sans restrictions n’aurait aucun sens dans la plupart des cas. Ce qui serait envisageable, par contre, c’est d’opter pour un format d’examen fonctionnant par étapes, comme nous l’avons décrit plus haut : dans un premier temps, les candidats et candidates n’auraient pas accès à l’IA et réaliseraient par exemple une première ébauche de leur travail, en justifiant leurs choix, puis, dans un second temps, ils et elles mettraient leurs idées en œuvre grâce à l’IA.

Ces nouveaux aménagements seront très exigeants pour les professeurs, qui doivent être en mesure de déterminer si l’usage de l’IA a un intérêt didactique ou si, au contraire, il risque de nuire à la pertinence d’un examen.

Ces nouveaux aménagements seront très exigeants pour les professeurs, qui doivent être en mesure de déterminer si l’usage de l’IA a un intérêt didactique ou si, au contraire, il risque de nuire à la pertinence d’un examen. Compte tenu des incertitudes en présence, nous avons besoin de formations continues adaptées, d’une direction claire et d’un espace permettant d’échanger entre professionnels sur la culture d’examen à développer pour s’adapter aux évolutions technologiques sans avoir à renoncer aux exigences de qualité des examens.

Nous tenons à remercier Maja Pesic, Peter Wlodarczak et Michael Zwick pour les remarques dont ils nous ont fait part à la Haute école pédagogique de Zurich lors des études qu’ils suivent pour enseigner en école professionnelle.

La présente contribution est protégée par le droit d'auteur. Toute utilisation est autorisée à l'exception de l'utilisation commerciale. La distribution sous la même licence est possible ; elle nécessite toutefois la mention de l’auteur.