Quel est l’impact de l’IA dans le conseil et la conception pédagogique?
Trois hypothèses et trois constats
Quelle part du travail des conseiller·ères et concepteur·rices pédagogiques (CP) pourrait être confiée à une IA générative? C’est la question que la Dre Philippa Hardman a explorée lors d’une expérimentation menée à l’été 2024 auprès de 200 professionnel·les de la conception pédagogique. Parcourons les résultats.
Une méthodologie en trois temps
Si l’on en croit ces résultats, l’avenir de la conception pédagogique réside probablement dans une relation symbiotique entre l’humain et l’IA.
Trois tâches de conception pédagogique de complexité variable ont été sélectionnées : rédiger des objectifs d’apprentissage, sélectionner une stratégie pédagogique, créer un plan de cours. En s’appuyant sur le même dossier pédagogique, trois personnes au profil différent avaient pour mandat de réaliser ces trois tâches : une personne CP expérimentée sans IA, une personne CP expérimentée avec IA, une personne novice (non CP) avec IA. Enfin, 212 CP ont évalué à l’aveugle la qualité des résultats pour chacune des tâches.
Trois hypothèses ont été formulées :
Les méthodes traditionnelles (sans IA) sont les meilleures;
L’IA améliore la vitesse et la qualité du travail des CP expérimentés;
L’IA permet à n’importe qui de faire le travail d’un CP de manière efficace.
Les résultats à la suite de l’évaluation des trois tâches
En troisième position
Pour les trois tâches analysées, la personne CP expérimentée arrive en troisième place… lorsqu’elle n’utilise pas l’IA. En effet, on observe qu’elle a produit :
Des objectifs d’apprentissage jugés très bons ou exceptionnels par seulement 11% des évaluateurs.
Une stratégie pédagogique jugée médiocre ou tout juste acceptable par 50% des évaluateurs.
Un plan de cours jugé très bon ou exceptionnel par 30% des évaluateurs.
Au niveau qualitatif, les évaluateurs ont formulé un certain nombre de commentaires.
Concernant les objectifs d’apprentissage, ils observent que ceux-ci ne contiennent pas de verbe d’action, ne se mesurent pas, contiennent trop d’informations, ressemblent davantage à une liste de sujets à aborder ou encore manquent de « touche humaine ».
Ils reprochent également que la stratégie pédagogique présentée ne suscitait pas l’engagement, mettait beaucoup d’accent sur l’enseignement direct ou était dépassée.
Quant au plan de cours, les évaluateurs ont perçu une connaissance de l’expert, mais que celle-ci n’a pas été présentée de manière convaincante.
En deuxième position
Pour les trois tâches étudiées, la personne non expérimentée, et aussi non CP, arrive sur la 2e marche du podium… lorsqu’elle mobilise l’IA. En effet, on observe qu’elle a produit :
Des objectifs d’apprentissage jugés très bons ou exceptionnels par 60% des évaluateurs.
Une stratégie pédagogique jugée très bonne ou exceptionnelle par 79% des évaluateurs.
Un plan de cours jugé très bon ou exceptionnel par 48% des évaluateurs.
L’analyse qualitative des commentaires a révélé que :
Les objectifs d’apprentissage formulés par la personne non CP ayant utilisé l’IA étaient bien rédigés, mesurables et en adéquation avec la taxonomie de Bloom.
Les évaluateurs ont apprécié que la stratégie pédagogique sélectionnée soit centrée sur les apprenants et qu’elle leur permettait de mettre en pratique les apprentissages.
Enfin, le souci du détail, la proposition de sujets d’envergure, la cohérence avec l’objectif et la séquence adéquate ont été les éléments positifs formulés par les évaluateurs lorsqu’ils ont pris connaissance du plan de cours.
En première place
Pour les trois tâches étudiées, la personne CP expérimentée arrive en tête du classement… lorsqu’elle mobilise l’IA. En effet, on observe qu’elle a produit :
Des objectifs d’apprentissage jugés très bons ou exceptionnels par 71% des évaluateurs.
Une stratégie pédagogique jugée très bonne ou exceptionnelle par 76% des évaluateurs.
Un plan de cours jugé très bon ou exceptionnel par 86% des évaluateurs.
Plusieurs points positifs ont été mentionnés par les évaluateurs.
Lors de l’analyse des objectifs d’apprentissage, ces derniers expliquent bien ce que l’étudiant doit faire et sont structurés de manière à expliquer aux étudiants pourquoi ils sont importants.
Quant au choix de la stratégie pédagogique, les évaluateurs ont salué le fait qu’elle soit axée sur des applications réelles, qu’elle soit engageante et appuyée sur la littérature.
Pour le plan de cours, on souligne le côté plus humain, abouti et détaillé, avec des objectifs clairement liés aux modules. L’ajout de balises d’objectifs indique qu’un·e expert·e a participé, mais qu’il y a plus de détails que ce qu’un humain produirait typiquement pour ce type de projet.
À retenir
À la suite de cette expérimentation, la Dre Hardman met l’accent sur quelques thèmes émergents.
Pour les trois tâches pédagogiques demandées, le travail humain assisté de l’IA générative a produit des résultats de meilleure qualité que ceux d’un CP expérimenté sans IA. De plus, à l’aveugle, les évaluateurs attribuent à l’humain les contenus qu’ils jugent de meilleure qualité… même si ces contenus sont générés par une IA.
L’IA générative a démontré qu’elle pouvait être efficace dans des domaines considérés comme exclusivement « humains », comme la création de contenus structurés, adaptés au contexte et bien alignés aux objectifs.
L’IA générative a « égalisé » la performance d’une personne non CP et celle d’une personne CP expérimentée travaillant seule. En effet, elle a produit un travail jugé comparable ou meilleur.
En somme, l’IA générative pourrait agir comme « mentor » auprès de la personne CP novice en la soutenant dans la mise en pratique des concepts fondamentaux.
Quant aux personnes CP expérimentées, l’IA générative pourrait agir comme « apprentie » en automatisant des tâches de moins grande valeur afin qu’elle puisse véritablement mettre à profit sa connaissance approfondie du domaine.
L’expertise et les connaissances humaines sont cruciales pour alimenter, orienter, affiner et valider « la machine IA». En effet, les résultats optimaux sont obtenus lorsqu’il y a une relation symbiotique entre la personne CP humaine responsable dans la boucle et l’IA pour compléter les compétences.