Les évaluations passent-elles le test de l’IA ?

La puissance et les performances des agents conversationnels alimentés par l’intelligence artificielle viennent changer certainement la donne en éducation. Mais dans quelle mesure les évaluations d’un cours sont-elles touchées ? Déjà, le passage à la modalité à distance pendant la pandémie a été une occasion de revoir certaines évaluations en plus de repenser les façons d’évaluer les étudiant·es pour prévenir la tricherie et le plagiat. Des Facultés et plusieurs départements ont certainement été touchés plus que d’autres, par exemple les Facultés de droit.

L’exemple de la Faculté de droit de l’Université du Minnesota

Choi, Jonathan H. and Hickman, Kristin E. and Monahan, Amy and Schwarcz, Daniel B., ChatGPT Goes to Law School (January 23, 2023). SSRN: https://ssrn.com/abstract=4335905 or http://dx.doi.org/10.2139/ssrn.4335905

Récemment, des professeur·es de la Faculté de droit de l’Université du Minnesota ont mené une étude qui laisse entrevoir des dérives possibles, mais aussi des promesses pour l’amélioration de la profession d’avocat aux États-Unis.

Ils ont testé ChatGPT pour :

• chercher à évaluer les performances de l’IA lors des examens de l’école de droit, afin de mettre en évidence la manière dont il pourrait modifier à la fois l’enseignement et la pratique du droit;
• produire les réponses à quatre examens finaux distincts pour des cours de droit à l’Université du Minnesota.

Il en résulte dans cette étude :

• que de tels modèles langagiers alimentés par l’IA seront des outils importants pour les avocat·es en exercice à l’avenir;
• que les outils de l’IA seront très utiles aux étudiant·es qui les utilisent de manière licite, ou pas, lors des examens de la Faculté de droit.

L’équipe de chercheur·es notent que les étudiant·es utiliseront probablement ChatGPT de manière bien plus efficace que ce qu’ils ont obtenu dans leur expérience limitée. Ils amélioreront et adapteront leurs requêtes (prompts) au contenu spécifique d’un cours pour se préparer avant l’examen. Également, l’optimisation des requêtes pourra aider les modèles langagiers à produire de meilleures réponses aux examens des Facultés de droit.

Quelques conclusions de l’étude après la mise à l’épreuve de l’IA

Pour les professeur.es de la Faculté de droit :

• établir à l’avance des règles claires et transparentes pour encadrer l’utilisation honnête de ces technologies;
• envisager de limiter l’utilisation de la technologie pendant les examens;
• reconsidérer les types de questions qu’ils posent aux étudiant.es, en se concentrant sur celles qui nécessitent une analyse plutôt que celles qui exigent simplement le rappel de règles juridiques.

Sur le plan pédagogique, les Facultés de droit et départements devront :

• réfléchir à la manière de préparer les étudiant·es en droit à utiliser ces outils le plus efficacement possible dans leur pratique;
• souligner aux étudiant·es que les compétences fondamentales de la recherche et du raisonnement juridiques ne peuvent pas simplement être déléguées à l’IA.

 Pour les administrations :

• réfléchir à la manière de remodeler les codes d’honneur et d’éthique des étudiant.es pour réglementer l’utilisation d’agents conversationnels de l’IA en général.

Pour la profession :

Sur la base des résultats, les chercheur·es pensent également que les agents conversationnels deviendront des outils utiles pour les avocat·es en exercice. Des avocat·es pourraient à l’aide des outils de l’IA :

• préparer le projet initial d’un mémo, puis de le peaufiner si nécessaire;
• les utiliser pour se débarrasser du syndrome de la page blanche;
• les utiliser pour produire un lot initial d’arguments, puis les réduire aux plus efficaces;
• les utiliser pour adapter d’anciens exemples de documents juridiques afin de rendre son travail plus efficace.

En conclusion

• « We expect that ChatGPT could substantially improve the performance of students on exams. This is especially true for low-performing students and those who suffer under time constraints. » (p.12)
  Traduction DeepL :
  « ChatGPT pourrait améliorer de manière substantielle les performances des étudiant·es aux
  examens. Ceci est particulièrement vrai pour les personnes étudiantes peu performantes et celles qui souffrent de contraintes de temps. »
• « While ChatGPT and similar tools might help a lawyer work more efficiently, they cannot (yet) replace the need for a lawyer to locate, understand, and reason from relevant sources of law. » (p.13)
  Traduction DeepL :
  « ChatGPT et d’autres outils similaires peuvent aider les avocat·es à travailler plus efficacement, ils ne peuvent pas (encore) remplacer la nécessité d’avocat·es pour localiser les ressources, pour comprendre et pour développer un raisonnement à partir de sources de droit pertinentes. »

Choi, Jonathan H. and Hickman, Kristin E. and Monahan, Amy and Schwarcz, Daniel B., ChatGPT Goes to Law School (January 23, 2023)