30 octobre 2024

Comment la communauté Wikipédia traite les contenus générés par l’IA générative

Les règles relatives à l’utilisation de l’IA au sein de Wikipédia en sont encore à leurs balbutiements, mais s’affinent à chaque décision communautaire entourant cette technologie.

Vers un usage raisonné dans l’encyclopédie?

L’IA générative s’infiltre désormais dans toutes les activités humaines. Le Collimateur a consacré plusieurs billets à mettre en relief les enjeux de cette technologie dans le milieu de l’éducation supérieure (voir nos textes à ce sujet), mais nous tâchons également de rester à l’affût de ce qui se joue à cet égard au sein d’autres sphères de la société. Le projet collaboratif Wikipédia est un cas que nous suivons avec intérêt. Cette autre communauté productrice de savoir est elle aussi aux prises avec les périls et opportunités de la génération automatisée de contenus — voir le billet fouillé que nous avons consacré à la réception de ChatGPT au sein de Wikipédia en 2023.

Un article de 404 Media paru récemment propose une incursion dans un nouveau projet qui mobilise une partie de la communauté encyclopédique depuis les derniers mois (Maiberg, 2024). Afin de systématiser les pratiques de repérage et d’édition relatives aux productions automatisées qui ne respectent pas les règles communautaires, le Wikiproject AI Cleanup a été mis sur pied. Voici l’objectif poursuivi par ce projet lancé en décembre 2023 au sein de la version anglophone de Wikipédia :

« L’objectif de ce projet n’est pas de restreindre ou d’interdire l’utilisation de l’IA dans les articles, mais de vérifier que ses résultats sont acceptables et constructifs, et de les corriger ou de les supprimer dans le cas contraire ».

La version française de Wikipédia n’est pas en reste. Depuis début octobre 2024, elle s’est dotée d’un Observatoire des IA, visant des objectifs similaires à ceux de son homologue anglophone.

Selon Emanuel Maiberg, journaliste ayant interrogé des wikipédistes participant à l’initiative anglophone, «Wikipédia se distingue, du moins pour l’instant, par une performance supérieure à celle des autres grands services Internet dans la détection et le filtrage des contenus trompeurs générés par l’IA. Cette efficacité repose sur l’engagement constant de volontaires humains, chargés d’examiner les nouveaux articles et de vérifier que les informations présentées proviennent de sources fiables» (Maiberg, 2024).

Repérer les phrases typiques de contenus générés par l’IA

Diverses stratégies sont employées pour repérer l’utilisation de l’IA générative. La plus simple consiste à débusquer les occurrences dans l’encyclopédie des formulations communément employées par certaines instances de cette technologie. Par exemple, les phrases qui incorporent un bornage temporel du modèle utilisé par le robot conversationnel, du genre «En date de ma dernière mise à jour des connaissances en janvier 2022». Une telle approche de repérage n’est pas inédite.

Le chercheur français Guillaume Cabanac a déjà employé une méthode similaire pour détecter les usages non déclarés de ChatGPT dans la littérature savante. En recherchant l’expression «Régénérer une réponse», une fonctionnalité typiquement proposée par le robot pour générer une nouvelle version d’un texte, il a pu identifier de nombreuses pratiques fautives en science (Joelving, 2023). Non seulement ces chercheurs peu consciencieux ont recopié cette formulation dans leurs articles, mais — c’est probablement là où le bât blesse — le processus d’évaluation par les pairs n’a pas permis de détecter une telle manœuvre.

La vérification humaine des articles scientifiques avant publication implique tout au plus une poignée de personnes expertes, alors que la culture éditoriale de Wikipédia admet quant à elle la participation de toute la communauté, y compris son lectorat, pour débusquer de tels problèmes, et ce, tout au long de la vie de l’article.

Contrairement aux pratiques en recherche, où un article est rétracté en cas d’inconduite des auteur·rices, Wikipédia fonctionne comme une œuvre collective sans auteur. Des milliers de wikipédistes anonymes s’efforcent d’améliorer en continu les articles, garantissant ainsi une évolution constante de leur qualité.

La chasse aux «hallucinations» documentaires

Le repérage de phrases typiques générées par l’IA est relativement aisé. Cependant, la tâche devient plus complexe lorsqu’il s’agit d’identifier de fausses citations, un problème bien documenté de l’IA générative. Ces systèmes peuvent en effet «halluciner» des sources bibliographiques inexistantes. Selon un contributeur du Wikiprojet consacré à la détection de l’IA, ces fausses citations représentent un défi particulièrement difficile à surmonter.

Même lorsqu’un texte encyclopédique semble bien rédigé, l’absence de sources à l’appui de ses affirmations peut entraîner sa suppression. Une règle communautaire bien établie de longue date sur Wikipédia stipule que toutes les informations non vérifiables peuvent être supprimées. Grâce à ce principe de vérifiabilité, une partie importante du contenu non «sourcé», qu’il soit produit par un humain ou par une IA, peut ainsi passer à la trappe en un tournemain.

Les affirmations accompagnées d’une référence inspirent davantage de confiance, car on présume encore souvent que ces documents existent bel et bien. Toutefois, l’effort nécessaire pour remonter jusqu’à la source peut s’avérer particulièrement chronophage, surtout lorsqu’il s’agit de vérifier l’existence d’un livre… qui, au final, n’existe pas.

Cette asymétrie d’effort illustre parfaitement la célèbre Loi de Brandolini : quelques secondes suffisent à une IA pour générer une hallucination documentaire, tandis que la vérification de cette information exige un travail minutieux de la part des personnes humaines. Le résultat est que ces erreurs, estampillées par une technologie de pointe, prolifèrent à un rythme bien plus rapide que la capacité humaine à les corriger.

Peut-on résoudre ce problème causé par l’IA en utilisant une technologie dérivée de l’IA elle-même? Cette solution ne semble pas envisageable, conclut un wikipédiste bien au fait du dossier, interrogé par le journaliste de 404 Media. «Il n’existe aucune “machine oracle” capable de distinguer parfaitement un texte généré par l’IA d’un texte purement humain. Les outils de détection de l’IA restent souvent imprécis et ne fonctionnent efficacement que sur des modèles plus anciens, comme GPT-2.»

Une image pouvant engendrer mille maux

La prolifération de contenus générés par l’IA au sein de l’encyclopédie collaborative ne se limite pas au contenu textuel. Les articles Wikipédia contiennent souvent des illustrations, qui peuvent désormais être créées de toutes pièces par l’IA. Le projet communautaire de détection de l’IA cherche donc à documenter ces images afin de déterminer ensuite, au cas par cas, si leur valeur illustrative est suffisante et colle adéquatement au contexte de l’article encyclopédique où on les trouve.

Considérons par exemple l’image suivante, qui était insérée il y a quelque temps dans un article consacré à un temple islamique indien du XIXe siècle, Darul Uloom Deoband.

Fondation du temple Darul Uloom Deoband sous un grenadier (créé par IA) [Œuvre du domaine public]

Une lecture attentive de cette image met en évidence une faiblesse bien connue de l’IA générative : leur difficulté à reproduire fidèlement les doigts humains. Cette œuvre créée avec Midjourney a été retirée de Wikipédia pour cette raison, notamment, mais aussi parce qu’elle pourrait potentiellement causer des maux que l’on souhaite éviter dans une encyclopédie visant à proposer la somme de toutes les connaissances validées : « l’image n’apporte pas grand-chose à l’article, pourrait être confondue avec une œuvre d’art contemporaine et est anatomiquement incorrecte » (Wikipedia, 2024).

Chaque image générée par IA n’est pas systématiquement expurgée de Wikipédia. Elle fait l’objet d’un usage raisonné, en fonction du contexte de chaque article où on l’a introduite.

Tout comme l’encyclopédie, qui est un vaste brouillon qui — espère-t-on — ne cesse de s’améliorer au fil du temps, les règles encadrant l’utilisation de l’IA sur Wikipédia sont encore à leurs débuts. Toutefois, elles s’affinent progressivement à chaque décision communautaire entourant cette technologie.

Bibliographie

Joelving, A. F. (2023, 6 octobre). Signs of undeclared ChatGPT use in papers mounting. Retraction Watch. https://retractionwatch.com/2023/10/06/signs-of-undeclared-chatgpt-use-in-papers-mounting/

Maiberg, E. (2024, 9 octobre). The Editors Protecting Wikipedia from AI Hoaxes. 404 Media. https://www.404media.co/the-editors-protecting-wikipedia-from-ai-hoaxes/

Pour aller plus loin

Chaque version linguistique de Wikipédia jouit d’une grande autonomie pour encadrer ses pratiques d’édition. On lira dans cet essai en anglais les questions que soulève l’IA générative dans la communauté germanophone de Wikipédia.

Pour conclure, il peut être amusant de parcourir les images générées par l’IA et d’examiner les justifications avancées pour leur conservation ou leur suppression dans la version anglaise de Wikipédia. Ces images sont rassemblées dans cette galerie de photos issue du Wikiproject AI Cleanup.

Sujets similaires