Gemini, ou les infortunes de la vertu
Le « shadow prompting » et les biais de l’IA
La récente controverse entourant l’IA générative de Google est riche en enseignements sur l’évolution récente de l’industrie.
Les technologies sont porteuses des valeurs des personnes qui les conçoivent. Et cet enjeu va continuer de gagner en intensité dans le domaine des IA génératives, selon Kevin Roose, journaliste en technologies au New York Times.
The Daily – Podcast, le balado quotidien du New York Times, que nous avons recommandé récemment dans un billet consacré aux meilleurs balados du moment, a proposé dans son épisode du 7 mars dernier une mise en perspective de la controverse suscitée par la mise en service de Gemini. Cette IA générative multimodale (texte, image, vidéo et son) est la tentative pour la société Alphabet (Google) de se tailler une place sur le marché très compétitif des systèmes d’IA pour le grand public.
Quelques jours après son lancement, des utilisateurs ont partagé sur les réseaux sociaux des images générées par Gemini où l’on représentait les fondateurs des États-Unis à la peau noire, des officiers nazis aux traits asiatiques, ou encore des papes de sexe féminin. Le fruit des invites (prompts) lancées à Gemini avaient en commun de proposer des images dont les protagonistes étaient factuellement erronés.
Aiguillé par la noble intention de diversifier les représentations des personnes, Gemini a pêché par excès de zèle inclusif, commettant ainsi des contresens historiques.
Devant l’ampleur du problème, Google décide de désactiver son générateur d’images, suivi à la fin février de la publication dans les médias d’un mémo interne du PDG de Google, Sundar Pichai, qui s’excuse de ce faux pas.
Une IA « woke » ?!
Dans le climat politique ultra polarisé des États-Unis, une telle bévue n’est pas passée inaperçue. La droite américaine s’est rapidement emparée de l’affaire pour dénoncer ce qui, selon elle, démontre une fois de plus l’agenda gauchiste de l’entreprise de la Silicon Valley.
Connu pour ses politiques internes favorables à l’équité, la diversité et l’inclusion (EDI), Google aurait sciemment décidé de récrire l’histoire en y expurgeant les personnes de race blanche.
New game: Try to get Google Gemini to make an image of a Caucasian male. I have not been successful so far. pic.twitter.com/1LAzZM2pXF
— Frank J. Fleming (@IMAO_) February 21, 2024
Ainsi, Elon Musk s’est permis dans une publication du 22 février sur X, le réseau social numérique dont il est le propriétaire et l’un des plus actifs contributeurs, d’avancer que Google a révélé au grand jour son programme « raciste » et « anti-civilisationnel ». Le multimilliardaire en a profité du même souffle pour mousser son propre outil d’IA générative, Grok, qui aurait le mérite de ne pas être contaminé par le « virus de l’esprit woke »…
Selon Roose, la droite s’est plainte de ces biais, non pas parce qu’ils veulent que les systèmes d’IA soient moins biaisés, mais parce qu’ils veulent qu’ils soient biaisés dans leur sens.
En cause : la métamorphose furtive de l’invite
Au-delà de ses escarmouches idéologiques, dernière démonstration en date de la vivacité de la « guerre culturelle » qui se recompose autour du wokisme chez nos voisins du Sud, intéressons-nous plutôt à ce que cet épisode nous apprend au sujet de la trajectoire actuelle de l’IA.
Toujours d’après Roose, ce qui est significatif, c’est qu’il est difficile, même pour les entreprises d’IA les plus sophistiquées, de prédire le comportement de leurs modèles et les effets qu’ils auront sur le monde.
L’élément en cause dans cet épisode serait attribuable à une technique récente, appelée « prompt transformation » par OpenAI, ou encore « shadow prompting » (Salvaggio, 2023), et que l’on pourrait peut-être traduire en français par l’expression suivante : une métamorphose furtive de l’invite. Celle-ci est utilisée par les grands joueurs de l’industrie et consiste à réécrire la requête d’un utilisateur à son insu avant de l’acheminer au modèle pour qu’il la traite :
Ainsi, si vous entrez une invite qui dit « Faites-moi une image des pères fondateurs américains », l’application réécrira votre invite, sans vous en avertir, pour y inclure des éléments tels que « Veuillez montrer une gamme variée de visages dans cette réponse ». Il transmettrait ce message transformé au modèle, et c’est ce que votre résultat refléterait, et non ce que vous auriez réellement tapé. […] Je pense qu’il s’agit d’une fonctionnalité dont les théoriciens de la conspiration peuvent s’emparer et dire qu’ils modifient secrètement ce que vous lui demandez de faire pour le rendre plus « woke ».
– Kevin Roose, journaliste en technologies
La métamorphose furtive de l’invite agit ainsi comme un filtre pour « bonifier » la requête initialement formulée par l’humain. Cela permet à un utilisateur peu chevronné de générer à partir d’une invite simple un produit potentiellement plus riche en signification que ce qu’il a demandé, mais au prix de ne pouvoir déterminer lui-même les éléments qui composent l’invite réécrite à son insu. À l’heure actuelle, l’opacité de cette approche pose problème.
La génération d’images avec ChatGPT permet déjà d’accéder via un bouton informatif cliquable l’invite transformée, et donc véritablement utilisée par le modèle, ce qui permet d’augmenter la transparence du point de vue de l’usager. Il y a fort à parier que Gemini incorporera une telle fonctionnalité lorsque Google réactivera son générateur d’images…
La technologie est porteuse de visions du monde
L’infortune récente de Gemini a permis de braquer les projecteurs sur les multiples enjeux que pose la métamorphose furtive de l’invite, donnant lieu à des commentaires sur le type de fonctionnalité qu’il faudrait développer pour augmenter les possibilités de paramétrage des IA génératives.
Un élément de solution proposé par Kevin Roose est de donner la possibilité aux utilisateurs de personnaliser les invites en fonction de leur contexte d’utilisation, ou de leur vision du monde. Permettre à l’usager d’injecter ses préférences contextuelles ou idéologiques pour contourner celles mises en place par les concepteurs constitue une avancée intéressante. Ceci dit, elle déplace le problème ailleurs, soit le fait que l’usager pourra ainsi renforcer ses biais de confirmation, se plaçant ainsi dans une « bulle informationnelle » (filter bubble) au lieu d’accéder à une compréhension plus nuancée, ou différente de ses préconceptions.
En somme, les technologies ne sont jamais neutres et sont porteuses de visions du monde qui charrient avec elles des valeurs — celle des concepteurs ou celles d’utilisateurs ? Le débat ne fait que commencer.
Chose certaine, la compétition est féroce entre les joueurs de l’industrie, ce qui les pousse à lancer des produits qui n’ont pas été suffisamment testés avant de les rendre publics. Dans ce contexte, nous apprend Bloomberg, le personnel de Google qui travaille sur l’éthique de ses produits d’IA serait particulièrement « démoralisée » d’avoir à procéder à vitesse grand V, sans pouvoir prendre les précautions requises avant de rendre publics ses produits (Alba et al., 28 février 2024).
Bibliographie
Alba, D., Love, J. et Ghaffary, S. (2024, 28 février). Google Left in ‘Terrible Bind’ by Pulling AI Feature After Right-Wing Backlash. Bloomberg. https://www.bloomberg.com/news/articles/2024-02-28/google-left-in-terrible-bind-by-pulling-ai-feature-after-right-wing-backlash
Barbaro, M., Roose, K., Tan, S., Chaturvedi, A., Wilson, M., Klinkenberg, B., Wong, D., Lozano, M., Reid, W. et Moxley, A. (2024, 7 mars). The Miseducation of Google’s A.I. The New York Times, Podcasts. https://www.nytimes.com/2024/03/07/podcasts/the-daily/gemini-google-ai.html
Raghavan, P. (2024, 23 février). Gemini image generation got it wrong. We’ll do better. Google. https://blog.google/products/gemini/gemini-image-generation-issue/
Roose, K., Newton, C., Land, D., Cohn, R., Poyant, J., Wood, C., Powell, D., Lozano, M., Niemisto, R. et Wong, D. (2024, 1er mars). Gemini’s Culture War, Kara Swisher Burns Us and SCOTUS Takes Up Content Moderation. The New York Times, Podcasts. https://www.nytimes.com/2024/03/01/podcasts/hardfork-google-gemini-kara-swisher.html
Salvaggio, E. (2023, 19 octobre). Shining a Light on “Shadow Prompting” | TechPolicy.Press. Tech Policy Press. https://techpolicy.press/shining-a-light-on-shadow-prompting
