Hallucinations de l’IA : causes, coûts et atténuation

Des organisations de toutes sortes, dans tous les secteurs, se hâtent de suivre le mouvement en matière d'IA générative. Basés sur de grands modèles de langage (LLM), les chatbots, moteurs de recherche et outils d'interaction avec les clients, les utilisateurs et d'autres acteurs sont déployés à un rythme effréné. Toutefois, dans bien des cas, les organisations accordent trop peu d'attention aux différents types de risques associés à cette toute nouvelle technologie.

Dans un récent article de blog, Gabriel Moss, ingénieur logiciel chez Barracuda, a détaillé les façons dont les cybercriminels peuvent utiliser – et utilisent – des techniques d'empoisonnement et de manipulation des données pour corrompre les LLM, ce qui peut s'avérer coûteux pour leurs propriétaires. 

Dans ce billet, Gabriel a également abordé brièvement le problème des « hallucinations » de l'IA, aux conséquences potentiellement tout aussi onéreuses, mais qui ne résultent pas d'actions délibérées de la part d'attaquants humains. 

ChatGPT vous mentirait-il ?

Le sujet suscite quelques interrogations d'ordre philosophique, comme savoir s'il est possible de mentir en ignorant que l'on ment, ou même de comprendre la différence entre la vérité et le mensonge. Mais ChatGPT et d'autres LLM ont certainement prouvé qu'ils étaient capables d'inventer des informations. 

Comme vous le savez certainement, lorsque les LLM produisent des réponses confabulées à des requêtes, on parle d'hallucinations. De fait, le célèbre dictionnaire anglais Cambridge a fait du verbe « halluciner » son mot de l'année 2023 en y ajoutant une nouvelle définition dans le domaine de l'IA.

Malheureusement, les hallucinations de l'IA peuvent avoir des conséquences réellement néfastes, tant pour les organisations qui déploient des chatbots LLM que pour leurs utilisateurs finaux. Cependant, il existe des moyens de minimiser les hallucinations et d'atténuer les dommages qu'elles causent.

Pourquoi je n'utilise pas les LLM

Un jour, j'ai demandé à un chatbot d'IA de me rédiger la première version d'un article de blog. Comme il avait été entraîné à partir d'informations publiées avant 2016, je lui ai demandé d'utiliser Internet pour trouver des sources d'information récentes. En outre, je lui ai spécifiquement enjoint d’inclure des citations et des liens vers les sources qu’il utiliserait.

En retour, j'ai reçu un petit essai relativement satisfaisant, écrit dans un style fade mais adéquat, qui citait plusieurs articles de presse et revues académiques. 

Or, j'ai découvert que les citations étaient toutes inventées. Les sites Web ou les articles spécifiques cités n'existaient pas, à une exception près ; dans ce cas précis, l'article existait bien, mais la citation directe de l'article incluse par le chatbot n'y figurait pas. 

Sur le moment, j'ai été surpris, mais je n'aurais pas dû l'être. Ces systèmes sont principalement motivés par la nécessité impérative de fournir une réponse, et ils ne comprennent en aucun cas que celle-ci doit être basée sur des faits réels. Ils peuvent donc générer des citations bien formulées et plausibles sans connaître le principe fondamental d'une citation : elle doit rapporter exactement les propos de sources qui existent réellement. 

J'ai commencé à qualifier ces chatbots LLM de « moteurs de plausibilité ». J'espère encore que ce terme sera plus largement adopté, mais ce n'est pas le cas pour l'instant. Quoi qu'il en soit, après cet incident, j'ai décidé qu'à mon âge, écrire à l'ancienne me convenait parfaitement. Mais je peux également comprendre que certains auteurs de textes puissent trouver ces outils précieux, à condition de vérifier rigoureusement les informations et de procéder à une réécriture. 

Des hallucinations coûteuses dans la vraie vie

Tout le monde ne prend pas la peine de vérifier les citations dans les textes générés par les LLM, parfois au détriment des acteurs concernés. C'est ainsi que l'an dernier, deux avocats américains ont été condamnés à une amende, tout comme leur cabinet, après avoir déposé auprès du tribunal un dossier de plainte pour préjudice corporel lors d'un incident dans un avion. 

Le problème, c'est qu’ils avaient utilisé ChatGPT pour générer le dossier et que celui-ci citait des affaires inexistantes. Pour le juge chargé de l'affaire, l'utilisation du LLM en vue de faciliter les recherches dans le dossier n'avait rien d'inappropriée, mais il a déclaré – on aurait espéré qu'il était inutile de le rappeler – que les avocats doivent s'assurer que leurs dépôts de plaintes ne comportent aucune erreur. 

Dans un cas similaire, un professeur d'université a demandé à une bibliothécaire de lui fournir des articles de revues à partir d'une liste qu'il lui avait remise. Mais il avait obtenu cette liste sur ChatGPT, et les articles listés n'existaient pas. Dans ce cas précis, l'erreur n'a eu aucune conséquence, si ce n'est l'embarras du professeur. 

D'autres affaires sont potentiellement plus problématiques :

• Amazon semble vendre des guides de cueillette des champignons rédigés par l'IA. Qu'est ce qui pourrait bien arriver ?

• Lors de sa première démonstration publique, Bing Chat a fourni des données financières inexactes sur les entreprises The Gap et lululemon. Caveat investor ! (La première démo du chatbot Bard de Google s'est avérée tout aussi gênante.)

• Le chatbot MyCity de New York, alimenté par l'IA, invente des statuts et politiques municipaux, indiquant par exemple à un utilisateur qu'il ne pouvait pas être expulsé pour non-paiement de loyer.

• Dans au moins deux cas, ChatGPT a inventé des scandales impliquant des personnes réelles (un professeur soi-disant accusé de harcèlement sexuel et un maire prétendument condamné pour corruption), ce qui pourrait causer un préjudice réel aux individus concernés.

Comment atténuer le problème ?

De toute évidence, la vérification des faits et la supervision humaine sont indispensables pour détecter et éliminer les hallucinations de l’IA. Malheureusement, cela implique une diminution des économies de coût que ces bots permettent de réaliser en se substituant aux travailleurs humains. 

Une autre stratégie fondamentale consiste à gérer et à contrôler étroitement les informations que vous utilisez pour entraîner votre LLM. Assurez-vous de la pertinence des données par rapport à la tâche prévue pour le LLM, et utilisez uniquement des sources de données exactes. Cela n'empêchera pas complètement le LLM d'assembler des mots de manière erronée, mais cela réduira le nombre d'hallucinations dues à l'utilisation de contenus manquant de pertinence et de fiabilité.

De manière plus générale, il est essentiel de comprendre les limites de ces systèmes et de ne pas trop en attendre. Ils ont toute leur place dans le monde actuel et s’amélioreront probablement avec le temps (mais cela ne suffira pas). 

Pourquoi cet état de choses risque d'empirer de toute façon

Malheureusement, le problème des hallucinations de l'IA risque d'empirer avec le temps pour une raison importante : à mesure que les LLM produiront toujours plus de résultats inexacts, ces données feront de plus en plus souvent partie du prochain ensemble d'entraînement du LLM, créant ainsi une boucle d'erreur auto-renforcée qui pourrait rapidement devenir incontrôlable. 

En conclusion, je répéterai le dernier paragraphe de l'article de blog de Gabriel que j'ai évoqué au début :

Les applications basées sur des LLM apprennent d’elles-mêmes ainsi qu'entre-elles et cela peut les amener dans une boucle infinie et créer ainsi une situation critique dans laquelle elles peuvent empoisonner par inadvertance leurs propres ensembles d’entraînement et ceux des autres, par le simple fait de les utiliser. Ironiquement, à mesure que la popularité et l’utilisation des contenus générés par l’IA augmentent, la probabilité que les modèles s’effondrent sur eux-mêmes augmente également. L’avenir de l’IA générative est loin d’être certain.