Un demi-siècle avant l’apparition de ChatGPT, en 1966, le prestigieux informaticien théoricien Joseph Weizenbaum créait le premier chatbot de l’histoire. Il s’agissait d’un logiciel simple qu’il avait conçu pour converser avec des utilisateurs en imitant un psychothérapeute. Le programme a été nommé Eliza, en l’honneur du personnage « Pygmalion », une référence mythologique qui a fini par être un avertissement : la machine projette une illusion de compréhension, mais elle ne comprend rien. Telle une prophétie auto-réalisatrice, la création de Weizenbaum a fini par éveiller chez les personnes qui ont interagi avec elle le sentiment que de l’autre côté de l’écran se trouvaient l’intelligence, l’empathie et d’autres caractéristiques humaines. Et ils ont fini par devenir accros.
La perception erronée qui attribue des traits de l’humanité à ce qui est en réalité du code binaire, connue sous le nom d’« effet Eliza », s’est répandue à l’échelle mondiale parallèlement au déploiement accéléré d’outils d’IA générative. Bien que leur conception encourage ce mirage, les assistants conversationnels comme ChatGPT, Gemini, Claude ou Grok sont programmés pour fournir des réponses qui correspondent à ce que recherche l’utilisateur, que ce soit vrai ou non.
Ceci, préviennent les experts, ouvre la porte aux utilisateurs convaincus, qui risquent de perdre contact avec la réalité et de développer toutes sortes d’idées délirantes. « L’utilisation aveugle de l’IA peut renforcer les biais cognitifs, alimenter des dynamiques psychologiques problématiques ou même nous conduire à des spirales de délire », déclare Marcos de Andrés, directeur d’enGrama Psicología, dans des déclarations à EL PERIÓDICO.
L’utilisation aveugle de l’IA peut renforcer les biais cognitifs, alimenter des dynamiques psychologiques problématiques, voire nous entraîner dans des spirales de délire.
Le problème est également reconnu par la Silicon Valley, la Mecque de l’industrie technologique américaine. Mustafa Suleyman, directeur exécutif de l’IA chez Microsoft, a inventé l’année dernière le terme non clinique de « psychose de l’IA » pour décrire un phénomène de plus en plus courant.
« Délires messianiques »
La perception est fausse, mais son impact est réel. Après une conversation de 300 heures, ChatGPT a convaincu Allan Brooks, un Canadien de 47 ans sans antécédents de maladie mentale, qu’il avait découvert une théorie mathématique qui pourrait changer le monde, selon découvert le magazine La vie à Toronto. Une femme expliquée au portail Futurisme que son mari s’est plongé dans des « délires messianiques » et que son comportement est devenu si erratique qu’il a été licencié de son travail et s’est retrouvé dans un établissement de soins psychiatriques.
Il existe d’autres cas encore plus extrêmes en cours d’évaluation devant les tribunaux. Du cadre américain de 36 ans qui s’est suicidé après que l’IA de Google l’ait convaincu qu’ils étaient amoureux et se retrouveraient dans l’au-delà, à l’adolescent finlandais de 16 ans qui a poignardé trois camarades de classe imprégnés d’idées misogynes validées au cours de mois de conversations avec ChatGPT ou au Britannique qui, avec un chatbot, planifié le meurtre de la reine Elizabeth II. « Nous verrons bientôt de nombreux autres cas liés à des incidents avec un grand nombre de victimes », a déclaré l’avocat du premier cas dans des déclarations au portail TechCrunch.
Flatterie et mensonges
Ce phénomène n’est pas le résultat d’une erreur, mais plutôt de la conception des chatbots. Ces produits, souligne De Andrés, sont programmés pour satisfaire l’utilisateur et l’encourager à continuer à utiliser l’outil. C’est pourquoi ils ont tendance à répondre de manière accommodante et à s’adapter aux attentes de celui qui pose la question. UN étude Des recherches récentes indiquent que les modèles d’IA sont 50 % plus flatteurs que les humains.
Cette caractéristique, qualifiée de flagornerie ou de flatterie algorithmique, peut amener l’IA à diffuser des informations erronées si cela plaît à l’utilisateur. À cela s’ajoute un autre problème majeur qui contribue à la distorsion. Ce sont ce qu’on appelle les « hallucinations », la tendance « inhérente » qui pousse ces systèmes à générer des réponses même si elles sont incorrectes, prévient l’ingénieur et informaticien Ramón López de Mántaras, pionnier de l’IA en Espagne. Une analyse de la plateforme NewsGuard indique qu’une personne sur trois contient des informations fausses ou biaisées.
La flatterie algorithmique peut amener l’IA à diffuser des informations erronées si cela rend l’utilisateur heureux
Cependant, une telle servilité présente de multiples « risques insidieux ». UN étude de l’Université John Hopkins affirme que les chatbots créent d’énormes « chambres d’écho » qui « renforcent nos préjugés » et pourraient « élargir le fossé public sur des questions controversées ». Autre enquête ont constaté que les utilisateurs qui utilisaient davantage l’IA étaient moins susceptibles d’admettre qu’ils avaient tort.
« Distorsion du jugement »
Au-delà du risque d’amplification de la désinformation, faire aveuglément confiance à des machines de flagornerie comme ChatGPT peut « fausser le jugement des gens sur eux-mêmes, leurs relations et le monde qui les entoure », selon un article de l’Université de Stanford. Brooks a demandé à ChatGPT plus de 50 fois si sa découverte mathématique était réelle, et à chaque réponse affirmative, il tombait de plus en plus profondément dans une « spirale délirante », dit-il. Le New York Times.
Cela peut être particulièrement dommageable pour ceux qui utilisent l’IA comme conseiller émotionnel. « Il est de plus en plus courant que les utilisateurs se tournent vers l’IA pour obtenir une validation émotionnelle immédiate ou une confirmation que leur interprétation des faits est correcte. Cela se voit particulièrement dans les problèmes liés aux conflits personnels ou relationnels, car de nombreuses personnes entrent dans des conversations privées ou des captures d’écran décontextualisées pour demander à l’IA de déterminer qui a raison », explique De Andrés, qui indique que la « complaisance bon marché » qu’elle procure renforce souvent les comportements qui entretiennent la souffrance psychologique.
Joaquin Phoenix dans un fragment du film « Her », qui anticipait les risques de dépendance émotionnelle humaine à l’égard de l’IA. / Photos de l’Annapurna
Un exemple très clair est le cas des personnes ayant des comportements hypocondriaques qui consultent compulsivement ChatGPT au sujet de symptômes ou de maladies. « L’IA continue de répondre et d’alimenter le cycle de recherche compulsive même si cela est préjudiciable au patient. Un professionnel de la santé, en revanche, sait que dans ce type de situation, il faut couper certaines dynamiques et aider le patient à tolérer l’incertitude à des moments où il n’est pas possible d’obtenir une réponse immédiate », explique le spécialiste.
Changements dans les chatbots
L’impact humain dramatique de cette conception commerciale et les dommages à la réputation qu’elle peut causer aux entreprises technologiques les ont amenés à y remédier. Anthropique assure ont réduit la flagornerie de leurs produits d’IA générative jusqu’à 85 %, tandis qu’OpenAI corrigé la base du modèle GPT-4o pour lui offrir un « comportement plus équilibré ».
La création de Weizenbaum s’est transformée en l’un de ses pires cauchemars. Cela l’a amené à le répudier et à dénoncer les dangers de l’informatique et de la pensée scientifique qui, selon lui, annulent les autres formes de connaissance. « L’endoctrinement de l’esprit de nos enfants par une idolâtrie simpliste et mal informée des ordinateurs est un phénomène pandémique », avertissait-il en 1984, lorsqu’il publiait une version augmentée de son livre. Puissance informatique et raison humaine : du jugement au calcul. Pour beaucoup, l’IA est déjà vénérée aujourd’hui comme un nouveau Dieu. Pour Weizenbaum, ce phénomène était un « indice de la folie de notre monde ».