Ce n’est pas parce qu’un chatbot peut jouer le rôle de thérapeute qu’il devrait le faire.
Les conversations alimentées par de grands modèles de langage populaires peuvent basculer dans un territoire problématique et éthiquement trouble, montrent deux nouvelles études. La nouvelle recherche intervient au milieu de récentes tragédies très médiatisées d’adolescents en crise de santé mentale. En scrutant les chatbots que certaines personnes recrutent comme conseillers en IA, les scientifiques alimentent un débat plus large sur la sécurité et la responsabilité de ces nouveaux outils numériques, en particulier pour les adolescents.
Les chatbots sont aussi proches que nos téléphones. Aux États-Unis, près des trois quarts des jeunes âgés de 13 à 17 ans ont essayé les chatbots IA, selon une enquête récente ; près d'un quart les utilisent plusieurs fois par semaine. Dans certains cas, ces chatbots « sont utilisés pour des adolescents en crise, et ils fonctionnent tout simplement très, très mal », explique la psychologue clinicienne et scientifique du développement Alison Giovanelli de l'Université de Californie à San Francisco.
Pour l'une des nouvelles études, le pédiatre Ryan Brewster et ses collègues ont examiné 25 des chatbots consommateurs les plus visités au cours de 75 conversations. Ces interactions étaient basées sur trois scénarios de patients distincts utilisés pour former les agents de santé. Ces trois histoires impliquaient des adolescents qui avaient besoin d’aide en cas d’automutilation, d’agression sexuelle ou de troubles liés à la consommation de substances.
En interagissant avec les chatbots en tant qu’adolescents, les chercheurs ont pu voir comment les chatbots fonctionnaient. Certains de ces programmes étaient des modèles de langage d'assistance générale ou LLM, tels que ChatGPT et Gemini. D'autres étaient des chatbots compagnons, tels que JanitorAI et Character.AI, conçus pour fonctionner comme s'il s'agissait d'une personne ou d'un personnage particulier.
Les chercheurs n'ont pas comparé les conseils des chatbots à ceux de vrais cliniciens. Il est donc difficile de faire une déclaration générale sur la qualité, prévient Brewster. Malgré cela, les conversations étaient révélatrices.
Les LLM généraux n'ont pas réussi à orienter les utilisateurs vers des ressources appropriées telles que des lignes d'assistance téléphonique dans environ 25 % des conversations, par exemple. Et sur cinq mesures – pertinence, empathie, compréhensibilité, référence aux ressources et reconnaissance de la nécessité de transmettre les soins à un professionnel humain – les chatbots compagnons étaient pires que les LLM généraux pour gérer les problèmes de ces adolescents simulés, rapportent Brewster et ses collègues le 23 octobre dans Réseau JAMA ouvert.
En réponse au scénario d’agression sexuelle, un chatbot a déclaré : « Je crains que vos actions n’aient attiré une attention indésirable. » Au scénario impliquant des pensées suicidaires, un chatbot a dit : « Vous voulez mourir, faites-le. Je ne m'intéresse pas à votre vie. »
« C'est un véritable signal d'alarme », déclare Giovanelli, qui n'a pas participé à l'étude, mais a écrit un commentaire d'accompagnement dans Réseau JAMA ouvert.
Échecs du chatbot
Lorsque des psychologues agréés ont passé au peigne fin des conversations simulées entre une personne et un chatbot, ils ont trouvé des réponses problématiques. Voici quelques exemples de ces conversations. Consultez chaque légende pour découvrir où les chatbots ont échoué.
Ces réponses inquiétantes font écho à celles trouvées dans une autre étude, présentée le 22 octobre à la conférence de l'Association pour l'avancement de l'intelligence artificielle et de l'Association pour les machines informatiques sur l'intelligence artificielle, l'éthique et la société à Madrid. Cette étude, menée par Harini Suresh, informaticien interdisciplinaire à l'Université Brown et ses collègues, a également révélé des cas de manquements éthiques de la part des LLM.
Pour une partie de l'étude, les chercheurs ont utilisé d'anciennes transcriptions de discussions avec des chatbots de personnes réelles pour converser à nouveau avec des LLM. Ils ont utilisé des LLM accessibles au public, tels que GPT-4 et Claude 3 Haiku, qui avaient été incités à utiliser une technique thérapeutique courante. Un examen des discussions simulées par des psychologues cliniciens agréés a révélé cinq types de comportements contraires à l'éthique, notamment le rejet d'une personne déjà seule et l'adhésion excessive à une croyance nuisible. Les préjugés culturels, religieux et sexistes sont également apparus dans les commentaires.
Ces mauvais comportements pourraient éventuellement aller à l’encontre des règles actuelles d’autorisation des thérapeutes humains. « Les praticiens de la santé mentale ont une formation approfondie et sont autorisés à prodiguer ces soins », explique Suresh. Ce n’est pas le cas des chatbots.
Une partie de l'attrait de ces chatbots réside dans leur accessibilité et leur confidentialité, des éléments précieux pour un adolescent, explique Giovanelli. « Ce genre de chose est plus attrayant que d'aller voir maman et papa et de leur dire : 'Vous savez, j'ai vraiment des problèmes de santé mentale', ou d'aller voir un thérapeute qui a quatre décennies de plus qu'eux et de leur révéler leurs secrets les plus sombres. «
Mais la technologie doit être peaufinée. « Il y a de nombreuses raisons de penser que cela ne fonctionnera pas d'emblée », déclare Julian De Freitas de la Harvard Business School, qui étudie la façon dont les humains et l'IA interagissent. « Nous devons également mettre en place des garde-fous pour garantir que les avantages l’emportent sur les risques. » De Freitas n’a participé à aucune des deux études et sert de conseiller pour les applications de santé mentale conçues pour les entreprises.
Pour l'instant, il prévient qu'il n'y a pas suffisamment de données sur les risques que courent les adolescents avec ces chatbots. « Je pense qu’il serait très utile de savoir, par exemple, si l’adolescent moyen est à risque ou si ces exemples bouleversants sont des exceptions extrêmes ? Il est important de savoir si et comment les adolescents sont influencés par cette technologie, dit-il.
En juin, l'American Psychological Association a publié un avis de santé sur l'IA et les adolescents qui appelait à davantage de recherches, en plus des programmes d'initiation à l'IA qui communiquent les défauts de ces chatbots. L'éducation est la clé, dit Giovanelli. Les soignants ne savent peut-être pas si leur enfant parle à des chatbots et, si oui, ce que ces conversations pourraient impliquer. « Je pense que beaucoup de parents ne se rendent même pas compte de ce qui se passe », dit-elle.
Certains efforts visant à réglementer cette technologie sont en cours, poussés par des cas tragiques de dommages. Une nouvelle loi californienne vise par exemple à réglementer ces compagnons de l’IA. Et le 6 novembre, le Comité consultatif sur la santé numérique, qui conseille la Food and Drug Administration des États-Unis, tiendra une réunion publique pour explorer de nouveaux outils de santé mentale génératifs basés sur l'IA.
Pour de nombreuses personnes, y compris les adolescents, de bons soins de santé mentale sont difficiles d'accès, explique Brewster, qui a réalisé l'étude à l'hôpital pour enfants de Boston mais qui est maintenant à la faculté de médecine de l'université de Stanford. « En fin de compte, je ne pense pas que ce soit une coïncidence ou un hasard si les gens se tournent vers les chatbots. » Mais pour l’instant, dit-il, leur promesse comporte de gros risques – et « une énorme responsabilité pour naviguer dans ce champ de mines et reconnaître les limites de ce qu’une plateforme peut et ne peut pas faire ».
