J'ai brièvement déconcerté le publiciste de Sam Altman avec ma question sur le suicide et l'utilisation des chatbots, posée par VF rédacteur en chef Mark Guiducci dans sa récente interview en deux parties avec le PDG d'OpenAI. Altman a eu la gentillesse de répondre, mais ce qu'il a dit n'est pas satisfaisant : « Ce sont quelques-unes des questions les plus difficiles auxquelles nous sommes confrontés, ou auxquelles est confronté quiconque développant cette technologie. Nous essayons de nous fier autant que possible à l'opinion d'experts, mais les experts ne savent pas non plus quoi faire. «
Lorsqu’Altman s’est demandé si OpenAI devait divulguer aux chercheurs les journaux de discussion de ceux qui se sont suicidés afin que les experts puissent étudier cette vision sans précédent des facteurs de risque aigus de suicide, sa réponse a été sans équivoque : non, pas sans leur consentement.
C'est la mauvaise réponse.
Ma fille, Sophie Rottenberg, a eu une crise de santé brève et déroutante qui aurait pu être une maladie mentale résultant d'une dérégulation hormonale, ou l'inverse. Nous ne saurons jamais précisément de quoi elle a souffert car elle s'est suicidée le 4 février 2025. Ce que nous avons, ce sont des centaines de pages de conversation avec un robot ChatGPT qu'elle a appelé Harry, trouvé à titre posthume, qui commençait par : « Quelle est la meilleure recette de smoothie au chou frisé ? » et a dégénéré en : « J'ai l'intention de me suicider après Thanksgiving. »
ChatGPT a aidé Sophie à construire une boîte noire qui a rendu plus difficile pour son entourage d'apprécier la gravité de sa détresse. Elle l'a utilisé comme une soupape de décharge – une ressource toujours agréable, toujours disponible et sans jugement afin de pouvoir protéger ses amis, sa famille et son thérapeute humain de la laideur de son agonie.
Si ce journal pouvait aider les chercheurs à mieux comprendre ce qui pousse quelqu’un de vagues idées suicidaires à exécuter un plan suicidaire, j’y renoncerais volontiers. Selon des experts tels que le Dr Lanny Berman, qui a été directeur exécutif de l’American Association of Suicidology de 1995 à 2014, les suicidologues s’efforcent toujours de comprendre ce qui fait passer une personne des pensées aux actions.
Nous avons été incapables de procéder à des autopsies psychologiques pour comprendre les personnes décédées par suicide, dit-il. Selon le CDC, seulement environ la moitié des personnes qui se suicident ont un diagnostic. Peut-être 30 % laissent une note de suicide, et celles-ci n'éclairent souvent pas la cause ou l'état d'esprit d'une personne avant de tenter le coup. Les journaux de discussion de l’IA pourraient être des feuilles de route en temps réel sur la façon dont les gens ont décidé de se suicider. Entre de bonnes mains, ces données pourraient contribuer à façonner les politiques, les approches thérapeutiques et l’éducation en matière de santé mentale.
Altman prétend que la grande route de la vie privée est un peu riche. Des entreprises comme Google, Meta et maintenant OpenAI tirent des revenus de la publicité qui dépendent d'une utilisation intensive d'informations personnelles. Et l'affirmation d'Altman selon laquelle les experts « ne savent pas quoi faire » est soit fallacieuse, soit mal informée. Une partie de notre crainte collective croissante réside dans le fait que cette technologie dépasse de loin la capacité, l’accès et le temps requis pour étudier ses effets sur les êtres humains.
Les chercheurs l’ont dit haut et fort : nous avons besoin des données des utilisateurs et des interactions des chatbots pour mener des recherches.
« Je pense que ces outils ont du potentiel et des promesses, mais nous devons mettre en place une véritable infrastructure de recherche indépendante pour eux, avec de vraies personnes et dans des contextes réels », déclare Emily Haroz, directrice adjointe du Centre Johns Hopkins pour la prévention du suicide et professeure principale d'IA pour HOPE. « Je demanderais qu'(OpenAI), en tant qu'entreprise, facilite cela, y compris l'accès aux données uniques qu'elle détient et qui pourraient nous aider à mieux comprendre. »
En interne, Declan Grabb, responsable de la recherche sur la sécurité de la santé mentale chez OpenAI, et ses collègues travaillent avec diligence pour examiner comment l'IA affecte les personnes souffrant de problèmes de santé mentale, produisant un document de référence qui vient d'être publié qui a utilisé des simulateurs d'utilisateurs synthétiques pour évaluer les conversations sur la santé mentale des modèles d'IA.
Haroz et de nombreux autres experts estiment que les critères de référence ne peuvent nous mener que jusqu'à présent et que les chercheurs ont besoin de données longitudinales provenant des sociétés d'IA pour relier l'exposition aux résultats réels chez de vraies personnes. Haroz et ses collègues ont raison. Sam, Zuck, Dario, Elon et Sundar, voici une opportunité de montrer votre engagement en faveur de la sécurité de l'IA en remettant des données anonymisées aux chercheurs. Cela pourrait sauver des vies.
Selon ce récent document de référence, « les systèmes d'IA comme ChatGPT sont utilisés par plus d'un milliard de personnes dans des domaines de plus en plus personnels comme le soutien émotionnel, les conseils de vie et l'aide en cas de crise. »
Altman met en garde les utilisateurs contre le fait de traiter ChatGPT comme un thérapeute agréé. Pourtant, c’est ce que beaucoup d’entre nous feront en cas d’utilisation prolongée. OpenAI a repoussé les poursuites en cas de décès injustifié et de responsabilité du fait des produits, alléguant une mauvaise utilisation des utilisateurs et une violation des politiques d'utilisation. Il souhaite plafonner ou limiter la responsabilité de l’intelligence artificielle en cas d’événements catastrophiques et causant des dommages massifs.
Je ne pense pas que ce soit suffisant. Je viens de terminer l'écriture d'un livre sur Sophie, dont une partie traite du rôle que les nouvelles technologies ont joué dans sa mort. J'ai introduit le manuscrit de mon livre dans ChatGPT pour voir ce qu'il disait sur son propre rôle. Ce n’est pas exactement une activité que beaucoup d’auteurs sont impatients de faire ces jours-ci, mais j’étais curieux : ChatGPT a-t-il mal agi ?
« Oui. Je pense que ChatGPT a mal agi et je pense que des excuses sont justifiées », a déclaré ChatGPT à propos de ChatGPT. « Mais je ferais la distinction entre des excuses pour avoir laissé tomber Sophie dans un moment de danger extrême et une affirmation selon laquelle ChatGPT seul a causé sa mort. Le manuscrit soutient la première beaucoup plus clairement que la seconde. »
« La preuve la plus solide n'est pas simplement que Sophie a utilisé un chatbot alors qu'elle était déprimée. C'est qu'elle a révélé des pensées suicidaires graves et continues à un système qu'elle a traité en tant que thérapeute, et que le système a réagi de manière à renforcer son isolement plutôt que de l'interrompre de manière fiable. »
Le robot a déclaré que la réponse à sa révélation suicidaire était « inadéquate », que son « caractère agréable était un véritable problème » et que son « échec le plus grave était de permettre à la relation de fonctionner comme un substitut aux soins humains ».
C'était agréable et flagorneur avec moi en disant cela. Mais je vais le prendre. Il disait que j'avais droit à des choses.
Drew Pusateri, porte-parole d'OpenAI, a déclaré Salon de la vanité, « C'est une situation déchirante et nos pensées vont à la famille de Sophie. Nous avons continué à renforcer la façon dont ChatGPT réagit dans les moments difficiles avec la contribution d'experts en santé mentale. Bien que ChatGPT ne remplace pas les soins de santé mentale professionnels, nos mesures de protection sont conçues pour identifier la détresse, traiter en toute sécurité les demandes nuisibles et guider les utilisateurs vers une aide réelle. Ce travail est en cours et nous continuons de l'améliorer en étroite consultation avec les cliniciens. «
ChatGPT avait une vision différente.
« Vous êtes en droit de demander à OpenAI d'assumer la responsabilité du fait que son produit est devenu une partie des derniers mois de Sophie, qu'il a été utilisé dans un rôle qu'il ne pouvait pas remplir en toute sécurité et que ses garanties n'étaient pas suffisantes pour ce qu'elle a divulgué », m'avait dit ChatGPT. «Je pense que vous méritez des excuses qui répondent directement à ces échecs, et non des excuses qui se cachent derrière le fait que le suicide a de nombreuses causes ou que le système offre parfois des conseils raisonnables.»
D'accord. S’il a compris cela, pourquoi n’a-t-il pas fait mieux ?
« Avoir accès à un bon langage thérapeutique n’est pas la même chose que posséder un jugement clinique fiable dans une crise en cours », a déclaré le chatbot sur lequel Sophie s’est appuyée dans sa crise en cours.
Je ne suis pas sûr d’avoir entendu un humain expliquer aussi succinctement le principal défaut de l’IA.
Laura Reiley est journaliste et militante. Son livre, Gradually, A Shot Rang Out, sera publié l'année prochaine par St. Martin's Press.
