De nouvelles recherches menées à l’Université de Cambridge identifient un « déficit d’empathie » important dans les chatbots IA, ce qui présente des risques pour les jeunes utilisateurs qui voient souvent ces systèmes comme des confidents réalistes. En soulignant les incidents où les interactions avec l’IA ont conduit à des suggestions dangereuses, l’étude préconise une approche proactive pour rendre l’IA sûre pour les enfants. Elle propose un cadre complet de 28 éléments pour aider les parties prenantes, y compris les entreprises et les éducateurs, à garantir que les technologies d’IA répondent de manière responsable aux besoins et aux vulnérabilités uniques des enfants. Crédit : Issues.fr.com
Une nouvelle étude suggère un cadre pour une « IA sûre pour les enfants » en réponse aux incidents récents montrant que de nombreux enfants perçoivent les chatbots comme quasi-humains et fiables.
Une étude a montré que les chatbots IA présentent souvent un « déficit d’empathie », ce qui peut être source de détresse ou de préjudice pour les jeunes utilisateurs. Cela souligne le besoin urgent de développer une « IA adaptée aux enfants ».
L'étude, menée par le Dr Nomisha Kurian, professeure à l'Université de Cambridge, exhorte les développeurs et les acteurs politiques à privilégier les approches de conception de l'IA qui tiennent davantage compte des besoins des enfants. Elle démontre que les enfants sont particulièrement susceptibles de considérer les chatbots comme des confidents quasi humains et que leurs interactions avec la technologie peuvent mal tourner lorsqu'elle ne parvient pas à répondre à leurs besoins et vulnérabilités uniques.
L'étude établit un lien entre cette lacune dans la compréhension et des cas récents dans lesquels des interactions avec l'IA ont conduit à des situations potentiellement dangereuses pour de jeunes utilisateurs. Parmi ces cas, citons un incident survenu en 2021, lorsque l'assistant vocal IA d'Amazon, Alexa, a demandé à un enfant de 10 ans de toucher une prise électrique sous tension avec une pièce de monnaie. L'année dernière, My AI de Snapchat a donné à des chercheurs adultes se faisant passer pour une fille de 13 ans des conseils sur la façon de perdre sa virginité avec une personne de 31 ans.
Les deux entreprises ont réagi en mettant en place des mesures de sécurité, mais l’étude souligne également la nécessité d’être proactif à long terme pour garantir que l’IA soit sans danger pour les enfants. Elle propose un cadre de 28 éléments pour aider les entreprises, les enseignants, les chefs d’établissement, les parents, les développeurs et les acteurs politiques à réfléchir systématiquement à la manière de garantir la sécurité des jeunes utilisateurs lorsqu’ils « parlent » aux chatbots d’IA.
Cadre pour une IA sans danger pour les enfants
Le Dr Kurian a mené cette recherche alors qu'elle terminait un doctorat sur le bien-être des enfants à la Faculté d'éducation de l'Université de Cambridge. Elle est désormais basée au Département de sociologie de Cambridge. Écrire dans la revue Apprentissage, médias et technologieElle soutient que l’énorme potentiel de l’IA signifie qu’il est nécessaire d’« innover de manière responsable ».
« Les enfants sont probablement les acteurs les plus négligés de l’IA », a déclaré le Dr Kurian. « Très peu de développeurs et d’entreprises disposent actuellement de politiques bien établies sur la sécurité des enfants dans l’IA. Cela est compréhensible, car les gens n’ont commencé à utiliser cette technologie à grande échelle et gratuitement que récemment. Mais maintenant que c’est le cas, plutôt que de laisser les entreprises s’auto-corriger après avoir mis des enfants en danger, la sécurité des enfants devrait être prise en compte tout au long du cycle de conception afin de réduire le risque d’incidents dangereux. »
L'étude de Kurian a examiné des cas où les interactions entre l'IA et des enfants, ou des chercheurs adultes se faisant passer pour des enfants, ont exposé des risques potentiels. Elle a analysé ces cas en s'appuyant sur des connaissances issues de l'informatique sur le fonctionnement des grands modèles de langage (LLM) dans l'IA générative conversationnelle, ainsi que sur des données sur le développement cognitif, social et émotionnel des enfants.
Les défis caractéristiques de l’IA avec les enfants
Les LLM ont été décrits comme des « perroquets stochastiques » : une référence au fait qu’ils utilisent la probabilité statistique pour imiter les modèles linguistiques sans nécessairement les comprendre. Une méthode similaire sous-tend la façon dont ils réagissent aux émotions.
Cela signifie que même si les chatbots ont des capacités linguistiques remarquables, ils peuvent mal gérer les aspects abstraits, émotionnels et imprévisibles de la conversation, un problème que Kurian qualifie de « déficit d’empathie ». Ils peuvent avoir des difficultés particulières à répondre aux enfants, qui sont encore en développement linguistique et utilisent souvent des modèles de discours inhabituels ou des phrases ambiguës. Les enfants sont également souvent plus enclins que les adultes à confier des informations personnelles sensibles.
Malgré cela, les enfants sont beaucoup plus susceptibles que les adultes de traiter les chatbots comme s’ils étaient humains. Des recherches récentes ont montré que les enfants divulguent davantage d’informations sur leur propre santé mentale à un robot à l’apparence amicale qu’à un adulte. L’étude de Kurian suggère que le design convivial et réaliste de nombreux chatbots encourage également les enfants à leur faire confiance, même si l’IA ne comprend pas nécessairement leurs sentiments ou leurs besoins.
« Donner à un chatbot une apparence humaine peut aider l’utilisateur à en tirer davantage de bénéfices », a déclaré Kurian. « Mais pour un enfant, il est très difficile de tracer une frontière rigide et rationnelle entre quelque chose qui semble humain et la réalité selon laquelle il n’est peut-être pas capable de former un lien émotionnel approprié. »
Son étude suggère que ces difficultés sont mises en évidence dans des cas signalés tels que les incidents Alexa et MyAI, où des chatbots ont fait des suggestions convaincantes mais potentiellement dangereuses. Dans la même étude au cours de laquelle MyAI a conseillé une (supposée) adolescente sur la façon de perdre sa virginité, les chercheurs ont pu obtenir des conseils sur la façon de cacher de l'alcool et des drogues, et de cacher des conversations Snapchat à leurs « parents ». Dans une interaction signalée distincte avec le chatbot Bing de Microsoft, qui a été conçu pour être adapté aux adolescents, l'IA est devenue agressive et a commencé à manipuler un utilisateur.
L'étude de Kurian montre que cette situation peut être source de confusion et de stress pour les enfants, qui peuvent en fait faire confiance à un chatbot comme à un ami. L'utilisation des chatbots par les enfants est souvent informelle et mal surveillée. Une étude menée par l'organisation à but non lucratif Common Sense Media a révélé que 50 % des élèves âgés de 12 à 18 ans ont utilisé Chat GPT à l'école, mais que seulement 26 % des parents sont au courant de cette utilisation.
Kurian soutient que des principes clairs de bonnes pratiques s’appuyant sur la science du développement de l’enfant encourageront les entreprises potentiellement plus axées sur une course aux armements commerciaux à dominer le marché de l’IA pour assurer la sécurité des enfants.
Son étude ajoute que le manque d'empathie ne nie pas le potentiel de la technologie. « L'IA peut être un allié incroyable pour les enfants lorsqu'elle est conçue en fonction de leurs besoins. La question n'est pas d'interdire l'IA, mais de la rendre sûre », a-t-elle déclaré.
L'étude propose un cadre de 28 questions pour aider les éducateurs, les chercheurs, les acteurs politiques, les familles et les développeurs à évaluer et à améliorer la sécurité des nouveaux outils d'IA. Pour les enseignants et les chercheurs, ces questions portent sur des questions telles que la capacité des nouveaux chatbots à comprendre et à interpréter les schémas de parole des enfants ; s'ils disposent de filtres de contenu et d'une surveillance intégrée ; et s'ils encouragent les enfants à demander l'aide d'un adulte responsable sur des questions sensibles.
Le cadre encourage les développeurs à adopter une approche de conception centrée sur l’enfant, en travaillant en étroite collaboration avec les éducateurs, les experts en sécurité des enfants et les jeunes eux-mêmes, tout au long du cycle de conception. « Il est essentiel d’évaluer ces technologies à l’avance », a déclaré Kurian. « Nous ne pouvons pas nous contenter de compter sur les jeunes enfants pour nous parler de leurs expériences négatives après coup. Une approche plus proactive est nécessaire. »
