Remplacer les sujets humains par des substituts de l'IA, ou des jumeaux numériques, figure sur la liste de souhaits de certains spécialistes des sciences sociales. Les sujets humains coûtent cher, se fatiguent facilement et peuvent souffrir de détresse psychologique selon certaines études.
Mais ces souhaits pourraient prendre plus de temps à se réaliser, selon une étude parue le 2 septembre dans Avancées scientifiques suggère. Les jumeaux IA conçus pour imiter le comportement d'un individu donné semblent au contraire déformer les points de vue de leur substitut, créant un effet de « miroir amusant », notent les chercheurs.
«C'est prometteur», déclare Olivier Toubia, spécialiste des sciences sociales et informatiques à la Columbia Business School de New York. « Mais [the twins’ performance] était dans l’ensemble un peu décevant.
Dans les travaux rapportés l'année dernière dans Sciences du marketing, Toubia et ses collègues ont recruté plus de 2 000 personnes à travers les États-Unis. Ces personnes interrogées ont répondu à plus de 500 questions sur des caractéristiques telles que l'âge, l'origine ethnique, le revenu, l'éducation, les pratiques religieuses, les préférences politiques, les traits de personnalité, les habitudes de dépenses, les capacités mathématiques et les compétences en vocabulaire. De nombreuses questions proviennent d’échelles couramment utilisées dans la recherche en psychologie, en économie et en commerce. Les répondants ont également complété divers tests en ligne conçus pour évaluer les schémas de pensée et les préjugés.
Étant donné que les recherches testant la valeur des jumeaux numériques restent limitées, l'objectif de ce projet était de créer un ensemble de données open source que d'autres pourraient utiliser, explique Toubia. « Je pense qu'il a été téléchargé environ 25 000 fois à ce stade. »
Pour développer les jumeaux dans l'étude récemment publiée, les chercheurs ont introduit toutes les informations relatives à chaque individu dans un grand modèle de langage et ont incité le LLM à répondre comme s'il s'agissait de cette personne. À travers 19 expériences en sciences sociales, l’équipe a tout évalué, depuis la façon dont les individus et leurs jumeaux réagissent aux personnes qui font des dons aux candidats des partis républicains et démocrates jusqu’à ce qu’ils « pensent » du recrutement algorithmique.
Selon l’équipe, ces jumeaux numériques ont eu de meilleurs résultats que le hasard, mais ils se sont trompés en moyenne environ un quart du temps. Leurs performances étaient à peu près équivalentes à celles des chatbots qui recevaient uniquement des informations démographiques.
Les jumeaux numériques ont toutefois mieux saisi les variations réelles des réponses des personnes par rapport aux LLM qui ne connaissaient que des informations démographiques. Par exemple, une personne peut s'évaluer à 2 sur une échelle de maîtrise de soi tandis qu'une autre s'évalue à 4. Le LLM avec des informations plus limitées peut rapporter un 3 pour chaque personne, effaçant ainsi toutes les différences. Mais le jumeau numérique pourrait rapporter un 3 et un 5. Bien qu’elles soient toujours fausses, les prédictions donnent une meilleure idée des différences potentielles au sein du groupe.
Toubia et ses collègues attribuent les mauvaises performances globales des jumeaux numériques à plusieurs distorsions clés : les réponses des jumeaux ont tendance à être plus homogènes que celles des individus et sont souvent biaisées par des stéréotypes démographiques. Et leur précision a augmenté avec des participants plus riches et instruits. Ils affichaient également certains préjugés, comme exprimer davantage de confiance envers les autres et se montrer moins préoccupés par les menaces technologiques. Comparés à leurs substituts humains, les jumeaux semblaient également plus rationnels.
Le chercheur et économiste en IA Hadi Hosseini de la Penn State University a constaté un effet similaire dans ses propres recherches sur la façon dont les agents d’IA prennent des décisions en matière de soins de santé lorsque les ressources sont rares : « Les LLM déforment le jugement humain dans une direction très spécifique vers quelque chose de très rationnel. [and] plus raisonnable que ce que sont réellement les gens.
Mais il dit qu’il existe des moyens d’améliorer les jumeaux numériques. Les chercheurs ont utilisé « un ensemble de questions très statiques », dit-il. L'ajout d'approches plus dynamiques, telles que le fait qu'un chatbot suive une personne tout au long de la journée ou converse régulièrement avec une personne, comme c'est déjà courant, pourrait permettre d'obtenir un meilleur ensemble de données, dit-il.
Toubia souhaite essayer des méthodes d'entraînement plus complexes. Pourtant, dit-il, il existe des cas où même des jumeaux numériques du type testé dans cette étude seraient utiles. Par exemple, les chercheurs ont parfois besoin d’une réponse détaillée à une question. Des humains fatigués peuvent fournir des réponses en une seule phrase tandis que des jumeaux numériques infatigables rédigent des essais. De même, pré-tester une expérience avec des jumeaux numériques pourrait aider les chercheurs à s'assurer que leur conception fonctionne avant de saper la bande passante limitée de leurs répondants humains.
Mais Toubia appelle également à l'humilité. Les spécialistes des sciences sociales ont tendance à penser que les échelles et les enquêtes capturent l’ensemble de l’expérience humaine, dit-il. Mais il est incroyablement difficile de prédire le comportement humain avec une machine. « Nous devons être réalistes quant aux attentes que nous avons à l’égard des données synthétiques. »