Lorsqu'il s'agit d'apprendre quelque chose de nouveau, la recherche sur Google à l'ancienne pourrait être la solution la plus intelligente plutôt que de demander à ChatGPT.
Les grands modèles de langage, ou LLM – les systèmes d'intelligence artificielle qui alimentent les chatbots comme ChatGPT – sont de plus en plus utilisés comme sources de réponses rapides. Mais dans une nouvelle étude, les personnes qui utilisaient un moteur de recherche traditionnel pour rechercher des informations ont développé des connaissances plus approfondies que celles qui s'appuyaient sur un chatbot IA, rapportent des chercheurs dans le rapport d'octobre. Nexus PNAS.
«Les LLM changent fondamentalement non seulement la façon dont nous acquérons des informations, mais aussi la façon dont nous développons des connaissances», déclare Shiri Melumad, chercheuse en psychologie du consommateur à l'Université de Pennsylvanie. « Plus nous en apprenons sur leurs effets, tant sur leurs avantages que sur leurs risques, plus les gens peuvent les utiliser efficacement et mieux ils peuvent être conçus. »
Melumad et Jin Ho Yun, neuroscientifique à l'Université de Pennsylvanie, ont mené une série d'expériences comparant ce que les gens apprennent grâce aux LLM aux recherches traditionnelles sur le Web. Plus de 10 000 participants à sept expériences ont été assignés au hasard à des recherches sur différents sujets, tels que comment cultiver un potager ou comment mener une vie plus saine, en utilisant Google ou ChatGPT, puis à rédiger des conseils pour un ami en fonction de ce qu'ils avaient appris. Les chercheurs ont évalué combien les participants ont appris de la tâche et dans quelle mesure ils ont été investis dans leurs conseils.
Même en contrôlant les informations disponibles – par exemple en utilisant des ensembles de faits identiques dans des interfaces simulées – le modèle persistait : les connaissances acquises à partir des résumés des chatbots étaient moins profondes que celles acquises à partir des liens Web. Les indicateurs de connaissances « superficielles » par rapport aux connaissances « profondes » étaient basés sur les déclarations des participants, sur des outils de traitement du langage naturel et sur des évaluations réalisées par des juges humains indépendants.
L'analyse a également révélé que ceux qui ont appris via les LLM étaient moins investis dans les conseils qu'ils donnaient, produisaient moins de contenu informatif et étaient moins susceptibles d'adopter les conseils pour eux-mêmes par rapport à ceux qui utilisaient des recherches sur le Web. « Les mêmes résultats sont apparus même lorsque les participants utilisaient une version de ChatGPT qui fournissait des liens Web facultatifs vers des sources originales », explique Melumad. Seul un quart environ des quelque 800 participants à cette expérience « ChatGPT avec liens » étaient même motivés à cliquer sur au moins un lien.
«Bien que les LLM puissent réduire la charge de devoir synthétiser des informations par soi-même, cette facilité se fait au détriment du développement de connaissances plus approfondies sur un sujet», dit-elle. Elle ajoute également que davantage pourrait être fait pour concevoir des outils de recherche qui encouragent activement les utilisateurs à approfondir leurs recherches.
Le psychologue Daniel Oppenheimer de l'Université Carnegie Mellon de Pittsburgh affirme que même s'il s'agit d'un bon projet, il le formulerait différemment. Il pense qu'il est plus exact de dire que «les LLM réduisent la motivation des gens à réfléchir par eux-mêmes», plutôt que d'affirmer que les personnes qui synthétisent des informations pour elles-mêmes acquièrent une compréhension plus profonde que celles qui reçoivent une synthèse d'une autre entité, comme un LLM.
Cependant, il ajoute qu’il détesterait que les gens abandonnent un outil utile parce qu’ils pensent qu’il conduirait universellement à un apprentissage superficiel. « Comme tout apprentissage », dit-il, « l'efficacité de l'outil dépend de la façon dont vous l'utilisez. Ce que montre cette découverte, c'est que les gens ne l'utilisent pas naturellement aussi bien qu'ils le feraient. »
