Êtes-vous concis et informel lorsque vous parlez à un chatbot IA ? Si tel est le cas, vous obtiendrez peut-être de moins bonnes réponses que si vous utilisiez un langage plus formel.
La façon dont vous parlez à un chatbot peut être plus importante que vous ne le pensez
Parler à un chatbot IA dans un langage moins formel, comme le font de nombreuses personnes, réduit l’exactitude de ses réponses – ce qui suggère que soit nous devons être linguistiquement plus stricts lors de l’utilisation d’un chatbot, soit que les IA doivent être formées pour mieux s’adapter à l’informalité.
Fulei Zhang et Zhou Yu d'Amazon ont étudié la façon dont les gens entament des conversations avec des agents humains par rapport à un assistant chatbot alimenté par un grand modèle de langage (LLM). Ils ont utilisé le modèle Claude 3.5 Sonnet pour évaluer les conversations sur une série de facteurs et ont constaté que les personnes interagissant avec les chatbots utilisaient une grammaire moins précise et étaient moins polies qu'elles ne l'étaient lorsqu'elles s'adressaient à des humains. Ils ont également utilisé un vocabulaire légèrement plus restreint.
Par exemple, les interactions interhumaines étaient 14,5 pour cent plus polies et formelles que les conversations avec des chatbots, 5,3 pour cent plus fluides et 1,4 pour cent plus diversifiées sur le plan lexical, selon les scores dérivés de Claude.
« Les utilisateurs adaptent leur style linguistique dans les conversations humaines-LLM, produisant des messages plus courts, plus directs, moins formels et grammaticalement plus simples », écrivent les auteurs, qui n'ont pas répondu à une demande d'entretien, dans un article sur le travail. « Ce comportement est probablement façonné par les modèles mentaux des chatbots LLM des utilisateurs, qui sont moins sensibles socialement ou moins capables d'une interprétation nuancée. »
Mais il s’avère que cette formalité a un inconvénient. Dans une deuxième évaluation, les chercheurs ont formé un modèle d’IA appelé Mistral 7B sur 13 000 conversations interhumaines réelles et l’ont utilisé pour interpréter 1 357 messages réels envoyés à des chatbots IA. Ils ont annoté chaque conversation au sein des deux ensembles de données avec une « intention » tirée d’une liste limitée, résumant ce que l’utilisateur essayait de faire dans chaque cas. Mais comme l’IA de Mistral avait été entraînée aux conversations interhumaines, les deux hommes ont découvert qu’elle avait du mal à étiqueter correctement l’intention des conversations du chatbot.
Zhang et Yu ont ensuite essayé diverses stratégies pour améliorer la compréhension de l'IA Mistral. Tout d’abord, ils ont utilisé l’IA Claude pour réécrire les missives les plus concises des utilisateurs en une prose humaine et les ont utilisées pour affiner le modèle Mistral. Cela a réduit l'exactitude de ses étiquettes d'intention de 1,9 pour cent par rapport à ses réponses par défaut.
Ensuite, ils ont utilisé Claude pour fournir une réécriture « minimale », plus courte et plus directe (par exemple, « Paris le mois prochain. Vols, hôtels ? » pour poser des questions sur les options de voyage et d'hébergement pour un prochain voyage), mais cela a réduit la précision de Mistral de 2,6 %. Une réécriture alternative « enrichie » avec un langage plus formel et varié a également vu la précision chuter de 1,8 pour cent. Ce n’est qu’en entraînant le modèle Mistral sur des réécritures minimales et enrichies qu’ils ont constaté une amélioration des performances, de 2,9 %.
Noah Giansiracusa de l'Université Bentley dans le Massachusetts dit qu'il n'est pas surpris que les gens parlent différemment aux robots qu'aux humains, mais ce n'est pas nécessairement quelque chose à éviter.
« La découverte selon laquelle les gens communiquent différemment avec les chatbots qu'avec les autres humains est présentée de manière tentante comme une lacune du chatbot – mais je dirais que ce n'est pas le cas, qu'il est bon que les gens sachent qu'ils parlent avec des robots et adaptent leur comportement en conséquence », déclare Giansiracusa. « Je pense que c'est plus sain que d'essayer de manière obsessionnelle d'éliminer le fossé entre l'humain et le robot. »
