Les chercheurs du MIT CSAIL ont développé un « jeu de consensus » pour améliorer la compréhension et la génération de textes par l’IA en traitant le processus comme un jeu dans lequel une partie génère des phrases et une autre les évalue. Cette méthode, appelée classement d’équilibre, améliore considérablement les performances de l’IA dans des tâches telles que la compréhension écrite, la résolution de problèmes mathématiques et le dialogue. Crédit : Issues.fr.com
MIT Les chercheurs du CSAIL ont développé un nouveau « jeu de consensus » qui améliore les compétences de compréhension et de génération de textes de l'IA.
Le « jeu de consensus » du MIT améliore la génération de texte IA en utilisant la théorie des jeux. Cette méthode, le classement à l’équilibre, améliore les performances et la fiabilité de l’IA, mais se heurte à des défis informatiques. Cela pourrait considérablement faire progresser le décodage des modèles de langage.
Jeu de consensus IA : une nouvelle approche des modèles de langage
Imaginez que vous jouez à un jeu avec un ami dans lequel votre objectif est de vous communiquer des messages secrets en utilisant uniquement des phrases énigmatiques. Le travail de votre ami consiste à deviner le message secret qui se cache derrière vos phrases. Parfois, vous donnez des indices directement, et d'autres fois, votre ami doit deviner le message en posant des questions par oui ou par non sur les indices que vous avez donnés. Le défi est que vous voulez tous les deux vous assurer que vous vous comprenez bien et que vous êtes d'accord sur le message secret.
Les chercheurs du Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) ont créé un « jeu » similaire pour aider à améliorer la façon dont l’IA comprend et génère du texte. Il est connu sous le nom de « jeu de consensus » et implique deux parties d’un système d’IA : une partie essaie de générer des phrases (comme donner des indices), et l’autre partie essaie de comprendre et d’évaluer ces phrases (comme deviner le message secret).
Le « jeu de consensus » des chercheurs du MIT est une approche de la théorie des jeux pour le décodage des modèles de langage. L'algorithme de classement à l'équilibre harmonise les requêtes génératives et discriminantes pour améliorer la précision des prédictions sur diverses tâches, surpassant les modèles plus grands et démontrant le potentiel de la théorie des jeux pour améliorer la cohérence et la véracité des modèles de langage. Crédit : Alex Shipps/MIT CSAIL
Approche théorique des jeux de l'IA
Les chercheurs ont découvert qu'en traitant cette interaction comme un jeu, dans lequel les deux parties de l'IA travaillent ensemble selon des règles spécifiques pour s'entendre sur le bon message, ils pourraient améliorer considérablement la capacité de l'IA à donner des réponses correctes et cohérentes aux questions. Ils ont testé cette nouvelle approche ludique sur diverses tâches, telles que la compréhension en lecture, la résolution de problèmes mathématiques et la conduite de conversations, et ont constaté qu'elle aidait l'IA à mieux fonctionner dans tous les domaines.
Traditionnellement, les grands modèles de langage répondent de deux manières : générer des réponses directement à partir du modèle (requête générative) ou utiliser le modèle pour évaluer un ensemble de réponses prédéfinies (requête discriminante), ce qui peut conduire à des résultats différents et parfois incompatibles. Avec l’approche générative « Qui est le président des États-Unis ? » pourrait donner une réponse simple comme « Joe Biden ». Cependant, une requête discriminante pourrait contester à tort ce fait en évaluant la même réponse, comme « Barack Obama ».
Équilibrer les réponses de l'IA avec le classement d'équilibre
Alors, comment concilier des procédures de notation mutuellement incompatibles pour obtenir des prédictions cohérentes et efficaces ?
« Imaginez une nouvelle façon d'aider les modèles linguistiques à comprendre et à générer du texte, comme dans un jeu. Nous avons développé une méthode de théorie des jeux sans formation qui traite l'ensemble du processus comme un jeu complexe d'indices et de signaux, dans lequel un générateur tente d'envoyer le bon message à un discriminateur en utilisant le langage naturel. Au lieu de pièces d'échecs, ils utilisent des mots et des phrases », explique Athul Jacob, doctorant au MIT en génie électrique et informatique et affilié au CSAIL. « Notre façon de naviguer dans ce jeu consiste à trouver les « équilibres approximatifs », ce qui conduit à un nouvel algorithme de décodage appelé « classement d'équilibre ». C'est une démonstration assez passionnante de la manière dont l'intégration de stratégies de théorie des jeux peut relever certains défis majeurs visant à rendre les modèles de langage plus fiables et plus cohérents.
Lorsqu’il a été testé sur de nombreuses tâches, telles que la compréhension écrite, le raisonnement de bon sens, la résolution de problèmes mathématiques et le dialogue, l’algorithme de l’équipe a constamment amélioré les performances de ces modèles. L’utilisation de l’algorithme ER avec le modèle LLaMA-7B a même surpassé les résultats de modèles beaucoup plus grands. « Étant donné qu'ils sont déjà compétitifs, que les gens y travaillent depuis un certain temps, mais le niveau d'améliorations que nous avons constaté, capable de surpasser un modèle 10 fois plus grand, a été une agréable surprise », explique Jacob.
Jeu activé
« Diplomacy », un jeu de société stratégique se déroulant dans l'Europe d'avant la Première Guerre mondiale, dans lequel les joueurs négocient des alliances, trahissent leurs amis et conquièrent des territoires sans utiliser de dés – en s'appuyant uniquement sur leurs compétences, leur stratégie et leur manipulation interpersonnelle – a récemment connu une seconde venue. . En novembre 2022, des informaticiens, dont Jacob, ont développé « Cicéron », un agent d’IA qui atteint des capacités de niveau humain dans le jeu à sept joueurs à motifs mixtes, qui nécessite les mêmes compétences susmentionnées, mais avec un langage naturel. Les calculs derrière cela ont en partie inspiré le jeu du consensus.
Bien que l'histoire des agents d'IA soit bien antérieure à l'entrée du logiciel OpenAI dans le chat en novembre 2022, il est bien établi qu'ils peuvent toujours se faire passer pour des amis bien intentionnés, mais pathologiques.
Le système de jeu par consensus atteint l'équilibre sous la forme d'un accord, garantissant précision et la fidélité aux idées originales du modèle. Pour y parvenir, la méthode ajuste de manière itérative les interactions entre les composants génératifs et discriminatifs jusqu'à ce qu'ils parviennent à un consensus sur une réponse qui reflète fidèlement la réalité et s'aligne sur leurs croyances initiales. Cette approche comble efficacement le fossé entre les deux méthodes d’interrogation.
Applications pratiques et défis
En pratique, la mise en œuvre de l’approche du jeu de consensus pour l’interrogation de modèles de langage, en particulier pour les tâches de réponse aux questions, implique des défis informatiques importants. Par exemple, lorsque vous utilisez des ensembles de données comme MMLU, qui contiennent des milliers de questions et de réponses à choix multiples, le modèle doit appliquer le mécanisme à chaque requête. Ensuite, il doit parvenir à un consensus entre les composantes générative et discriminative pour chaque question et ses réponses possibles.
Le système a eu du mal avec un droit de passage à l'école primaire : les problèmes de mots mathématiques. Cela ne pourrait pas générer de mauvaises réponses, ce qui est un élément essentiel pour comprendre le processus permettant de trouver la bonne réponse.
Directions futures
« Ces dernières années ont été marquées par des progrès vraiment impressionnants, tant dans la prise de décision stratégique que dans la génération de langages à partir des systèmes d'IA, mais nous commençons tout juste à comprendre comment combiner les deux. Le classement à l'équilibre est un premier pas dans cette direction, mais je pense que nous pourrons faire beaucoup de choses pour l'étendre à des problèmes plus complexes », déclare Jacob.
Une piste de travail futur consiste à améliorer le modèle de base en intégrant les résultats de la méthode actuelle. Ceci est particulièrement prometteur car cela peut produire des réponses plus factuelles et cohérentes dans diverses tâches, y compris la factualité et la génération ouverte. Le potentiel d'une telle méthode pour améliorer considérablement les performances du modèle de base est élevé, ce qui pourrait donner lieu à des résultats plus fiables et factuels de ChatGPT et de modèles de langage similaires que les gens utilisent quotidiennement.
Avis d'experts sur les progrès de l'IA
« Même si les modèles de langage modernes, tels que ChatGPT et Gemini, ont permis de résoudre diverses tâches via des interfaces de chat, le processus de décodage statistique qui génère une réponse à partir de tels modèles est resté inchangé depuis des décennies », explique Ahmad Beirami, chercheur chez Google. pas impliqué dans les travaux. « La proposition des chercheurs du MIT est un cadre innovant de théorie des jeux pour décoder des modèles de langage en résolvant l’équilibre d’un jeu de consensus. Les gains de performances significatifs rapportés dans le document de recherche sont prometteurs, ouvrant la porte à un changement de paradigme potentiel dans le décodage des modèles de langage qui pourrait alimenter une vague de nouvelles applications.
Jacob a rédigé l'article avec Yikang Shen, chercheur au MIT-IBM Watson Lab, et les professeurs adjoints du Département de génie électrique et d'informatique du MIT, Gabriele Farina et Jacob Andreas, qui est également membre du CSAIL. Ils ont présenté leur travail à la Conférence internationale sur les représentations de l’apprentissage (ICLR) au début du mois, où il a été présenté comme un « article phare ». La recherche a également reçu le prix du « meilleur article » lors de l’atelier NeurIPS R0-FoMo en décembre 2023.
