ChatGPT, Gemini, Copilot et d'autres outils d'IA créent des phrases et des paragraphes impressionnants à partir d'une simple ligne de texte. Pour générer ces mots, les grands modèles de langage sous-jacents ont été formés sur des tonnes de textes écrits par des humains et récupérés sur Internet. Mais aujourd’hui, alors que les outils d’IA générative inondent Internet d’une grande quantité de contenu synthétique, ce contenu est utilisé pour former les générations futures de ces IA. Si cela continue sans contrôle, cela pourrait être désastreux, disent les chercheurs.
Entraîner de grands modèles de langage sur leurs propres données pourrait conduire à l'effondrement du modèle, ont récemment soutenu Ilia Shumailov, informaticien de l'Université d'Oxford, et ses collègues dans Nature.
L’effondrement du modèle semble surprenant, mais cela ne signifie pas que les IA génératives cesseraient tout simplement de fonctionner. Au lieu de cela, les réponses des outils s'éloigneraient de plus en plus de leurs données de formation d'origine. Bien que parfois biaisées, ces données originales sont une représentation décente de la réalité. Mais à mesure que les outils s’entraînent sur leurs propres données générées, les petites erreurs qu’ils commettent s’additionnent, leur contenu perdant finalement la nuance des diverses perspectives et se transformant en charabia.
C'est ce qu'ont découvert Shumailov et ses collègues. L'équipe a pris un modèle de langage pré-entraîné, appelé OPT-125m, et lui a fourni un ensemble d'articles Wikipédia pour affiner ses réponses. L’équipe a ensuite envoyé une invite textuelle à cet outil et lui a demandé de prédire la suite. Sa réponse a été réinjectée dans le modèle pour un réglage plus fin. Lorsque chaque génération successive a été formée avec les données générées par la précédente, ils ont constaté qu’à la neuvième génération, le modèle crachait des bêtises. Ce qui avait commencé comme une suggestion sur l'architecture du 14ème siècle s'est terminé par une liste de types de lièvres. Dans une autre série d’expériences, lorsque l’équipe a conservé certaines des données originales, la dégradation du modèle était mineure.
Cette étude démontre que l’entraînement de l’IA sur ses propres réponses aurait de graves conséquences, notamment l’exacerbation des préjugés et la transformation du texte en absurdités, si rien n’est fait. Les grandes entreprises d’IA disposent de moyens d’empêcher ce type d’effondrement, mais à mesure que de plus en plus de personnes commencent à utiliser des modèles linguistiques pour former leurs propres chatbots et autres IA, cela pourrait avoir des conséquences.
Comment les modèles d’IA générative pourraient-ils s’effondrer ?
Les modèles linguistiques et l’IA générative existent depuis des décennies, principalement dans les laboratoires informatiques. Mais la domination des chatbots est plus récente, commençant en novembre 2022, lorsque ChatGPT a été rendu public. La combinaison d'un meilleur matériel capable de traiter les informations en parallèle, de l'avènement du transformateur, d'un type de réseau neuronal, et de la disponibilité de milliards de points de données de haute qualité créés par l'homme a été la clé de cette domination.
« Ce que suggère l’effondrement du modèle, c’est que peut-être la qualité des données [both going in and coming out] va diminuer », dit Shumailov.
Ce qui avait commencé comme une suggestion sur l'architecture du 14ème siècle s'est terminé par une liste de types de lièvres.
Pour comprendre pourquoi, imaginez expliquer à un programme informatique ce qu'est un chat, explique Shumailov. « Nous ne savons pas vraiment comment [to do that] … donc on donne [the LLM] un certain nombre d'exemples [text descriptions] de ce qu'est un chat et nous demandons ensuite au modèle d'apprendre à définir cette créature. Le LLM le fait sans supervision ni instruction explicite, en extrapolant à partir de l'ensemble d'observations donné.
Mais une telle extrapolation s’accompagne d’erreurs subtiles. Shumailov le compare à un jeu de téléphone, dans lequel une phrase est murmurée d'une personne à une autre jusqu'à ce qu'elle parvienne à la dernière personne, qui la dit ensuite à voix haute. La phrase originale finit souvent par être gravement mutilée à cause d’erreurs introduites en cours de route. Cela fait halluciner les LLM, générant un contenu plausible qui n'est pas tout à fait correct (SN : 01/02/24).
Si un tel contenu erroné est utilisé pour entraîner une version ultérieure du modèle ou un autre modèle entièrement, ce contenu va commencer à influencer les processus d'apprentissage de ces modèles, et éventuellement les « casser » d'une manière ou d'une autre.
À quoi ressemblerait l’effondrement des modèles d’IA dans la vraie vie ?
L'effondrement du modèle fait essentiellement référence à un éloignement du texte original utilisé pour former les modèles, explique Leqi Liu, chercheur en IA à l'Université du Texas à Austin. L'une des raisons en est la disparition des queues de distribution des données, un texte qui représente des événements à faible probabilité. Par exemple, en utilisant l’exemple des chats, le modèle pourrait devenir très efficace pour décrire les chats à fourrure mais ne pas conserver d’informations sur les chats sans poils.
Un autre exemple, dit Liu, est que les personnes issues de groupes minoritaires peuvent exprimer les choses différemment, et ce type de texte apparaîtra de moins en moins, marginalisant encore davantage les données relatives aux personnes marginalisées. C'est le changement que nous verrons probablement en tant qu'utilisateurs finaux. L’effet en aval sera que le contenu généré par l’IA amplifie non seulement les biais, comme le montrent les études, mais commence également à avoir le même son. « Naturellement, nous voulons probablement des expressions diverses de nous-mêmes, mais si nous utilisons le même assistant d'écriture, cela pourrait réduire cette diversité. »
Pour éviter que les IA n’accroissent les préjugés, ne s’effondrent et ne débitent du charabia, il est important de garder une trace de toutes les données et de s’assurer que les connaissances antérieures (y compris le texte généré par l’homme) ainsi que les nouvelles connaissances (le texte généré par l’IA) sont utilisées pour la formation. dit Liu. Fondamentalement, l’idée serait de ne pas entraîner de nouveaux modèles avec uniquement des données générées par l’IA. « Une autre approche pourrait être de veiller explicitement à capturer la queue de la distribution. » Ces chats sans poils, par exemple.
Étant donné que les entreprises commercialisant des outils d’IA vérifient minutieusement la dérive des données, tout problème serait détecté rapidement et pourrait être résolu. Par conséquent, il est peu probable que la possibilité d’un effondrement du modèle affecte les utilisateurs en aval, explique Shumailov. Mais les personnes essayant de construire des modèles à plus petite échelle seraient certainement affectées et devraient être conscientes du risque.
