Les outils d’intelligence artificielle les plus puissants ont tous un point commun. Qu'ils écrivent de la poésie ou prédisent les structures des protéines, ils s'appuient sur l'architecture du « transformateur ».
Les outils d'IA les plus puissants d'aujourd'hui – ceux qui peuvent résumer des documents, générer des œuvres d'art, écrire de la poésie ou prédire la façon dont des protéines incroyablement complexes se replient – reposent tous sur les épaules du « transformateur ». Cette architecture de réseau neuronal, annoncée pour la première fois en 2017 dans un modeste centre de conférence en Californie, permet aux machines de traiter les informations d'une manière qui reflète la façon de penser des humains.
Auparavant, la plupart des modèles d’IA de pointe reposaient sur une technique appelée réseau neuronal récurrent. Cela fonctionnait en lisant du texte dans des fenêtres étroites, de gauche à droite, en se souvenant uniquement de ce qui s'était passé juste avant. Cette configuration a assez bien fonctionné pour des phrases courtes. Mais dans des phrases plus longues et plus enchevêtrées, les modèles ont dû insérer trop de contexte dans leur mémoire limitée, entraînant la perte de détails cruciaux. L’ambiguïté les a déconcertés.
Les Transformers ont abandonné cette approche et ont adopté quelque chose de plus radical : l’attention personnelle.
Cet article fait partie de notre numéro spécial sur les 21 meilleures idées du 21e siècle.
Parcourez la programmation complète ici
C'est étonnamment intuitif. Nous, les humains, ne lisons et n’interprétons certainement pas le texte en le parcourant mot par mot dans un ordre strict. On survole, on revient en arrière, on fait des suppositions et des corrections en pesant le contexte. Ce type d’agilité mentale est depuis longtemps le Saint Graal du traitement du langage naturel : enseigner aux machines non seulement comment traiter le langage, mais aussi comment le comprendre.
Les transformateurs imitent ce saut mental. Leur mécanisme d’auto-attention leur permet de comparer simultanément chaque mot d’une phrase avec tous les autres mots, de repérer des modèles et de construire un sens à partir des relations entre eux. « Vous pouvez exploiter toutes ces données d'Internet ou de Wikipédia et les utiliser pour votre tâche », explique Sasha Luccioni, chercheuse en IA chez Hugging Face. « Et c'était extrêmement puissant. »
Cette flexibilité ne se limite pas non plus au texte. Les transformateurs soutiennent désormais les outils qui génèrent de la musique, restituent des images et même modélisent des molécules. AlphaFold, par exemple, traite les protéines – de longues chaînes d’acides aminés – comme des phrases. La fonction d'une protéine dépend de la façon dont elle se replie et cela, à son tour, dépend de la façon dont ses parties se rapportent sur de longues distances. Les mécanismes d’attention permettent au modèle d’évaluer ces relations distantes avec une précision très fine.
Avec le recul, l’idée semble presque évidente : l’intelligence, qu’elle soit humaine ou artificielle, dépend de la capacité de savoir sur quoi se concentrer et à quel moment. Le transformateur n’a pas seulement aidé les machines à comprendre le langage. Cela leur a donné un moyen de naviguer dans n’importe quelle donnée structurée – un peu comme les humains naviguent dans leurs propres mondes complexes.
