Une équipe interdisciplinaire a découvert que les modèles d’IA, en particulier le Transformer, traitent la mémoire d’une manière similaire à l’hippocampe du cerveau humain. Cette percée suggère que l’application des principes des neurosciences, comme ceux du récepteur NMDA, à l’IA peut améliorer les fonctions de mémoire, faire progresser le domaine de l’IA et offrir un aperçu du fonctionnement du cerveau humain. Crédit : Issues.fr.com
Les chercheurs ont découvert que les processus de consolidation de la mémoire de l’IA ressemblent à ceux du cerveau humain, en particulier dans l’hippocampe, offrant ainsi un potentiel de progrès dans l’IA et une compréhension plus approfondie des mécanismes de la mémoire humaine.
Une équipe interdisciplinaire composée de chercheurs du Center for Cognition and Sociality et du Data Science Group de l’Institut des sciences fondamentales (IBS) a révélé une similitude frappante entre le traitement de la mémoire des modèles d’intelligence artificielle (IA) et l’hippocampe du cerveau humain. Cette nouvelle découverte offre une nouvelle perspective sur la consolidation de la mémoire, qui est un processus qui transforme les mémoires à court terme en mémoires à long terme, dans les systèmes d’IA.
Faire progresser l’IA grâce à la compréhension de l’intelligence humaine
Dans la course au développement de l’intelligence générale artificielle (AGI), menée par des entités influentes comme OpenAI et Google DeepMind en tête, la compréhension et la reproduction de l’intelligence humaine sont devenues un intérêt de recherche important. Au cœur de ces avancées technologiques se trouve le modèle Transformer (Figure 1), dont les principes fondamentaux sont désormais explorés de manière plus approfondie.
Figure 1. (a) Diagramme illustrant l’activité des canaux ioniques dans les neurones post-synaptiques. Les récepteurs AMPA sont impliqués dans l’activation des neurones post-synaptiques, tandis que les récepteurs NMDA sont bloqués par les ions magnésium (Mg²⁺) mais induisent une plasticité synaptique par l’afflux d’ions calcium (Ca²⁺) lorsque le neurone post-synaptique est suffisamment activé. (b) Organigramme représentant le processus de calcul dans le modèle Transformer AI. Les informations sont traitées séquentiellement à travers des étapes telles que les couches de rétroaction, la normalisation des couches et les couches d’auto-attention. Le graphique illustrant la relation courant-tension des récepteurs NMDA est très similaire à la non-linéarité de la couche de rétroaction. Le graphique entrées-sorties, basé sur la concentration de magnésium (α), montre les changements de non-linéarité des récepteurs NMDA. Crédit : Institut des sciences fondamentales
Les mécanismes d’apprentissage du cerveau appliqués à l’IA
La clé de systèmes d’IA puissants est de comprendre comment ils apprennent et mémorisent les informations. L’équipe a appliqué aux modèles d’IA les principes de l’apprentissage du cerveau humain, en se concentrant spécifiquement sur la consolidation de la mémoire via le récepteur NMDA de l’hippocampe.
Le récepteur NMDA est comme une porte intelligente dans votre cerveau qui facilite l’apprentissage et la formation de la mémoire. Lorsqu’un produit chimique cérébral appelé glutamate est présent, la cellule nerveuse subit une excitation. D’un autre côté, un ion magnésium agit comme un petit gardien bloquant la porte. Ce n’est que lorsque ce gardien ionique s’écarte que les substances peuvent pénétrer dans la cellule. C’est le processus qui permet au cerveau de créer et de conserver des souvenirs, et le rôle du gardien (l’ion magnésium) dans l’ensemble du processus est assez spécifique.
Modèles d’IA imitant les processus du cerveau humain
L’équipe a fait une découverte fascinante : le modèle Transformer semble utiliser un processus de contrôle similaire au récepteur NMDA du cerveau (voir Figure 1). Cette révélation a amené les chercheurs à étudier si la consolidation de la mémoire du Transformer pouvait être contrôlée par un mécanisme similaire au processus de déclenchement du récepteur NMDA.
Dans le cerveau animal, un faible taux de magnésium est connu pour affaiblir la fonction de mémoire. Les chercheurs ont découvert que la mémoire à long terme de Transformer pouvait être améliorée en imitant le récepteur NMDA. Tout comme dans le cerveau, où les changements dans les niveaux de magnésium affectent la force de la mémoire, la modification des paramètres du transformateur pour refléter l’action de déclenchement du récepteur NMDA a conduit à une mémoire améliorée dans le modèle d’IA. Cette découverte révolutionnaire suggère que la manière dont les modèles d’IA apprennent peut être expliquée par des connaissances établies en neurosciences.
Avis d’experts sur l’IA et les neurosciences
C. Justin LEE, directeur neuroscientifique de l’institut, a déclaré : « Cette recherche constitue une étape cruciale dans l’avancement de l’IA et des neurosciences. Cela nous permet d’approfondir les principes de fonctionnement du cerveau et de développer des systèmes d’IA plus avancés basés sur ces informations.
CHA Meeyoung, qui est data scientist dans l’équipe et chez KAIST, note : « Le cerveau humain est remarquable dans la façon dont il fonctionne avec un minimum d’énergie, contrairement aux grands modèles d’IA qui nécessitent d’immenses ressources. Notre travail ouvre de nouvelles possibilités pour des systèmes d’IA peu coûteux et performants qui apprennent et mémorisent les informations comme les humains.
La fusion des mécanismes cognitifs et de la conception de l’IA
Ce qui distingue cette étude, c’est son initiative visant à intégrer la non-linéarité inspirée du cerveau dans une construction d’IA, ce qui signifie un progrès significatif dans la simulation de la consolidation de la mémoire à l’image de l’humain. La convergence des mécanismes cognitifs humains et de la conception de l’IA est non seulement prometteuse pour la création de systèmes d’IA à faible coût et hautes performances, mais elle fournit également des informations précieuses sur le fonctionnement du cerveau grâce aux modèles d’IA.
