Les chercheurs émettent l’hypothèse qu’un type puissant de modèle d’IA connu sous le nom de transformateur pourrait être mis en œuvre dans le cerveau via des réseaux de cellules neuronales et astrocytes. Ces travaux pourraient offrir un aperçu du fonctionnement du cerveau et aider les scientifiques à comprendre pourquoi les transformateurs sont si efficaces dans les tâches d’apprentissage automatique. Crédit : MIT News avec les chiffres d’iStock
Une nouvelle étude reliant les neurosciences et apprentissage automatique offre un aperçu du rôle potentiel des astrocytes dans le cerveau humain.
Les réseaux de neurones artificiels sont des modèles d’apprentissage automatique omniprésents qui peuvent être entraînés pour accomplir de nombreuses tâches. Leur nom vient du fait que leur architecture s’inspire de la manière dont les neurones biologiques traitent les informations dans le cerveau humain.
Les scientifiques ont découvert il y a environ six ans un nouveau type de modèle de réseau neuronal plus puissant, appelé transformateur. Ces modèles peuvent atteindre des performances sans précédent, par exemple en générant du texte à partir d’invites avec un comportement proche de celui d’un humain. précision. Un transformateur est à la base des systèmes d’IA tels que ChatGPT d’OpenAI et Bard de Google, par exemple. Bien qu’incroyablement efficaces, les transformateurs sont également mystérieux : contrairement à d’autres modèles de réseaux neuronaux inspirés du cerveau, il n’est pas clair comment les construire à l’aide de composants biologiques.
Faire le lien entre la biologie et les transformateurs
Désormais, des chercheurs de MIT, le MIT-IBM Watson AI Lab et la Harvard Medical School ont émis une hypothèse qui pourrait expliquer comment un transformateur pourrait être construit à l’aide d’éléments biologiques présents dans le cerveau. Ils suggèrent qu’un réseau biologique composé de neurones et d’autres cellules cérébrales appelées astrocytes pourrait effectuer le même calcul de base qu’un transformateur.
Des recherches récentes ont montré que les astrocytes, cellules non neuronales abondantes dans le cerveau, communiquent avec les neurones et jouent un rôle dans certains processus physiologiques, comme la régulation du flux sanguin. Mais les scientifiques ne comprennent toujours pas clairement ce que font ces cellules sur le plan informatique.
Avec la nouvelle étude, publiée récemment en format libre accès dans le Actes de l’Académie nationale des sciencesles chercheurs ont exploré le rôle que jouent les astrocytes dans le cerveau d’un point de vue informatique et ont élaboré un modèle mathématique qui montre comment ils pourraient être utilisés, avec les neurones, pour construire un transformateur biologiquement plausible.
Leur hypothèse fournit des informations qui pourraient déclencher de futures recherches en neurosciences sur le fonctionnement du cerveau humain. Dans le même temps, cela pourrait aider les chercheurs en apprentissage automatique à expliquer pourquoi les transformateurs réussissent si bien dans un ensemble diversifié de tâches complexes.
« Le cerveau est de loin supérieur aux meilleurs réseaux neuronaux artificiels que nous avons développés, mais nous ne savons pas vraiment comment il fonctionne. Il est scientifiquement intéressant de réfléchir aux liens entre le matériel biologique et les réseaux d’intelligence artificielle à grande échelle. Il s’agit de neurosciences pour l’IA et d’IA pour les neurosciences », déclare Dmitry Krotov, membre du personnel de recherche du MIT-IBM Watson AI Lab et auteur principal du document de recherche.
L’auteur principal Leo Kozachkov, postdoctorant au Département des sciences du cerveau et des sciences cognitives du MIT, rejoint Krotov dans cet article ; et Ksenia V. Kastanenka, professeur adjoint de neurobiologie à la Harvard Medical School et chercheuse adjointe au Massachusetts General Research Institute.
Une impossibilité biologique devient plausible
Les transformateurs fonctionnent différemment des autres modèles de réseaux neuronaux. Par exemple, un réseau neuronal récurrent entraîné au traitement du langage naturel comparerait chaque mot d’une phrase à un état interne déterminé par les mots précédents. Un transformateur, quant à lui, compare tous les mots de la phrase en même temps pour générer une prédiction, un processus appelé auto-attention.
Pour que l’attention personnelle fonctionne, le transformateur doit garder tous les mots prêts dans une forme de mémoire, explique Krotov, mais cela ne semblait pas biologiquement possible en raison de la façon dont les neurones communiquent.
Cependant, il y a quelques années, des scientifiques étudiant un type de modèle d’apprentissage automatique légèrement différent (appelé mémoire dense associée) ont réalisé que ce mécanisme d’auto-attention pouvait se produire dans le cerveau, mais seulement s’il y avait une communication entre au moins trois neurones.
« Le chiffre trois m’est vraiment venu à l’esprit car on sait en neurosciences que ces cellules appelées astrocytes, qui ne sont pas des neurones, forment des connexions à trois voies avec les neurones, ce qu’on appelle des synapses tripartites », explique Kozachkov.
Lorsque deux neurones communiquent, un neurone présynaptique envoie des produits chimiques appelés neurotransmetteurs à travers le synapse qui le connecte à un neurone postsynaptique. Parfois, un astrocyte est également connecté : il enroule un long et mince tentacule autour de la synapse, créant ainsi une synapse tripartite (en trois parties). Un astrocytes peut former des millions de synapses tripartites.
L’astrocyte collecte certains neurotransmetteurs qui traversent la jonction synaptique. À un moment donné, l’astrocyte peut renvoyer un signal aux neurones. Parce que les astrocytes fonctionnent sur une échelle de temps beaucoup plus longue que les neurones – ils créent des signaux en augmentant lentement leur réponse calcique puis en la diminuant – ces cellules peuvent retenir et intégrer les informations qui leur sont communiquées par les neurones. De cette manière, les astrocytes peuvent former une sorte de mémoire tampon, explique Krotov.
« Si vous y réfléchissez sous cet angle, alors les astrocytes sont extrêmement naturels pour précisément le calcul dont nous avons besoin pour effectuer l’opération d’attention à l’intérieur des transformateurs », ajoute-t-il.
Construire un réseau neurones-astrocytaires
Forts de cette idée, les chercheurs ont formulé l’hypothèse selon laquelle les astrocytes pourraient jouer un rôle dans la manière dont les transformateurs calculent. Ils ont ensuite entrepris de construire un modèle mathématique d’un réseau neurones-astrocytaires qui fonctionnerait comme un transformateur.
Ils ont pris les mathématiques de base qui composent un transformateur et ont développé des modèles biophysiques simples de ce que font les astrocytes et les neurones lorsqu’ils communiquent dans le cerveau, sur la base d’une analyse approfondie de la littérature et des conseils de collaborateurs neuroscientifiques.
Ensuite, ils ont combiné les modèles de certaines manières jusqu’à arriver à une équation d’un réseau neurone-astrocyte qui décrit l’auto-attention d’un transformateur.
« Parfois, nous avons constaté que certaines choses que nous voulions voir vraies ne pouvaient pas être mises en œuvre de manière plausible. Nous avons donc dû réfléchir à des solutions de contournement. Certains éléments de l’article constituent des approximations très minutieuses de l’architecture du transformateur afin de pouvoir y correspondre d’une manière biologiquement plausible », explique Kozachkov.
Grâce à leur analyse, les chercheurs ont montré que leur réseau biophysique de neurones et d’astrocytes correspond théoriquement à un transformateur. De plus, ils ont effectué des simulations numériques en transmettant des images et des paragraphes de texte à des modèles de transformateur et en comparant les réponses à celles de leur réseau neurone-astrocytaire simulé. Tous deux ont répondu aux invites de la même manière, confirmant ainsi leur modèle théorique.
« Devenus électriquement silencieux pendant plus d’un siècle d’enregistrements cérébraux, les astrocytes sont l’une des cellules les plus abondantes, mais les moins explorées, du cerveau. Le potentiel de libérer la puissance de calcul de l’autre moitié de notre cerveau est énorme », explique Konstantinos Michmizos, professeur agrégé d’informatique à l’Université Rutgers, qui n’a pas participé à ces travaux. « Cette étude ouvre une boucle itérative fascinante, depuis la compréhension de la manière dont un comportement intelligent peut réellement émerger dans le cerveau jusqu’à la traduction d’hypothèses perturbatrices en de nouveaux outils qui présentent une intelligence semblable à celle de l’humain. »
La prochaine étape pour les chercheurs consiste à passer de la théorie à la pratique. Ils espèrent comparer les prédictions du modèle à celles qui ont été observées dans des expériences biologiques et utiliser ces connaissances pour affiner, voire réfuter, leur hypothèse.
De plus, une implication de leur étude est que les astrocytes pourraient être impliqués dans la mémoire à long terme, puisque le réseau a besoin de stocker des informations pour pouvoir agir dessus à l’avenir. Des recherches supplémentaires pourraient approfondir cette idée, dit Krotov.
« Pour de nombreuses raisons, les astrocytes sont extrêmement importants pour la cognition et le comportement, et ils fonctionnent de manière fondamentalement différente des neurones. Mon plus grand espoir pour cet article est qu’il catalyse un certain nombre de recherches en neurosciences computationnelles sur les cellules gliales, et en particulier les astrocytes », ajoute Kozachkov.
Cette recherche a été financée en partie par la Fondation BrightFocus et le National Institute of Health.
