Les réseaux de neurones artificiels pourraient bientôt traiter plus efficacement les données dépendant du temps grâce au développement d’un memristor accordable. Cette technologie, détaillée dans une étude menée par l’Université du Michigan, pourrait réduire considérablement la consommation énergétique de l’IA. Crédit : Issues.fr.com
Dans le cerveau, le chronométrage s'effectue à l'aide de neurones qui se détendent à des rythmes différents après avoir reçu un signal ; désormais, les memristors, analogues matériels des neurones, peuvent également le faire.
Les réseaux de neurones artificiels pourraient bientôt être capables de traiter plus efficacement les informations dépendant du temps, telles que les données audio et vidéo. Le premier memristor doté d'un « temps de relaxation » réglable est publié aujourd'hui dans Nature Electronics, dans une étude menée par l'Université du Michigan.
Efficacité énergétique et IA
Les memristors, composants électriques qui stockent des informations dans leur résistance électrique, pourraient réduire les besoins énergétiques de l'IA d'un facteur 90 environ par rapport aux unités de traitement graphique actuelles. On prévoit déjà que l’IA représentera environ 0,5 % de la consommation totale d’électricité mondiale en 2027, et ce chiffre pourrait exploser à mesure que davantage d’entreprises vendront et utiliseront des outils d’IA.
« À l’heure actuelle, l’IA suscite beaucoup d’intérêt, mais pour traiter des données plus volumineuses et plus intéressantes, l’approche consiste à augmenter la taille du réseau. Ce n'est pas très efficace », a déclaré Wei Lu, professeur d'ingénierie James R. Mellor à l'UM et co-auteur correspondant de l'étude avec John Heron, professeur agrégé de science et d'ingénierie des matériaux à l'UM.
Le problème avec les GPU
Le problème est que les GPU fonctionnent très différemment des réseaux de neurones artificiels qui exécutent les algorithmes d’IA : l’ensemble du réseau et toutes ses interactions doivent être chargés séquentiellement à partir de la mémoire externe, ce qui consomme à la fois du temps et de l’énergie. En revanche, les memristors permettent des économies d’énergie car ils imitent des aspects clés du fonctionnement des réseaux neuronaux artificiels et biologiques sans mémoire externe. Dans une certaine mesure, le réseau de memristors peut incarner le réseau neuronal artificiel.
Innovations dans les matériaux Memristor
« Nous prévoyons que notre tout nouveau système de matériaux pourrait améliorer l'efficacité énergétique des puces d'IA six fois par rapport aux matériaux de pointe sans varier les constantes de temps », a déclaré Sieun Chae, titulaire d'un récent doctorat à l'UM. diplômé en science et ingénierie des matériaux et co-premier auteur de l'étude avec Sangmin Yoo, récent diplômé d'un doctorat de l'UM en génie électrique et informatique.
Dans un réseau neuronal biologique, le chronométrage est obtenu grâce à la relaxation. Chaque neurone reçoit des signaux électriques et les envoie, mais cela ne garantit pas qu'un signal avancera. Un certain seuil de signaux entrants doit être atteint avant que le neurone envoie le sien, et il doit être atteint dans un certain laps de temps. Si trop de temps s’écoule, on dit que le neurone se détend à mesure que l’énergie électrique s’en échappe. Avoir des neurones avec des temps de relaxation différents dans nos réseaux neuronaux nous aide à comprendre les séquences d'événements.
Comment fonctionnent les memristors
Les memristors fonctionnent un peu différemment. Plutôt que la présence ou l’absence totale d’un signal, ce qui change, c’est la quantité de signal électrique qui passe. L'exposition à un signal réduit la résistance du memristor, permettant ainsi au signal suivant de passer davantage. Dans les memristors, la relaxation signifie que la résistance augmente à nouveau avec le temps.
Même si le groupe de Lu avait exploré dans le passé la création de temps de relaxation dans les memristors, ce n'était pas quelque chose qui pouvait être systématiquement contrôlé. Mais maintenant, l'équipe de Lu et Heron a montré que les variations sur un matériau de base peuvent fournir différents temps de relaxation, permettant aux réseaux de memristors d'imiter ce mécanisme de chronométrage.
Composition des matériaux et tests
L’équipe a construit les matériaux sur le supraconducteur YBCO, composé d’yttrium, de baryum, de carbone et d’oxygène. Il n'a aucune résistance électrique à des températures inférieures à -292 Fahrenheit, mais ils le voulaient pour sa structure cristalline. Il a guidé l’organisation des oxydes de magnésium, de cobalt, de nickel, de cuivre et de zinc dans le matériau memristor.
Heron appelle ce type d’oxyde, un oxyde stabilisé par l’entropie, « l’évier de cuisine du monde atomique » : plus ils ajoutent d’éléments, plus il devient stable. En modifiant les ratios de ces oxydes, l’équipe a atteint des constantes de temps allant de 159 à 278 nanosecondes, ou des billionièmes de seconde. Le simple réseau de memristors qu’ils ont construit a appris à reconnaître les sons des nombres zéro à neuf. Une fois entraîné, il pouvait identifier chaque numéro avant la fin de l’entrée audio.
Perspectives d'avenir
Ces memristors ont été fabriqués selon un processus gourmand en énergie, car l'équipe avait besoin de cristaux parfaits pour mesurer avec précision leurs propriétés, mais ils prévoient qu'un processus plus simple fonctionnerait pour la fabrication de masse.
« Jusqu'à présent, il s'agit d'une vision, mais je pense qu'il existe des moyens de rendre ces matériaux évolutifs et abordables », a déclaré Heron. « Ces matériaux sont abondants sur terre, non toxiques, bon marché et vous pouvez presque les vaporiser dessus. »
La recherche a été financée par la National Science Foundation. Cela a été réalisé en partenariat avec des chercheurs de l’Université d’Oklahoma, de l’Université Cornell et de l’Université d’État de Pennsylvanie.
L'appareil a été construit dans l'installation de nanofabrication de Lurie et étudié au Michigan Center for Materials Characterization.
Lu est également professeur de génie électrique et informatique ainsi que de science et d'ingénierie des matériaux. Chae est maintenant professeur adjoint de génie électrique et d’informatique à l’Oregon State University.
