Les scientifiques de l’Institut Max Planck ont conçu une méthode plus économe en énergie pour la formation en IA, en utilisant les processus physiques de l’informatique neuromorphique. Cette approche, qui s’écarte des réseaux de neurones numériques traditionnels, réduit la consommation d’énergie et optimise l’efficacité de la formation. L’équipe développe un ordinateur neuromorphique optique pour démontrer cette technologie, dans le but de faire progresser considérablement les systèmes d’IA.
De nouvelles machines d’auto-apprentissage basées sur la physique pourraient remplacer les réseaux neuronaux artificiels actuels et économiser de l’énergie.
L’intelligence artificielle (IA) offre non seulement des performances impressionnantes, mais nécessite également une énergie importante. Plus les tâches qu’il entreprend sont complexes, plus la consommation d’énergie est importante. Les scientifiques Víctor López-Pastor et Florian Marquardt de l’Institut Max Planck pour la science de la lumière à Erlangen, en Allemagne, ont développé une méthode pour une formation plus efficace en IA. Leur méthode utilise des processus physiques, qui s’écartent des réseaux neuronaux artificiels numériques traditionnels.
Open AI, la société responsable du développement de GPT-3, la technologie qui alimente ChatGPT, n’a pas divulgué la quantité d’énergie nécessaire à la formation de ce Chatbot IA avancé et compétent.
Selon l’agence de statistiques allemande Statista, cela nécessiterait 1 000 mégawattheures, soit environ l’équivalent de la consommation annuelle de 200 foyers allemands de trois personnes ou plus. Bien que cette dépense énergétique ait permis à GPT-3 de savoir si le mot « profond » est plus susceptible d’être suivi du mot « mer » ou « apprentissage » dans ses ensembles de données, de l’avis de tous, il n’a pas compris le sens sous-jacent d’un tel mot. phrases.
Réseaux de neurones sur ordinateurs neuromorphiques
Afin de réduire la consommation d’énergie des ordinateurs, et en particulier des applications d’IA, plusieurs instituts de recherche ont étudié ces dernières années un tout nouveau concept sur la façon dont les ordinateurs pourraient traiter les données à l’avenir. Le concept est connu sous le nom d’informatique neuromorphique. Bien que cela ressemble aux réseaux de neurones artificiels, cela n’a en réalité que peu à voir avec eux puisque les réseaux de neurones artificiels fonctionnent sur des ordinateurs numériques conventionnels.
Cela signifie que le logiciel, ou plus précisément l’algorithme, est calqué sur le fonctionnement du cerveau, mais que les ordinateurs numériques servent de matériel. Ils effectuent les étapes de calcul du réseau neuronal en séquence, les unes après les autres, en différenciant processeur et mémoire.
« Le transfert de données entre ces deux composants consomme à lui seul de grandes quantités d’énergie lorsqu’un réseau neuronal entraîne des centaines de milliards de paramètres, c’est-à-dire des synapses, avec jusqu’à un téraoctet de données », explique Florian Marquardt, directeur de l’Institut scientifique Max Planck. de Lumière et professeur à l’Université d’Erlangen.
Le cerveau humain est complètement différent et n’aurait probablement jamais été compétitif sur le plan de l’évolution s’il avait fonctionné avec une efficacité énergétique similaire à celle des ordinateurs équipés de transistors en silicium. Il serait très probablement tombé en panne à cause d’une surchauffe.
Le cerveau se caractérise par le fait qu’il entreprend les nombreuses étapes d’un processus de pensée en parallèle et non séquentiellement. Les cellules nerveuses, ou plus précisément les synapses, sont à la fois un processeur et une mémoire. Divers systèmes à travers le monde sont considérés comme des candidats possibles pour les homologues neuromorphiques de nos cellules nerveuses, notamment des circuits photoniques utilisant la lumière au lieu d’électrons pour effectuer des calculs. Leurs composants servent à la fois de commutateurs et de cellules mémoire.
Une machine physique auto-apprenante optimise ses synapses de manière indépendante
En collaboration avec Víctor López-Pastor, doctorant à l’Institut Max Planck pour la science de la lumière, Florian Marquardt a mis au point une méthode de formation efficace pour les ordinateurs neuromorphiques.
«Nous avons développé le concept d’une machine physique auto-apprenante», explique Florian Marquardt. « L’idée centrale est de réaliser la formation sous la forme d’un processus physique dans lequel les paramètres de la machine sont optimisés par le processus lui-même. »
Lors de la formation de réseaux neuronaux artificiels conventionnels, une rétroaction externe est nécessaire pour ajuster la force des milliards de connexions synaptiques.
« Ne pas exiger ce feedback rend la formation beaucoup plus efficace », explique Florian Marquardt. Implémenter et entraîner une intelligence artificielle sur une machine physique auto-apprenante permettrait non seulement d’économiser de l’énergie mais aussi du temps de calcul. « Notre méthode fonctionne quel que soit le processus physique qui se déroule dans la machine d’auto-apprentissage, et nous n’avons même pas besoin de connaître le processus exact », explique Florian Marquardt. «Cependant, le processus doit remplir quelques conditions.»
Plus important encore, il doit être réversible, c’est-à-dire qu’il doit pouvoir avancer ou reculer avec un minimum de perte d’énergie.
«De plus, le processus physique doit être non linéaire, c’est-à-dire suffisamment complexe», explique Florian Marquardt. Seuls des processus non linéaires peuvent accomplir les transformations complexes entre les données d’entrée et les résultats. Un flipper qui roule sur une plaque sans entrer en collision avec une autre est une action linéaire. Cependant, si elle est perturbée par un autre, la situation devient non linéaire.
Test pratique dans un ordinateur neuromorphique optique
Des exemples de processus réversibles et non linéaires peuvent être trouvés en optique. En effet, Víctor López-Pastor et Florian Marquardt collaborent déjà avec une équipe expérimentale développant un ordinateur optique neuromorphique. Cette machine traite les informations sous forme d’ondes lumineuses superposées, les composants appropriés régulant le type et la force de l’interaction. L’objectif des chercheurs est de mettre en pratique le concept de machine physique auto-apprenante.
«Nous espérons pouvoir présenter dans trois ans la première machine physique auto-apprenante», précise Florian Marquardt. D’ici là, il devrait y avoir des réseaux de neurones capables de penser avec beaucoup plus de synapses et d’être entraînés avec des quantités de données nettement plus importantes qu’aujourd’hui.
En conséquence, il y aura probablement un désir encore plus grand de mettre en œuvre des réseaux neuronaux en dehors des ordinateurs numériques conventionnels et de les remplacer par des ordinateurs neuromorphiques efficacement entraînés. « Nous sommes donc convaincus que les machines physiques auto-apprenantes ont de fortes chances d’être utilisées dans le développement futur de l’intelligence artificielle », déclare le physicien.
