Des chercheurs de l'Institut Max Planck pour la science de la lumière ont développé une méthode plus simple et potentiellement plus durable pour mettre en œuvre des réseaux neuronaux utilisant des systèmes optiques.
Un nouveau système optique pour les réseaux neuronaux a été développé par l'Institut Max Planck, offrant une alternative plus simple et plus économe en énergie aux méthodes actuelles.
Ce système utilise la transmission de la lumière pour effectuer des calculs, réduisant ainsi la complexité et les besoins énergétiques associés aux réseaux neuronaux traditionnels.
Réseaux de neurones optiques
Les scientifiques proposent une nouvelle façon de mettre en œuvre un réseau neuronal avec un système optique qui pourrait rendre apprentissage automatique plus durable à l'avenir. Les chercheurs de l'Institut Max Planck pour la science de la lumière ont publié leur nouvelle méthode dans Physique de la naturedémontrant une méthode beaucoup plus simple que les approches précédentes.
Apprentissage automatique et intelligence artificielle Les réseaux neuronaux deviennent de plus en plus répandus, avec des applications allant de la vision par ordinateur à la génération de texte, comme le montre ChatGPT. Cependant, ces tâches complexes nécessitent des réseaux neuronaux de plus en plus complexes, certains comportant plusieurs milliards de paramètres.
Cette croissance rapide de la taille des réseaux neuronaux a mis ces technologies sur une voie non durable en raison de leur consommation d’énergie et de leurs temps d’apprentissage en croissance exponentielle. Par exemple, on estime que l’entraînement du GPT-3 a consommé plus de 1 000 MWh d’énergie, ce qui équivaut à la consommation électrique quotidienne d’une petite ville.
Cette tendance a créé un besoin d'alternatives plus rapides, plus économes en énergie et en coûts, ce qui a donné naissance au domaine en plein essor de l'informatique neuromorphique. L'objectif de ce domaine est de remplacer les réseaux neuronaux de nos ordinateurs numériques par des réseaux neuronaux physiques. Ceux-ci sont conçus pour effectuer physiquement les opérations mathématiques requises d'une manière potentiellement plus rapide et plus économe en énergie.
Illustration artistique d'un système neuromorphique de guides d'ondes transportant la lumière. Crédit : @ CC Wanjura
Les défis de l'informatique neuromorphique
L'optique et la photonique sont des plateformes particulièrement prometteuses pour le calcul neuromorphique, car la consommation d'énergie peut être réduite au minimum. Les calculs peuvent être effectués en parallèle à des vitesses très élevées, limitées uniquement par la vitesse de la lumière. Cependant, jusqu'à présent, deux défis majeurs se sont posés : tout d'abord, la réalisation des calculs mathématiques complexes nécessaires nécessite des puissances laser élevées. Ensuite, l'absence d'une méthode d'entraînement générale efficace pour de tels réseaux neuronaux physiques.
Ces deux défis peuvent être surmontés grâce à la nouvelle méthode proposée par Clara Wanjura et Florian Marquardt de l'Institut Max Planck pour la science de la lumière dans leur nouvel article Physique de la nature.
Simplification de la formation des réseaux neuronaux
« Normalement, les données saisies sont imprimées sur le champ lumineux. Mais dans nos nouvelles méthodes, nous proposons d’imprimer ces données en modifiant la transmission de la lumière », explique Florian Marquardt, directeur de l’Institut.
De cette manière, le signal d'entrée peut être traité de manière arbitraire. Cela est vrai même si le champ lumineux lui-même se comporte de la manière la plus simple possible, dans laquelle les ondes interfèrent sans s'influencer mutuellement. Par conséquent, leur approche permet d'éviter des interactions physiques compliquées pour réaliser les fonctions mathématiques requises qui nécessiteraient sinon des champs lumineux de grande puissance.
L’évaluation et l’entraînement de ce réseau neuronal physique seraient alors très simples : « Il suffirait d’envoyer de la lumière à travers le système et d’observer la lumière transmise. Cela nous permettrait d’évaluer le rendement du réseau. En même temps, cela nous permettrait de mesurer toutes les informations pertinentes pour l’entraînement », explique Clara Wanjura, première auteure de l’étude.
Les auteurs ont démontré dans des simulations que leur approche peut être utilisée pour effectuer des tâches de classification d'images avec le même précision en tant que réseaux neuronaux numériques.
À l’avenir, les auteurs prévoient de collaborer avec des groupes expérimentaux pour étudier la mise en œuvre de leur méthode. Étant donné que leur proposition allège considérablement les exigences expérimentales, elle peut être appliquée à de nombreux systèmes physiquement très différents. Cela ouvre de nouvelles possibilités pour les dispositifs neuromorphiques permettant un entraînement physique sur une large gamme de plateformes.
