Des chercheurs de l’EPFL ont développé un algorithme révolutionnaire qui entraîne efficacement les réseaux neuronaux analogiques, offrant ainsi une alternative économe en énergie aux réseaux numériques traditionnels. Cette méthode, qui s’aligne plus étroitement sur l’apprentissage humain, a donné des résultats prometteurs dans les systèmes physiques basés sur les ondes et vise à réduire l’impact environnemental des réseaux neuronaux profonds. (Image conceptuelle DALL-E 3 générée par l’IA représentant des ondes lumineuses traversant un système physique.) Crédit : © LWE/EPFL
Des chercheurs de l’EPFL ont développé un algorithme pour entraîner un réseau neuronal analogique avec autant de précision qu’un réseau numérique, permettant ainsi le développement d’alternatives plus efficaces au matériel d’apprentissage profond gourmand en énergie.
Avec leur capacité à traiter de grandes quantités de données grâce à un « apprentissage » algorithmique plutôt qu’à la programmation traditionnelle, il semble souvent que le potentiel des réseaux neuronaux profonds comme Chat-GPT est illimité. Mais à mesure que la portée et l’impact de ces systèmes se sont accrus, leur taille, leur complexité et leur consommation d’énergie ont également augmenté – cette dernière étant suffisamment importante pour susciter des inquiétudes quant à leur contribution aux émissions mondiales de carbone.
Et même si nous pensons souvent au progrès technologique en termes de passage de l’analogique au numérique, les chercheurs recherchent désormais des réponses à ce problème dans des alternatives physiques aux réseaux neuronaux profonds numériques. L’un de ces chercheurs est Romain Fleury du Laboratoire d’ingénierie des vagues de la Faculté d’ingénierie de l’EPFL. Dans un article publié dans la revue Sciencelui et ses collègues décrivent un algorithme pour entraîner des systèmes physiques qui montre une vitesse améliorée, une robustesse améliorée et une consommation d’énergie réduite par rapport à d’autres méthodes.
« Nous avons testé avec succès notre algorithme de formation sur trois systèmes physiques basés sur les ondes qui utilisent des ondes sonores, des ondes lumineuses et des micro-ondes pour transporter des informations plutôt que des électrons. Mais notre approche polyvalente peut être utilisée pour entraîner n’importe quel système physique », explique Ali Momeni, premier auteur et chercheur à LWE.
Une approche « plus biologiquement plausible »
La formation aux réseaux neuronaux consiste à aider les systèmes à apprendre à générer des valeurs optimales de paramètres pour une tâche telle que la reconnaissance d’images ou de parole. Cela implique traditionnellement deux étapes : une passe avant, où les données sont envoyées via le réseau et une fonction d’erreur est calculée en fonction de la sortie ; et une passe arrière (également connue sous le nom de rétropropagation, ou BP), où un gradient de la fonction d’erreur par rapport à tous les paramètres du réseau est calculé.
Au fil des itérations répétées, le système se met à jour en fonction de ces deux calculs pour renvoyer des valeurs de plus en plus précises. Le problème? En plus d’être très gourmand en énergie, BP est mal adapté aux systèmes physiques. En fait, la formation des systèmes physiques nécessite généralement un jumeau numérique pour l’étape BP, ce qui est inefficace et comporte un risque d’inadéquation réalité-simulation.
L’idée des scientifiques était de remplacer l’étape BP par un deuxième passage à travers le système physique pour mettre à jour chaque couche réseau localement. En plus de réduire la consommation d’énergie et d’éliminer le besoin d’un jumeau numérique, cette méthode reflète mieux l’apprentissage humain.
« La structure des réseaux neuronaux est inspirée par le cerveau, mais il est peu probable que le cerveau apprenne via BP », explique Momeni. « L’idée ici est que si nous formons chaque couche physique localement, nous pouvons utiliser notre système physique réel au lieu d’en construire d’abord un modèle numérique. Nous avons donc développé une approche biologiquement plus plausible.
Les chercheurs de l’EPFL, avec Philipp del Hougne du CNRS IETR et Babak Rahmani de Microsoft Research, ont utilisé leur algorithme d’apprentissage physique local (PhyLL) pour entraîner des systèmes acoustiques et micro-ondes expérimentaux et un système optique modélisé pour classer des données telles que les voyelles et les images. En plus de montrer des résultats comparables précision à la formation basée sur BP, la méthode était robuste et adaptable – même dans les systèmes exposés à des perturbations externes imprévisibles – par rapport à l’état de l’art.
Un avenir analogique ?
Bien que l’approche du LWE constitue la première formation sans BP de réseaux neuronaux physiques profonds, certaines mises à jour numériques des paramètres sont encore nécessaires. « Il s’agit d’une approche de formation hybride, mais notre objectif est de réduire autant que possible le calcul numérique », explique Momeni.
Les chercheurs espèrent désormais mettre en œuvre leur algorithme sur un système optique à petite échelle, dans le but ultime d’augmenter l’évolutivité du réseau.
« Dans nos expériences, nous avons utilisé des réseaux de neurones comportant jusqu’à 10 couches, mais est-ce que cela fonctionnerait toujours avec 100 couches avec des milliards de paramètres ? Il s’agit de la prochaine étape, qui nécessitera de surmonter les limitations techniques des systèmes physiques. »
