Photo du « drone neuromorphique » survolant un motif floral. Il illustre les entrées visuelles que le drone reçoit de la caméra neuromorphique dans les coins. Le rouge indique que les pixels deviennent plus sombres, le vert indique que les pixels deviennent plus clairs. Crédit : Guido de Croon
Le premier système de vision et de contrôle neuromorphique a été implémenté dans un drone volant.
Des chercheurs de l'Université de technologie de Delft ont créé un drone capable de voler de manière autonome, en utilisant un traitement d'image neuromorphique et un contrôle inspiré du fonctionnement du cerveau des animaux. Les cerveaux animaux traitent les données et consomment de l’énergie plus efficacement que les réseaux neuronaux profonds généralement exploités sur les GPU. Par conséquent, les processeurs neuromorphiques sont idéaux pour les petits drones, car ils éliminent le besoin de matériel encombrant et de grosses batteries.
Les résultats sont extraordinaires : pendant le vol, le réseau neuronal profond du drone traite les données jusqu'à 64 fois plus rapidement et consomme trois fois moins d'énergie que lorsqu'il fonctionne sur un GPU. Les développements ultérieurs de cette technologie pourraient permettre aux drones de devenir aussi petits, agiles et intelligents que les insectes ou les oiseaux volants. Les résultats ont été récemment publiés dans Robotique scientifique.
Apprendre à partir du cerveau des animaux : alimenter les réseaux de neurones
L’intelligence artificielle recèle un grand potentiel pour fournir aux robots autonomes l’intelligence nécessaire aux applications du monde réel. Cependant, l’IA actuelle repose sur des réseaux de neurones profonds qui nécessitent une puissance de calcul importante. Les processeurs conçus pour faire fonctionner des réseaux de neurones profonds (Graphics Processing Units, GPU) consomment une quantité importante d'énergie. C'est particulièrement problématique pour les petits robots comme les drones volants, car ils ne peuvent transporter que des ressources très limitées en termes de détection et de calcul.
Les cerveaux des animaux traitent les informations d’une manière très différente des réseaux neuronaux fonctionnant sur des GPU. Les neurones biologiques traitent les informations de manière asynchrone et communiquent principalement via des impulsions électriques appelées pointes. Étant donné que l’envoi de tels pics coûte de l’énergie, le cerveau minimise les pics, ce qui conduit à un traitement clairsemé.
Timelapse d'un drone volant avec une IA neuromorphique entièrement alimentée par vision pour contrôler Liohi. Crédit : Guido de Croon
Inspirés par ces propriétés du cerveau animal, les scientifiques et les entreprises technologiques développent de nouveaux neuromorphique processeurs. Ces nouveaux processeurs permettent d'exécuter des réseaux de neurones à pointe et promettent d'être beaucoup plus rapides et plus économes en énergie.
« Les calculs effectués par les réseaux de neurones à pointe sont beaucoup plus simples que ceux des réseaux de neurones profonds standards », explique Jesse Hagenaars, doctorant et l'un des auteurs de l'article. « Alors que les neurones à pointe numérique n'ont besoin que d'ajouter des nombres entiers, les neurones standards doivent multiplier et ajouter des nombres à virgule flottante. Cela rend la montée en puissance des réseaux neuronaux plus rapide et plus économe en énergie. Pour comprendre pourquoi, pensez au fait que les humains trouvent également beaucoup plus facile de calculer 5 + 8 que de calculer 6,25 x 3,45 + 4,05 x 3,45.
Cette efficacité énergétique est encore renforcée si des processeurs neuromorphiques sont utilisés en combinaison avec des capteurs neuromorphiques, comme des caméras neuromorphes. De telles caméras ne prennent pas d’images à intervalle de temps fixe. Au lieu de cela, chaque pixel envoie un signal uniquement lorsqu’il devient plus clair ou plus sombre. Les avantages de ces caméras sont qu’elles peuvent percevoir les mouvements beaucoup plus rapidement, qu’elles sont plus économes en énergie et qu’elles fonctionnent bien dans des environnements sombres et lumineux. De plus, les signaux des caméras neuromorphiques peuvent alimenter directement les réseaux neuronaux fonctionnant sur des processeurs neuromorphiques. Ensemble, ils peuvent constituer un énorme catalyseur pour les robots autonomes, en particulier les petits robots agiles comme les drones volants.
Première vision neuromorphique et contrôle d'un drone volant
Dans un article publié dans Robotique scientifique, des chercheurs de l'Université de technologie de Delft, aux Pays-Bas, présentent pour la première fois un drone utilisant la vision et le contrôle neuromorphiques pour un vol autonome. Plus précisément, ils ont développé un réseau neuronal qui traite les signaux d'une caméra neuromorphique et émet des commandes de contrôle qui déterminent la pose et la poussée du drone. Ils ont déployé ce réseau sur un processeur neuromorphique, la puce de recherche neuromorphique Loihi d'Intel, embarqué sur un drone. Grâce au réseau, le drone peut percevoir et contrôler son propre mouvement dans toutes les directions.
Premier drone volant avec une IA neuromorphique entièrement vision-à-contrôle. Crédit : Guido de Croon
« Nous avons été confrontés à de nombreux défis », explique Federico Paredes-Vallés, l'un des chercheurs qui ont travaillé sur l'étude, « mais le plus difficile a été d'imaginer comment nous pourrions former un réseau neuronal à pointes afin que la formation soit à la fois suffisamment rapide et le réseau formé fonctionnerait bien sur le vrai robot. Au final, nous avons conçu un réseau composé de deux modules. Le premier module apprend à percevoir visuellement le mouvement à partir des signaux d'une caméra neuromorphique en mouvement. Il le fait entièrement tout seul, de manière auto-supervisée, sur la base uniquement des données de la caméra. Cela ressemble à la façon dont les animaux apprennent à percevoir le monde par eux-mêmes. Le deuxième module apprend à cartographier le mouvement estimé pour contrôler les commandes, dans un simulateur. Cet apprentissage reposait sur une évolution artificielle de la simulation, dans laquelle les réseaux qui contrôlaient mieux le drone avaient plus de chances de produire une progéniture. Au fil des générations de l’évolution artificielle, les réseaux neuronaux à pointes sont devenus de plus en plus efficaces en termes de contrôle et ont finalement pu voler dans n’importe quelle direction à différentes vitesses. Nous avons formé les deux modules et développé un moyen de les fusionner. Nous avons été heureux de constater que le réseau fusionné a immédiatement bien fonctionné sur le vrai robot.
Grâce à sa vision et à son contrôle neuromorphiques, le drone est capable de voler à différentes vitesses dans différentes conditions d'éclairage, de l'obscurité à la luminosité. Il peut même voler avec des lumières vacillantes, ce qui fait que les pixels de la caméra neuromorphique envoient au réseau un grand nombre de signaux sans rapport avec le mouvement.
Amélioration de l'efficacité énergétique et de la vitesse grâce à l'IA neuromorphique
« Ce qui est important, c’est que nos mesures confirment le potentiel de l’IA neuromorphique. Le réseau fonctionne en moyenne entre 274 et 1 600 fois par seconde. Si nous exécutons le même réseau sur un petit GPU intégré, il ne fonctionne en moyenne que 25 fois par seconde, soit une différence d'un facteur ~10-64 ! De plus, lors du fonctionnement du réseau, la puce de recherche neuromorphique Loihi d'Intel consomme 1,007 watts, dont 1 watt correspond à la puissance inutilisée que le processeur dépense juste lorsqu'il allume la puce. Le fonctionnement du réseau lui-même ne coûte que 7 milliwatts. En comparaison, lors de l'exécution du même réseau, le GPU intégré consomme 3 watts, dont 1 watt en veille et 2 watts pour faire fonctionner le réseau. L’approche neuromorphique aboutit à une IA qui fonctionne plus rapidement et plus efficacement, permettant un déploiement sur des robots autonomes beaucoup plus petits », explique Stein Stroobants, doctorant dans le domaine des drones neuromorphiques.
Applications futures de l'IA neuromorphique pour les petits robots
« L’IA neuromorphique permettra à tous les robots autonomes d’être plus intelligents », déclare Guido de Croon, professeur en drones bio-inspirés, « mais elle constitue un véritable catalyseur pour les petits robots autonomes. À la Faculté de génie aérospatial de l'Université de technologie de Delft, nous travaillons sur de minuscules drones autonomes qui peuvent être utilisés pour des applications allant de la surveillance des cultures dans les serres au suivi des stocks dans les entrepôts. Les avantages des petits drones sont qu’ils sont très sûrs et peuvent naviguer dans des environnements étroits comme entre des rangées de plants de tomates. De plus, ils peuvent être très bon marché, de sorte qu’ils peuvent être déployés en essaims. Ceci est utile pour couvrir plus rapidement une zone, comme nous l’avons montré dans les contextes d’exploration et de localisation de sources de gaz.
« Les travaux en cours constituent un grand pas dans cette direction. Cependant, la réalisation de ces applications dépendra d’une réduction supplémentaire du matériel neuromorphique et de l’extension des capacités vers des tâches plus complexes telles que la navigation.
