Des ingénieurs de l'Université Northwestern ont créé l'algorithme MaxDiff RL, améliorant l'IA en robotique en permettant aux robots d'explorer de manière aléatoire et d'apprendre efficacement. Cette méthode améliore considérablement les performances et la fiabilité des robots dans diverses applications, démontrant ainsi des compétences supérieures dans les tâches dès le premier essai. (Concept de l'artiste.) Crédit : Issues.fr.com
Le nouvel algorithme d’IA pour robots surpasse systématiquement les systèmes de pointe.
Université du nord-ouest les ingénieurs ont développé un nouvel algorithme d’intelligence artificielle (IA) conçu spécifiquement pour la robotique intelligente. En aidant les robots à acquérir des compétences complexes de manière rapide et fiable, la nouvelle méthode pourrait améliorer considérablement l’aspect pratique – et la sécurité – des robots pour une gamme d’applications, notamment les voitures autonomes, les drones de livraison, les assistants ménagers et l’automatisation.
Appelé Maximum Diffusion Reinforcement Learning (MaxDiff RL), le succès de l'algorithme réside dans sa capacité à encourager les robots à explorer leur environnement de manière aussi aléatoire que possible afin d'acquérir un ensemble diversifié d'expériences. Ce « caractère aléatoire conçu » améliore la qualité des données que les robots collectent concernant leur propre environnement. Et, en utilisant des données de meilleure qualité, les robots simulés ont démontré un apprentissage plus rapide et plus efficace, améliorant ainsi leur fiabilité et leurs performances globales.
Bien que l’étude actuelle ait testé l’algorithme d’IA uniquement sur des robots simulés, les chercheurs ont développé NoodleBot pour de futurs tests de l’algorithme dans le monde réel. Crédit : Université Northwestern
Performance supérieure de MaxDiff RL
Lorsqu'ils ont été testés par rapport à d'autres plates-formes d'IA, les robots simulés utilisant le nouvel algorithme de Northwestern ont systématiquement surpassé les modèles de pointe. En fait, le nouvel algorithme fonctionne si bien que les robots ont appris de nouvelles tâches et les ont ensuite exécutées avec succès en une seule tentative, en réussissant du premier coup. Cela contraste fortement avec les modèles d’IA actuels, qui permettent un apprentissage plus lent par essais et erreurs.
La recherche sera publiée aujourd'hui (2 mai) dans la revue Intelligence des machines naturelles.
Les chercheurs ont testé les performances du nouvel algorithme d'IA avec des robots simulés, tels que NoodleBot. Crédit : Université Northwestern
« D'autres cadres d'IA peuvent être quelque peu peu fiables », a déclaré Thomas Berrueta de Northwestern, qui a dirigé l'étude. « Parfois, ils réussiront totalement une tâche, mais, d’autres fois, ils échoueront complètement. Avec notre framework, tant que le robot est capable de résoudre la tâche, chaque fois que vous allumez votre robot, vous pouvez vous attendre à ce qu'il fasse exactement ce qui lui a été demandé. Cela facilite l’interprétation des succès et des échecs des robots, ce qui est crucial dans un monde de plus en plus dépendant de l’IA.
Berrueta est présidentielle à Northwestern et titulaire d'un doctorat. candidat en génie mécanique à la McCormick School of Engineering. L'expert en robotique Todd Murphey, professeur de génie mécanique à McCormick et conseiller de Berrueta, est l'auteur principal de l'article. Berrueta et Murphey ont co-écrit l'article avec Allison Pinosky, également titulaire d'un doctorat. candidat dans le laboratoire de Murphey.
La déconnexion désincarnée
Pour former des algorithmes d’apprentissage automatique, les chercheurs et les développeurs utilisent de grandes quantités de données massives, que les humains filtrent et organisent soigneusement. L’IA apprend de ces données d’entraînement, par essais et erreurs jusqu’à atteindre des résultats optimaux. Bien que ce processus fonctionne bien pour les systèmes désincarnés, comme ChatGPT et Google Gemini (anciennement Bard), il ne fonctionne pas pour les systèmes d'IA incarnés comme les robots. Les robots, au contraire, collectent les données par eux-mêmes, sans le luxe des conservateurs humains.
« Les algorithmes traditionnels ne sont pas compatibles avec la robotique de deux manières distinctes », a déclaré Murphey. « Premièrement, les systèmes désincarnés peuvent tirer parti d’un monde où les lois physiques ne s’appliquent pas. Deuxièmement, les échecs individuels n’ont aucune conséquence. Pour les applications informatiques, la seule chose qui compte est que cela réussisse la plupart du temps. En robotique, un échec peut être catastrophique.
Pour résoudre ce décalage, Berrueta, Murphey et Pinosky ont cherché à développer un nouvel algorithme garantissant que les robots collecteront des données de haute qualité en déplacement. À la base, MaxDiff RL commande aux robots de se déplacer de manière plus aléatoire afin de collecter des données complètes et diverses sur leur environnement. En apprenant grâce à des expériences aléatoires auto-organisées, les robots acquièrent les compétences nécessaires pour accomplir des tâches utiles.
Cette vidéo illustre les capacités d'apprentissage en un seul coup de MaxDiff RL. Crédit : Université Northwestern
Bien faire les choses du premier coup
Pour tester le nouvel algorithme, les chercheurs l’ont comparé aux modèles actuels de pointe. À l’aide de simulations informatiques, les chercheurs ont demandé à des robots simulés d’effectuer une série de tâches standard. Dans l’ensemble, les robots utilisant MaxDiff RL ont appris plus rapidement que les autres modèles. Ils ont également effectué correctement les tâches de manière beaucoup plus cohérente et fiable que les autres.
Peut-être encore plus impressionnant : les robots utilisant la méthode MaxDiff RL réussissaient souvent à exécuter correctement une tâche en une seule tentative. Et c'est même lorsqu'ils ont commencé sans aucune connaissance.
« Nos robots étaient plus rapides et plus agiles, capables de généraliser efficacement ce qu'ils avaient appris et de l'appliquer à de nouvelles situations », a déclaré Berrueta. « Pour les applications du monde réel où les robots ne peuvent pas se permettre un temps infini d'essais et d'erreurs, cela représente un énorme avantage. »
L'étude publiée comprend des tests effectués avec des robots simulés. Ensuite, ils testeront l’algorithme sur des robots dans le monde réel. Ils ont développé ce robot ressemblant à un serpent, appelé « NoodleBot », pour de futurs tests. Crédit : Université Northwestern
MaxDiff RL étant un algorithme général, il peut être utilisé pour diverses applications. Les chercheurs espèrent que cela résoudra les problèmes fondamentaux qui freinent le domaine, ouvrant ainsi la voie à une prise de décision fiable en matière de robotique intelligente.
« Cela ne doit pas nécessairement être utilisé uniquement pour les véhicules robotisés qui se déplacent », a déclaré Pinosky. « Il pourrait également être utilisé pour des robots stationnaires, comme un bras robotique dans une cuisine qui apprend à charger le lave-vaisselle. À mesure que les tâches et les environnements physiques deviennent plus complexes, le rôle de l’incarnation devient encore plus crucial à prendre en compte au cours du processus d’apprentissage. Il s’agit d’une étape importante vers de véritables systèmes capables d’effectuer des tâches plus compliquées et plus intéressantes.
L'étude a été financée par le Bureau de recherche de l'armée américaine (numéro de subvention W911NF-19-1-0233) et le Bureau américain de recherche navale (numéro de subvention N00014-21-1-2706).
