Une équipe de l'UC San Diego a découvert une méthode pour déchiffrer le processus d'apprentissage des réseaux neuronaux, en utilisant une formule statistique pour clarifier la manière dont les fonctionnalités sont apprises, une percée qui promet des systèmes d'IA plus compréhensibles et plus efficaces. Crédit : Issues.fr.com
Les résultats peuvent également être appliqués pour améliorer l’efficacité de divers cadres d’apprentissage automatique.
Les réseaux de neurones ont permis des percées dans le domaine de l'intelligence artificielle, y compris les grands modèles de langage qui sont désormais utilisés dans un large éventail d'applications, de la finance aux ressources humaines en passant par les soins de santé. Mais ces réseaux restent une boîte noire dont les ingénieurs et scientifiques peinent à comprendre le fonctionnement interne. Aujourd’hui, une équipe dirigée par des spécialistes des données et des informaticiens de l’Université de Californie à San Diego a donné aux réseaux neuronaux l’équivalent d’une radiographie pour découvrir comment ils apprennent réellement.
Les chercheurs ont découvert qu'une formule utilisée dans l'analyse statistique fournit une description mathématique simplifiée de la façon dont les réseaux neuronaux, tels que GPT-2, un précurseur de ChatGPT, apprennent des modèles pertinents dans les données, appelés fonctionnalités. Cette formule explique également comment les réseaux de neurones utilisent ces modèles pertinents pour faire des prédictions.
« Nous essayons de comprendre les réseaux de neurones à partir des premiers principes », a déclaré Daniel Beaglehole, titulaire d'un doctorat. étudiant au département d'informatique et d'ingénierie de l'UC San Diego et co-premier auteur de l'étude. « Avec notre formule, on peut simplement interpréter les fonctionnalités que le réseau utilise pour faire des prédictions. »
L'équipe a présenté ses conclusions dans le numéro du 7 mars de la revue Science.
Pourquoi est-ce important ? Les outils basés sur l’IA sont désormais omniprésents dans la vie quotidienne. Les banques les utilisent pour approuver les prêts. Les hôpitaux les utilisent pour analyser des données médicales, telles que les radiographies et les IRM. Les entreprises les utilisent pour sélectionner les candidats. Mais il est actuellement difficile de comprendre le mécanisme utilisé par les réseaux de neurones pour prendre des décisions et les biais dans les données d'entraînement qui pourraient avoir un impact sur cela.
« Si vous ne comprenez pas comment les réseaux de neurones apprennent, il est très difficile de déterminer si les réseaux de neurones produisent des réponses fiables, précises et appropriées », a déclaré Mikhail Belkin, auteur correspondant de l'article et professeur à l'Institut des sciences des données Halicioglu de l'UC San Diego. . «Cela est particulièrement important compte tenu de la croissance récente et rapide de apprentissage automatique et la technologie des réseaux neuronaux.
L'étude fait partie d'un effort plus vaste du groupe de recherche de Belkin visant à développer une théorie mathématique expliquant le fonctionnement des réseaux neuronaux. « La technologie a considérablement dépassé la théorie », a-t-il déclaré. « Nous devons attraper. »
L’équipe a également montré que la formule statistique utilisée pour comprendre comment les réseaux neuronaux apprennent, connue sous le nom de produit externe de gradient moyen (AGOP), pourrait être appliquée pour améliorer les performances et l’efficacité dans d’autres types d’architectures d’apprentissage automatique qui n’incluent pas les réseaux neuronaux.
« Si nous comprenons les mécanismes sous-jacents qui animent les réseaux neuronaux, nous devrions être en mesure de créer des modèles d'apprentissage automatique plus simples, plus efficaces et plus interprétables », a déclaré Belkin. « Nous espérons que cela contribuera à démocratiser l'IA. »
Les systèmes d’apprentissage automatique envisagés par Belkin auraient besoin de moins de puissance de calcul, et donc de moins d’énergie provenant du réseau, pour fonctionner. Ces systèmes seraient également moins complexes et donc plus faciles à comprendre.
Illustrer les nouvelles découvertes avec un exemple
Les réseaux de neurones (artificiels) sont des outils informatiques permettant d'apprendre les relations entre les caractéristiques des données (c'est-à-dire l'identification d'objets ou de visages spécifiques dans une image). Un exemple de tâche consiste à déterminer si dans une nouvelle image, une personne porte des lunettes ou non. L'apprentissage automatique aborde ce problème en fournissant au réseau neuronal de nombreux exemples d'images (de formation) étiquetées comme des images d'une « personne portant des lunettes » ou d'une « personne ne portant pas de lunettes ». Le réseau neuronal apprend la relation entre les images et leurs étiquettes, et extrait des modèles de données, ou caractéristiques, sur lesquels il doit se concentrer pour prendre une décision. L’une des raisons pour lesquelles les systèmes d’IA sont considérés comme une boîte noire est qu’il est souvent difficile de décrire mathématiquement les critères que les systèmes utilisent réellement pour faire leurs prédictions, y compris les biais potentiels. Le nouveau travail fournit une explication mathématique simple de la manière dont les systèmes apprennent ces fonctionnalités.
Les fonctionnalités sont des modèles pertinents dans les données. Dans l’exemple ci-dessus, les réseaux de neurones apprennent et utilisent un large éventail de fonctionnalités pour déterminer si une personne sur une photographie porte ou non des lunettes. Une caractéristique à laquelle il faudra prêter attention pour cette tâche est la partie supérieure du visage. D'autres caractéristiques pourraient être les yeux ou la zone du nez où reposent souvent les lunettes. Le réseau prête attention de manière sélective aux caractéristiques qu’il juge pertinentes, puis rejette les autres parties de l’image, telles que la partie inférieure du visage, les cheveux, etc.
L'apprentissage des fonctionnalités est la capacité de reconnaître des modèles pertinents dans les données, puis d'utiliser ces modèles pour faire des prédictions. Dans l’exemple des lunettes, le réseau apprend à prêter attention à la partie supérieure du visage. Dans le nouveau Science Dans cet article, les chercheurs ont identifié une formule statistique qui décrit comment les réseaux de neurones apprennent des fonctionnalités.
Architectures alternatives de réseaux neuronaux : les chercheurs ont ensuite montré que l'insertion de cette formule dans des systèmes informatiques qui ne reposent pas sur des réseaux neuronaux permettait à ces systèmes d'apprendre plus rapidement et plus efficacement.
« Comment puis-je ignorer ce qui n'est pas nécessaire ? Les humains sont bons dans ce domaine », a déclaré Belkin. « Les machines font la même chose. Les grands modèles de langage, par exemple, implémentent cette « attention sélective » et nous ne savons pas comment ils le font. Dans notre Science Dans cet article, nous présentons un mécanisme expliquant au moins une partie de la manière dont les réseaux neuronaux « prêtent attention de manière sélective ».
Les bailleurs de fonds de l’étude comprenaient la National Science Foundation et la Simons Foundation for the Collaboration on the Theoretical Foundations of Deep Learning. Belkin fait partie de l'Institute for Learning-enabled Optimization at Scale, ou TILOS, financé par la NSF et dirigé par l'UC San Diego.
