L’intelligence artificielle (IA) est de plus en plus répandue, intégrée aux applications téléphoniques, aux moteurs de recherche et aux plateformes de médias sociaux, et prenant également en charge une myriade d’applications de recherche. Un type d’apprentissage automatique de l’IA appelé apprentissage profond, dont la structure s’inspire des réseaux neuronaux du cerveau humain, a été particulièrement intéressant au cours des dernières décennies.
L'apprentissage profond est au cœur des grands modèles de langage utilisés par ChatGPT et Microsoft Copilot d'OpenAI, par exemple. Des modèles d’apprentissage profond plus spécialisés ont soutenu un large éventail de recherches scientifiques, notamment des recherches en chimie lauréates du prix Nobel en 2024 pour prédire la structure complexe des protéines.
L’un des avantages de l’apprentissage profond est sa capacité à reconnaître des modèles ou des caractéristiques sans programmation humaine explicite, mais ce processus peut s’avérer opaque. Cette qualité de « boîte noire » de l'apprentissage profond soulève des questions sur le fonctionnement exact des modèles et rend leur validation et leur optimisation difficiles.
Dans la séance de questions-réponses suivante, Leonid Berlyand, professeur de mathématiques à Penn State, et Oleksii Krupchytskyi, étudiant diplômé, expliquent comment ils appliquent les principes mathématiques pour élucider la nature de la boîte noire de l'apprentissage profond.
Qu’est-ce que l’apprentissage profond ?
Berlyand : L'apprentissage profond est un type d'apprentissage automatique qui utilise des réseaux de neurones artificiels pour apprendre à partir de données, de la même manière que les humains apprennent. Ces réseaux, également appelés ANN, ont été développés à l’origine par des informaticiens et s’inspirent de la structure du cerveau humain. Un ANN se compose de nœuds reliés par des bords généralement disposés en couches.
En gros, ces nœuds sont des « neurones artificiels » et leurs bords imitent les synapses qui relient les neurones du cerveau. L'apprentissage a lieu pendant le processus de formation, au cours duquel les données sont introduites dans le réseau et l'ANN ajuste de manière itérative les poids des connexions pour réduire les erreurs dans ses prédictions.
A quoi sert l’apprentissage profond ?
Berlyand : L'apprentissage profond a radicalement changé de nombreux domaines scientifiques et technologiques, notamment la reconnaissance vocale et vocale, la vision par ordinateur et le traitement du langage naturel. Un exemple simple serait un problème de classification, comme votre téléphone décidant si un visage est vous ou non ou classifiant des images, telles que des chiffres manuscrits de 0 à 9. Dans ce dernier cas, l'entrée est une image et ses pixels sont convertis en un vecteur dont les composantes sont l'intensité de chaque pixel. La sortie classe l'image d'un chiffre comme 0, 1, 2 et ainsi de suite.
Récemment, les grands modèles de langage basés sur ANN sont devenus universellement populaires en raison de leurs excellentes performances dans une grande variété d'applications, notamment l'éducation, les soins de santé et la recherche scientifique. En fait, jusqu’à présent cette année, ChatGPT a touché environ 700 millions d’utilisateurs hebdomadaires.
Krupchytskyi : Les réseaux d'apprentissage profond sont particulièrement efficaces pour analyser de grandes quantités de données non structurées, comme des images et du texte. Il est largement utilisé dans les chatbots, la reconnaissance d'images comme celle requise pour les voitures autonomes et les services de recommandation comme ceux utilisés par les plateformes de streaming vidéo.
Qu'est-ce qui le rend « profond » ?
Berlyand : Entre les couches d’entrée et de sortie, les réseaux de neurones artificiels comportent de nombreuses couches cachées. Par exemple, si vous disposez d'un modèle qui classe les chiffres de 0 à 9, un calque peut se concentrer sur les bords de l'image, un autre peut se concentrer sur l'obscurité de certains pixels, chaque calque identifiant des caractéristiques de plus en plus complexes. Il a été observé empiriquement que l’ajout de plus en plus de couches améliore la précision des ANN et nous permet de répondre à des questions plus complexes. Un modèle comportant plus de couches est considéré comme « plus profond », d'où « apprentissage en profondeur ».
Krupchytskyi : Les modèles d’apprentissage profond peuvent comporter des centaines de couches de ce type et des millions et des milliards de paramètres. Avec l'apprentissage profond, les humains ne programment pas explicitement toutes les connexions entre les couches : le modèle établit lui-même ces fonctions, découvrant automatiquement les fonctionnalités pertinentes. Ce type de modèle est souvent appelé « boîte noire », car nous ne savons pas exactement ce qui se passe. L’un de nos objectifs est d’appliquer des outils mathématiques pour mieux comprendre ce que font réellement ces modèles afin de pouvoir garantir leur robustesse et, à terme, améliorer leurs performances.
Que pouvons-nous gagner en appliquant les fondements mathématiques à l’apprentissage profond ?
Berlyand : L’apprentissage profond a été créé et développé en grande partie par des informaticiens et des ingénieurs. Mon collègue de Penn State, Pierre-Emmanuel Jabin, professeur distingué de mathématiques, et moi-même voulions fournir un fondement mathématique rigoureux à divers critères de performance des ANN, tels que la stabilité et la convergence des algorithmes d'entraînement, ou le moment où les algorithmes peuvent être considérés comme « entraînés ». Cette motivation nous a amené à rédiger un manuel d’introduction simple destiné aux étudiants de premier cycle en mathématiques, où les définitions et les concepts issus de l’apprentissage profond sont présentés dans un cadre mathématique précis.
Ce que je dis à mes étudiants, c'est que vous pouvez être un pilote de course et savoir comment conduire la voiture, mais si vous ne savez pas ce qu'il y a à l'intérieur, vous ne pouvez pas l'améliorer ou en concevoir une nouvelle. De même, la compréhension mathématique de l’apprentissage profond se traduira par une meilleure précision des prédictions et une amélioration des performances des ANN.
Krupchytskyi : Il existe de nombreux cas d'utilisation différents pour l'apprentissage profond, mais les mathématiques sous-jacentes sont les mêmes pour tous. Avoir une compréhension fondamentale de l’apprentissage profond est important pour créer des réseaux fiables, interprétables et robustes.
Les informaticiens et les ingénieurs disposent de nombreux outils pour améliorer les performances des ANN qui reposent en grande partie sur des observations empiriques. Nous apportons de riches théories mathématiques développées depuis des décennies, voire des siècles, et qui ont été appliquées et améliorées dans divers domaines, comme la physique, les sciences des matériaux et les sciences de la vie. L'utilisation des mathématiques dans l'apprentissage profond nous aide à comprendre quels types de problèmes sont les plus appropriés pour les ANN, comment structurer au mieux les réseaux, combien de temps ils doivent s'entraîner et peuvent généralement contribuer à améliorer la stabilité.
