Une étude de l’Université Bar-Ilan révèle que l’apprentissage superficiel efficace du cerveau, impliquant un vaste réseau comportant peu de couches, peut rivaliser avec les modèles d’apprentissage profond multicouches dans des tâches de classification complexes. Cela remet en question la conception actuelle des GPU, qui privilégient les architectures profondes plutôt que larges.
Le cerveau, malgré sa structure relativement superficielle et ses couches limitées, fonctionne efficacement, alors que les systèmes d’IA modernes se caractérisent par des architectures profondes comportant de nombreuses couches. Cela soulève la question suivante : les architectures superficielles inspirées du cerveau peuvent-elles rivaliser avec les performances des architectures profondes, et si oui, quels sont les mécanismes fondamentaux qui permettent cela ?
Les méthodes d’apprentissage des réseaux neuronaux s’inspirent du fonctionnement du cerveau, mais il existe des différences fondamentales entre la manière dont le cerveau apprend et la manière dont fonctionne l’apprentissage profond. Une distinction clé réside dans le nombre de couches que chacune emploie.
Les systèmes d’apprentissage profond comportent souvent de nombreuses couches, s’étendant parfois jusqu’à des centaines, ce qui leur permet d’apprendre efficacement des tâches de classification complexes. En revanche, le cerveau humain a une structure beaucoup plus simple, avec beaucoup moins de couches. Malgré son architecture relativement superficielle et la nature plus lente et plus bruyante de ses processus, le cerveau est remarquablement apte à gérer efficacement des tâches de classification complexes.
Recherche sur les mécanismes d’apprentissage superficiel dans le cerveau
La question clé qui motive les nouvelles recherches est le mécanisme possible qui sous-tend l’apprentissage superficiel efficace du cerveau – un mécanisme qui lui permet d’effectuer des tâches de classification avec le même précision comme l’apprentissage profond. Dans un article publié dans Physique Ades chercheurs de l’Université Bar-Ilan en Israël montrent comment de tels mécanismes d’apprentissage superficiel peuvent rivaliser avec l’apprentissage profond.
Crédit : Prof. Ido Kanter, Université Bar-Ilan
« Au lieu d’une architecture profonde, comme un gratte-ciel, le cerveau est constitué d’une architecture large et peu profonde, ressemblant davantage à un bâtiment très large avec seulement très peu d’étages », a déclaré le professeur Ido Kanter, du département de physique de Bar-Ilan et de Gonda (Goldschmied). ) Centre multidisciplinaire de recherche sur le cerveau, qui a dirigé la recherche.
« La capacité de classer correctement les objets augmente là où l’architecture devient plus profonde, avec plus de couches. En revanche, le mécanisme superficiel du cerveau indique qu’un réseau plus large classe mieux les objets », a déclaré Ronit Gross, étudiante de premier cycle et l’un des principaux contributeurs à ce travail.
« Les architectures plus larges et plus hautes représentent deux mécanismes complémentaires », a-t-elle ajouté. Néanmoins, la réalisation d’architectures très larges et peu profondes, imitant la dynamique du cerveau, nécessite un changement dans les propriétés de la technologie GPU avancée, qui est capable d’accélérer l’architecture profonde, mais échoue dans la mise en œuvre d’architectures larges et peu profondes.
