Des chercheurs de l'Université de Tokyo en collaboration avec Aisin Corporation ont démontré que les lois universelles à l'échelle, qui décrivent comment les propriétés d'un système changent avec la taille et l'échelle, s'appliquent à des réseaux de neurones profonds qui présentent un comportement de transition de phase absorbant, un phénomène généralement observé dans les systèmes physiques. La découverte fournit non seulement un cadre décrivant des réseaux de neurones profonds, mais aide également à prédire leur entraînement ou leur généralisabilité. Les résultats ont été publiés dans la revue Recherche d'examen physique.
Ces dernières années, il semble que peu importe où nous regardons, nous rencontrons l'intelligence artificielle sous une forme ou une autre. La version actuelle de la technologie est alimentée par des réseaux de neurones profonds: de nombreuses couches de numérique « neurones » avec des connexions pondérées entre eux. Le réseau apprend en modifiant les poids entre le « neurones » jusqu'à ce qu'il produise la sortie correcte. Cependant, une théorie unifiée décrivant comment le signal se propage entre les couches des neurones dans le système a jusqu'à présent échappé aux scientifiques.
« Nos recherches ont été motivées par deux conducteurs, » dit Keiichi Tamai, le premier auteur. « Parallèlement par les besoins industriels, car le réglage de la force brute de ces modèles massifs pèse sur l'environnement. Mais il y a eu une deuxième poursuite plus profonde: la compréhension scientifique de la physique de l'intelligence elle-même. »
C'est là que les antécédents de Tamai en physique statistique des transitions de phase lui ont donné le premier indice. Les transitions de phase absorbantes se réfèrent à un décalage pointu à un point de basculement d'une phase active à une phase d'absorption, à partir duquel le système ne peut pas s'échapper sans aide extérieure. Un exemple d'un tel système physique serait un incendie qui s'épuise.
Surtout, ces systèmes présentent des comportements universels près du point de basculement et peuvent être décrits en utilisant des lois de mise à l'échelle universelles si certaines propriétés sont préservées. Si des réseaux de neurones profonds présentent des transitions de phase absorbant, alors les lois de mise à l'échelle universelles peuvent s'appliquer, fournissant un cadre unifié pour décrire comment ils fonctionnent. Par conséquent, les chercheurs seraient en mesure de prédire si un signal « griller » Dans un certain apprentissage en profondeur.
Pour enquêter, les chercheurs ont combiné la théorie avec les simulations. Ils ont dérivé les exposants, qui sont universels à travers les systèmes, et les facteurs de mise à l'échelle, qui diffèrent à l'autre, de la théorie lorsque cela est possible et a utilisé des simulations pour confirmer les lois de mise à l'échelle dans des cas plus complexes.
« Quelle coïncidence, pensais-je, » Tamai dit, se souvenant quand il a remarqué le lien entre les réseaux de neurones profonds et l'absorption des transitions de phase. « Je n'ai jamais imaginé que je finirais par faire des recherches sur l'apprentissage en profondeur, et encore moins à trouver une utilisation efficace d'un concept sur lequel je travaillais en tant que doctorant en physique. »
La découverte nous rapproche également de la compréhension de la physique de l'intelligence elle-même, car elle revigore l'hypothèse de criticité cérébrale, qui indique que certains réseaux biologiques fonctionnent des transitions de phase presque. Tamai est enthousiasmé par les perspectives de cette ligne de recherche.
« Alan Turing a fait allusion à cette connexion dès 1950, mais les outils n'étaient pas prêts à l'époque. Avec l'accumulation rapide de preuves dans les neurosciences et la montée en puissance de l'IA au niveau du quasi-humain, je crois que nous sommes à un moment parfait pour revoir et approfondir notre compréhension de cette relation fondamentale. »
