Révolutionner l'IA grâce à la puissance de l'efficacité énergétique

Le développement de modèles d’IA est un responsable climatique négligé. Des informaticiens de l'Université de Copenhague ont créé un livre de recettes pour concevoir des modèles d'IA qui consomment beaucoup moins d'énergie sans compromettre les performances. Ils soutiennent que la consommation d'énergie et l'empreinte carbone d'un modèle devraient être un critère fixe lors de la conception et de la formation des modèles d'IA.

Le fait que des quantités colossales d’énergie soient nécessaires pour utiliser Google, parler à Siri, demander à ChatGPT de faire quelque chose ou utiliser l’IA dans n’importe quel sens est progressivement devenu de notoriété publique. Une étude estime que d’ici 2027, les serveurs d’IA consommeront autant d’énergie que l’Argentine ou la Suède. En effet, on estime qu’une seule invite ChatGPT consomme en moyenne autant d’énergie que quarante charges de téléphone mobile. Mais la communauté des chercheurs et l’industrie doivent encore se concentrer sur le développement de modèles d’IA économes en énergie et donc plus respectueux du climat, soulignent des chercheurs en informatique de l’Université de Copenhague.

La transition vers une IA économe en énergie

« Aujourd’hui, les développeurs se concentrent exclusivement sur la création de modèles d’IA efficaces en termes de précision de leurs résultats. C'est comme dire qu'une voiture est efficace parce qu'elle vous amène rapidement à destination, sans tenir compte de la quantité de carburant qu'elle consomme. En conséquence, les modèles d'IA sont souvent inefficaces en termes de consommation d'énergie », explique le professeur adjoint Raghavendra Selvan du Département d'informatique, dont les recherches examinent les possibilités de réduire l'empreinte carbone de l'IA.

Pourquoi l’empreinte carbone de l’IA est-elle si importante ?

La formation de modèles d’IA consomme beaucoup d’énergie et émet donc beaucoup de CO2e. Cela est dû aux calculs intensifs effectués lors de la formation d’un modèle, généralement exécutés sur des ordinateurs puissants. Cela est particulièrement vrai pour les grands modèles, comme le modèle de langage derrière ChatGPT. Les tâches d'IA sont souvent traitées dans des centres de données, qui nécessitent des quantités importantes d'énergie pour maintenir les ordinateurs en fonctionnement et au frais. La source d’énergie de ces centres, qui peuvent dépendre de combustibles fossiles, influence leur empreinte carbone.

Mais la nouvelle étude, dont lui et l'étudiant en informatique Pedram Bakhtiarifard sont deux des auteurs, démontre qu'il est facile de réduire une grande quantité de CO₂e sans compromettre la précision d’un modèle d’IA. Pour ce faire, il faut garder à l’esprit les coûts climatiques dès les phases de conception et de formation des modèles d’IA.

« Si vous créez dès le départ un modèle économe en énergie, vous réduisez l'empreinte carbone à chaque phase du « cycle de vie » du modèle. Cela s'applique aussi bien à la formation du modèle, qui est un processus particulièrement énergivore qui prend souvent des semaines ou des mois, qu'à son application », explique Selvan.

Livre de recettes pour l'industrie de l'IA

Dans leur étude, les chercheurs ont calculé la quantité d'énergie nécessaire pour entraîner plus de 400 000 personnes. réseau neuronal convolutif type de modèles IA – cela a été fait sans réellement entraîner tous ces modèles. Entre autres, réseaux de neurones convolutifs sont utilisés pour analyser l’imagerie médicale, pour la traduction linguistique et pour la reconnaissance d’objets et de visages – une fonction que vous connaissez peut-être grâce à l’application appareil photo de votre smartphone.

Sur la base de ces calculs, les chercheurs présentent une collection de référence de modèles d'IA qui utilisent moins d'énergie pour résoudre une tâche donnée, mais qui fonctionnent à peu près au même niveau. L'étude montre qu'en optant pour d'autres types de modèles ou en ajustant les modèles, 70 à 80 % d'économies d'énergie peuvent être réalisées pendant la phase de formation et de déploiement, avec seulement 1 % ou moins de diminution des performances. Et selon les chercheurs, il s’agit d’une estimation prudente.

Cela équivaut à 46 ans de consommation d'énergie pour un Danois

Les chercheurs de l'UCPH ont estimé la quantité d'énergie nécessaire pour former 429 000 modèles de sous-types d'IA connus sous le nom de réseaux neuronaux convolutifs dans cet ensemble de données. Ceux-ci sont utilisés entre autres pour la détection d’objets, la traduction linguistique et l’analyse d’images médicales.

On estime que la seule formation des 429 000 réseaux de neurones étudiés par l’étude nécessiterait 263 000 kWh. Cela équivaut à la quantité d’énergie qu’un citoyen danois moyen consomme sur 46 ans. Et il faudrait environ 100 ans à un ordinateur pour effectuer la formation. Les auteurs de ce travail n’ont pas réellement entraîné ces modèles eux-mêmes, mais les ont estimés à l’aide d’un autre modèle d’IA, économisant ainsi 99 % de l’énergie que cela aurait nécessité.

« Considérez nos résultats comme un livre de recettes pour les professionnels de l’IA. Les recettes ne décrivent pas seulement les performances des différents algorithmes, mais également leur efficacité énergétique. Et qu’en échangeant un ingrédient avec un autre dans la conception d’un modèle, on peut souvent arriver au même résultat. Désormais, les praticiens peuvent choisir le modèle qu'ils souhaitent en fonction à la fois des performances et de la consommation d'énergie, et sans avoir besoin de former chaque modèle au préalable », explique Pedram Bakhtiarifard, qui poursuit :

«Souvent, de nombreux modèles sont formés avant de trouver celui que l'on soupçonne le plus approprié pour résoudre une tâche particulière. Cela rend le développement de l’IA extrêmement gourmand en énergie. Il serait donc plus respectueux du climat de choisir dès le départ le bon modèle, tout en choisissant un modèle qui ne consomme pas trop d’énergie pendant la phase d’entraînement.

Les chercheurs soulignent que dans certains domaines, comme les voitures autonomes ou certains domaines de la médecine, la précision des modèles peut être essentielle pour la sécurité. Ici, il est important de ne pas faire de compromis sur les performances. Toutefois, cela ne devrait pas être un obstacle à la recherche d'une efficacité énergétique élevée dans d'autres domaines.

« L’IA a un potentiel incroyable. Mais si nous voulons garantir un développement durable et responsable de l’IA, nous avons besoin d’une approche plus globale qui tienne compte non seulement des performances des modèles, mais également de l’impact climatique. Nous montrons ici qu’il est possible de trouver un meilleur compromis. Lorsque des modèles d’IA sont développés pour différentes tâches, l’efficacité énergétique doit être un critère fixe – tout comme c’est la norme dans de nombreux autres secteurs », conclut Raghavendra Selvan.

Le « livre de recettes » élaboré dans ce travail est disponible sous forme d’ensemble de données open source permettant à d’autres chercheurs de l’expérimenter. Les informations sur ces 423 000 architectures sont publiées sur Github, auxquelles les praticiens de l'IA peuvent accéder à l'aide de simples scripts Python.

L'article scientifique sur l'étude sera présenté à la Conférence internationale sur l'acoustique, la parole et le traitement du signal (ICASSP-2024).

Les auteurs de l'article sont Pedram Bakhtiarifard, Christian Igel et Raghavendra Selvan du Département d'informatique de l'Université de Copenhague.