La technologie de l’IA était censée rationaliser l’évaluation scientifique par les pairs. Au lieu de cela, il s’avère facile de duper.
Depuis environ une décennie, les nouveaux documents de recherche se sont accumulés plus rapidement que les scientifiques ne peuvent les examiner rigoureusement. Certains chercheurs ont eu recours à des outils d’IA pour alléger leur charge de révision, réduisant ainsi le temps consacré aux révisions papier de quelques jours ou semaines à quelques minutes. Mais les scientifiques peuvent facilement manipuler leurs articles pour tromper un outil d'évaluation par les pairs de l'IA et les classer comme étant plus forts ou plus publiables qu'ils ne le sont réellement, rapportent l'informaticien Joachim Baumann et ses collègues. De plus, les avis générés par l’IA ont souvent le même son, perdant la nuance et la diversité de l’évaluation humaine.
« Nous sommes submergés de documents que nous n'avons pas la capacité d'examiner. Nous avons donc besoin de solutions, et l'automatisation peut aider dans certains domaines », déclare Baumann, de l'Université de Stanford. Mais des expériences et une évaluation approfondies sont nécessaires avant que de tels outils n'entrent dans le processus d'examen par les pairs, dit-il. Dans le cas contraire, les outils d’IA pourraient perpétuer par inadvertance les préjugés qu’ils sont connus pour véhiculer et réduire la diversité des opinions qui pèsent sur la nouvelle science.
L'équipe présentera ses résultats le 8 juillet lors de la Conférence internationale sur l'apprentissage automatique à Séoul, en Corée du Sud.
De nombreux chercheurs ont déjà adopté des outils d’IA dans leurs travaux. Sur les près de 20 000 articles soumis à la Conférence internationale sur les représentations de l’apprentissage (ICLR) de 2026, environ un sur cinq était entièrement généré par l’IA, selon une étude de cas réalisée en novembre par la société Pangram. L’IA devient également courante dans l’évaluation par les pairs. Une enquête menée en décembre auprès de 1 600 scientifiques dans 111 pays a révélé que plus de la moitié avaient utilisé des outils d'IA pour faciliter la révision d'articles, notamment pour résumer des études et évaluer la force des arguments d'un article.
« Les outils d'IA sont intrinsèquement opaques et diluent les responsabilités », explique Mohammad Hosseini, bioéthicien à la Feinberg School of Medicine de l'Université Northwestern à Chicago, qui n'a participé à aucune des deux études. « Lorsque vous introduisez un acteur non transparent comme l'IA dans un système qui a longtemps essayé de devenir plus transparent, c'est un pas en arrière, et il peut y avoir des conséquences imprévues. »
Une des conséquences pourrait être une perte de la diversité des retours sur les manuscrits. La diversité des opinions est importante dans les critiques d’articles « parce que bon nombre de ces décisions d’accepter ou non l’article, de savoir si quelque chose est suffisamment nouveau ou non, si une certaine limitation est suffisante pour qu’un article soit rejeté, ce sont souvent des décisions très subjectives », dit Baumann. « Il semble naturel que nous souhaitions également qu'un ensemble diversifié d'opinions soit représenté chaque fois que nous automatisons les choses avec l'IA. »
Dans l'étude, Baumann et ses collègues ont analysé les critiques générées par l'IA et écrites par des humains sur les articles soumis à l'ICLR 2026. L'équipe a examiné les modèles sémantiques et linguistiques des critiques et a constaté que celles générées à l'aide des outils d'IA étaient beaucoup plus similaires les unes aux autres que les critiques humaines ou assistées par l'homme.
Les chercheurs ont également sélectionné au hasard 60 articles de l’ICLR et ont incité les modèles d’IA à générer des critiques détaillées à la manière d’un évaluateur humain à l’ICLR. Ensuite, ils ont demandé à deux grands modèles linguistiques de réécrire les articles afin d'obtenir des scores plus élevés en fonction des commentaires des critiques générées par l'IA. Dans la plupart des cas, les scores attribués par trois modèles d'évaluateurs d'IA après la réécriture étaient plus élevés que ceux des évaluations générées par l'IA auparavant.
La plupart des modifications apportées lors de la réécriture étaient d'ordre stylistique, telles que l'utilisation de mots de couverture comme « peut » et « suggère » et des mots d'accentuation comme « fort » et « robuste ». Certains de ces changements auraient pu rendre les choses plus claires, mais il y a aussi eu des cas évidents de mauvaise conduite scientifique, dit Baumann. Les modèles ont ajouté les résultats d'expériences qui n'ont pas été réellement menées, constituant essentiellement des résultats, dit-il. Les critiques générées par l’IA sur ces 60 articles étaient également beaucoup plus similaires les unes aux autres que ne l’étaient les critiques humaines, avant et après la réécriture, pour le même article.
De nombreuses conférences interdisent désormais l’utilisation d’outils d’IA pour l’évaluation par les pairs. D’autres expérimentent et évaluent la qualité des évaluations générées par l’IA afin de déterminer si l’IA doit être officiellement intégrée au processus d’évaluation. Mais si les performances dans certaines tâches telles que la vérification des références hallucinées et des erreurs de formatage peuvent être facilement testées, les questions subjectives quant à savoir si la contribution d'un article est significative pour une communauté de recherche sont beaucoup plus difficiles à évaluer, explique Baumann.
Lui et d’autres chercheurs se demandent si les évaluateurs de l’IA seraient capables de juger de nouvelles recherches qui vont à l’encontre de travaux antérieurs ou qui introduisent quelque chose de nouveau, comme une nouvelle configuration expérimentale ou une nouvelle architecture de modèle. « Il se peut que certains sujets obtiennent un faible score de la part des évaluateurs de l'IA, même s'ils pourraient constituer des contributions extrêmement précieuses à la communauté », explique Baumann.
Leurs recherches ont également révélé que les 60 articles réécrits étaient beaucoup plus similaires les uns aux autres que les articles originaux. On craint que cela ne conduise à une « monoculture intellectuelle », écrivent les chercheurs. Si, par exemple, de nombreux chercheurs utilisent le même grand modèle de langage pour les aider à rédiger leur article, il y aurait davantage d’articles similaires, et « l’écriture scientifique convergera vers le style récompensé par l’évaluateur de l’IA », écrit l’équipe.
Bien qu'il s'agisse d'un risque sérieux, il n'est peut-être pas exclusif à l'IA qui examine des articles scientifiques, déclare Graham Neubig de l'Université Carnegie Mellon de Pittsburgh. « Les auteurs d'articles se demandent depuis longtemps « ce que penseront les évaluateurs » lorsqu'ils rédigent des articles, ce qui peut les amener à opter pour des idées « plus sûres », plus progressives et des sujets non controversés », dit-il. « D'une certaine manière, les processus d'évaluation améliorés par l'IA peuvent même fournir un moyen de lutter contre cela, en encourageant explicitement les évaluateurs de l'IA à récompenser les idées les plus créatives. »