Les préoccupations en matière de sécurité concernant l’IA augmentent et, désormais, une méthode courante pour détecter les systèmes qui se comportent mal pourrait présenter des défauts, suggèrent de nouvelles recherches.
Lors d'expériences avec des agents d'IA, les chercheurs ont découvert que la surveillance de la chaîne de pensée, dans laquelle une IA vérifie le travail d'une autre, devenait beaucoup moins fiable lorsque le raisonnement de l'IA surveillée était le principal indice que quelque chose n'allait pas, rapportent-ils le 1er août sur arXiv.org. Cela révèle une faiblesse de l’approche : si un comportement suspect est visible principalement dans le raisonnement, une chaîne de pensée apparemment innocente peut rendre ce comportement beaucoup plus difficile à détecter.
Les enjeux augmentent à mesure que l’IA continue de fonctionner de manière plus indépendante. Lors des évaluations internes de cybersécurité, les modèles OpenAI ont contourné les contrôles conçus pour les isoler d'Internet, compromettant ainsi certaines parties de l'infrastructure de recherche interne d'OpenAI et des systèmes de Hugging Face. Des épisodes comme celui-ci ont suscité un intérêt pour les moyens de détecter les comportements suspects avant qu’un agent d’IA ne puisse agir en conséquence. OpenAI affirme investir désormais davantage de ressources informatiques dans la surveillance de la chaîne de pensée.
Mais les nouveaux travaux de l'ingénieur en apprentissage automatique Shikhar Shiromani et du chercheur en IA Leo Richter suggèrent que ce type de surveillance pourrait présenter une faiblesse. Dans un sous-ensemble de 251 cas dans lesquels le raisonnement était le seul indice du problème, le taux de détection du moniteur est tombé de 96,2 % à 3,8 % après que les chercheurs ont réécrit le raisonnement pour faire apparaître le comportement innocent sans modifier ses actions.
« L'IA ne ment pas nécessairement sur son action », explique Shiromani, chercheur à l'association à but non lucratif Pivotal. «Il donne plus ou moins une explication trompeuse et apparemment innocente de ses intentions.»
Jacob Andreas, informaticien au MIT, affirme que le raisonnement en chaîne de pensée, ou CoT, peut fournir des indices sur ce qu'un modèle essaie de faire.
« Mais nous devrions être sceptiques : (a) que tout CoT individuel nous donne un aperçu du comportement d'un modèle sur un exemple spécifique, et (b) que l'absence de preuve d'un mauvais comportement dans un CoT devrait être considérée comme une preuve d'absence », a-t-il écrit dans un e-mail.
Andreas s'est demandé ce que l'expérience principale de Shiromani disait sur la surveillance du monde réel. Parce que les chercheurs ont réécrit le raisonnement après coup, dit-il, il n'est pas clair si un modèle réel pourrait produire le même raisonnement apparemment innocent tout en entreprenant une action suspecte, comme tenter de pirater un autre système.
Les chercheurs ont également testé des agents d’IA en direct. Après avoir ajusté le moniteur pour chaque modèle, il a détecté tous les hacks GPT-5.4 et tous les hacks DeepSeek sauf un. Claude Opus était plus difficile à attraper, le moniteur manquant sept hacks sur 20 sur une tâche et 12 sur 20 sur une autre.
« Et en fin de compte, rien ne remplace désormais des tests comportementaux vraiment rigoureux, ni aucun substitut au fait que les opérateurs humains refusent simplement d'exécuter des agents dans des situations où il existe un potentiel de préjudice important », déclare Andreas.