Les chercheurs ont découvert que les détecteurs GPT, utilisés pour identifier si le texte est généré par l’IA, étiquetent souvent à tort les articles écrits par des anglophones non natifs comme étant créés par l’IA. Ce manque de fiabilité présente des risques dans les milieux universitaires et professionnels, notamment dans les candidatures à un emploi et dans les devoirs des étudiants.
Dans une étude récemment publiée dans la revue Motifs, les chercheurs démontrent que les algorithmes informatiques souvent utilisés pour identifier les textes générés par l’IA qualifient souvent à tort les articles écrits par des locuteurs de langue non maternelle comme étant créés par l’intelligence artificielle. Les chercheurs préviennent que les performances peu fiables de ces programmes de détection de texte IA pourraient nuire à de nombreuses personnes, notamment aux étudiants et aux candidats à un emploi.
« Notre recommandation actuelle est que nous devrions être extrêmement prudents et peut-être essayer d’éviter autant que possible d’utiliser ces détecteurs », déclare l’auteur principal James Zou, de l’Université de Stanford. « Cela peut avoir des conséquences importantes si ces détecteurs sont utilisés pour examiner des éléments tels que des candidatures à un emploi, des devoirs d’entrée à l’université ou des devoirs au lycée. »
Les outils d’IA comme le chatbot ChatGPT d’OpenAI peuvent rédiger des essais, résoudre des problèmes scientifiques et mathématiques et produire du code informatique. Les enseignants aux États-Unis sont de plus en plus préoccupés par l’utilisation de l’IA dans le travail des étudiants et nombre d’entre eux ont commencé à utiliser des détecteurs GPT pour filtrer les devoirs des étudiants. Ces détecteurs sont des plateformes qui prétendent pouvoir identifier si le texte est généré par l’IA, mais leur fiabilité et leur efficacité restent à tester.
Zou et son équipe ont testé sept détecteurs GPT populaires. Ils ont rédigé 91 essais en anglais rédigés par des anglophones non natifs pour un test de compétence en anglais largement reconnu, appelé Test of English as a Foreign Language, ou TOEFL, via les détecteurs. Ces plateformes ont étiqueté à tort plus de la moitié des essais comme étant générés par l’IA, un détecteur signalant près de 98 % de ces essais comme étant rédigés par l’IA. En comparaison, les détecteurs ont pu classer correctement plus de 90 % des dissertations rédigées par des élèves de huitième année aux États-Unis comme étant d’origine humaine.
Zou explique que les algorithmes de ces détecteurs fonctionnent en évaluant la perplexité du texte, ce qui explique à quel point le choix des mots est surprenant dans un essai. « Si vous utilisez des mots anglais courants, les détecteurs donneront un faible score de perplexité, ce qui signifie que mon essai sera probablement signalé comme généré par l’IA. Si vous utilisez des mots complexes et plus fantaisistes, il est alors plus probable qu’ils soient classés comme étant écrits par des humains par les algorithmes », dit-il. En effet, les grands modèles de langage comme ChatGPT sont formés pour générer du texte avec une faible perplexité afin de mieux simuler la façon dont un humain moyen parle, ajoute Zou.
En conséquence, des choix de mots plus simples adoptés par des écrivains non natifs anglais les rendraient plus vulnérables au risque d’être étiquetés comme utilisant l’IA.
L’équipe a ensuite placé les essais TOEFL rédigés par des humains dans ChatGPT et l’a invité à modifier le texte en utilisant un langage plus sophistiqué, notamment en remplaçant des mots simples par un vocabulaire complexe. Les détecteurs GPT ont marqué ces essais édités par l’IA comme étant écrits par des humains.
« Nous devons être très prudents avant d’utiliser l’un de ces détecteurs dans des salles de classe, car il existe encore de nombreux préjugés et il est facile de les tromper avec un minimum de conception d’invite », explique Zou. L’utilisation de détecteurs GPT pourrait également avoir des implications au-delà du secteur de l’éducation. Par exemple, les moteurs de recherche comme Google dévalorisent le contenu généré par l’IA, ce qui peut par inadvertance faire taire les écrivains non anglophones.
Même si les outils d’IA peuvent avoir un impact positif sur l’apprentissage des élèves, les détecteurs GPT doivent être encore améliorés et évalués avant d’être utilisés. Zou dit que former ces algorithmes avec des types d’écriture plus diversifiés pourrait être un moyen d’améliorer ces détecteurs.
L’étude a été financée par la National Science Foundation, la Chan Zuckerberg Initiative, la Instituts nationaux de la santéet la Silicon Valley Community Foundation.
