Les experts en linguistique ont eu du mal à faire la différence entre l’écriture générée par l’IA et celle générée par l’homme, avec un taux d’identification positive de seulement 38,9 %, selon une nouvelle étude. Malgré un raisonnement logique derrière leurs choix, ils étaient souvent incorrects, suggérant que de courts textes générés par l’IA peuvent être aussi compétents que l’écriture humaine.
Les experts en linguistique ont du mal à faire la différence entre les textes produits par l’IA et ceux rédigés par des humains.
Selon une étude récente co-écrite par un professeur adjoint de l’Université de Floride du Sud, même les experts en linguistique ont du mal à faire la distinction entre les écrits produits par l’intelligence artificielle et ceux écrits par des humains.
Les résultats, publiés dans la revue Méthodes de recherche en linguistique appliquéeindiquent que les experts linguistiques des principales revues mondiales ne pouvaient distinguer avec précision entre l’IA et les résumés rédigés par des humains que dans environ 39 % du temps.
« Nous avons pensé que si quelqu’un était capable d’identifier l’écriture produite par l’homme, ce devrait être des linguistes qui ont passé leur carrière à étudier les modèles de langage et d’autres aspects de la communication humaine », a déclaré Matthew Kessler, chercheur à l’USF. le Département des Langues du Monde.
Travaillant aux côtés de J. Elliott Casal, professeur adjoint de linguistique appliquée à l’Université de Memphis, Kessler a chargé 72 experts en linguistique d’examiner une variété de résumés de recherche pour déterminer s’ils avaient été rédigés par l’IA ou par des humains.
Chaque expert a été invité à examiner quatre échantillons d’écriture. Aucun n’a correctement identifié les quatre, tandis que 13 pour cent se sont tous trompés. Kessler a conclu que, sur la base de ces résultats, les professeurs seraient incapables de faire la distinction entre l’écriture propre d’un étudiant ou l’écriture générée par un modèle de langage alimenté par l’IA tel que ChatGPT sans l’aide d’un logiciel qui n’a pas encore été développé.
Malgré les tentatives des experts pour utiliser des justifications pour juger les échantillons d’écriture de l’étude, comme l’identification de certaines caractéristiques linguistiques et stylistiques, elles ont largement échoué avec un taux d’identification positif global de 38,9 pour cent.
« Ce qui était plus intéressant, c’est lorsque nous leur avons demandé pourquoi ils avaient décidé que quelque chose avait été écrit par une IA ou par un humain », a déclaré Kessler. « Ils ont partagé des raisons très logiques, mais encore et encore, elles n’étaient pas exactes ou cohérentes. »
Sur cette base, Kessler et Casal ont conclu que ChatGPT peut écrire des genres courts aussi bien que la plupart des humains, voire mieux dans certains cas, étant donné que l’IA ne commet généralement pas d’erreurs grammaticales.
Le côté positif des auteurs humains réside dans les formes d’écriture plus longues. « Pour les textes plus longs, l’IA est connue pour halluciner et inventer du contenu, ce qui permet d’identifier plus facilement qu’il a été généré par l’IA », a déclaré Kessler.
Kessler espère que cette étude mènera à une conversation plus large pour établir l’éthique et les lignes directrices nécessaires entourant l’utilisation de l’IA dans la recherche et l’éducation.
