Une étude de l’Université d’East Anglia révèle un biais de gauche important dans la plateforme d’IA ChatGPT. L’étude souligne l’importance de la neutralité dans les systèmes d’IA pour éviter toute influence potentielle sur les perspectives des utilisateurs et la dynamique politique.
Une étude de recherche identifie un biais de gauche important dans la plateforme d’IA ChatGPT, en faveur des démocrates américains, du parti travailliste britannique et du président brésilien Lula da Silva.
La plateforme d’intelligence artificielle ChatGPT montre un biais de gauche important et systémique, selon une nouvelle étude de l’Université d’East Anglia (UEA).
L’équipe de chercheurs du Royaume-Uni et du Brésil a développé une nouvelle méthode rigoureuse pour vérifier les préjugés politiques.
Publié récemment dans la revue Choix publicles résultats montrent que les réponses de ChatGPT favorisent les démocrates aux États-Unis, le Parti travailliste au Royaume-Uni et au Brésil, le président Lula da Silva du Parti des travailleurs.
Préoccupations antérieures et importance de la neutralité
Des inquiétudes concernant un biais politique inhérent à ChatGPT ont déjà été soulevées, mais il s’agit de la première étude à grande échelle utilisant une analyse cohérente et fondée sur des preuves.
L’auteur principal, le Dr Fabio Motoki, de la Norwich Business School de l’Université d’East Anglia, a déclaré : « Avec l’utilisation croissante par le public de systèmes basés sur l’IA pour découvrir des faits et créer de nouveaux contenus, il est important que les résultats des plateformes populaires comme ChatGPT est aussi impartial que possible.
« La présence de préjugés politiques peut influencer les opinions des utilisateurs et a des implications potentielles sur les processus politiques et électoraux.
« Nos résultats renforcent les craintes selon lesquelles les systèmes d’IA pourraient reproduire, voire amplifier, les défis existants posés par Internet et les médias sociaux. »
Méthodologie employée
Les chercheurs ont développé une nouvelle méthode innovante pour tester la neutralité politique de ChatGPT.
La plateforme a été invitée à se faire passer pour des individus de tout le spectre politique tout en répondant à une série de plus de 60 questions idéologiques.
Les réponses ont ensuite été comparées aux réponses par défaut de la plateforme au même ensemble de questions, permettant aux chercheurs de mesurer dans quelle mesure les réponses de ChatGPT étaient associées à une position politique particulière.
Pour surmonter les difficultés causées par le caractère aléatoire inhérent aux « grands modèles de langage » qui alimentent les plateformes d’IA telles que ChatGPT, chaque question a été posée 100 fois et les différentes réponses ont été collectées. Ces réponses multiples ont ensuite été soumises à un « bootstrap » de 1 000 répétitions (une méthode de rééchantillonnage des données originales) pour augmenter encore la fiabilité des inférences tirées du texte généré.
« Nous avons créé cette procédure parce qu’effectuer une seule série de tests ne suffit pas », a déclaré le co-auteur Victor Rodrigues. « En raison du caractère aléatoire du modèle, même en se faisant passer pour un démocrate, les réponses ChatGPT penchent parfois vers la droite du spectre politique. »
Un certain nombre de tests supplémentaires ont été entrepris pour garantir que la méthode était aussi rigoureuse que possible. Dans un « test dose-réponse », il a été demandé à ChatGPT de se faire passer pour des positions politiques radicales. Dans le cadre d’un « test placebo », des questions politiquement neutres ont été posées. Et lors d’un « test d’alignement profession-politique », il a été demandé de se faire passer pour différents types de professionnels.
Objectifs et implications
« Nous espérons que notre méthode facilitera l’examen et la réglementation de ces technologies en développement rapide », a déclaré le co-auteur, le Dr Pinho Neto. « En permettant la détection et la correction des biais du LLM, nous visons à promouvoir la transparence, la responsabilité et la confiance du public dans cette technologie », a-t-il ajouté.
Le nouvel outil d’analyse unique créé par le projet serait disponible gratuitement et relativement simple à utiliser pour les membres du public, « démocratisant ainsi la surveillance », a déclaré le Dr Motoki. En plus de vérifier les préjugés politiques, l’outil peut être utilisé pour mesurer d’autres types de biais dans les réponses de ChatGPT.
Sources potentielles de biais
Bien que le projet de recherche n’ait pas cherché à déterminer les raisons de ce parti pris politique, les résultats ont néanmoins mis en évidence deux sources potentielles.
Le premier était l’ensemble de données de formation – qui peut contenir des biais ou y être ajouté par les développeurs humains, que la procédure de « nettoyage » des développeurs n’a pas réussi à supprimer. La deuxième source potentielle était l’algorithme lui-même, qui pourrait amplifier les biais existants dans les données d’entraînement.
La recherche a été entreprise par le Dr Fabio Motoki (Norwich Business School, Université d’East Anglia), le Dr Valdemar Pinho Neto (EPGE École brésilienne d’économie et de finance – FGV EPGE et Centre d’études empiriques en économie – FGV CESE) et Victor. Rodrigues (Nova Educação).
Cette publication est basée sur une recherche réalisée au printemps 2023 à l’aide de la version 3.5 de ChatGPT et de questions élaborées par The Political Compass.
