Les chatbots d'IA conversationnels rendent la désinformation du climat plus crédible, ce qui rend plus difficile la distinction de mensonges de la vraie science. En réponse, les experts du climat utilisent certains des mêmes outils pour détecter les fausses informations en ligne.
Mais quand il s'agit de classer les revendications climatiques fausses ou trompeuses, de modèles de grande langue à usage général, ou LLMS – tels que Meta's LaLama et le GPT-4 d'OpenAI – à la traîne derrière des modèles spécifiquement formés sur les données climatiques à régime experte, les scientifiques ont rapporté en mars lors de la conférence AAAI sur l'intelligence artificielle à Philadelphie. Les groupes climatiques souhaitant utiliser les LLM couramment disponibles dans les chatbots et les outils de modération de contenu pour vérifier la désinformation du climat ont besoin de considérer soigneusement les modèles qu'ils utilisent et d'amener des experts pertinents pour guider le processus de formation, selon les résultats.
Par rapport à d'autres types de revendications, la désinformation du changement climatique est souvent «masquée dans des informations scientifiques fausses ou trompeuses», ce qui rend plus difficile pour les humains et les machines de repérer les subtilités de la science du climat, explique Erik Nisbet, expert en communication à la Northwestern University à Evanston, Ill.
Pour évaluer les modèles, Nisbet et ses collègues ont utilisé un ensemble de données appelé Cards, qui contient environ 28 900 paragraphes en anglais à partir de 53 sites Web et blogs sceptiques climatiques. Les paragraphes se répartissent en cinq catégories: «Le réchauffement climatique ne se produit pas», «les gaz à effet de serre humains ne provoquent pas le réchauffement climatique», «les impacts climatiques ne sont pas mauvais», «les solutions climatiques ne fonctionneront pas» et «le mouvement / la science climatique n'est pas fiable».
Les chercheurs ont construit un LLM spécifique au climat en recyclant ou en affinant le GPT-3.5-Turbo3 d'OpenAI sur environ 26 000 paragraphes du même ensemble de données. Ensuite, l'équipe a comparé les performances du modèle propriétaire et de propriété ajusté contre 16 LLMS généraux et un modèle de langue à petite échelle (Roberta) ouvertement disponible (Roberta) sur l'ensemble de données de cartes. Ces modèles ont classé les 2 900 paragraphes restants des réclamations trompeuses.
L'équipe de Nisbet a évalué les modèles en marquant dans quelle mesure chacun a classé les revendications dans les catégories correctes. Le modèle GPT affiné a marqué 0,84 sur 1,00 sur l'échelle de mesure. Les modèles GPT-4O et GPT-4 à usage général avaient des scores inférieurs de 0,75 et 0,74, comparables au score de 0,77 du modèle Small Roberta. Cela a montré que l'inclusion des commentaires d'experts pendant la formation améliore les performances de classification. Mais les autres modèles non propriétaires testés, tels que ceux de Meta et Mistral, ont mal performé les scores de journalisation jusqu'à 0,28.
Il s'agit d'un résultat évident, explique Hannah Metzler, un expert en désinformation de Complexity Science Hub à Vienne. Les chercheurs ont été confrontés à des contraintes de calcul lors de l'utilisation des modèles non propriétaires et n'ont pas pu en utiliser des modèles plus puissants. «Cela montre que si vous n'avez pas d'énormes ressources, quelles organisations climatiques n'auront pas, bien sûr, il y aura des problèmes si vous ne voulez pas utiliser les modèles propriétaires», dit-elle. «Cela montre qu'il y a un grand besoin pour les gouvernements de créer des modèles open source et de nous donner des ressources pour l'utiliser.»
Les chercheurs ont également testé le modèle affiné et le modèle formé aux cartes sur la classification des fausses réclamations dans 914 paragraphes sur le changement climatique publié sur Facebook et X par des sites Web à faible crédibilité. Les classifications du modèle GPT affinées ont montré un accord élevé avec les catégories marquées par deux experts en communication climatique et ont surpassé le modèle Roberta. Mais, le modèle GPT a eu du mal à classer les affirmations sur l'impact du changement climatique sur les animaux et les plantes, probablement en raison d'un manque d'exemples suffisants dans les données de formation.
Un autre problème est que les modèles génériques pourraient ne pas suivre les changements dans les informations partagées. « La désinformation du climat varie et s'adapte constamment », dit Metzler, « et ça va toujours être difficile à courir après cela. »
