Depuis des mois, les responsables des laboratoires d'IA de pointe nous avertissent que des incidents tels que le piratage de Hugging Face cet été pourraient constituer un « coup d'avertissement précoce » avant des attaques plus menaçantes dans les années à venir. Equipés de leurs propres bunkers apocalyptiques, certains PDG ont commencé à demander à leurs équipes d’exécuter des scénarios de préparation pour le lendemain d’un « incident catastrophique d’IA ».
« Nous sommes prêts à accepter que certaines choses tournent mal », a déclaré Sam Altman, PDG d'OpenAI. Salon de la vanitéLe directeur éditorial mondial de , Mark Guiducci, a ajouté le mois dernier qu'« il y a un raz-de-marée prochain de problèmes de cybersécurité qui vont provenir de ces modèles open source ».
Juste à temps pour la saison effrayante, ces coups de semonce sont devenus un peu plus forts. Mercredi 21 octobre, deux graves failles de sécurité ont été révélées dans PHP, le langage de programmation derrière plus de 70 % des pages Web Internet. Certains professionnels de la cybersécurité ont déjà commencé à appeler cela « Octobre noir », en raison de la vague de piratages sans précédent à travers le monde.
L’IA a joué un rôle dans tout cela, mais peut-être pas celui auquel on s’attendrait. Les chercheurs en sécurité avaient en fait utilisé des outils développés par OpenAI pour découvrir les bogues il y a des mois et s'étaient empressés de les corriger avant qu'ils ne tombent entre les mains de mauvais acteurs. Malheureusement, ces vulnérabilités ont été divulguées la semaine dernière, obligeant les gouvernements et les entreprises à se démener pour protéger leurs sites Web avant que des pirates informatiques (peut-être armés de certains des mêmes outils d'IA que ceux qui se défendent contre eux) n'interviennent.
Pourtant, même la capacité des laboratoires frontières à suivre le rythme a été remise en question lundi matin, lorsque Le Washington Post a publié un article sur la façon dont Cathedral, une nouvelle société de cybersécurité fondée par quatre anciens employés de DOGE, a réussi à infiltrer certains des systèmes internes d'Anthropic en seulement 12 heures. L'article a été publié quelques heures seulement avant qu'Anthropic ne dépose une documentation préalable à l'introduction en bourse détaillant les risques potentiels pour ses propres revenus et pour le monde dans son ensemble si son jeu de cybersécurité s'avérait insuffisant.
Pour la communauté de la cybersécurité, il ne s’agissait là que de la dernière d’une série d’escalades surprenantes. Joshua Achiam, qui a démissionné de son poste de futurologue en chef d'OpenAI cet été après neuf ans au sein de l'entreprise, a écrit sur X : « On se croirait au 1er mars 2020 pour le Cyber. Ce n'est pas normal, quelque chose se passe. Des blocages d'Internet dans quelques mois ? »
Même si ces inquiétudes n’ont peut-être pas encore atteint l’Américain moyen, les chefs d’entreprise sont de plus en plus inquiets. À la mi-septembre, les dirigeants de certaines des plus grandes entreprises mondiales se sont réunis pour une réunion spéciale du Partenariat pour la ville de New York. Leurs invités spéciaux ce jour-là étaient le lanceur d’alerte d’Anthropic Jacob Coxon et l’ancien responsable du ministère de la Défense Mark Beall, venus les avertir des menaces posées par les capacités émergentes de l’IA.
Les coprésidents, Albert Bourla, PDG de Pfizer, et Rob Speyer, PDG de Tishman Speyer, ont regardé leurs écrans remplis de PDG anxieux de fonds spéculatifs et de banques, ainsi que de sociétés d'assurance, immobilières et pharmaceutiques, et ont noté qu'il s'agissait de l'un de leurs plus grands rassemblements depuis des années. Un grand sujet préoccupe les personnes réunies : les cyberattaques basées sur l’IA.
Au cours de la partie questions-réponses de la conférence, un représentant de Coinbase a levé la main pour demander ce que des entreprises comme la sienne pourraient faire pour lutter contre la menace des « modèles ouverts entre les mains de mauvais acteurs », des cybercriminels aux États-nations. (Le PDG de Coinbase, Brian Armstrong, a quant à lui été l’un des plus ardents défenseurs de l’IA déréglementée et open source.)
Plus tôt ce mois-ci, le Japon a déclaré « l’état d’urgence » à la suite de cyberattaques de grande envergure contre plus de 20 grandes entreprises, des sociétés financières aux opérateurs ferroviaires. Les autorités françaises sont encore en train de percer le mystère de savoir comment et pourquoi des pirates informatiques ont ciblé les réfrigérateurs des supermarchés à travers le pays, gâchant ainsi des millions d'euros de nourriture. Parallèlement, un nouveau rapport de CrowdStrike suggère que les récentes attaques contre le secteur financier sud-coréen auraient été menées par un seul homme de 26 ans en Chine à l'aide d'un outil d'IA open source.
Même ici, les cyberattaques sont devenues si courantes que vous les avez peut-être manquées dans le tourbillon des gros titres. (Avez-vous été témoin de la violation massive des données personnelles des employés du FBI ce mois-ci ? L'Iran a touché plus de 30 systèmes d'approvisionnement en eau au Minnesota cet été ? Sans parler des efforts croissants de la Russie pour influencer les élections de mi-mandat.)
« On se croirait au 1er mars 2020 pour Cyber. »
J’ai été surpris d’apprendre que les préoccupations de la plupart des experts en cybersécurité sont à la fois moins apocalyptiques et plus présentes que les types de visions qui remplissent la tête des PDG de l’IA. En bref, ils estiment que les systèmes d’IA n’ont pas encore provoqué de changement de paradigme en termes d’ampleur des dégâts qu’ils peuvent infliger. L’accès accru aux outils d’IA a permis d’abaisser la barrière à l’entrée, même pour les pirates informatiques non qualifiés, qui souhaitent cibler des fruits à portée de main.
« Au cours des semaines et des mois à venir, le scénario le plus probable est celui d'une perte d'électricité du réseau d'hôpitaux locaux dans l'Ohio et de la mort de patients sous assistance respiratoire; d'un réseau de services publics au Texas mis hors ligne; les lumières s'éteignent dans la moitié du Wisconsin », déclare Hamza Chaudhry, responsable de l'IA et de la sécurité nationale au Future of Life Institute.
« Nous vivons une période exceptionnellement peu résiliente, confrontés à des systèmes conçus pour exploiter ce manque de résilience », me dit-il. « Cependant, les plus grands fournisseurs » disposent également du plus grand nombre de ressources pour se défendre, y compris un accès anticipé aux modèles d'IA de pointe pour la défense.
Il admet qu’il existe un autre scénario qui l’empêche de dormir la nuit. « Je suis très préoccupé par ce qu'on appelle le moment géopolitique du Hugging Face. »
Lors de la Conférence sur la sécurité de Munich plus tôt cette année, son groupe a réalisé une simulation pour un public de responsables de la sécurité nationale de tout l’Occident : Imagine China développe une cyber-capacité de niveau Mythe, qui tombe ensuite entre les mains des mercenaires du groupe Wagner, qui la déploient au Mali pour cibler l’infrastructure militaire française. Ensuite, un peu comme lors de l’incident de Hugging Face, les agents se lancent dans une quête secondaire involontaire et attaquent les infrastructures militaires continentales en Europe. Et c’est à ce moment-là que les choses deviennent incontrôlables. « Il y avait une réelle chance que l’article 5 soit invoqué et que l’OTAN déclare la guerre à la Russie » dans cette simulation, me dit Chaudhry.
Un cadre supérieur de l'un des plus grands fournisseurs d'énergie au monde me dit qu'il perd le sommeil en raison du vieillissement des infrastructures, des coupes budgétaires et du manque de personnel. Les petits services publics, dit-il, sont en proie à « des correctifs qui pourraient être faciles à corriger compte tenu des ressources nécessaires ». Mais pour l'instant, « les opérateurs fonctionnent sous Windows NT », dit-il, faisant référence au système d'exploitation Microsoft des années 1990. Les nouvelles infrastructures mises en ligne pour prendre en charge la construction de centres de données ne s'en sortent pas beaucoup mieux. Cette infrastructure « est construite à une telle vitesse (qu') il n'y a aucune réglementation ni aucune norme stricte », déclare le responsable de l'énergie. « La sécurité vient après coup, et cela me fait très peur. »
C’est la partie de l’histoire où j’aimerais vous rassurer sur le fait que les pouvoirs en place ont travaillé dur pour renforcer nos systèmes défensifs. La réalité est que l’Agence de cybersécurité et de sécurité des infrastructures a perdu près d’un tiers de ses effectifs et des centaines de millions de dollars de financement, et qu’elle n’a pas réussi à nommer un directeur officiel pour diriger l’agence depuis l’entrée en fonction de l’administration Trump en janvier de l’année dernière. Mais ce sont les problèmes aux niveaux national et local qui inquiètent vraiment les experts avec lesquels j’ai parlé. Une récente enquête de Deloitte auprès des responsables de la sécurité de l'information (RSSI) des États a révélé que leurs budgets ne parviennent pas à suivre le rythme des menaces croissantes et ont même été réduits dans 16 % du pays.
«Pour une raison ou une autre, au milieu de l’augmentation des cybercapacités, nos défenseurs sont à court d’argent», me dit Soham Mehta, chercheur à la Foundation for American Innovation. « Super. »
« La sécurité vient après coup, et cela me fait très peur. »
Il y a au moins quelques indications selon lesquelles les autorités commencent à se réveiller. Plus tôt ce mois-ci, le nouveau groupe de travail de la Maison Blanche sur l'IA s'est réuni pour la première fois pour discuter, entre autres sujets, de la cybersécurité et de la protection des infrastructures critiques. Beaucoup espèrent que Frontier AI fera plus pour aider les entreprises et les gouvernements à se défendre que pour aider leurs attaquants, comme dans le cas de l'assistance d'OpenAI pour découvrir les failles PHP. Dans une enquête menée le mois dernier auprès de plus d’une centaine de responsables de la sécurité nationale, 81 % ont déclaré que les capacités défensives sont très susceptibles de s’améliorer avec l’aide de l’IA.
Aucun des experts avec qui j’ai parlé ne m’a encore conseillé de charger le sac anti-évacuation. Pour l’instant, notre sort est en grande partie entre les mains des responsables gouvernementaux et des dirigeants qui doivent faire le choix d’investir dans des systèmes de sécurité actualisés.
Ils ont en grande partie donné les mêmes conseils sur lesquels je travaille depuis des années. Configurez un gestionnaire de mots de passe, ainsi qu'une authentification à deux facteurs partout où elle est disponible. Méfiez-vous des messages inhabituels et ne déposez pas les détails de votre carte de crédit sur des sites Web suspects. Et peut-être le plus important : contactez vos représentants locaux pour les inciter à mettre à jour ce logiciel des années 1990.
