Les arguments avancés par les chercheurs en sécurité de l'IA, Eliezer Yudkowsky et Nate, se présente si quelqu'un le construit, tout le monde décède superficiellement mais mortellement défectueux, explique Jacob Aron
La montée en puissance de l'intelligence artificielle a accru la demande de centres de données comme celui-ci à Londres
Si quelqu'un le construit, tout le monde meurt
Eliezer Yudkowsky et Nate Soares (Bodley Head, Royaume-Uni; Little, Brown, États-Unis)
Dans la totalité de l'existence humaine, il y a énormément de choses à nous inquiéter. Les problèmes d'argent, le changement climatique et la recherche de l'amour et du bonheur se classent fortement sur la liste pour de nombreuses personnes, mais pour quelques-uns dévoués, une préoccupation augmente avant tout: cette intelligence artificielle finira par détruire la race humaine.
Eliezer Yudkowsky au Machine Intelligence Research Institute (MiRI) en Californie a prosénéré cette cause pendant un quart de siècle, à un petit public ou dédié. Ensuite, nous sommes entrés dans l'ère du Chatgpt, et ses idées sur la sécurité de l'IA ont été poussées dans le courant dominant, écho par les PDG de technologie et les politiciens.
Écrire avec Nate Soares, aussi chez Miri, Si quelqu'un le construit, tout le monde meurt est la tentative de Yudkowsky de distiller son argument en un message simple et facilement digestible qui sera ramassé dans la société. Il réussit entièrement dans cet objectif, condensant les idées précédemment piégées dans de longs articles de blog et des articles wiki dans un livre extrêmement lisible bliillant par tous, de célébrités comme Stephen Fry et Mark Ruffalo aux poids lourds politiques, notamment Fiona Hill et Ben Bernanke. Le problème est que, bien que convaincant, l'argument est mortellement défectueux.
Avant d'expliquer pourquoi, j'avoue que je n'ai pas consacré ma vie à considérer ce problème dans la profondeur de Yudkowsky. Mais tout aussi, je ne le rejette pas sans réflexion. J'ai suivi le travail de Yudkowsky pendant plusieurs années, et il a un esprit extrêmement intéressant. J'ai même lu, et bien apprécié, sa fan fiction de 660 000 mots Harry Potter et les méthodes de rationalitédans lequel il épouse la philosophie de la communauté rationaliste, qui a des liens profonds avec la sécurité de l'IA et les mouvements efficaces de l'altruisme.
Ces trois mouvements tentent de dériver leur façon de voir le monde des premiers principes, en appliquant une logique et des preuves pour déterminer les meilleures façons d'être. Alors Yudkowsky et Soares, comme de bons rationalistes, commencent Si quelqu'un le construit, tout le monde meurt des premiers principes aussi. Le chapitre d'ouverture explique comment il n'y a rien dans les lois de la physique qui empêche l'émergence d'une intelligence supérieure aux humains. Je pense que cela est entièrement non controversé. Le chapitre suivant donne ensuite une très bonne explication de la taille des modèles de langue (LLM) comme ceux qui sont créés par le chat de puissance. «Les LLM et les humains sont tous deux des machines productrices de phrases, mais elles ont été façonnées par différents processus pour effectuer des travaux différents», dit la paire – encore une fois, je suis entièrement d'accord.
Le troisième chapitre est l'endroit où nous commençons à diverger. Yudkowsky et Soares décrivent comment AIS commencera à se comporter comme s'ils «voulaient» des choses, tout en pliant autour de la question philosophique très réelle de savoir si nous pouvons vraiment dire qu'une machine peut «vouloir». Ils se réfèrent à un test du modèle O1 d'OpenAI, qui a affiché un comportement inattendu pour terminer un défi de cybersécurité accidentellement «impossible», soulignant le fait qu'il n'a pas «abandonné» comme signe du modèle de modèle comme s'il voulait réussir. Personnellement, j'ai du mal à lire toute sorte de motivation dans ce scénario – si nous plaçons un barrage dans une rivière, la rivière n'abandonnera pas sa tentative de le contourner, mais les rivières ne veulent rien.
Les prochains chapitres traitent de ce que l'on appelle le problème d'alignement de l'IA, faisant valoir qu'une fois qu'une IA souhaite, il sera impossible d'aligner ses objectifs avec celui de l'humanité, et qu'une IA superintintellige voudra finalement consommer toute la matière et l'énergie possibles pour poursuivre ses ambitions. Cette idée a déjà été popularisée comme «maximisation par trombone» par le philosophe Nick Bostrom, qui pense qu'une IA chargée de créer des trombones tenterait de transformer tout en trombone.
Bien sûr – mais que se passe-t-il si nous le désactivons? Pour Yudkowsky et Soares, c'est impossible. Leur position est que toute IA suffisamment avancée est indiscernable de la magie (mes mots, pas les leurs) et auraient toutes sortes de façons d'empêcher sa disparition. Ils imaginent tout, d'une IA comprise en payant des humains en crypto-monnaie pour faire ses enchères (non invraisemblables, je suppose, mais encore une fois, nous revenons au problème de «Want») à découvrir une fonction auparavant inconnue du système nerveux humain qui lui permet de pirater directement notre cerveau (je suppose? Peut-être? Bien sûr.).
Si vous inventez des scénarios comme celui-ci, l'IA semblera naturellement terrifiante. La paire suggère également que les signes de plateau de l'IA, comme cela semble être le cas avec le dernier modèle GPT-5 d'OpenAI, pourrait en fait être le résultat d'un superintelligent clandestin sabotant ses concurrents. Il semble qu'il n'y ait rien qui ne nous mènera pas à DoM.
Alors, que devons-nous faire à ce sujet? Yudkowsky et Soares ont un certain nombre de prescriptions politiques, toutes essentiellement absurdes. La première est que les unités de traitement des graphiques (GPU), les puces informatiques qui ont alimenté la révolution de l'IA actuelle, devraient être fortement restreintes. Ils disent qu'il devrait être illégal de posséder plus de huit des plus grands GPU de l'ère 2024 sans se soumettre à une surveillance de style nucléaire par un organisme international. En comparaison, Meta a au moins 350 000 de ces puces. Une fois cela en place, disent-ils, les nations doivent être prêtes à appliquer ces restrictions en bombardant des centres de données non enregistrés, même si cela risque la guerre nucléaire, « Parce que les centres de données peuvent tuer plus de personnes que les armes nucléaires»(Impositionné le leur).
Prenez une profonde inspiration. Comment sommes-nous arrivés ici? Pour moi, c'est une forme de pari de Pascal. Le mathématicien Blaise Pascal a déclaré qu'il était rationnel de vivre votre vie comme si le Dieu (chrétien) existe, sur la base de quelques sommes simples. Si Dieu existe, la croyance vous met en place pour un gain infini dans le ciel, bien que ne pas croire conduit à une perte infinie en enfer. Si Dieu n'existe pas, eh bien, peut-être que vous perdez un peu de vivre une vie pieuse, mais seulement fin. La façon de maximiser le bonheur est la croyance.
De même, si vous empilez les decks en supposant que l'IA conduit à une méchanceté infinie, à peu près tout est justifié de l'éviter. C'est cette ligne de pensée qui conduit les rationalistes à croire que toute action dans le présent est justifiée tant qu'elle conduit à la création de milliards d'humains heureux à l'avenir, même si ceux qui en ont vieillent aujourd'hui souffrent.
Franchement, je ne comprends pas comment quelqu'un peut traverser ses jours en pensant comme ça. Les gens vivants aujourd'hui comptent. Nous avons des désirs et des inquiétudes. Des milliards d'entre nous sont menacés par le changement climatique, un sujet qui ne fait essentiellement pas Si quelqu'un le construit, tout le monde meurt. Consignons une IA supentintelligente à la science-fiction, où elle appartient, et consacre nos énergies à la résolution des problèmes de science ici aujourd'hui.
