L'automne dernier, alors que je signalais une histoire sur la religion et la Silicon Valley, j'ai interviewé un ingénieur qui a offert un raccourci inattendu pour comprendre les ambitions ultimes de l'IA de l'industrie technologique: «Regardez l'émission télévisée Panthéon,« Il m'a dit. » Tout le monde travaillant dans les grandes sociétés d'IA regarde ce spectacle. «
C'était le premier dont j'avais entendu parler Panthéon, Même si la série animée avait été créée près de deux ans plus tôt. Quand je l'ai regardé l'automne dernier, la première saison a été assez facile à trouver sur Netflix, mais la saison deux avait été dispersée dans le désert numérique; La seule version que je pouvais suivre était sur YouTube. Le spectacle est créé par Craig Silverstein, un écrivain et producteur qui a travaillé sur des séries comme Turn: les espions de Washington et L'homme invisible. Lorsque je l'ai contacté pour une interview plus tôt ce mois-ci, il a dit qu'il n'était pas surpris que je n'étais en retard à découvrir le spectacle: à l'origine produit pour fonctionner sur le service de streaming d'abonnement d'AMC, PanthéonLes débuts ont reçu pratiquement zéro marketing. Plus tard, le réseau a enterré la deuxième saison après sa production, selon Silverstein. (Les deux saisons sont maintenant disponibles sur Netflix.)
Le public grand public peut avoir manqué Panthéon, Mais dans la Silicon Valley, en particulier chez les personnes travaillant dans l'IA, elle est en bonne voie de culte. « Je prédis que Pantheon deviendra un spectacle grand public comme Game of Thrones ou Squid Game », a écrit James Campbell, Un chercheur travaillant sur l'intelligence générale artificielle (AGI) à Openai, en décembre dernier, sur X. «Alors que notre chronologie commence à refléter le spectacle, il équipera des cadres utiles pour donner un sens au monde et éventuellement jouer un rôle non trivial dans la diffusion du sentiment anti-AGI.»
La fascination de la Silicon Valley pour Panthéon provient probablement de sa représentation plausible d'une course aux armements mondiale de style nucléaire déclenché par des nations rivales développant simultanément la superingence numérique. Tout cela semble inconfortablement proche de la façon dont une course aux armements de l'IA entre les États-Unis et la Chine pourrait se dérouler, dans laquelle les pirates, armés d'esprit amélioré par ordinateur et d'accès aux infrastructures critiques, aux systèmes militaires et aux réseaux électriques.
La question plus profonde persistante PanthéonLes deux saisons sont sur ce que signifie être humain à une époque de sensibilité numérisée. La deuxième saison de l'émission offre un aperçu des sociétés mondiales comme Openai pourraient imaginer qu'elles se construisent: celle où les humains, libérés de leur forme physique, vivent comme des dieux. Un personnage prédit que les intelligences téléchargées, ou les interfaces utilisateurs, inaugureront une ère d'abondance. «Ce sera plus grand que la révolution industrielle», dit-il. «Les UIS transformeront les affaires, la médecine et la construction. Une fois qu'ils dirigeront les choses, les humains peuvent se détendre – tout à coup, et pour de bon. Cela créera une économie de retraite massive pour les jeunes, rempli de marchés sans fin pour de nouveaux produits et services.»
C'est une ligne qui a l'impression qu'elle pourrait être arrachée directement à partir du PDG d'Openai Sam AltmanLe dernier essai, «The Gentle Singularity», dans lequel Altman écrit que, à mesure que le supercalcul ne s'améliore dans les années à venir, le «taux de nouvelles merveilles réalisés sera immense. Il est difficile d'imaginer aujourd'hui ce que nous aurons découvert par 2035…. Le spectacle, il a «entendu que c'est vraiment bien»))
Plus tôt ce mois-ci, j'ai contacté Silverstein au sujet de la suite de l'émission dans la Silicon Valley. Vous trouverez ci-dessous notre conversation, édité et condensée pour plus de clarté:
Issues.fr: Les gens de la Silicon Valley passent évidemment beaucoup de temps à réfléchir aux problèmes traités Panthéon, Comme l'immortalité, la singularité et même la conscience téléchargée. Quel type de recherche avez-vous fait en termes de compréhension de la relation de la Silicon Valley au téléchargement de la conscience humaine?
Craig Silverstein: Lorsque nous recherchions initialement cela, nous avons rencontré beaucoup de gens obsédés par l'extension de la vie. Ray Kurzweil, par exemple. Toutes ces personnes essaient de vaincre la mort par divers moyens, comme le clonage ou la cryogénique. Soit dit en passant, je ne crois pas qu'ils réussiront. Mais la plupart des histoires portent sur la mort. Il y a beaucoup de questions intéressantes sur ce que signifie être humain si vous supprimez la mort.
Il y a une brève mention du mariage (entre deux personnes qui ont toutes deux téléchargé leur conscience dans le nuage) dans le spectacle. Si vous vivez pendant des centaines ou des milliers d'années, que signifie le concept d'une âme sœur? Quel est le concept de crime et de punition si vous vivez pour avoir des centaines de milliers d'années? Si vous assassinez quelqu'un, êtes-vous supprimé ou congelé pendant un certain temps? Toutes les règles que nous avons pour nous-mêmes sont basées sur le fait que nous allons mourir. Ces gens qui pensent qu'ils ne mourront pas… eh bien, désolé, mon pote, tu vas mourir! Vous pensez que vous allez être téléchargé? (Rires) Je ne le crois pas. J'adore spéculer à ce sujet, mais je ne pense pas que cela va se produire.
Avant de fouiller dans le spectacle et son rôle dans la Silicon Valley davantage, pourriez-vous expliquer le concept d'intelligence téléchargée telle qu'elle est décrite dans Panthéon?
L'intelligence téléchargée est une technologie qui a été spéculée pendant un certain temps. Ken Liu, qui a écrit la collection de nouvelles Panthéon est basé sur, a beaucoup plus de connaissances à ce sujet, et à son estimation, nous sommes beaucoup plus proches de ce type de technologie que nous ne le pensons. L'intelligence téléchargée consiste à scanner et à créer une émulation complète de l'esprit humain. Mais c'est une analyse destructrice, ce qui signifie que vous devez absolument détruire le cerveau physique afin qu'une émulation de cet esprit vise dans un ordinateur suffisamment puissant pour l'exécuter (comme un logiciel). Les gens spéculent sur cette idée depuis longtemps. «Intelligence téléchargée» ou «interface utilisateur» est ce que nous l'avons appelé dans le spectacle. Robin Hanson fait référence à cela dans son livre L'âge de EM– que je lis en recherchant le spectacle – en tant que «EMS» comme dans «les gens imités».
Vous avez adapté Panthéon de la collection de nouvelles de Ken Liu, La fille cachée et d'autres histoires. Le spectacle est-il basé sur une seule histoire de cette collection?
Trois des nouvelles sont dans une sorte de trilogie, où je me suis inspiré pour les personnages, Maddie, et son père, David. Il y a une scène où Maddie parle à quelqu'un sur Internet qui ne parle que dans les emojis. Elle se rend compte que la personne à qui elle parle est en fait son père décédé, qui était chercheur dans une grande entreprise technologique de la Silicon Valley. Ensuite, l'histoire se déplace dans ces enjeux de la Seconde Guerre mondiale et plonge dans ces différentes histoires sur l'intelligence téléchargée. Ce qui m'a attiré dans cette collection, c'est que ce sont toutes des histoires de famille; Ils traversent l'objectif de la famille, de l'amour, du caractère et du drame, ce qu'est la télévision. Cela m'a donné un moyen d'écrire sur des trucs ésotériques de science-fiction dure, mais à travers une manière simple.
Quelles inspirations avez-vous prises de la Silicon Valley pour le spectacle?
Le spectacle a été écrit avant la pandémie et avant le chat de chatte. À l'époque, les trucs de l'IA allait arriver, et nous étions tous inquiets pour l'IA. Tout le monde parlait de l'IA, et de nombreux concepts qui se présentent plus tard dans le spectacle, comme le revenu de base universel et les moyens de résoudre un monde automatisé où l'IA gère tout. Donc, tout cela était très à l'avant-garde de mon esprit.
J'ai toujours été très intéressé par l'IA, mais en tant qu'écrivain dramatique, je suis très, très méfiant à l'écriture de l'IA en tant que personnage, car nous en avons vu un million d'exemples dans les films et la télévision. L'IA a tendance à être cette entité froide et insensible. Ou je l'ai également vu représenté comme un petit enfant ou une petite fille, et ce sont tous des clichés. Il y a un ton étrange à l'IA. Il grandit et change si vite que je trouve réellement moins intéressant d'écrire.
Mais alors il y a l'idée d'une ui – de quelqu'un qui était humain – et je pensais, oh, je peux écrire ça. Nous poussons donc à l'idée de l'IA à partir de là, et le spectacle entre dans l'ASI (super intelligence artificielle, le seuil théorique auquel l'IA remplace l'intelligence humaine). Tout cela est lié à la singularité. La seule chose que je savais avec certitude, c'est que je ne pouvais pas écrire devant la singularité. Si l'ASI est censée dépasser ce que nous pouvons concevoir comme des humains, nous ne devrions pas pouvoir l'écrire. J'ai donc pensé à écrire avec essentiellement le bord de celui-ci.
L'un des aspects les plus étonnants du spectacle est la façon dont il envisage la singularité. J'ai été frappé par l'arc qui se déroule sur les deux saisons: dans la première saison, il y a une scène cauchemardesque dans laquelle un personnage est téléchargé contre sa volonté, et j'ai terminé cette saison en pensant que l'intelligence téléchargée était horrible. Mais dans la saison deux, il y a ce moment de singularité où nous voyons à quel point la vie pourrait être merveilleuse si nous n'étions pas limités à un corps physique. À ce stade, je me suis retrouvé à souhaiter que je puisse être téléchargé dans le cloud.
Cet équilibre entre l'horreur et le potentiel ambitieux de la technologie est également dans les histoires de Ken. C'est une approche très humaine dans laquelle il y a du bon et du mauvais. J'ai en fait dit au personnel d'écriture: «Vous connaissez le spectacle Miroir noir? Notre ton est «Rainbow Mirror».
PanthéonLa vision de la singularité et de la superintelligence inaugurant un monde d'abondance est très proche du cœur de la Silicon Valley, y compris certaines des personnes les plus puissantes qui construisent actuellement l'IA. Sam Altman écrit ces essais vraiment essoufflés sur un avenir dans lequel le travail est automatisé et l'énergie est abondante. Voyez-vous des parallèles entre Panthéon Et que se passe-t-il en ce moment dans le monde de la technologie?
Je pense que le taux de changement semble augmenter. Ou si ce n'est pas augmenté, il est pris en compte, comme avec la loi de Moore. Il peut prendre une seconde pour prendre du recul et voir jusqu'où toute technologie est arrivée au cours du siècle dernier par rapport à celles qui ont précédé. Donc, l'idée que le taux de changement va accélérer n'est pas surprenant. Je ne sais pas sur l'intelligence téléchargée, mais je peux voir Agi se produire très bientôt. Et je m'inquiète. C'est drôle, dans Panthéon, L'une des choses sur lesquelles tous les personnages semblent s'entendre est que l'IA est dangereuse. Ils l'utilisent, mais ils sont prudents à ce sujet.
La saison deux fait que le cas convaincant que tuer votre corps humain afin de télécharger sur le nuage est en fait la chose morale à faire car c'est mieux pour l'environnement. Les UI nécessitent beaucoup moins que les corps humains. Vous pouvez installer quelques milliers d'UIS sur une clé USB, tandis que les humains «incarnés» nécessitent toujours des logements, de la nourriture et de l'eau.
(Rires) J'ai peut-être été un peu naïf à ce sujet.
D'accord, car l'IA utilise en fait une énorme quantité d'énergie.
Ouais, peut-être que j'avais tort à ce sujet. Mais peut-être qu'ils trouveront des solutions plus économes en énergie à l'avenir.
L'une des critiques que j'ai lues sur le spectacle est que c'est la propagande de la Silicon Valley car elle met en avant cette notion que vous pouvez atteindre l'immortalité et devenir un dieu en poursuivant des objectifs technocratiques. Que pensez-vous de cette critique?
Je crois que la technologie, que ce soit ou non, est le principal moteur de la civilisation et de la société humaines. Les médias sociaux, Internet… Toutes ces choses ont fait plus pour changer notre façon de vivre notre vie que les nations et les politiques. Je ne pense pas que ce soit nécessairement une bonne chose, au fait. Je pense juste que c'est vrai. La Silicon Valley est incroyablement influente. Je ne pense pas non plus que ce soit nécessairement bon. Je m'inquiète vraiment de cela, parce que ce sont des êtres humains.
Les gens de la Silicon Valley?
Ouais. Je suis très suspects. Et si vous regardez mes exemples de personnes puissantes dans le spectacle dans la Silicon Valley, comme Stephen Holstrom, je ne pense pas qu'ils soient décrits comme des gens particulièrement formidables.
Dernière question: si vous viviez PanthéonLa vision de la saison deux de la singularité de la saison, téléchargeriez-vous votre conscience dans le nuage?
Si plus de la moitié des gens que je connais et que j'adore, et que j'ai pu leur poser des questions à ce sujet et obtenir une assurance à ce sujet, et si j'avais la possibilité d'avoir une autonomie sur ma propre mort, alors je pourrais le considérer. Mais je ne serais certainement pas l'un des premiers, c'est sûr.
