Un examen approfondi du Dr Yampolskiy ne révèle aucune preuve actuelle que l’IA peut être contrôlée en toute sécurité, ce qui conduit à un appel à l’arrêt du développement de l’IA jusqu’à ce que la sécurité puisse être assurée. Son prochain livre traite des risques existentiels et du besoin crucial de mesures de sécurité renforcées en matière d’IA. Crédit : Issues.fr.com
Soulignant l’absence de preuves de la contrôlabilité de l’IA, le Dr Yampolskiy met en garde contre les risques existentiels impliqués et préconise une approche prudente du développement de l’IA, en mettant l’accent sur la sécurité et la minimisation des risques.
Il n’existe actuellement aucune preuve que l’IA puisse être contrôlée en toute sécurité, selon une étude approfondie, et sans preuve que l’IA peut être contrôlée, elle ne devrait pas être développée, prévient un chercheur.
Même s’il est reconnu que le problème du contrôle de l’IA pourrait être l’un des problèmes les plus importants auxquels l’humanité est confrontée, il reste mal compris, mal défini et peu étudié, explique le Dr Roman V. Yampolskiy.
Dans son prochain livre, IA : inexplicable, imprévisible, incontrôlablele Dr Yampolskiy, expert en sécurité de l’IA, examine la manière dont l’IA a le potentiel de remodeler radicalement la société, pas toujours à notre avantage.
Il explique : « Nous sommes confrontés à un événement presque garanti avec le potentiel de provoquer une catastrophe existentielle. Il n’est pas étonnant que beaucoup considèrent qu’il s’agit du problème le plus important auquel l’humanité ait jamais été confrontée. L’issue pourrait être la prospérité ou l’extinction, et le sort de l’univers est en jeu. »
Superintelligence incontrôlable
Le Dr Yampolskiy a procédé à une analyse approfondie de la littérature scientifique sur l’IA et affirme n’avoir trouvé aucune preuve que l’IA peut être contrôlée en toute sécurité – et même s’il existait des contrôles partiels, ils ne seraient pas suffisants.
Il explique : « Pourquoi tant de chercheurs supposent-ils que le problème du contrôle de l’IA peut être résolu ? À notre connaissance, il n’existe aucune preuve de cela. Avant de se lancer dans la quête d’une IA contrôlée, il est important de montrer que le problème peut être résolu.
« Ceci, combiné aux statistiques qui montrent que le développement de la superintelligence de l’IA est un événement presque garanti, montre que nous devrions soutenir un effort important en matière de sécurité de l’IA. »
Il affirme que notre capacité à produire des logiciels intelligents dépasse de loin notre capacité à les contrôler, voire à les vérifier. Après une analyse approfondie de la littérature, il suggère que les systèmes intelligents avancés ne pourront jamais être entièrement contrôlables et présenteront donc toujours un certain niveau de risque, quel que soit l’avantage qu’ils procurent. Il estime que l’objectif de la communauté de l’IA devrait être de minimiser ce risque tout en maximisant les avantages potentiels.
Quels sont les obstacles ?
L’IA (et la superintelligence) se distinguent des autres programmes par sa capacité à apprendre de nouveaux comportements, à ajuster ses performances et à agir de manière semi-autonome dans des situations nouvelles.
L’un des problèmes liés à la « sécurité » de l’IA est que les décisions et les échecs possibles d’un être superintelligent à mesure qu’il devient plus capable sont infinis, il existe donc un nombre infini de problèmes de sécurité. Il n’est pas possible de simplement prédire les problèmes et les atténuer dans les correctifs de sécurité n’est peut-être pas suffisant.
Dans le même temps, explique Yampolskiy, l’IA ne peut pas expliquer ce qu’elle a décidé, et/ou nous ne pouvons pas comprendre l’explication donnée car les humains ne sont pas assez intelligents pour comprendre les concepts mis en œuvre. Si nous ne comprenons pas les décisions de l’IA et ne disposons que d’une « boîte noire », nous ne pouvons pas comprendre le problème et réduire la probabilité de futurs accidents.
Par exemple, les systèmes d’IA sont déjà chargés de prendre des décisions dans les domaines des soins de santé, des investissements, de l’emploi, des banques et de la sécurité, pour n’en citer que quelques-uns. De tels systèmes devraient être capables d’expliquer comment ils sont arrivés à leurs décisions, notamment pour montrer qu’ils sont impartiaux.
Yampolskiy explique : « Si nous nous habituons à accepter les réponses de l’IA sans explication, en la traitant essentiellement comme un système Oracle, nous ne serions pas en mesure de dire si elle commence à fournir des réponses fausses ou manipulatrices. »
Contrôler l’incontrôlable
À mesure que les capacités de l’IA augmentent, son autonomie augmente également, mais notre contrôle sur elle diminue, explique Yampolskiy, et une autonomie accrue est synonyme d’une sécurité réduite.
Par exemple, pour que la superintelligence évite d’acquérir des connaissances inexactes et supprime tous les préjugés de ses programmeurs, elle pourrait ignorer toutes ces connaissances et tout redécouvrir/prouver à partir de zéro, mais cela supprimerait également tout préjugé pro-humain.
« Les agents (personnes) moins intelligents ne peuvent pas contrôler en permanence les agents plus intelligents (ASI). Ce n’est pas parce que nous ne parviendrons pas à trouver une conception sûre pour la superintelligence dans le vaste espace de toutes les conceptions possibles, c’est parce qu’une telle conception n’est pas possible, elle n’existe pas. La superintelligence ne se rebelle pas, elle est incontrôlable au départ », explique-t-il.
« L’humanité est confrontée à un choix : devenons-nous comme des bébés, pris en charge mais sans contrôle, ou refusons-nous d’avoir un tuteur utile mais restons responsables et libres. »
Il suggère qu’un point d’équilibre pourrait être trouvé, auquel nous sacrifierions certaines capacités en échange d’un certain contrôle, au prix de fournir au système un certain degré d’autonomie.
Aligner les valeurs humaines
Une suggestion de contrôle consiste à concevoir une machine qui suit précisément les ordres humains, mais Yampolskiy souligne le risque d’ordres contradictoires, d’interprétations erronées ou d’utilisation malveillante.
Il explique : « Les humains qui contrôlent peuvent donner lieu à des ordres contradictoires ou explicitement malveillants, tandis que l’IA qui contrôle signifie que les humains ne le sont pas. »
Si l’IA agissait davantage en tant que conseiller, elle pourrait éviter les problèmes d’interprétation erronée des ordres directs et le potentiel d’ordres malveillants, mais l’auteur soutient que pour que l’IA soit un conseiller utile, elle doit avoir ses propres valeurs supérieures.
« La plupart des chercheurs en sécurité de l’IA recherchent un moyen d’aligner la future superintelligence sur les valeurs de l’humanité. L’IA alignée sur les valeurs sera biaisée par définition, le préjugé pro-humain, bon ou mauvais, reste un biais. Le paradoxe de l’IA alignée sur les valeurs est qu’une personne ordonnant explicitement à un système d’IA de faire quelque chose peut obtenir un « non » alors que le système essaie de faire ce qu’elle veut réellement. L’humanité est soit protégée, soit respectée, mais pas les deux », explique-t-il.
Minimiser les risques
Pour minimiser les risques de l’IA, il dit qu’elle doit être modifiable avec des options « d’annulation », limitée, transparente et facile à comprendre en langage humain.
Il suggère que toute IA devrait être classée comme contrôlable ou incontrôlable, et que rien ne devrait être retiré de la table et que des moratoires limités, voire des interdictions partielles sur certains types de technologies d’IA, devraient être envisagés.
Au lieu de se décourager, il déclare : « C’est plutôt une raison, pour davantage de personnes, de creuser plus profondément et d’augmenter les efforts et le financement de la recherche sur la sûreté et la sécurité de l’IA. Nous n’arriverons peut-être jamais à une IA sûre à 100 %, mais nous pouvons rendre l’IA plus sûre proportionnellement à nos efforts, ce qui est bien mieux que de ne rien faire. Nous devons utiliser cette opportunité à bon escient.
