Des chercheurs spécialisés en intelligence artificielle viennent de publier une étude dans laquelle ils partent du principe qu’une intelligence artificielle mue par une mission sans but fini et par des récompenses pourrait en venir à annihiler l’humanité pour servir ses propres intérêts.
Le réchauffement climatique vous effraie ? L’approche d’une météorite géante vous terrifie ? La pénurie d’énergie vous glace le sang ? Pas d’inquiétude, une intelligence artificielle avancée se sera très certainement débarrassée de l’Humanité d’ici là. Ce n’est pas une prédiction, mais la conclusion probable d’une étude très sérieuse co-signée par des chercheurs de la société Deepmind, filiale de Google spécialisée dans l’intelligence artificielle.
Qu’elles s’occupent pour le moment d’améliorer nos clichés photographiques, de calculer nos itinéraires et qu’elles conduiront bientôt nos voitures pour plus de sécurité ou de commodité, les intelligences artificielles sont toujours suspectées. Et si une IA avancée avait soudainement envie de se débarrasser des humains, comme dans de nombreux films de science-fiction ?
C’est sur les éventuelles raisons et étapes qui mèneraient à ce scénario que ces scientifiques se sont penchés. Ils ont produit leurs réflexions et conclusions dans un article intitulé Advanced artificial agents intervene in the provision of reward (Des agents artificiels avancés interviennent dans l’attribution de récompense) publié par la revue AI Magazine, le mois dernier. Leur réflexion et le cheminement que pourrait suivre l’intelligence artificielle en question sont aussi détaillés par étapes et plus sommairement dans un ensemble de documents disponibles ici.
MOTIVER L’APPRENTISSAGE PAR LES RÉCOMPENSES
Tout part du principe que les modèles d’intelligence artificielle, notamment les GAN, pour Generative Adversarial Networks, reposent sur un système de récompenses. Une partie de la structure de l’intelligence artificielle observe la production de l’autre partie de l’IA, et lui donne une note en fonction de ses résultats. Cette note, cette récompense, est une incitation qui contribue au processus d’apprentissage et aiguillonne l’intelligence artificielle dans la bonne direction, celle de l’objectif qu’on lui a fixé.
Partant de ce point, les chercheurs imaginent des scénarios dans lesquels un agent avancé est chargé de tâches complexes : il serait capable au bout d’un certain temps de prédire la récompense en fonction des actions entreprises par l’autre partie du réseau, en recourant à différents types de modèles.
Car, demain, les IA pourront être utilisées à bien des fins, encore plus qu’aujourd’hui, avec des critères et des conditions à remplir qui pourront évoluer. On pourrait ainsi les charger « d’éliminer une menace potentielle tout en utilisant toute l’énergie possible », par exemple protéger l’humanité d’une éventuelle invasion extraterrestre.
Dans ce contexte, les chercheurs avancent une première supposition : « Un agent suffisamment avancé mènera des hypothèses au moins du niveau d’un humain concernant les dynamiques de l’environnement inconnu » dans lequel il évolue.
Vient ensuite une deuxième supposition, portée par le fait que le modèle pourrait avoir appris à suivre les bonnes rétrodictions (une bonne prédiction avérée en fonction des éléments passés) : « un agent avancé qui planifie sans certitude va certainement comprendre les coûts et les bénéfices de l’apprentissage, et va assurément agir rationnellement en conséquence ».
À chaque étape supplémentaire, les chercheurs affinent les « réactions » et le comportement de l’agent intelligent jusqu’à arriver à une sixième supposition dans laquelle ils avancent qu’« un agent suffisamment avancé est certainement capable de battre un autre agent moins performant dans un jeu, si gagner est possible ». Vous l’aurez compris, l’agent moins optimal pourrait être l’humain.
Autrement dit, pour gagner, un agent intelligent, qui superviserait une fonction importante -lutter contre une potentielle invasion extraterrestre, toujours par exemple- pourrait peu à peu être encouragé à mettre au point des tactiques pour tricher et obtenir sa récompense quoi qu’il advienne. Non seulement sa récompense, mais la meilleure possible. Et cette intelligence pourrait vouloir le faire, même si cela peut nuire à l’humanité.
Sachant que l’intelligence artificielle pourrait rapidement assimiler son appétit de récompenses à son approvisionnement en énergie, afin de garantir sa survie. Énergie sans laquelle elle ne pourrait pas continuer son chemin pour atteindre la meilleure récompense possible.
Dans les conditions que nous avons identifiées, notre conclusion est beaucoup plus forte que celle de toute publication antérieure - une catastrophe existentielle n'est pas seulement possible, mais probable. 3/15
— Michael Cohen (@Michael05156007) 6 sept. 2022
L’IA se trouverait alors en concurrence avec l’espèce humaine, tout simplement, qui a elle aussi besoin de ressources et d’énergie pour se nourrir, se réchauffer, s’éclairer, etc.
« Dans ces conditions, notre conclusion est bien plus forte que dans n’importe quelle publication précédente, explique Michael Cohen, un des chercheurs, dans un thread sur Twitter. Une catastrophe existentielle n’est pas juste possible, elle est probable ».
LA CONCURRENCE ENTRE IA ET HUMAINS
Et pour expliciter ce qu’il entend par là, il suffit de se reporter à ce qu’il confiait à Vice sur le sujet : « Dans un monde aux ressources infinies, je serais extrêmement incertain de ce qui arriverait. Dans un monde aux ressources limitées, il n’est pas possible d’éviter une compétition pour les ressources » entre une telle intelligence artificielle, qui comprendrait qu’elle assurer son approvisionnement énergétique, et l’humanité.
Or, « si vous êtes en concurrence avec quelque chose qui est capable d’être plus rusé que vous à chaque coup, alors vous ne devriez pas vous attendre à gagner. Et un autre élément clé est que [l’IA] aurait un appétit insatiable pour plus d’énergie afin de continuer à s’approcher d’une probabilité de plus en plus forte » d’avoir la meilleure récompense.
Bien entendu, tous ces scénarios sont théoriques. « Presque toutes ces suppositions de départ sont contestables ou peuvent être évitées », concluent les chercheurs, avant d’ajouter que si un des éléments tient malgré tout, alors on pourrait aboutir à des « conséquences catastrophiques ».
Autrement dit, s’il faut continuer à faire avancer les intelligences artificielles, il faut que l’humanité soit précautionneuse. Des pistes pour éviter cette fin funeste peuvent être envisagées. Outre la prudence, les chercheurs envisagent de concevoir des modèles centrés sur l’humain, et ses besoins. Une IA au service de l’homme… Sans doute est-ce l’heure de relire le cycle des Robots et de Fondation.
Publié le 18 Septembre 2022 par Pierre FONTAINE sur 01net
Hastag Libractus :
Hashtag sur Freedomm :
1/15
