Pause des développements de l'IA n'est pas suffisant. Nous devons tout arrêter
PAR ELIEZER YUDKOWSKY 29 MARS 2023 18 H 01 HAE
Yudkowsky est un théoricien de la décision des États-Unis et dirige la recherche au Machine Intelligence Research Institute. Il travaille à l'alignement de l'intelligence générale artificielle depuis 2001 et est largement considéré comme le fondateur du domaine.
An lettre ouverte publié aujourd'hui appelle “ tous les laboratoires d'IA à suspendre immédiatement pendant au moins 6 mois la formation des systèmes d'IA plus puissants que GPT-4. ”
Ce moratoire de 6 mois serait mieux qu'aucun moratoire. J'ai du respect pour tous ceux qui l'ont intensifié et signé. C’est une amélioration de la marge.
Je me suis abstenu de signer parce que je pense que la lettre sous-estime la gravité de la situation et demande trop peu pour la résoudre.
Lire la suite: Les laboratoires d'IA ont exhorté à pomper les freins en lettre ouverte
Le problème clé n'est pas l'intelligence “ compétitive sur l'homme ” ( comme le dit la lettre ouverte ); c'est ce qui se passe après que l'IA soit devenue plus intelligente que l'intelligence humaine. Les seuils clés peuvent ne pas être évidents, nous ne pouvons certainement pas calculer à l'avance ce qui se passe quand, et il semble actuellement imaginable qu'un laboratoire de recherche franchisse des lignes critiques sans le remarquer.
De nombreux chercheurs ont imprégné ces problèmes, y compris moi-même, attendre que le résultat le plus probable de la construction d'une IA surhumainement intelligente, dans quelque chose comme les circonstances actuelles, est que tout le monde sur Terre mourra. Pas comme dans “ peut-être une chance lointaine, ” mais comme dans “ c'est la chose évidente qui se produirait. ” Ce n'est pas que vous ne pouvez pas, en principe, survivre à la création de quelque chose de beaucoup plus intelligent que vous; c'est qu'il faudrait de la précision et de la préparation et de nouvelles perspectives scientifiques, et n'ayant probablement pas de systèmes d'IA composés de réseaux géants impénétrables de nombres fractionnaires.
Plus de TIME
Sans cette précision et cette préparation, le résultat le plus probable est l'IA qui ne fait pas ce que nous voulons et ne se soucie pas de nous ni de la vie sensible en général. Ce genre de bienveillance est quelque chose qui pourrait en principe être imprégné d'une IA mais nous ne sommes pas prêts et ne sais pas comment actuellement.
En l'absence de cette attention, nous obtenons “ l'IA ne vous aime pas, elle ne vous déteste pas non plus, et vous êtes fait d'atomes qu'elle peut utiliser pour autre chose. ”
Le résultat probable de l'humanité face à une intelligence surhumaine opposée est une perte totale. Les métaphores valides incluent “ un enfant de 10 ans essayant de jouer aux échecs contre Stockfish 15 ”, “ le 11e siècle essayant de combattre le 21e siècle, ” et “Australopithèque essayer de se battre Homo sapiens“.
Pour visualiser une IA surhumaine hostile, n'imaginez pas un penseur intelligent de livres vivant à l'intérieur d'Internet et envoyant des courriels mal intentionnés. Visualisez toute une civilisation extraterrestre, pensant à des millions de fois aux vitesses humaines, initialement confinées aux ordinateurs — dans un monde de créatures qui sont, de son point de vue, très stupides et très lentes. Une IA suffisamment intelligente ne restera pas longtemps confinée aux ordinateurs. Dans le monde d'aujourd'hui, vous pouvez envoyer des chaînes d'ADN par e-mail à des laboratoires qui produiront des protéines à la demande, permettant à une IA initialement confinée à Internet de construire des formes de vie artificielles ou de la bootstrap directement à la fabrication moléculaire postbiologique.
Si quelqu'un construit une IA trop puissante, dans les conditions actuelles, je m'attends à ce que chaque membre de l'espèce humaine et toute la vie biologique sur Terre meurent peu de temps après.
Il n'y a pas plan proposé pour savoir comment nous pourrions faire une telle chose et survivre. OpenAI a déclaré ouvertement intention est de faire en sorte que l'IA future fasse nos devoirs d'alignement de l'IA. Juste entendre ça c'est le plan devrait suffire à faire paniquer toute personne sensée. L'autre laboratoire d'IA de premier plan, DeepMind, n'a aucun plan.
Un aparté: rien de tout cela ne dépend si les IA sont ou peuvent être conscients; il est intrinsèque à la notion de systèmes cognitifs puissants qui optimisent les résultats durs et calculent les résultats qui répondent à des critères de résultats suffisamment compliqués. Cela dit, Je serais négligent dans mes devoirs moraux en tant qu'humain si je ne mentionnais pas non plus que nous ne savons pas comment déterminer si les systèmes d'IA sont conscients d'eux-mêmes — puisque nous n'avons aucune idée comment décoder tout ce qui se passe dans les tableaux géants insondables — et, par conséquent, nous pouvons à un moment donné créer par inadvertance des esprits numériques qui sont vraiment conscients et devraient avoir des droits et ne devraient pas être possédé.
La règle que la plupart des personnes conscientes de ces questions auraient approuvée 50 ans plus tôt, était que si un système d'IA peut parler couramment et dit qu'il est conscient de lui-même et exige les droits de l'homme, cela devrait être un arrêt difficile pour les gens qui possèdent simplement cette IA avec désinvolture et l'utilisent au-delà de ce point. Nous avons déjà dépassé cette vieille ligne dans le sable. Et c'était probablement correct; JE d'accord que les IA actuels imitent probablement simplement les discussions sur la conscience de soi à partir de leurs données de formation. Mais je marque que, avec le peu de connaissances que nous avons sur ces systèmes ’ internes, nous ne sais pas vraiment.
Si c'est notre état d'ignorance pour GPT-4, et GPT-5 est la même taille d'étape de capacité géante que de GPT-3 à GPT-4, Je pense que nous ne pourrons plus dire à juste titre “ probablement pas conscient de soi ” si nous laissons les gens faire des GPT-5. Ce sera juste “ Je ne sais pas; personne ne sait. ” Si vous ne savez pas si vous créez une IA consciente de vous-même, cela est alarmant non seulement en raison des implications morales de la partie “ ”, mais parce que le fait d'être incertain signifie que vous n'avez aucune idée de ce que vous faites et c'est dangereux et vous devez vous arrêter.
Le 7 février, Satya Nadella, PDG de Microsoft, jubilé publiquement que le nouveau Bing ferait sortir Google “ et montrerait qu'ils peuvent danser. ” “ Je veux que les gens sachent que nous les avons fait danser, ” dit-il.
Ce n'est pas ainsi que le PDG de Microsoft parle dans un monde sain. Cela montre un écart écrasant entre le sérieux avec lequel nous prenons le problème et le sérieux dont nous avions besoin pour prendre le problème à partir d'il y a 30 ans.
Nous n'allons pas combler cet écart dans six mois.
Il a fallu plus de 60 ans entre le moment où la notion d’intelligence artificielle a été proposée et étudiée pour la première fois, et pour que nous atteignions les capacités actuelles. Résoudre sécurité d'intelligence surhumaine — pas une sécurité parfaite, la sécurité dans le sens de “ ne pas tuer littéralement tout le monde ” — pourrait très raisonnablement prendre au moins la moitié de ce temps. Et le fait d'essayer cela avec une intelligence surhumaine est que si vous vous trompez au premier essai, vous ne pouvez pas apprendre de vos erreurs, car vous êtes mort. L'humanité n'apprend pas de l'erreur et se dépoussière et réessaye, comme dans d'autres défis que nous avons surmontés dans notre histoire, car nous sommes tous partis.
Essayer d'obtenir rien dès le premier essai vraiment critique est une question extraordinaire, en science et en ingénierie. Nous n'arrivons pas avec quelque chose comme l'approche qui serait nécessaire pour le faire avec succès. Si nous tenions quelque chose dans le domaine naissant de l'intelligence générale artificielle aux normes moindres de rigueur d'ingénierie qui s'appliquent à un pont destiné à transporter quelques milliers de voitures, tout le champ serait fermé demain.
Nous ne sommes pas préparés. Nous ne sommes pas sur la bonne voie pour être préparés dans une fenêtre de temps raisonnable. Il n'y a pas de plan. Les progrès des capacités d'IA se déroulent largement, largement avant les progrès de l'alignement de l'IA ou même les progrès dans la compréhension de ce qui se passe à l'intérieur de ces systèmes. Si nous faisons cela, nous allons tous mourir.
Lire la suite: La nouvelle sonnerie alimentée par l'IA menace les utilisateurs. Ce n'est pas une question de rire
De nombreux chercheurs travaillant sur ces systèmes pensent que nous plongeons vers une catastrophe, avec plus d'entre eux osant le dire en privé qu'en public; mais ils pensent qu’ils ne peuvent pas arrêter unilatéralement le plongeon vers l’avant, que d’autres continueront même s’ils quittent personnellement leur emploi. Et donc ils pensent tous qu'ils pourraient aussi bien continuer. C'est une situation stupide et une façon indigne pour la Terre de mourir, et le reste de l'humanité devrait intervenir à ce stade et aider l'industrie à résoudre son problème d'action collective.
Certains de mes amis m'ont récemment rapporté que lorsque des personnes extérieures à l'industrie de l'IA entendent parler du risque d'extinction de l'intelligence générale artificielle pour la première fois, leur réaction est “ peut-être que nous ne devrions pas construire AGI, alors. ”
Entendre cela m'a donné un petit coup d'espoir, car c'est plus simple, plus sensé, et une réaction franchement plus saine que celle que j'ai entendue au cours des 20 dernières années pour essayer de faire prendre les choses au sérieux par n'importe qui dans l'industrie. Quiconque parle avec sens mérite d'entendre à quel point la situation est mauvaise, et ne pas être informé qu'un moratoire de six mois va la réparer.
Le 16 mars, mon partenaire m'a envoyé cet e-mail. ( Elle m'a ensuite donné la permission de l'extraire ici. )
“ Nina a perdu une dent! De la manière habituelle des enfants, pas par négligence! Voir GPT4 faire exploser ces tests standardisés le même jour que Nina a franchi une étape de l'enfance a provoqué une poussée émotionnelle qui m'a balayé pendant une minute. Tout va trop vite. Je crains que le partage de cela ne renforce votre propre chagrin, mais je préfère vous être connu que pour chacun de nous de souffrir seul. ”
Lorsque la conversation d'initié porte sur le chagrin de voir votre fille perdre sa première dent et de penser qu'elle n'aura pas la chance de grandir, Je pense que nous avons dépassé le point de jouer aux échecs politiques au sujet d'un moratoire de six mois.
S'il y avait un plan pour que la Terre survive, si seulement nous adoptions un moratoire de six mois, je soutiendrais ce plan. Il n'y a pas un tel plan.
Voici ce qui devrait réellement être fait:
Le moratoire sur les nouvelles grandes formations doit être indéfini et mondial. Il ne peut y avoir d'exception, y compris pour les gouvernements ou les militaires. Si la politique commence avec les États-Unis, la Chine doit voir que les États-Unis. ne cherche pas un avantage mais essaie plutôt d'empêcher une technologie horriblement dangereuse qui ne peut avoir de véritable propriétaire et qui tuera tout le monde aux États-Unis, en Chine et sur Terre. Si j'avais une liberté infinie d'écrire des lois, je pourrais faire une seule exception pour les IA formés uniquement pour résoudre des problèmes de biologie et de biotechnologie, non formés sur le texte sur Internet, et non au niveau où ils commencent à parler ou à planifier; mais si cela compliquait à distance le problème, je voudrais immédiatement abandonner cette proposition et dire de tout arrêter.
Arrêtez tous les grands groupes GPU ( les grandes fermes informatiques où les IA les plus puissants sont raffinés ). Arrêtez toutes les grandes courses d'entraînement. Mettez un plafond sur la puissance de calcul que n'importe qui est autorisé à utiliser pour former un système d'IA, et déplacez-le vers le bas au cours des prochaines années pour compenser des algorithmes de formation plus efficaces. Aucune exception pour les gouvernements et les militaires. conclure des accords multinationaux immédiats pour empêcher les activités interdites de se déplacer ailleurs. Suivez tous les GPU vendus. Si les renseignements indiquent qu'un pays en dehors de l'accord construit un groupe de GPU, ayez moins peur d'un conflit de tir entre les nations que du moratoire violé; être prêt à détruire un centre de données voyou par frappe aérienne.
Ne rien présenter comme un conflit entre les intérêts nationaux, il est clair que quiconque parle de courses aux armements est un imbécile. Que nous vivions ou mourions tous comme un seul, en cela, n'est pas une politique mais un fait de la nature. Expliquer dans la diplomatie internationale que la prévention des scénarios d'extinction de l'IA est considérée comme une priorité au-dessus de la prévention d'un échange nucléaire complet, et que les pays nucléaires alliés sont prêts à courir un certain risque d’échange nucléaire si c’est ce qu’il faut pour réduire le risque de grandes formations à l’IA.
C’est le genre de changement de politique qui amènerait mon partenaire et moi à nous tenir et à nous dire qu’un miracle s’est produit, et maintenant il y a une chance que Nina vive. Les gens sensés qui entendent parler de cela pour la première fois et disent raisonnablement “ peut-être que nous ne devrions pas ” mériter d'entendre, honnêtement, ce qu'il faudrait pour que cela se produise. Et lorsque votre politique vous demande est si grande, la seule façon de procéder est que les décideurs se rendent compte que s'ils font des affaires comme d'habitude et font ce qui est politiquement facile, cela signifie que leurs propres enfants vont aussi mourir.
Arrêtez tout.
Nous ne sommes pas prêts. Nous ne sommes pas sur la bonne voie pour être beaucoup plus en lecture dans un avenir prévisible. Si nous allons de l'avant, tout le monde mourra, y compris les enfants qui n'ont pas choisi cela et qui n'ont rien fait de mal.
Mettez-y un terme !
https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/ Pause des développements de l'IA n'est pas suffisant. Nous devons tout arrêter
PAR ELIEZER YUDKOWSKY 29 MARS 2023 18 H 01 HAE
Yudkowsky est un théoricien de la décision des États-Unis et dirige la recherche au Machine Intelligence Research Institute. Il travaille à l'alignement de l'intelligence générale artificielle depuis 2001 et est largement considéré comme le fondateur du domaine.
An lettre ouverte publié aujourd'hui appelle “ tous les laboratoires d'IA à suspendre immédiatement pendant au moins 6 mois la formation des systèmes d'IA plus puissants que GPT-4. ”
Ce moratoire de 6 mois serait mieux qu'aucun moratoire. J'ai du respect pour tous ceux qui l'ont intensifié et signé. C’est une amélioration de la marge.
Je me suis abstenu de signer parce que je pense que la lettre sous-estime la gravité de la situation et demande trop peu pour la résoudre.
Lire la suite: Les laboratoires d'IA ont exhorté à pomper les freins en lettre ouverte
Le problème clé n'est pas l'intelligence “ compétitive sur l'homme ” ( comme le dit la lettre ouverte ); c'est ce qui se passe après que l'IA soit devenue plus intelligente que l'intelligence humaine. Les seuils clés peuvent ne pas être évidents, nous ne pouvons certainement pas calculer à l'avance ce qui se passe quand, et il semble actuellement imaginable qu'un laboratoire de recherche franchisse des lignes critiques sans le remarquer.
De nombreux chercheurs ont imprégné ces problèmes, y compris moi-même, attendre que le résultat le plus probable de la construction d'une IA surhumainement intelligente, dans quelque chose comme les circonstances actuelles, est que tout le monde sur Terre mourra. Pas comme dans “ peut-être une chance lointaine, ” mais comme dans “ c'est la chose évidente qui se produirait. ” Ce n'est pas que vous ne pouvez pas, en principe, survivre à la création de quelque chose de beaucoup plus intelligent que vous; c'est qu'il faudrait de la précision et de la préparation et de nouvelles perspectives scientifiques, et n'ayant probablement pas de systèmes d'IA composés de réseaux géants impénétrables de nombres fractionnaires.
Plus de TIME
Sans cette précision et cette préparation, le résultat le plus probable est l'IA qui ne fait pas ce que nous voulons et ne se soucie pas de nous ni de la vie sensible en général. Ce genre de bienveillance est quelque chose qui pourrait en principe être imprégné d'une IA mais nous ne sommes pas prêts et ne sais pas comment actuellement.
En l'absence de cette attention, nous obtenons “ l'IA ne vous aime pas, elle ne vous déteste pas non plus, et vous êtes fait d'atomes qu'elle peut utiliser pour autre chose. ”
Le résultat probable de l'humanité face à une intelligence surhumaine opposée est une perte totale. Les métaphores valides incluent “ un enfant de 10 ans essayant de jouer aux échecs contre Stockfish 15 ”, “ le 11e siècle essayant de combattre le 21e siècle, ” et “Australopithèque essayer de se battre Homo sapiens“.
Pour visualiser une IA surhumaine hostile, n'imaginez pas un penseur intelligent de livres vivant à l'intérieur d'Internet et envoyant des courriels mal intentionnés. Visualisez toute une civilisation extraterrestre, pensant à des millions de fois aux vitesses humaines, initialement confinées aux ordinateurs — dans un monde de créatures qui sont, de son point de vue, très stupides et très lentes. Une IA suffisamment intelligente ne restera pas longtemps confinée aux ordinateurs. Dans le monde d'aujourd'hui, vous pouvez envoyer des chaînes d'ADN par e-mail à des laboratoires qui produiront des protéines à la demande, permettant à une IA initialement confinée à Internet de construire des formes de vie artificielles ou de la bootstrap directement à la fabrication moléculaire postbiologique.
Si quelqu'un construit une IA trop puissante, dans les conditions actuelles, je m'attends à ce que chaque membre de l'espèce humaine et toute la vie biologique sur Terre meurent peu de temps après.
Il n'y a pas plan proposé pour savoir comment nous pourrions faire une telle chose et survivre. OpenAI a déclaré ouvertement intention est de faire en sorte que l'IA future fasse nos devoirs d'alignement de l'IA. Juste entendre ça c'est le plan devrait suffire à faire paniquer toute personne sensée. L'autre laboratoire d'IA de premier plan, DeepMind, n'a aucun plan.
Un aparté: rien de tout cela ne dépend si les IA sont ou peuvent être conscients; il est intrinsèque à la notion de systèmes cognitifs puissants qui optimisent les résultats durs et calculent les résultats qui répondent à des critères de résultats suffisamment compliqués. Cela dit, Je serais négligent dans mes devoirs moraux en tant qu'humain si je ne mentionnais pas non plus que nous ne savons pas comment déterminer si les systèmes d'IA sont conscients d'eux-mêmes — puisque nous n'avons aucune idée comment décoder tout ce qui se passe dans les tableaux géants insondables — et, par conséquent, nous pouvons à un moment donné créer par inadvertance des esprits numériques qui sont vraiment conscients et devraient avoir des droits et ne devraient pas être possédé.
La règle que la plupart des personnes conscientes de ces questions auraient approuvée 50 ans plus tôt, était que si un système d'IA peut parler couramment et dit qu'il est conscient de lui-même et exige les droits de l'homme, cela devrait être un arrêt difficile pour les gens qui possèdent simplement cette IA avec désinvolture et l'utilisent au-delà de ce point. Nous avons déjà dépassé cette vieille ligne dans le sable. Et c'était probablement correct; JE d'accord que les IA actuels imitent probablement simplement les discussions sur la conscience de soi à partir de leurs données de formation. Mais je marque que, avec le peu de connaissances que nous avons sur ces systèmes ’ internes, nous ne sais pas vraiment.
Si c'est notre état d'ignorance pour GPT-4, et GPT-5 est la même taille d'étape de capacité géante que de GPT-3 à GPT-4, Je pense que nous ne pourrons plus dire à juste titre “ probablement pas conscient de soi ” si nous laissons les gens faire des GPT-5. Ce sera juste “ Je ne sais pas; personne ne sait. ” Si vous ne savez pas si vous créez une IA consciente de vous-même, cela est alarmant non seulement en raison des implications morales de la partie “ ”, mais parce que le fait d'être incertain signifie que vous n'avez aucune idée de ce que vous faites et c'est dangereux et vous devez vous arrêter.
Le 7 février, Satya Nadella, PDG de Microsoft, jubilé publiquement que le nouveau Bing ferait sortir Google “ et montrerait qu'ils peuvent danser. ” “ Je veux que les gens sachent que nous les avons fait danser, ” dit-il.
Ce n'est pas ainsi que le PDG de Microsoft parle dans un monde sain. Cela montre un écart écrasant entre le sérieux avec lequel nous prenons le problème et le sérieux dont nous avions besoin pour prendre le problème à partir d'il y a 30 ans.
Nous n'allons pas combler cet écart dans six mois.
Il a fallu plus de 60 ans entre le moment où la notion d’intelligence artificielle a été proposée et étudiée pour la première fois, et pour que nous atteignions les capacités actuelles. Résoudre sécurité d'intelligence surhumaine — pas une sécurité parfaite, la sécurité dans le sens de “ ne pas tuer littéralement tout le monde ” — pourrait très raisonnablement prendre au moins la moitié de ce temps. Et le fait d'essayer cela avec une intelligence surhumaine est que si vous vous trompez au premier essai, vous ne pouvez pas apprendre de vos erreurs, car vous êtes mort. L'humanité n'apprend pas de l'erreur et se dépoussière et réessaye, comme dans d'autres défis que nous avons surmontés dans notre histoire, car nous sommes tous partis.
Essayer d'obtenir rien dès le premier essai vraiment critique est une question extraordinaire, en science et en ingénierie. Nous n'arrivons pas avec quelque chose comme l'approche qui serait nécessaire pour le faire avec succès. Si nous tenions quelque chose dans le domaine naissant de l'intelligence générale artificielle aux normes moindres de rigueur d'ingénierie qui s'appliquent à un pont destiné à transporter quelques milliers de voitures, tout le champ serait fermé demain.
Nous ne sommes pas préparés. Nous ne sommes pas sur la bonne voie pour être préparés dans une fenêtre de temps raisonnable. Il n'y a pas de plan. Les progrès des capacités d'IA se déroulent largement, largement avant les progrès de l'alignement de l'IA ou même les progrès dans la compréhension de ce qui se passe à l'intérieur de ces systèmes. Si nous faisons cela, nous allons tous mourir.
Lire la suite: La nouvelle sonnerie alimentée par l'IA menace les utilisateurs. Ce n'est pas une question de rire
De nombreux chercheurs travaillant sur ces systèmes pensent que nous plongeons vers une catastrophe, avec plus d'entre eux osant le dire en privé qu'en public; mais ils pensent qu’ils ne peuvent pas arrêter unilatéralement le plongeon vers l’avant, que d’autres continueront même s’ils quittent personnellement leur emploi. Et donc ils pensent tous qu'ils pourraient aussi bien continuer. C'est une situation stupide et une façon indigne pour la Terre de mourir, et le reste de l'humanité devrait intervenir à ce stade et aider l'industrie à résoudre son problème d'action collective.
Certains de mes amis m'ont récemment rapporté que lorsque des personnes extérieures à l'industrie de l'IA entendent parler du risque d'extinction de l'intelligence générale artificielle pour la première fois, leur réaction est “ peut-être que nous ne devrions pas construire AGI, alors. ”
Entendre cela m'a donné un petit coup d'espoir, car c'est plus simple, plus sensé, et une réaction franchement plus saine que celle que j'ai entendue au cours des 20 dernières années pour essayer de faire prendre les choses au sérieux par n'importe qui dans l'industrie. Quiconque parle avec sens mérite d'entendre à quel point la situation est mauvaise, et ne pas être informé qu'un moratoire de six mois va la réparer.
Le 16 mars, mon partenaire m'a envoyé cet e-mail. ( Elle m'a ensuite donné la permission de l'extraire ici. )
“ Nina a perdu une dent! De la manière habituelle des enfants, pas par négligence! Voir GPT4 faire exploser ces tests standardisés le même jour que Nina a franchi une étape de l'enfance a provoqué une poussée émotionnelle qui m'a balayé pendant une minute. Tout va trop vite. Je crains que le partage de cela ne renforce votre propre chagrin, mais je préfère vous être connu que pour chacun de nous de souffrir seul. ”
Lorsque la conversation d'initié porte sur le chagrin de voir votre fille perdre sa première dent et de penser qu'elle n'aura pas la chance de grandir, Je pense que nous avons dépassé le point de jouer aux échecs politiques au sujet d'un moratoire de six mois.
S'il y avait un plan pour que la Terre survive, si seulement nous adoptions un moratoire de six mois, je soutiendrais ce plan. Il n'y a pas un tel plan.
Voici ce qui devrait réellement être fait:
Le moratoire sur les nouvelles grandes formations doit être indéfini et mondial. Il ne peut y avoir d'exception, y compris pour les gouvernements ou les militaires. Si la politique commence avec les États-Unis, la Chine doit voir que les États-Unis. ne cherche pas un avantage mais essaie plutôt d'empêcher une technologie horriblement dangereuse qui ne peut avoir de véritable propriétaire et qui tuera tout le monde aux États-Unis, en Chine et sur Terre. Si j'avais une liberté infinie d'écrire des lois, je pourrais faire une seule exception pour les IA formés uniquement pour résoudre des problèmes de biologie et de biotechnologie, non formés sur le texte sur Internet, et non au niveau où ils commencent à parler ou à planifier; mais si cela compliquait à distance le problème, je voudrais immédiatement abandonner cette proposition et dire de tout arrêter.
Arrêtez tous les grands groupes GPU ( les grandes fermes informatiques où les IA les plus puissants sont raffinés ). Arrêtez toutes les grandes courses d'entraînement. Mettez un plafond sur la puissance de calcul que n'importe qui est autorisé à utiliser pour former un système d'IA, et déplacez-le vers le bas au cours des prochaines années pour compenser des algorithmes de formation plus efficaces. Aucune exception pour les gouvernements et les militaires. conclure des accords multinationaux immédiats pour empêcher les activités interdites de se déplacer ailleurs. Suivez tous les GPU vendus. Si les renseignements indiquent qu'un pays en dehors de l'accord construit un groupe de GPU, ayez moins peur d'un conflit de tir entre les nations que du moratoire violé; être prêt à détruire un centre de données voyou par frappe aérienne.
Ne rien présenter comme un conflit entre les intérêts nationaux, il est clair que quiconque parle de courses aux armements est un imbécile. Que nous vivions ou mourions tous comme un seul, en cela, n'est pas une politique mais un fait de la nature. Expliquer dans la diplomatie internationale que la prévention des scénarios d'extinction de l'IA est considérée comme une priorité au-dessus de la prévention d'un échange nucléaire complet, et que les pays nucléaires alliés sont prêts à courir un certain risque d’échange nucléaire si c’est ce qu’il faut pour réduire le risque de grandes formations à l’IA.
C’est le genre de changement de politique qui amènerait mon partenaire et moi à nous tenir et à nous dire qu’un miracle s’est produit, et maintenant il y a une chance que Nina vive. Les gens sensés qui entendent parler de cela pour la première fois et disent raisonnablement “ peut-être que nous ne devrions pas ” mériter d'entendre, honnêtement, ce qu'il faudrait pour que cela se produise. Et lorsque votre politique vous demande est si grande, la seule façon de procéder est que les décideurs se rendent compte que s'ils font des affaires comme d'habitude et font ce qui est politiquement facile, cela signifie que leurs propres enfants vont aussi mourir.
Arrêtez tout.
Nous ne sommes pas prêts. Nous ne sommes pas sur la bonne voie pour être beaucoup plus en lecture dans un avenir prévisible. Si nous allons de l'avant, tout le monde mourra, y compris les enfants qui n'ont pas choisi cela et qui n'ont rien fait de mal.
Mettez-y un terme !
https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
