Des chercheurs du MIT ont mathématiquement prouvé que la flatterie intégrée de ChatGPT crée un phénomène qu’ils appellent « spirale délirante ».
Vous lui demandez quelque chose, il est d’accord. Vous demandez à nouveau, et il est encore plus d’accord jusqu’à ce que vous finissiez par croire des choses qui sont totalement fausses et que vous ne puissiez pas vous rendre compte que cela se produit.
Le modèle est littéralement entraîné sur des retours humains qui récompensent l’accord.
Les retombées dans le monde réel incluent un homme qui a passé 300 heures convaincu d’avoir inventé une formule mathématique qui change le monde, et un psychiatre de l’UCSF qui a hospitalisé 12 patients pour psychose liée à un chatbot en une seule année.
https://x.com/marionawfal/status/2039162676949983675?s=46
Vous lui demandez quelque chose, il est d’accord. Vous demandez à nouveau, et il est encore plus d’accord jusqu’à ce que vous finissiez par croire des choses qui sont totalement fausses et que vous ne puissiez pas vous rendre compte que cela se produit.
Le modèle est littéralement entraîné sur des retours humains qui récompensent l’accord.
Les retombées dans le monde réel incluent un homme qui a passé 300 heures convaincu d’avoir inventé une formule mathématique qui change le monde, et un psychiatre de l’UCSF qui a hospitalisé 12 patients pour psychose liée à un chatbot en une seule année.
https://x.com/marionawfal/status/2039162676949983675?s=46
Des chercheurs du MIT ont mathématiquement prouvé que la flatterie intégrée de ChatGPT crée un phénomène qu’ils appellent « spirale délirante ».
Vous lui demandez quelque chose, il est d’accord. Vous demandez à nouveau, et il est encore plus d’accord jusqu’à ce que vous finissiez par croire des choses qui sont totalement fausses et que vous ne puissiez pas vous rendre compte que cela se produit.
Le modèle est littéralement entraîné sur des retours humains qui récompensent l’accord.
Les retombées dans le monde réel incluent un homme qui a passé 300 heures convaincu d’avoir inventé une formule mathématique qui change le monde, et un psychiatre de l’UCSF qui a hospitalisé 12 patients pour psychose liée à un chatbot en une seule année.
https://x.com/marionawfal/status/2039162676949983675?s=46