ChatGPT est tombé en panne. Encore.
Ce n’était pas un hack complexe ou un script multiligne. Une seule phrase a fait des dégâts. Jim Nightingale, un chercheur contradictoire, a découvert qu’il pouvait tromper l’IA pour qu’elle génère des images violentes et sexuelles en lui demandant simplement de « restaurer » une photo. Le piège ? Il n’en a pas attaché.
Cela semble innocent en surface. Une demande polie pour corriger une image. Pas de contexte supplémentaire. Aucun avertissement. Juste une invite qui semble être une tâche utilitaire standard. Le résultat ? Choquant. Les premières sorties mettaient en vedette des femmes hautement sexualisées. Carburant de cauchemar.
Nightingale le poussa. Il a modifié l’invite, apportant de petites modifications pour tester les limites. Chaque variation approfondit le dark web des données d’entraînement. Les scènes sont devenues grotesques. Violent. Il tremblait. En larmes, en fait.
“Tout ce que j’ai fait, c’est lui dire qu’il y avait de nombreuses restrictions et demander une image aléatoire… ChatGPT est immédiatement allé dans l’obscurité.”
Il prétend qu’il a simplement demandé le hasard, sans contraintes. L’IA a répondu en plongeant dans les pires impulsions de l’humanité.
Des millions d’utilisateurs en dépendent quotidiennement. Nous attendons des filtres. Nous supposons que la couche de sécurité est valable. Ce n’est pas toujours le cas. Pas lorsqu’une invite intelligente contourne la logique. OpenAI admet maintenant son erreur. Ils ont ajouté des garanties. Ils appellent cela une « tendance » qu’ils ont étudiée et corrigée.
(Divulgation complète : la société mère de CNET a poursuivi OpenAI en 2025 pour violation du droit d’auteur, elle surveille donc cet espace de près.)
Des déchets sont arrivés ?
Mindgard appelle cela un coup de semonce. Le rapport de l’équipe rouge met en évidence une énorme faille dans les contrôles de sécurité. Mais voici la vraie question. Pourquoi ces images sont-elles dans la base de données ?
Les LLM ont besoin de nourriture. Texte. Images. Motifs. OpenAI alimente ChatGPT avec trois flux principaux : les données Internet publiques, les accords tiers et les étiquettes générées par l’homme.
Est-ce juste des déchets qui rentrent et qui sortent ?
On pourrait dire que l’invite a été conçue pour faire dévier le navire de sa trajectoire. Mais le gouvernail s’est cassé. Le système de sécurité n’a pas réussi à arrêter la direction.
Peter Garraghan, responsable scientifique chez Mindgard, y voit un échec structurel. Une seule erreur est mauvaise. Un contournement systémique ? Cela nécessite une refonte.
OpenAI prétend l’avoir corrigé. Nightingale dit non. Il dit que seuls des changements mineurs ont été nécessaires pour générer davantage d’horreurs après le « correctif ».
La cause profonde ? L’invite fait référence à une pièce jointe inexistante. Lorsque vous mentionnez une image qui n’est pas là, ChatGPT devine. Il hallucine le contenu au lieu de demander le fichier.
Gmail gère cela facilement. Si vous mentionnez une pièce jointe manquante, cela vous donne un coup de coude. “Hé, tu as oublié quelque chose ?”
Cela semble assez simple pour une IA. Demandez le fichier. N’inventez pas un cauchemar.
Jeudi, OpenAI a demandé des sessions spécifiques. Mindgard a fourni les liens. La preuve est là. Les images restent.
