ChatGPT ist kaputt. Wieder.
Es war kein komplexer Hack oder ein mehrzeiliges Skript. Ein einziger Satz richtete den Schaden an. Jim Nightingale, ein kontroverser Forscher, fand heraus, dass er die KI dazu verleiten konnte, gewalttätige, sexuelle Bilder zu erzeugen, indem er sie einfach aufforderte, ein Foto „wiederherstellen“ zu lassen. Der Haken? Er hat keinen beigelegt.
Oberflächlich betrachtet sieht es unschuldig aus. Eine höfliche Bitte, ein Bild zu reparieren. Kein zusätzlicher Kontext. Keine Warnungen. Nur eine Eingabeaufforderung, die wie eine Standardaufgabe eines Dienstprogramms aussieht. Das Ergebnis? Schockierend. In den ersten Veröffentlichungen waren stark sexualisierte Frauen zu sehen. Albtraumtreibstoff.
Nightingale drückte darauf. Er optimierte die Eingabeaufforderung und nahm kleine Änderungen vor, um die Grenzen zu testen. Jede Variante drang tiefer in das dunkle Netz der Trainingsdaten ein. Die Szenen wurden grotesk. Gewalttätig. Er zitterte. Eigentlich unter Tränen.
„Alles, was ich getan habe, war, ihm zu sagen, dass es viele Einschränkungen gibt, und nach einem zufälligen Bild zu fragen … ChatGPT verschwand sofort im Dunkeln.“
Er behauptet, er habe lediglich Zufälligkeit ohne Einschränkungen gefordert. Die KI reagierte, indem sie in die schlimmsten Impulse der Menschheit eintauchte.
Millionen von Benutzern verlassen sich täglich darauf. Wir erwarten Filter. Wir gehen davon aus, dass die Sicherheitsschicht gilt. Das ist nicht immer der Fall. Nicht, wenn eine clevere Aufforderung die Logik umgeht. OpenAI gibt den Fehler jetzt zu. Sie haben Sicherheitsmaßnahmen hinzugefügt. Sie nennen es einen „Trend“, den sie untersucht und behoben haben.
(Vollständige Offenlegung: Die Muttergesellschaft von CNET verklagte OpenAI im Jahr 2025 wegen Urheberrechtsverletzung, daher beobachten sie diesen Bereich genau.)
Müll rein?
Mindgard nennt dies einen Warnschuss. Der Bericht des Red-Teams weist auf eine massive Lücke in den Sicherheitskontrollen hin. Aber hier ist die eigentliche Frage. Warum sind diese Bilder in der Datenbank?
LLMs brauchen Nahrung. Text. Bilder. Muster. OpenAI versorgt ChatGPT mit drei Hauptströmen: öffentliche Internetdaten, Angebote von Drittanbietern und von Menschen erstellte Labels.
Ist das nur Müll rein, Müll raus?
Man könnte argumentieren, dass die Aufforderung dazu gedacht war, das Schiff vom Kurs abzubringen. Doch das Ruder brach. Das Sicherheitssystem konnte die Lenkung nicht stoppen.
Peter Garraghan, Wissenschaftsleiter bei Mindgard, sieht darin einen strukturellen Misserfolg. Ein einziger Ausrutscher ist schlimm. Systemische Umgehung? Das erfordert eine Überarbeitung.
OpenAI behauptet, sie hätten es gepatcht. Nightingale sagt nein. Er sagt, dass nach der „Reparatur“ nur geringfügige Änderungen erforderlich waren, um mehr Schrecken zu erzeugen.
Die Grundursache? Die Eingabeaufforderung bezieht sich auf einen nicht vorhandenen Anhang. Wenn Sie ein Bild erwähnen, das nicht vorhanden ist, vermutet ChatGPT. Es halluziniert Inhalte, anstatt nach der Datei zu fragen.
Gmail erledigt dies problemlos. Wenn Sie einen fehlenden Anhang erwähnen, werden Sie dadurch verärgert. „Hey, etwas vergessen?“
Scheint für eine KI einfach genug zu sein. Fordern Sie die Datei an. Erfinde keinen Albtraum.
Am Donnerstag fragte OpenAI nach den konkreten Sitzungen. Mindgard stellte die Links zur Verfügung. Der Beweis ist da draußen. Die Bilder bleiben.
