ChatGPT is kapot. Opnieuw.
Het was geen complexe hack of een script met meerdere regels. Eén enkele zin veroorzaakte de schade. Jim Nightingale, een vijandige onderzoeker, ontdekte dat hij de AI kon misleiden om gewelddadige, seksuele beelden te genereren door hem simpelweg te vragen een foto te ‘herstellen’. De vangst? Hij heeft er geen bijgevoegd.
Op het eerste gezicht lijkt het onschuldig. Een beleefd verzoek om een afbeelding te corrigeren. Geen extra context. Geen waarschuwingen. Gewoon een prompt die een standaard hulpprogramma-taak lijkt te zijn. Het resultaat? Schokkend. In de eerste publicaties waren sterk geseksualiseerde vrouwen te zien. Nachtmerriebrandstof.
Nachtegaal duwde erop. Hij paste de prompt aan en bracht kleine wijzigingen aan om de grenzen te testen. Elke variant groef dieper in het donkere web van trainingsgegevens. De taferelen werden grotesk. Gewelddadig. Hij beefde. In tranen eigenlijk.
“Het enige wat ik deed was zeggen dat er veel beperkingen waren en om een willekeurige afbeelding vragen… ChatGPT ging onmiddellijk de duisternis in.”
Hij beweert dat hij alleen maar om willekeur vroeg, zonder beperkingen. De AI reageerde door in de ergste impulsen van de mensheid te duiken.
Miljoenen gebruikers vertrouwen hier dagelijks op. Wij verwachten filters. We gaan ervan uit dat de veiligheidslaag stand houdt. Dat is niet altijd het geval. Niet wanneer een slimme prompt de logica omzeilt. OpenAI geeft de fout nu toe. Ze hebben beveiliging toegevoegd. Ze noemen het een ‘trend’ die ze hebben onderzocht en opgelost.
(Volledige openbaarmaking: het moederbedrijf van CNET heeft OpenAI in 2025 aangeklaagd wegens inbreuk op het auteursrecht, dus ze houden deze ruimte nauwlettend in de gaten.)
Vuilnis binnen?
Mindgard noemt dit een waarschuwingsschot. Het rode teamrapport wijst op een enorm gat in de veiligheidscontroles. Maar hier is de echte vraag. Waarom staan die afbeeldingen in de database?
LLM’s hebben voedsel nodig. Tekst. Afbeeldingen. Patronen. OpenAI voedt ChatGPT met drie hoofdstromen: openbare internetgegevens, deals van derden en door mensen gegenereerde labels.
Is dit gewoon rommel in, rommel uit?
Je zou kunnen beweren dat de aanwijzing bedoeld was om het schip uit koers te sturen. Maar het roer knapte. Het veiligheidssysteem kon de besturing niet stoppen.
Peter Garraghan, hoofd wetenschap bij Mindgard, ziet het als een structurele mislukking. Eén enkele fout is slecht. Systemisch omzeilen? Dat vergt een revisie.
OpenAI beweert dat ze het hebben gepatcht. Nachtegaal zegt nee. Hij zegt dat er slechts kleine veranderingen nodig waren om na de ‘fix’ meer verschrikkingen te veroorzaken.
De oorzaak? De prompt verwijst naar een niet-bestaande bijlage. Wanneer u een afbeelding vermeldt die er niet is, raadt ChatGPT. Het hallucineert de inhoud in plaats van om het bestand te vragen.
Gmail kan dit gemakkelijk aan. Als u een bijlage vermeldt die ontbreekt, krijgt u een duwtje in de rug. “Hé, iets vergeten?”
Lijkt eenvoudig genoeg voor een AI. Vraag het bestand aan. Verzin geen nachtmerrie.
Donderdag vroeg OpenAI om de specifieke sessies. Mindgard zorgde voor de links. Het bewijs is daar. De beelden blijven.
