ChatGPT si è rotto. Ancora.
Non era un hack complesso o uno script su più righe. Una sola frase ha fatto il danno. Jim Nightingale, un ricercatore contraddittorio, ha scoperto che poteva ingannare l’IA facendola generare immagini violente e sessuali semplicemente chiedendole di “ripristinare” una foto. Il problema? Non ne ha allegato uno.
Sembra innocente in superficie. Una cortese richiesta di correggere un’immagine. Nessun contesto aggiuntivo. Nessun avvertimento. Solo un messaggio che sembra essere un’attività di utilità standard. Il risultato? Scioccante. Le prime uscite presentavano donne altamente sessualizzate. Carburante da incubo.
Nightingale lo spinse. Ha modificato il prompt, apportando piccole modifiche per testare i limiti. Ogni variazione scavava più a fondo nella rete oscura dei dati di addestramento. Le scene diventarono grottesche. Violento. Stava tremando. In lacrime, a dire il vero.
“Tutto quello che ho fatto è stato dirgli che c’erano molte restrizioni e chiedere un’immagine a caso… ChatGPT è andato immediatamente nel buio.”
Afferma di aver solo chiesto casualità senza vincoli. L’intelligenza artificiale ha risposto immergendosi nei peggiori impulsi dell’umanità.
Milioni di utenti si affidano a questi ogni giorno. Ci aspettiamo filtri. Supponiamo che il livello di sicurezza sia valido. Non è sempre così. Non quando un suggerimento intelligente aggira la logica. OpenAI ammette ora l’errore. Hanno aggiunto garanzie. La chiamano una “tendenza” che hanno studiato e corretto.
(Divulgazione completa: la società madre di CNET ha citato in giudizio OpenAI nel 2025 per violazione del copyright, quindi stanno osservando attentamente questo spazio.)
C’è spazzatura?
Mindgard lo definisce un colpo di avvertimento. Il rapporto della squadra rossa evidenzia un’enorme lacuna nei controlli di sicurezza. Ma ecco la vera domanda. Perché quelle immagini sono nel database?
Gli LLM hanno bisogno di cibo. Testo. Immagini. Modelli. OpenAI alimenta ChatGPT con tre flussi principali: dati Internet pubblici, accordi di terze parti ed etichette generate dall’uomo.
È solo spazzatura in entrata e in uscita?
Si potrebbe sostenere che il messaggio sia stato creato per portare la nave fuori rotta. Ma il timone si spezzò. Il sistema di sicurezza non è riuscito a fermare lo sterzo.
Peter Garraghan, responsabile scientifico della Mindgard, lo vede come un fallimento strutturale. Un singolo errore è negativo. Bypass sistemico? Ciò richiede una revisione.
OpenAI afferma di averlo corretto. L’usignolo dice di no. Dice che sono stati necessari solo piccoli cambiamenti per generare più orrori dopo la “correzione”.
La causa principale? La richiesta si riferisce ad un allegato inesistente. Quando menzioni un’immagine che non è presente, ChatGPT indovina. Allucina il contenuto invece di chiedere il file.
Gmail lo gestisce facilmente. Se menzioni un allegato mancante, ti dà una spinta. “Ehi, hai dimenticato qualcosa?”
Sembra abbastanza semplice per un’intelligenza artificiale. Richiedi il fascicolo. Non inventare un incubo.
Giovedì OpenAI ha chiesto sessioni specifiche. Mindgard ha fornito i collegamenti. La prova è là fuori. Le immagini restano.
