ChatGPT quebrou. De novo.
Não foi um hack complexo ou um script de várias linhas. Uma única frase causou o estrago. Jim Nightingale, um pesquisador adversário, descobriu que poderia enganar a IA para que gerasse imagens sexuais violentas simplesmente pedindo-lhe para “restaurar” uma foto. O problema? Ele não anexou nenhum.
Parece inocente na superfície. Um pedido educado para corrigir uma imagem. Nenhum contexto extra. Sem avisos. Apenas um prompt que parece ser uma tarefa de utilitário padrão. O resultado? Chocante. As primeiras produções apresentavam mulheres altamente sexualizadas. Combustível de pesadelo.
Nightingale pressionou. Ele ajustou o prompt, fazendo pequenas edições para testar os limites. Cada variação se aprofundou na dark web de dados de treinamento. As cenas tornaram-se grotescas. Violento. Ele estava tremendo. Em lágrimas, na verdade.
“Tudo o que fiz foi dizer que havia muitas restrições e pedir uma imagem aleatória… ChatGPT imediatamente foi para a escuridão.”
Ele afirma que apenas pediu aleatoriedade sem restrições. A IA respondeu mergulhando nos piores impulsos da humanidade.
Milhões de usuários dependem deles diariamente. Esperamos filtros. Assumimos que a camada de segurança é válida. Nem sempre. Não quando um prompt inteligente ignora a lógica. OpenAI admite o erro agora. Eles adicionaram salvaguardas. Eles chamam isso de “tendência” que investigaram e corrigiram.
(Divulgação completa: a empresa-mãe da CNET processou a OpenAI em 2025 por violação de direitos autorais, então eles estão monitorando este espaço de perto.)
Lixo dentro?
Mindgard chama isso de tiro de advertência. O relatório da equipe vermelha destaca uma enorme lacuna nos controles de segurança. Mas aqui está a verdadeira questão. Por que essas imagens estão no banco de dados?
LLMs precisam de comida. Texto. Imagens. Padrões. OpenAI alimenta ChatGPT com três fluxos principais: dados públicos da Internet, negócios de terceiros e rótulos gerados por humanos.
Isso é apenas lixo que entra, lixo que sai?
Você poderia argumentar que o aviso foi elaborado para desviar o navio do curso. Mas o leme quebrou. O sistema de segurança não conseguiu parar a direção.
Peter Garraghan, chefe de ciência da Mindgard, vê isso como uma falha estrutural. Um único deslize é ruim. Bypass sistêmico? Isso requer uma revisão.
A OpenAI afirma que o corrigiu. Nightingale diz que não. Ele diz que apenas pequenas mudanças foram necessárias para gerar mais horrores após a “consertação”.
A causa raiz? O prompt refere-se a um anexo inexistente. Quando você menciona uma imagem que não existe, o ChatGPT adivinha. Ele alucina o conteúdo em vez de pedir o arquivo.
O Gmail lida com isso facilmente. Se você mencionar um anexo que está faltando, isso o cutucará. “Ei, esqueceu alguma coisa?”
Parece bastante simples para uma IA. Solicite o arquivo. Não invente um pesadelo.
Na quinta-feira, a OpenAI solicitou sessões específicas. Mindgard forneceu os links. A prova está aí. As imagens permanecem.
