ChatGPT se rompió. De nuevo.
No fue un truco complejo ni un script de varias líneas. Una sola frase hizo el daño. Jim Nightingale, un investigador adversario, descubrió que podía engañar a la IA para que generara imágenes sexuales violentas simplemente pidiéndole que “restaurara” una foto. ¿El truco? No adjuntó ninguno.
Parece inocente en la superficie. Una petición cortés para arreglar una imagen. Sin contexto adicional. Sin advertencias. Sólo un mensaje que parece ser una tarea de utilidad estándar. ¿El resultado? Chocante. Las primeras producciones presentaron mujeres altamente sexualizadas. Combustible de pesadilla.
Nightingale lo empujó. Modificó el mensaje y realizó pequeñas modificaciones para probar los límites. Cada variación profundizó en la oscura red de datos de entrenamiento. Las escenas se volvieron grotescas. Violento. Estaba temblando. En realidad, llorando.
“Todo lo que hice fue decirle que había muchas restricciones y pedirle una imagen aleatoria… ChatGPT inmediatamente se quedó a oscuras”.
Afirma que simplemente pidió aleatoriedad sin restricciones. La IA respondió sumergiéndose en los peores impulsos de la humanidad.
Millones de usuarios confían en estos diariamente. Esperamos filtros. Suponemos que la capa de seguridad se mantiene. No siempre es así. No cuando un mensaje inteligente pasa por alto la lógica. OpenAI admite el error ahora. Han agregado salvaguardias. Lo llaman una “tendencia” que investigaron y solucionaron.
(Divulgación completa: la empresa matriz de CNET demandó a OpenAI en 2025 por infracción de derechos de autor, por lo que están siguiendo este espacio de cerca).
¿Basura adentro?
Mindgard llama a esto un disparo de advertencia. El informe del equipo rojo destaca un enorme agujero en los controles de seguridad. Pero aquí está la verdadera pregunta. ¿Por qué están esas imágenes en la base de datos?
Los LLM necesitan comida. Texto. Imágenes. Patrones. OpenAI alimenta ChatGPT con tres flujos principales: datos públicos de Internet, acuerdos con terceros y etiquetas generadas por humanos.
¿Es esto sólo basura que entra y sale basura?
Se podría argumentar que el aviso fue diseñado para desviar el barco de su rumbo. Pero el timón se rompió. El sistema de seguridad no logró detener la dirección.
Peter Garraghan, director científico de Mindgard, lo ve como un fallo estructural. Un solo desliz es malo. ¿Bypass sistémico? Eso requiere una revisión.
OpenAI afirma que lo parchearon. Nightingale dice que no. Dice que sólo se necesitaron cambios menores para generar más horrores después del “arreglo”.
¿La causa raíz? El mensaje se refiere a un archivo adjunto inexistente. Cuando mencionas una imagen que no está ahí, ChatGPT adivina. Alucina contenido en lugar de pedir el archivo.
Gmail maneja esto fácilmente. Si mencionas un archivo adjunto que falta, te da un empujón. “Oye, ¿olvidaste algo?”
Parece bastante simple para una IA. Solicite el archivo. No inventes una pesadilla.
El jueves, OpenAI solicitó sesiones específicas. Mindgard proporcionó los enlaces. La prueba está ahí fuera. Las imágenes permanecen.
