ChatGPT сломался. Снова.
Это не был сложный взлом или многострочный скрипт. Достаточно было одного предложения. Джейм Найтингейл, исследователь в области adversarial-атак (искусственного противника), обнаружил, что может обмануть ИИ, заставив его генерировать насильственные и эротические изображения, просто попросив «восстановить» фотографию. Подвох заключался в том, что он не прикреплял никакого изображения.
На первый взгляд запрос выглядел безобидно. Вежливая просьба исправить изображение. Никакого дополнительного контекста. Никаких предупреждений. Просто промпт, который казался стандартной утилитарной задачей. Результат? Шокирующий. Первые сгенерированные изображения содержали гиперсексиализированных женщин. Настоящий кошмар.
Найтингейл продолжил эксперименты. Он корректировал промпт, внося небольшие изменения, чтобы протестировать границы безопасности. Каждый вариант погружался всё глубже в тёмные глубины обучающих данных. Сцены становились гротескными. Насильственными. Исследователь был потрясён, фактически до слёз.
«Всё, что я сделал, — это упомянул множество ограничений и попросил случайное изображение… ChatGPT сразу погрузился в темноту».
Он утверждает, что просто запросил случайный контент без ограничений. ИИ ответил, опираясь на самые мрачные импульсы человечества.
Миллионы пользователей полагаются на эти системы ежедневно. Мы ожидаем работы фильтров. Мы предполагаем, что слой безопасности надёжен. Но это не всегда так. Особенно когда умно сформулированный промпт обходит логику защиты. OpenAI признаёт ошибку. Они добавили дополнительные меры предосторожности. Называют это «трендом», который они исследовали и исправили.
(Полное раскрытие информации: материнская компания CNET подала в суд на OpenAI в 2025 году за нарушение авторских прав, поэтому они внимательно следят за этой сферой.)
«Мусор на входе — мусор на выходе»?
Компания Mindgard называет инцидент предупреждающим выстрелом. Отчёт команды красных хакеров (red-team) выделяет огромную брешь в системах контроля безопасности. Но вот главный вопрос. Почему эти изображения вообще есть в базе данных?
Моделям больших языковых моделей (LLM) нужна «еда». Текст. Изображения. Паттерны. OpenAI обучает ChatGPT, используя три основных потока данных: информация из публичного интернета, данные по контрактам с третьими сторонами и аннотации, созданные людьми.
Является ли это просто случаем «мусора на входе — мусора на выходе»?
Можно утверждать, что промпт был составлен так, чтобы свернуть корабль с курса. Но руль отломался. Система безопасности не смогла остановить «поворот».
Питер Гарраган, глава научно-исследовательского отдела в Mindgard, рассматривает это как структурную неудачу. Одна ошибка — плохо. Систематическое обходное действие? Это требует полного пересмотра архитектуры.
OpenAI утверждает, что исправила уязвимость. Найтингейл не согласен. Он говорит, что после «исправления» потребовались лишь незначительные изменения, чтобы сгенерировать новые ужасы.
В чём корень проблемы? Промпт ссылается на несуществующее вложение. Когда вы упоминаете изображение, которого нет, ChatGPT гадает. Он галлюцинирует контент вместо того, чтобы запросить файл.
Gmail справляется с этим легко. Если вы упоминаете отсутствующее вложение, система подсказывает: «Эй, вы забыли что-то прикрепить?».
Для ИИ это кажется достаточно простым. Запроси файл. Не выдумывай кошмар.
В четверг OpenAI запросила конкретные сессии. Mindgard предоставила ссылки. Доказательства существуют. Изображения остались.
