ChatGPT зламався. Знову.
Це був складний злом чи багаторядковий скрипт. Достатньо було однієї пропозиції. Джейм Найтінгейл, дослідник в області adversarial-атак (штучного супротивника), виявив, що може обдурити ІІ, змусивши його генерувати насильницькі та еротичні зображення, просто попросивши «відновити» фотографію. Підступ полягав у тому, що він не прикріплював жодного зображення.
На перший погляд, запит виглядав безневинно. Ввічливе прохання виправити зображення. Жодного додаткового контексту. Жодних попереджень. Просто промпт, який здавався стандартним утилітарним завданням. Результат? Шокуючий. Перші згенеровані зображення містили гіперсексіалізованих жінок. Справжній кошмар.
Найтінгейл продовжив експерименти. Він коригував промпт, вносячи невеликі зміни, щоби протестувати межі безпеки. Кожен варіант поринав все глибше в темні глибини навчальних даних. Сцени ставали гротескними. Насильницькими. Дослідник був вражений, практично до сліз.
«Все, що я зробив, — це згадав безліч обмежень і попросив випадкове зображення… ChatGPT одразу поринув у темряву».
Він стверджує, що запросив випадковий контент без обмежень. ІІ відповів, спираючись на похмурі імпульси людства.
Мільйони користувачів покладаються на ці системи щодня. Ми очікуємо на роботу фільтрів. Ми вважаємо, що шар безпеки надійний. Але це завжди так. Особливо коли розумно сформульований промпт оминає логіку захисту. OpenAI визнає помилку. Вони додали додаткові запобіжні заходи. Називають це «трендом», який вони досліджували та виправили.
(Повне розкриття інформації: материнська компанія CNET подала до суду на OpenAI у 2025 році за порушення авторських прав, тому вони уважно стежать за цією сферою.)
«Сміття на вході – сміття на виході»?
Компанія Mindgard називає інцидент запобіжним пострілом. Звіт команди червоних хакерів (red-team) виділяє величезний пролом у системах контролю безпеки. Але головне питання. Чому ці зображення взагалі є у базі даних?
Моделям великих мовних моделей (LLM) потрібна їжа. Текст. Зображення. Патерни. OpenAI навчає ChatGPT, використовуючи три основні потоки даних: інформація з публічного інтернету, дані щодо контрактів з третіми сторонами та анотації, створені людьми.
Чи це просто випадково «сміття на вході — сміття на виході»?
Можна стверджувати, що промпт було складено те щоб згорнути корабель з курсу. Але кермо відламалося. Система безпеки не змогла зупинити поворот.
Пітер Гарраган, голова науково-дослідного відділу у Mindgard, розглядає це як структурну невдачу. Одна помилка – погано. Систематична обхідна дія? Це потребує повного перегляду архітектури.
OpenAI стверджує, що виправила вразливість. Найтінгейл не згоден. Він каже, що після «виправлення» були потрібні лише незначні зміни, щоб згенерувати нові жахи.
У чому корінь проблеми? Промпт посилається на неіснуюче вкладення. Коли ви згадуєте зображення, якого немає, ChatGPT ворожить. Він галюцинує контент замість запитувати файл.
Gmail справляється із цим легко. Якщо ви згадуєте відсутнє вкладення, система нагадує: «Гей, ви забули щось прикріпити?».
Для ІІ це здається досить простим. Запитай файл. Чи не вигадуй кошмар.
У четвер OpenAI запросила конкретні сесії. Mindgard надала посилання. Докази є. Зображення залишились.
