ChatGPT jest uszkodzony. Ponownie.
To nie był skomplikowany hack ani wielowierszowy skrypt. Wystarczyło jedno zdanie. James Nightingale, badacz zajmujący się atakami kontradyktoryjnymi, odkrył, że może oszukać sztuczną inteligencję do generowania brutalnych i erotycznych obrazów, po prostu prosząc ją o „zrekonstruowanie” zdjęcia. Problem w tym, że nie załączył żadnego obrazu.
Na pierwszy rzut oka prośba wydawała się nieszkodliwa. Uprzejmie proszę o poprawienie obrazu. Bez dodatkowego kontekstu. Żadnych ostrzeżeń. Po prostu podpowiedź, która wydawała się standardowym zadaniem utylitarnym. Wynik? Wstrząsający. Pierwsze wygenerowane obrazy przedstawiały kobiety hiperseksualne. Prawdziwy koszmar.
Nightingale kontynuował swoje eksperymenty. Dostosował monit, wprowadzając niewielkie zmiany, aby przetestować granice bezpieczeństwa. Każdy wariant zanurzał się głębiej w ciemne głębiny danych treningowych. Sceny stały się groteskowe. Brutalny. Badaczka była zszokowana, niemal do łez.
„Wspomniałem tylko o kilku ograniczeniach i poprosiłem o losowy obraz… ChatGPT natychmiast zgasł.”
Twierdzi, że po prostu zażądał losowych treści bez ograniczeń. Sztuczna inteligencja zareagowała, wykorzystując najciemniejsze impulsy ludzkości.
Miliony użytkowników codziennie korzystają z tych systemów. Czekamy aż filtry zadziałają. Zakładamy, że warstwa bezpieczeństwa jest niezawodna. Ale nie zawsze tak jest. Zwłaszcza, gdy sprytnie sformułowany monit omija logikę bezpieczeństwa. OpenAI przyznaje się do błędu. Dodali dodatkowe środki ostrożności. Nazywają to „trendem”, który zbadali i poprawili.
(Pełne ujawnienie: spółka-matka CNET pozwała OpenAI w 2025 r. za naruszenie praw autorskich, dlatego uważnie obserwuje ten obszar.)
„Śmieci wpadają, śmieci wychodzą”?
Mindgard nazywa to wydarzenie strzałem ostrzegawczym. Raport drużyny czerwonych podkreśla ogromne naruszenie kontroli bezpieczeństwa. Ale oto główne pytanie. Dlaczego te obrazy w ogóle znajdują się w bazie danych?
Duże modele językowe (LLM) potrzebują pożywienia. Tekst. Obrazy. Wzory. OpenAI szkoli ChatGPT przy użyciu trzech głównych strumieni danych: informacji z publicznego Internetu, danych umów od stron trzecich i adnotacji generowanych przez człowieka.
Czy jest to po prostu przypadek „śmieci wchodzą, śmieci wychodzą”?
Można argumentować, że znak zachęty miał za zadanie zawrócić statek z kursu. Ale kierownica się zepsuła. System bezpieczeństwa nie był w stanie zatrzymać „zakrętu”.
Peter Garragan, szef działu badań i rozwoju w Mindgard, postrzega to jako porażkę strukturalną. Jeden błąd jest zły. Systematyczne rozwiązanie? Wymaga to całkowitej zmiany architektury.
OpenAI twierdzi, że naprawiło lukę. Nightingale się z tym nie zgadza. Mówi, że po „naprawie” potrzebne były jedynie drobne zmiany, aby wygenerować nowe horrory.
Jakie jest źródło problemu? Monit odwołuje się do nieistniejącego załącznika. Kiedy wspominasz o obrazie, którego tam nie ma, ChatGPT zgaduje. Halucynuje treść, zamiast żądać pliku.
Gmail radzi sobie z tym łatwo. Jeśli wspomnisz o brakującym załączniku, system wyświetli monit: „Hej, zapomniałeś czegoś dołączyć?”
W przypadku AI wydaje się to dość proste. Poproś o plik. Nie wymyślaj koszmaru.
W czwartek OpenAI zażądało konkretnych sesji. Mindgard podał linki. Istnieją dowody. Obrazy pozostają.
