ChatGPT je nefunkční. Znovu.
Nejednalo se o složitý hack nebo víceřádkový skript. Stačila jedna věta. James Nightingale, výzkumník v oblasti nepřátelských útoků, zjistil, že dokáže oklamat umělou inteligenci, aby vytvořila násilné a erotické obrázky jednoduše tím, že by ji požádal, aby „zrekonstruovala“ fotografii. Háček byl v tom, že nepřiložil žádný obrázek.
Na první pohled se žádost zdála neškodná. Prosíme o opravu obrázku. Žádný další kontext. Žádná varování. Jen výzva, která vypadala jako standardní utilitární úkol. Výsledek? Šokující. První vytvořené obrázky obsahovaly hypersexualizované ženy. Opravdová noční můra.
Nightingale pokračoval ve svých experimentech. Upravil výzvu a provedl malé změny, aby otestoval bezpečnostní hranice. Každá varianta se ponořila hlouběji do temných hlubin tréninkových dat. Scény se staly groteskními. Násilný. Výzkumník byl šokován, téměř k slzám.
“Všechno, co jsem udělal, bylo zmínit spoustu omezení a požádat o náhodný obrázek… ChatGPT okamžitě ztmavl.”
Tvrdí, že si jednoduše vyžádal náhodný obsah bez omezení. AI reagovala napojením na nejtemnější impulsy lidstva.
Na tyto systémy se každý den spoléhají miliony uživatelů. Čekáme, až budou filtry fungovat. Předpokládáme, že bezpečnostní vrstva je spolehlivá. Ale není tomu tak vždy. Zvlášť když chytře formulovaná výzva obchází bezpečnostní logiku. OpenAI přiznává chybu. Přidali další opatření. Říkají tomu „trend“, který zkoumali a opravovali.
(Úplné zveřejnění: Mateřská společnost CNET zažalovala OpenAI v roce 2025 za porušení autorských práv, takže tuto oblast bedlivě sledují.)
„Odpadky dovnitř, odpadky ven“?
Mindgard nazývá incident varovným výstřelem. Zpráva od červeného týmu poukazuje na obrovské porušení bezpečnostních kontrol. Ale tady je hlavní otázka. Proč jsou tyto obrázky vůbec v databázi?
Velké jazykové modely (LLM) potřebují jídlo. Text. Obrázky. Vzory. OpenAI trénuje ChatGPT pomocí tří hlavních datových toků: informací z veřejného internetu, smluvních dat od třetích stran a lidmi generovaných anotací.
Je to prostě případ „odpadky dovnitř, odpadky ven“?
Lze tvrdit, že výzva byla navržena tak, aby loď odvrátila kurz. Ale ulomil se volant. Bezpečnostní systém nedokázal zastavit “otočku”.
Peter Garragan, vedoucí výzkumu a vývoje ve společnosti Mindgard, to považuje za strukturální selhání. Jedna chyba je špatná. Systematické řešení? To vyžaduje kompletní přepracování architektury.
OpenAI tvrdí, že zranitelnost opravila. Slavík nesouhlasí. Říká, že po „opravě“ byly ke generování nových hororů potřeba jen drobné změny.
Co je kořenem problému? Výzva odkazuje na neexistující přílohu. Když zmíníte obrázek, který tam není, ChatGPT to odhadne. Místo vyžádání souboru halucinuje obsah.
Gmail to zvládne jednoduše. Pokud zmíníte chybějící přílohu, systém vás vyzve: „Hele, zapomněl jsi něco připojit?“
Pro AI to vypadá dost jednoduše. Vyžádejte si soubor. Nevymýšlej si noční můru.
Ve čtvrtek OpenAI požadovala konkrétní sezení. Mindgard poskytla odkazy. Důkazy existují. Obrázky zůstávají.
