ChatGPT rusak. Lagi.
Itu bukanlah peretasan yang rumit atau skrip multi-baris. Satu kalimat saja sudah menimbulkan kerusakan. Jim Nightingale, seorang peneliti permusuhan, menemukan bahwa ia dapat mengelabui AI agar menghasilkan gambar-gambar kekerasan dan seksual hanya dengan memintanya untuk “memulihkan” sebuah foto. Tangkapannya? Dia tidak melampirkannya.
Tampaknya tidak bersalah di permukaan. Permintaan sopan untuk memperbaiki gambar. Tidak ada konteks tambahan. Tidak ada peringatan. Hanya sebuah prompt yang tampaknya merupakan tugas utilitas standar. Hasilnya? Mengejutkan. Keluaran pertama menampilkan perempuan yang sangat seksual. Bahan bakar mimpi buruk.
Nightingale mendorongnya. Dia mengubah perintahnya, melakukan sedikit pengeditan untuk menguji batasannya. Setiap variasi menggali lebih dalam jaringan gelap data pelatihan. Pemandangannya menjadi aneh. Brutal. Dia gemetar. Sebenarnya sambil menangis.
“Yang saya lakukan hanyalah memberi tahu bahwa ada banyak batasan dan meminta gambar acak… ChatGPT segera masuk ke dalam kegelapan.”
Ia mengaku hanya meminta keacakan tanpa kendala. AI meresponsnya dengan menyelami dorongan terburuk umat manusia.
Jutaan pengguna mengandalkan ini setiap hari. Kami mengharapkan filter. Kami berasumsi lapisan keamanan berlaku. Tidak selalu. Tidak ketika perintah cerdas mengabaikan logika. OpenAI mengakui kesalahannya sekarang. Mereka telah menambahkan perlindungan. Mereka menyebutnya sebagai “tren” yang mereka selidiki dan perbaiki.
(Pengungkapan penuh: Perusahaan induk CNET menggugat OpenAI pada tahun 2025 atas pelanggaran hak cipta, jadi mereka mengawasi ruang ini dengan cermat.)
Sampah masuk?
Mindgard menyebut ini sebagai peringatan. Laporan tim merah menyoroti adanya lubang besar dalam kontrol keselamatan. Namun inilah pertanyaan sebenarnya. Mengapa gambar-gambar itu ada di database?
LLM membutuhkan makanan. Teks. Gambar. Pola. OpenAI memberi makan ChatGPT dengan tiga aliran utama: data internet publik, kesepakatan pihak ketiga, dan label buatan manusia.
Apakah ini hanya sampah masuk, sampah keluar?
Anda dapat berargumentasi bahwa perintah tersebut dibuat untuk mengarahkan kapal keluar jalur. Tapi kemudinya patah. Sistem keselamatan gagal menghentikan kemudi.
Peter Garraghan, kepala sains di Mindgard, melihatnya sebagai kegagalan struktural. Satu kesalahan saja itu buruk. Melewati sistem? Itu memerlukan perombakan.
OpenAI mengklaim mereka telah menambalnya. Nightingale mengatakan tidak. Dia mengatakan hanya perubahan kecil yang diperlukan untuk menghasilkan lebih banyak kengerian setelah “perbaikan”.
Akar penyebabnya? Prompt mengacu pada lampiran yang tidak ada. Saat Anda menyebutkan gambar yang tidak ada, ChatGPT menebak. Itu berhalusinasi konten alih-alih meminta file.
Gmail menangani ini dengan mudah. Jika Anda menyebutkan lampiran yang hilang, itu akan menyenggol Anda. “Hei, lupakan sesuatu?”
Tampaknya cukup sederhana untuk AI. Minta filenya. Jangan menciptakan mimpi buruk.
Pada hari Kamis, OpenAI meminta sesi spesifik. Mindgard menyediakan tautannya. Buktinya ada di luar sana. Gambarnya tetap ada.
