Kami memberi alat AI kendali penuh atas laptop. Aplikasi yang telah dikonfigurasi sebelumnya. Akses internet penuh. Pertanyaannya cukup sederhana untuk dijawab: bisakah kecerdasan buatan benar-benar melakukan pekerjaan kantor?
Para eksekutif tentu saja berpendapat demikian. Lebih dari 200 perusahaan teknologi memangkas sekitar 120.000 peran pada tahun ini saja. Layoffs.fyi melacak pendarahan tersebut, dan nama-nama dalam daftar itu—Meta, Oracle—mengutip AI sebagai pendorong utama. CEO Cloudflare tidak berbasa-basi setelah memecat 1.100 orang. Dia mengharapkan AI untuk menggantikan manajemen menengah, keuangan, dan pemasaran.
Kami menguji agen-agen itu. Dan jawabannya bukanlah “ya” atau “tidak”. Ini adalah kata “kadang-kadang” yang berantakan.
Menguji Agen AI pada Tugas Kantor Nyata
Kami mengerahkan “agen” AI untuk bertindak sebagai pekerja kantor. Tujuannya adalah untuk melihat apakah mereka dapat menangani pengambilan keputusan secara otonom berdasarkan instruksi rinci. Kami menggunakan tolok ukur dari Carnegie Mellon University dan OpenAI untuk mensimulasikan lingkungan dunia nyata. Pengujian ini menggunakan spreadsheet, memo, dan daftar staf palsu, serta petunjuk yang ditulis dengan cermat untuk menentukan peran AI dan alat yang tersedia.
Kami menjalankan agen ini menggunakan aplikasi Claude Cowork dari Anthropic. Pengaturan ini memungkinkan AI untuk mengambil kendali komputer. Tapi kontrol adalah satu hal. Kompetensi adalah hal lain.
Para agen unggul dalam tugas-tugas yang melibatkan penulisan program komputer. Mereka berjuang dengan segala hal lainnya.
Bisakah AI Menangani Nuansa Manusia dan Desain Antarmuka?
Pengujian pertama kami melibatkan pengumpulan masukan dari rekan-rekan di Slack. Kami membuat bot untuk meniru rekan kerja, memberikan respons AI yang telah ditulis sebelumnya. Agen tersebut berhasil melakukan beberapa pukulan tanpa melewatkan satu pukulan pun. Jika ada nama yang salah eja—“Sara” bukannya “Sarah”—itu tetap mengirim pesan kepada orang yang benar. Ketika seorang peserta tidak merespons, ia tidak menunggu. Itu mencatat karyawan tersebut dengan skor nol dan melanjutkan.
Hal sederhana. Tapi kemudian kami melemparkan sesuatu yang rumit ke dalamnya.
Agen tersebut harus meninjau dokumen dan mengidentifikasi pengurangan staf untuk anggaran lembaga pemerintah. Itu perlu memutuskan peran mana yang bisa dibuang. Hasilnya? Ini menghasilkan laporan tiga dokumen. Sebagian besar akurat. Ini dengan tepat mengidentifikasi bahwa pensiun dan pengunduran diri dapat memenuhi tujuan anggaran tanpa memecat siapa pun.
Tapi itu membuat kesalahan yang berarti. Ini menandai karyawan yang akan cuti untuk PHK. Itu menyatukan mereka semua, mengabaikan fakta bahwa mereka berencana untuk kembali.
Jika manusia secara naluriah bertanya berapa lama cuti tersebut berlangsung, AI berasumsi bahwa mereka akan pergi selamanya. Ini menyimpulkan pemotongan permanen dari ketidakhadiran sementara.
“AI mungkin kurang mampu menggantikan pengetahuan diam-diam, keterampilan dan trik unik yang terakumulasi seiring dengan pengalaman.” — Stanford dan NBER
Pengetahuan diam-diam. Hal-hal yang Anda pelajari dengan melakukan, bukan dengan membaca. AI tidak memilikinya. Belum.
Mengapa Agen AI Lebih Memilih Coding daripada Mengklik
AI juga tersedak pada navigasi antarmuka dasar. Itu berjuang dengan antarmuka Google Drive. Itu meraba-raba spreadsheet. Ketika diinstruksikan untuk mengubah bagan organisasi di Pratinjau atau Google Slits, mereka langsung menyerah. Mereka memutuskan bahwa menggunakan aplikasi “terlalu tidak praktis” dan menulis kode sebagai gantinya.
Graham Neubig, seorang profesor di Carnegie Mellon dan salah satu penulis proyek AgentCompany, mencatat bahwa agen bekerja dengan “cara yang sangat tidak manusiawi.” Mereka lebih memilih pengkodean daripada antarmuka pengguna biasa.
Agen kami membenarkan bias ini. Meskipun ada instruksi eksplisit untuk mencoba aplikasinya terlebih dahulu, kami diabaikan. Setelah sekitar 30 detik, ia beralih ke pengkodean. Ia mengakui bahwa ia pandai dalam membuat kode. Ia menyadari bahwa ia buruk dalam mengklik tombol yang dirancang untuk mata manusia.
Tugas selanjutnya memperkuat pola ini. Agen harus mengisi 17 formulir verifikasi I-employment menggunakan data dari spreadsheet. Itu mengunggahnya ke Google Drive.
Sekali lagi, ini menghindari aplikasi. Itu menulis kode. Solusinya bekerja dengan baik. Ia bahkan menambahkan pemeriksaan pemformatan untuk nomor telepon dan ID Jaminan Sosial. Itu melewati pekerjaan yang membosankan bagi manusia.
Lalu terhenti. Langkah sepele untuk setiap pekerja kantoran: mengunggah PDF yang sudah jadi ke folder Google Drive yang benar. Agen itu tersandung. Kode menangani logika, tetapi penanganan antarmuka gagal.
Putusan: AI Membutuhkan Bos Manusia
Eksperimen kami cocok dengan temuan yang lebih luas di industri ini. Scale AI baru-baru ini menguji agen pada proyek freelance nyata. Model dengan skor terbaik menghasilkan hasil yang siap untuk klien hanya 16 persen.
AI dapat unggul dalam tugas-tugas tertentu dan terisolasi. Itu dapat menangani data terstruktur. Itu bisa menulis kode. Namun hal ini gagal pada bagian yang bernuansa, intuitif, dan banyak antarmuka pada sebagian besar pekerjaan. Ia tidak memahami politik kantor. Ia tidak tahu kapan seseorang baru saja istirahat dan kapan mereka sudah berhenti.
Hal ini dapat memberi nilai tambah pada bidang tenaga kerja tertentu. Namun untuk saat ini, AI masih membutuhkan manusia untuk mengawasinya. Seorang bos manusia. Seseorang untuk menangkap unggahan yang macet. Seseorang untuk memperbaiki kesalahan perekrutan.
Peralatannya menjadi lebih baik. Namun kesenjangan antara “melakukan suatu tugas” dan “melakukan suatu pekerjaan” masih lebar.
