Abbiamo dato a uno strumento di intelligenza artificiale il pieno controllo di un laptop. App preconfigurate. Accesso completo a Internet. La domanda era abbastanza semplice da stare su un tovagliolo: l’intelligenza artificiale può davvero svolgere un lavoro d’ufficio?
I dirigenti certamente la pensano così. Solo quest’anno oltre 200 aziende tecnologiche hanno tagliato circa 120.000 posti di lavoro. Layoffs.fyi tiene traccia dell’emorragia e i nomi in quell’elenco (Meta, Oracle) citano l’intelligenza artificiale come fattore principale. Il CEO di Cloudflare non ha usato mezzi termini dopo aver licenziato 1.100 persone. Si aspetta che l’intelligenza artificiale sostituisca il middle management, la finanza e il marketing.
Abbiamo messo alla prova quegli agenti. E la risposta non è un “sì” o un “no” netto. È un “a volte” confuso.
Testare gli agenti IA su attività di ufficio reali
Abbiamo utilizzato “agenti” di intelligenza artificiale per agire come impiegati. L’obiettivo era vedere se fossero in grado di gestire un processo decisionale autonomo sulla base di istruzioni dettagliate. Abbiamo utilizzato i benchmark della Carnegie Mellon University e OpenAI per simulare ambienti del mondo reale. Questi test hanno utilizzato fogli di calcolo, promemoria ed elenchi del personale fabbricati, insieme a istruzioni scritte con cura per definire il ruolo dell’IA e gli strumenti disponibili.
Abbiamo gestito questi agenti utilizzando l’app Claude Cowork di Anthropic. Questa configurazione ha consentito all’IA di prendere il controllo del computer. Ma il controllo è una cosa. La competenza è un’altra.
Gli agenti eccellevano nei compiti che prevedevano la scrittura di programmi per computer. Hanno lottato con tutto il resto.
L’intelligenza artificiale può gestire le sfumature umane e la progettazione dell’interfaccia?
Il nostro primo test prevedeva la raccolta del feedback dei colleghi su Slack. Abbiamo creato robot per imitare i colleghi, alimentando le risposte precompilate dell’intelligenza artificiale. L’agente ha gestito alcune palle curve senza perdere una mazza. Quando un nome veniva scritto in modo errato, “Sara” invece di “Sarah”, il messaggio veniva comunque inviato alla persona corretta. Quando un partecipante non rispondeva, non restava ad aspettare. Ha registrato il dipendente con un punteggio zero e è andato avanti.
Roba semplice. Ma poi abbiamo lanciato qualcosa di complesso.
L’agente doveva esaminare i documenti e identificare i tagli al personale per il budget di un’agenzia governativa. Bisognava decidere quali ruoli fossero sacrificabili. Il risultato? Ha prodotto un rapporto di tre documenti. Per lo più accurato. Ha correttamente identificato che pensionamenti e dimissioni potrebbero raggiungere gli obiettivi di budget senza licenziare nessuno.
Ma ha commesso un errore significativo. Ha segnalato i dipendenti in congedo per licenziamento. Li ha raggruppati tutti insieme, ignorando il fatto che avevano intenzione di tornare.
Laddove un essere umano chiedeva istintivamente quanto durava il congedo, l’intelligenza artificiale presumeva che se ne fossero andati per sempre. Ha dedotto un taglio permanente da un’assenza temporanea.
“L’intelligenza artificiale potrebbe essere meno capace di sostituire il know-how tacito, le abilità peculiari e i trucchi che si accumulano con l’esperienza.” — Stanford e NBER
Conoscenza tacita. Cose che impari facendo, non leggendo. L’intelligenza artificiale non ce l’ha. Non ancora.
Perché gli agenti IA preferiscono codificare piuttosto che fare clic
L’intelligenza artificiale è stata soffocata anche dalla navigazione dell’interfaccia di base. Ha avuto problemi con l’interfaccia di Google Drive. Frugò tra i fogli di calcolo. Quando gli è stato chiesto di modificare un organigramma in Anteprima o Google Slits, ha rinunciato immediatamente. Ha deciso che l’utilizzo di un’app era “troppo poco pratico” e ha invece scritto il codice.
Graham Neubig, professore alla Carnegie Mellon e coautore del progetto AgentCompany, ha osservato che gli agenti lavorano in un “modo molto disumano”. Preferiscono la codifica rispetto alle tipiche interfacce utente.
Il nostro agente ha confermato questo pregiudizio. Nonostante le istruzioni esplicite di provare prima le app, ci ha ignorato. Dopo circa 30 secondi è passato alla codifica. Ha riconosciuto che era bravo a programmare. Ha riconosciuto che era pessimo fare clic sui pulsanti progettati per gli occhi umani.
Il compito successivo ha rafforzato questo schema. L’agente ha dovuto compilare 17 moduli di verifica dell’impiego utilizzando i dati di un foglio di calcolo. Li ha caricati su Google Drive.
Ancora una volta, ha evitato le app. Ha scritto codice. La soluzione ha funzionato bene. Ha anche aggiunto controlli di formattazione per numeri di telefono e ID di previdenza sociale. Si è svolto senza problemi quello che sarebbe stato un lavoro noioso per un essere umano.
Poi si è bloccato. Un passaggio banale per qualsiasi impiegato: caricare i PDF finiti nella cartella Google Drive corretta. L’agente è inciampato. Il codice ha gestito la logica, ma la gestione dell’interfaccia non è riuscita.
Il verdetto: l’intelligenza artificiale ha bisogno di un capo umano
Il nostro esperimento ha corrisposto a risultati più ampi del settore. Scala gli agenti recentemente testati dall’intelligenza artificiale su progetti freelance reali. Il modello con il punteggio migliore ha prodotto risultati pronti per il cliente solo il 16% delle volte.
L’intelligenza artificiale può eccellere in compiti specifici e isolati. Può gestire dati strutturati. Può scrivere codice. Ma fallisce nelle parti sfumate, intuitive e pesanti dell’interfaccia della maggior parte dei lavori. Non capisce la politica dell’ufficio. Non sa quando qualcuno si sta semplicemente prendendo una pausa rispetto a quando ha smesso.
Può aggiungere valore ad alcune aree della forza lavoro. Ma per ora, l’intelligenza artificiale ha ancora bisogno di un essere umano che le guardi le spalle. Un capo umano. Qualcuno che catturi i caricamenti bloccati. Qualcuno che corregga gli errori di assunzione.
Gli strumenti stanno migliorando. Ma il divario tra “svolgere un compito” e “fare un lavoro” è ancora ampio.
