Dali jsme nástroji poháněnému umělou inteligencí plnou kontrolu nad notebookem. Předkonfigurované aplikace. Plné připojení k internetu. Otázka byla tak jednoduchá, jak by se dala napsat na ubrousek: je umělá inteligence skutečně schopná dělat kancelářskou práci?
Lídři jistě uvažují jinak. Jen v letošním roce propustilo více než 200 technologických společností téměř 120 000 pracovních míst. Layoffs.fyi sleduje tyto ztráty a giganti jako Meta a Oracle poukazují na AI jako na hlavní důvod propouštění. Generální ředitel společnosti Cloudflare se po propuštění 1 100 zaměstnanců nemlátí: Očekává, že umělá inteligence nahradí zaměstnance na střední úrovni, stejně jako odborníky na finance a marketing.
Rozhodli jsme se tyto prostředky vyzkoušet v praxi. A odpověď nebyla čisté „ano“ nebo „ne“. Je to matoucí „občas“.
Testování agentů AI na skutečných kancelářských úkolech
Nasadili jsme „agenty“ AI, abychom napodobili kancelářské pracovníky. Cílem bylo zjistit, zda jsou schopni činit autonomní rozhodnutí na základě podrobných pokynů. Pro simulaci reálných podmínek jsme použili benchmarky (testovací úlohy) z Carnegie Mellon University a OpenAI. Testy zahrnovaly generované tabulky, poznámky a seznamy zaměstnanců, stejně jako pečlivě vytvořené výzvy (dotazy) definující roli AI a nástroje, které má k dispozici.
Agenti byli spuštěni prostřednictvím aplikace Anthropic Claude Cowork. Toto nastavení umožnilo AI převzít kontrolu nad počítačem do vlastních rukou. Ale řízení je jedna věc. Kompetence je něco úplně jiného.
Agenti vynikali v úkolech, které vyžadovaly psaní počítačových programů. Se vším ostatním měli potíže.
Dokáže umělá inteligence zvládnout lidské nuance a design rozhraní?
Náš první test zahrnoval sbírání zpětné vazby od kolegů na Slacku. Vytvořili jsme roboty, kteří napodobovali kolegy a krmili AI předem připravené odpovědi. Agent se úspěšně vypořádal s několika nečekanými zvraty. Když bylo jméno špatně napsáno („Sara“ místo „Sarah“), stále poslal zprávu správné osobě. Když účastník nereagoval, agent nečekal nečinně. Zaměstnance zaznamenal s nulou a přešel k dalšímu kroku.
Jednoduché věci. Pak jsme mu ale nabídli něco složitějšího.
Zástupce potřeboval zkontrolovat dokumenty a určit, které pozice budou v rozpočtu vládní agentury sníženy. Musel se rozhodnout, které role lze považovat za nadbytečné. Výsledek? Vypracoval zprávu sestávající ze tří dokumentů. Většinou přesné. Správně určil, že důchody a dobrovolné propouštění mohou pomoci splnit rozpočtové cíle bez hromadného propouštění.
Byla v něm ale také podstatná chyba. Zaměstnance, kteří odešli na dovolenou, agent označil za zaměstnance s výpovědí. Dal je dohromady, aniž by vzal v úvahu skutečnost, že se plánují vrátit.
Tam, kde by se člověk instinktivně zeptal, jak dlouho bude dovolená trvat, AI předpokládala, že jsou pryč navždy. Dospěl k závěru, že došlo k trvalému snížení počtu zaměstnanců na základě dočasné nepřítomnosti.
„AI může být méně schopná nahradit tiché znalosti – specifické dovednosti a techniky, které se hromadí se zkušenostmi.“ — Stanfordská univerzita a Národní úřad pro ekonomický výzkum (NBER)
Tiché znalosti. Co se naučí praxí, ne z knih. AI to zatím nemá.
Proč agenti AI dávají přednost programování před klikáním myší
Umělá inteligence měla také potíže s navigací v základních rozhraních. Byl zmatený z rozhraní Disku Google. Neobratně pracoval se stoly. Když dostal za úkol změnit organizační strukturu v Preview nebo Google Slides, okamžitě to vzdal. Rozhodl se, že používání aplikace je „příliš nepraktické“ a místo toho napsal kód.
Graham Neuberg, profesor na Carnegie Mellon University a spoluautor projektu AgentCompany, poznamenal, že agenti pracují „velmi nelidským způsobem“. Dávají přednost programování před typickými uživatelskými rozhraními.
Náš agent tuto zaujatost potvrdil. Navzdory přímým pokynům, aby aplikace nejprve vyzkoušel, je ignoroval. Asi po 30 sekundách se přepnul na kód. Uvědomil si, že je dobrý v psaní kódu, a uvědomil si, že je špatný v mačkání tlačítek určených pro lidské oči.
Následující úkol tento vzorec posílil. Agent musel vyplnit 17 formulářů pro ověření zaměstnání pomocí údajů v tabulce. Nahrál je na Disk Google.
Opět se vyhnul aplikacím. Napsal kód. Rozhodnutí se ukázalo jako dobré. Přidal dokonce ověření formátu pro telefonní čísla a čísla sociálního zabezpečení (SSN). Snadno dokončil úkol, který by byl pro člověka únavný.
Pak se zasekl. Triviální krok pro každého kancelářského pracovníka: nahrání hotových souborů PDF do požadované složky na Disku Google. Agent se odmlčel. Kód zpracoval logiku, ale práce s rozhraním se nezdařila.
Verdikt: AI potřebuje lidského vůdce
Náš experiment se shodoval s širšími poznatky v oboru. Scale AI nedávno testovala agenty na skutečných projektech na volné noze. Nejvýkonnější model přinesl výsledky připravené pro klienta pouze v 16 % případů.
Umělá inteligence může vynikat ve specifických, izolovaných úkolech. Dokáže zpracovávat strukturovaná data. Umí psát kód. Nedosahuje však jemných, intuitivních a rozhraní náročných částí většiny pracovních postupů. Nerozumí kancelářské politice. Neví, kdy si někdo dal pauzu a kdy toho nechal.
Může přidat hodnotu určitým oblastem pracovní síly. Ale prozatím AI stále potřebuje člověka, který by se o ni staral. V šéfovi. Někdo potřebuje opravit zaseknutá stahování. Někdo musí opravit chyby v náboru.
Nástroje se zlepšují. Ale propast mezi „dokončením úkolu“ a „dokončením práce“ je stále široká.
