Daliśmy narzędziu opartemu na sztucznej inteligencji pełną kontrolę nad laptopem. Wstępnie skonfigurowane aplikacje. Pełny dostęp do Internetu. Pytanie było tak proste, jak tylko można było zapisać na serwetce: czy sztuczna inteligencja naprawdę jest w stanie wykonywać pracę biurową?
Liderzy z pewnością myślą inaczej. Tylko w tym roku ponad 200 firm technologicznych zwolniło prawie 120 000 pracowników. Layoffs.fyi śledzi te straty, a giganci tacy jak Meta i Oracle wskazują na sztuczną inteligencję jako główną przyczynę zwolnień. Dyrektor generalny Cloudflare nie owija w bawełnę po zwolnieniu 1100 pracowników: spodziewa się, że sztuczna inteligencja zastąpi pracowników średniego szczebla, a także specjalistów ds. finansów i marketingu.
Postanowiliśmy przetestować te środki w praktyce. Odpowiedź nie była czystym „tak” ani „nie”. To mylące „czasami”.
Testowanie agentów AI w rzeczywistych zadaniach biurowych
Wdrożyliśmy „agentów” AI, którzy mają naśladować pracowników biurowych. Celem było sprawdzenie, czy są w stanie podejmować autonomiczne decyzje w oparciu o szczegółowe instrukcje. Do symulacji rzeczywistych warunków wykorzystaliśmy benchmarki (zadania testowe) z Carnegie Mellon University i OpenAI. Testy obejmowały wygenerowane tabele, notatki i listy pracowników, a także starannie opracowane podpowiedzi (zapytania) określające rolę sztucznej inteligencji i dostępnych jej narzędzi.
Agenci zostali uruchomieni poprzez aplikację Anthropic Claude Cowork. To ustawienie pozwoliło AI przejąć kontrolę nad komputerem w swoje ręce. Ale zarządzanie to jedno. Kompetencje to coś zupełnie innego.
Agenci celowali w zadaniach wymagających pisania programów komputerowych. Ze wszystkim innym mieli trudności.
Czy sztuczna inteligencja poradzi sobie z niuansami ludzkimi i projektowaniem interfejsów?
Nasz pierwszy test polegał na zbieraniu opinii od współpracowników na Slacku. Stworzyliśmy boty, które naśladowały kolegów i karmiły wcześniej przygotowane odpowiedzi AI. Agentowi udało się uporać z kilkoma nieoczekiwanymi zwrotami akcji. Nawet jeśli imię zostało zapisane błędnie („Sara” zamiast „Sarah”), mimo to wysłał wiadomość do właściwej osoby. Gdy uczestnik nie odpowiadał, agent nie czekał bezczynnie. Odnotował pracownika z oceną zero i przeszedł do kolejnego kroku.
Proste rzeczy. Ale potem zaproponowaliśmy mu coś bardziej złożonego.
Agent musiał przejrzeć dokumenty i określić, które stanowiska zostaną zwolnione w budżecie agencji rządowej. Musiał zdecydować, które role można uznać za zbędne. Wynik? Przygotował raport składający się z trzech dokumentów. Przeważnie dokładne. Prawidłowo stwierdził, że emerytury i dobrowolne zwolnienia mogą pomóc w realizacji celów budżetowych bez masowych zwolnień.
Ale był w nim także istotny błąd. Agent oznaczył pracowników, którzy udali się na urlopy, jako podlegających rozwiązaniu umowy o pracę. Wrzucił ich do jednego worka, nie biorąc pod uwagę faktu, że planowali powrót.
Tam, gdzie człowiek instynktownie pytał, jak długo będą trwać wakacje, sztuczna inteligencja zakładała, że wyjechali na dobre. Doszedł do wniosku, że ze względu na tymczasową nieobecność nastąpiła trwała redukcja personelu.
„Sztuczna inteligencja może być mniej zdolna do zastąpienia wiedzy ukrytej – konkretnych umiejętności i technik, które kumulują się wraz z doświadczeniem”. — Uniwersytet Stanforda i Krajowe Biuro Badań Ekonomicznych (NBER)
Wiedza ukryta. Czego można się nauczyć poprzez praktykę, a nie z książek. AI jeszcze tego nie ma.
Dlaczego agenci AI wolą programowanie od kliknięć myszą
Sztuczna inteligencja miała również trudności z poruszaniem się po podstawowych interfejsach. Był zdezorientowany interfejsem Dysku Google. Niezdarnie pracował ze stołami. Kiedy otrzymał zadanie zmiany struktury organizacyjnej w Preview czy Prezentacjach Google, od razu się poddał. Uznał, że korzystanie z aplikacji jest „zbyt niepraktyczne” i zamiast tego napisał kod.
Graham Neuberg, profesor na Carnegie Mellon University i współautor projektu AgentCompany, zauważył, że agenci pracują w „bardzo nieludzki sposób”. Wolą programowanie od typowych interfejsów użytkownika.
Nasz agent potwierdził tę stronniczość. Pomimo bezpośrednich instrukcji, aby najpierw wypróbować aplikacje, zignorował je. Po około 30 sekundach przełączył się na kod. Uświadomił sobie, że jest dobry w pisaniu kodu, ale zdał sobie sprawę, że słabo radzi sobie z naciskaniem przycisków przeznaczonych dla ludzkich oczu.
Następne zadanie wzmocniło ten wzorzec. Agent musiał wypełnić 17 formularzy weryfikacji zatrudnienia, korzystając z danych z arkusza kalkulacyjnego. Przesłał je na Dysk Google.
Po raz kolejny unikał aplikacji. Napisał kod. Decyzja okazała się dobra. Dodano nawet sprawdzanie formatu numerów telefonów i numerów ubezpieczenia społecznego (SSN). Z łatwością wykonał zadanie, które dla człowieka byłoby nudne.
Potem utknął. Banalny krok dla każdego pracownika biurowego: przesłanie gotowych plików PDF do wybranego folderu na Dysku Google. Agent zrobił pauzę. Kod przetworzył logikę, ale praca z interfejsem nie powiodła się.
Werdykt: sztuczna inteligencja potrzebuje ludzkiego przywódcy
Nasz eksperyment zbiegł się z szerszymi ustaleniami w branży. Scale AI niedawno przetestowało agentów w prawdziwych niezależnych projektach. Model o najlepszej wydajności zapewniał wyniki gotowe do użycia przez klienta tylko w 16% przypadków.
Sztuczna inteligencja może przodować w konkretnych, izolowanych zadaniach. Może przetwarzać dane strukturalne. Potrafi pisać kod. Jednak w przypadku większości przepływów pracy nie spełnia on wymagań w przypadku dopracowanych, intuicyjnych i wymagających dużej ilości interfejsów części większości przepływów pracy. Nie rozumie polityki biurowej. Nie wie, kiedy ktoś po prostu zrobił sobie przerwę, a kiedy zrezygnował.
Może stanowić wartość dodaną w niektórych obszarach siły roboczej. Ale na razie sztuczna inteligencja nadal potrzebuje człowieka, który się nią zajmie. W szefie. Ktoś musi naprawić zablokowane pobieranie. Ktoś musi poprawić błędy w zatrudnieniu.
Narzędzia są coraz lepsze. Jednak różnica między „wykonaniem zadania” a „wykonaniem pracy” jest nadal duża.
