We hebben een AI-tool volledige controle over een laptop gegeven. Vooraf geconfigureerde apps. Volledige internettoegang. De vraag was eenvoudig genoeg om op een servet te passen: kan kunstmatige intelligentie daadwerkelijk een kantoorbaan vervullen?
Leidinggevenden denken dat zeker. Alleen al dit jaar hebben meer dan 200 technologiebedrijven ongeveer 120.000 banen geschrapt. Layoffs.fyi volgt de bloedingen en de namen op die lijst – Meta, Oracle – noemen AI als de belangrijkste drijfveer. De CEO van Cloudflare nam geen blad voor de mond nadat hij 1.100 mensen had ontslagen. Hij verwacht dat AI het middenmanagement, de financiële sector en de marketing zal vervangen.
We hebben die agenten op de proef gesteld. En het antwoord is geen zuiver ‘ja’ of ‘nee’. Het is een rommelige ‘soms’.
AI-agenten testen op echte kantoortaken
We hebben AI-“agenten” ingezet om als kantoorpersoneel op te treden. Het doel was om te kijken of ze autonome besluitvorming konden uitvoeren op basis van gedetailleerde instructies. We hebben benchmarks van Carnegie Mellon University en OpenAI gebruikt om echte omgevingen te simuleren. Bij deze tests werd gebruik gemaakt van verzonnen spreadsheets, memo’s en personeelslijsten, samen met zorgvuldig geschreven aanwijzingen om de rol van de AI en de beschikbare hulpmiddelen te definiëren.
We voerden deze agenten uit met behulp van de Claude Cowork-app van Anthropic. Door deze opstelling kon de AI de controle over de computer overnemen. Maar controle is één ding. Competentie is iets anders.
De agenten blonken uit in taken waarbij het schrijven van computerprogramma’s betrokken was. Ze worstelden met al het andere.
Kan AI omgaan met menselijke nuance en interface-ontwerp?
Onze eerste test bestond uit het verzamelen van feedback van collega’s op Slack. We hebben bots gemaakt om collega’s na te bootsen en de vooraf geschreven antwoorden van de AI te voeden. De agent slaagde erin enkele curveballs te maken zonder een knuppel over te slaan. Wanneer een naam verkeerd werd gespeld – ‘Sara’ in plaats van ‘Sarah’ – werd er nog steeds een bericht naar de juiste persoon gestuurd. Als een deelnemer niet reageerde, bleef hij niet wachten. Het registreerde de werknemer met een nulscore en ging verder.
Simpele dingen. Maar toen gooiden we er iets ingewikkelds tegenaan.
De agent moest documenten bekijken en personeelsinkrimpingen voor de begroting van een overheidsinstantie identificeren. Er moest worden besloten welke rollen vervangbaar waren. Het resultaat? Het produceerde een rapport van drie documenten. Meestal accuraat. Het stelde correct vast dat pensioneringen en ontslag de begrotingsdoelstellingen konden verwezenlijken zonder iemand te ontslaan.
Maar er werd een betekenisvolle fout gemaakt. Het signaleerde dat werknemers met verlof gingen vanwege ontslag. Het bracht ze allemaal op één hoop en negeerde het feit dat ze van plan waren terug te keren.
Waar een mens instinctief zou vragen hoe lang het verlof duurde, ging de AI ervan uit dat ze voorgoed weg waren. Het leidde een permanente bezuiniging af uit een tijdelijke afwezigheid.
“AI is wellicht minder goed in staat stilzwijgende kennis, de idiosyncratische vaardigheden en trucs die voortkomen uit ervaring, te vervangen.” — Stanford en NBER
Stilzwijgende kennis. Dingen die je leert door te doen, niet door te lezen. AI heeft dat niet. Nog niet.
Waarom AI-agenten coderen verkiezen boven klikken
De AI verslikte zich ook in de basisinterfacenavigatie. Het worstelde met de Google Drive-interface. Het rommelde door spreadsheets. Toen het bedrijf de opdracht kreeg een organigram in Preview of Google Slits aan te passen, gaf het het onmiddellijk op. Het besloot dat het gebruik van een app “te onpraktisch” was en schreef in plaats daarvan code.
Graham Neubig, hoogleraar aan Carnegie Mellon en co-auteur van het AgentCompany-project, merkte op dat agenten op een “zeer onmenselijke manier” werken. Ze geven de voorkeur aan coderen boven typische gebruikersinterfaces.
Onze agent bevestigde deze vooringenomenheid. Ondanks expliciete instructies om de apps eerst te proberen, negeerde het ons. Na ongeveer 30 seconden schakelde hij over op codering. Het erkende dat het goed was in code. Het erkende dat het slecht was in het klikken op knoppen die voor menselijke ogen waren ontworpen.
De volgende taak versterkte dit patroon. De agent moest 17 I-werkgelegenheidsverificatieformulieren invullen met behulp van gegevens uit een spreadsheet. Het heeft ze geüpload naar Google Drive.
Nogmaals, het vermeed de apps. Het schreef code. De oplossing werkte goed. Het voegde zelfs opmaakcontroles toe voor telefoonnummers en burgerservice-ID’s. Het vloog door wat voor een mens saai werk zou zijn.
Toen stopte het. Een triviale stap voor elke kantoormedewerker: het uploaden van de voltooide PDF’s naar de juiste Google Drive-map. De agent struikelde. De code verwerkte de logica, maar de interfaceafhandeling mislukte.
Het oordeel: AI heeft een menselijke baas nodig
Ons experiment kwam overeen met bredere bevindingen in de industrie. Schaal AI heeft agenten onlangs getest op echte freelanceprojecten. Het best scorende model leverde slechts 16 procent van de tijd klantklare resultaten op.
AI kan uitblinken in specifieke, geïsoleerde taken. Het kan gestructureerde gegevens verwerken. Het kan code schrijven. Maar het faalt bij de genuanceerde, intuïtieve en interface-zware delen van de meeste banen. Het begrijpt de kantoorpolitiek niet. Het weet niet wanneer iemand net een pauze neemt of wanneer hij of zij gestopt is.
Het kan waarde toevoegen aan bepaalde delen van het personeelsbestand. Maar voorlopig heeft AI nog steeds een mens nodig die op zijn hoede is. Een menselijke baas. Iemand die de vastgelopen uploads opvangt. Iemand die de aanwervingsfouten corrigeert.
De instrumenten worden steeds beter. Maar de kloof tussen ‘een taak uitvoeren’ en ‘een taak uitvoeren’ is nog steeds groot.
