Wir haben einem KI-Tool die volle Kontrolle über einen Laptop gegeben. Vorkonfigurierte Apps. Vollständiger Internetzugang. Die Frage war so einfach, dass sie auf eine Serviette passte: Kann künstliche Intelligenz tatsächlich einen Bürojob erledigen?
Führungskräfte sind dieser Meinung. Allein in diesem Jahr haben über 200 Technologieunternehmen rund 120.000 Stellen abgebaut. Layoffs.fyi verfolgt die Blutung, und die Namen auf dieser Liste – Meta, Oracle – nennen KI als Haupttreiber. Der CEO von Cloudflare nahm kein Blatt vor den Mund, nachdem er 1.100 Mitarbeiter entlassen hatte. Er geht davon aus, dass KI das mittlere Management, das Finanzwesen und das Marketing ersetzen wird.
Wir haben diese Agenten auf die Probe gestellt. Und die Antwort ist kein klares „Ja“ oder „Nein“. Es ist ein chaotisches „manchmal“.
Testen von KI-Agenten bei echten Büroaufgaben
Wir setzten KI-„Agenten“ ein, um als Büroangestellte zu fungieren. Ziel war es herauszufinden, ob sie eine autonome Entscheidungsfindung auf der Grundlage detaillierter Anweisungen bewältigen können. Wir haben Benchmarks der Carnegie Mellon University und OpenAI verwendet, um reale Umgebungen zu simulieren. Bei diesen Tests wurden fabrizierte Tabellenkalkulationen, Memos und Mitarbeiterlisten sowie sorgfältig geschriebene Eingabeaufforderungen verwendet, um die Rolle der KI und die verfügbaren Tools zu definieren.
Wir haben diese Agenten mit der Claude Cowork-App von Anthropic betrieben. Dieses Setup ermöglichte es der KI, die Kontrolle über den Computer zu übernehmen. Aber Kontrolle ist eine Sache. Kompetenz ist etwas anderes.
Die Agenten zeichneten sich durch hervorragende Leistungen bei Aufgaben aus, bei denen es um das Schreiben von Computerprogrammen ging. Sie hatten mit allem anderen zu kämpfen.
Kann KI mit menschlichen Nuancen und Schnittstellendesign umgehen?
Unser erster Test bestand darin, Feedback von Kollegen zu Slack einzuholen. Wir haben Bots entwickelt, um Kollegen nachzuahmen und die KI mit vorab geschriebenen Antworten zu versorgen. Der Agent schaffte einige Curveballs, ohne einen Schläger auszulassen. Wenn ein Name falsch geschrieben wurde – „Sara“ statt „Sarah“, wurde trotzdem die richtige Person benachrichtigt. Wenn ein Teilnehmer nicht antwortete, wartete er nicht. Es meldete den Mitarbeiter mit einer Nullpunktzahl an und ging weiter.
Einfaches Zeug. Aber dann haben wir etwas Kompliziertes darauf geworfen.
Der Agent musste Dokumente prüfen und Personalkürzungen für den Haushalt einer Regierungsbehörde feststellen. Es musste entschieden werden, welche Rollen entbehrlich waren. Das Ergebnis? Es wurde ein aus drei Dokumenten bestehender Bericht erstellt. Meistens genau. Es wurde richtig erkannt, dass Pensionierungen und Rücktritte die Budgetziele erreichen könnten, ohne jemanden zu entlassen.
Aber es hat einen bedeutsamen Fehler gemacht. Es wurden Mitarbeiter gemeldet, die wegen Entlassungen in den Urlaub gingen. Es warf sie alle in einen Topf und ignorierte die Tatsache, dass sie vorhatten zurückzukehren.
Während ein Mensch instinktiv fragte, wie lange der Urlaub dauerte, ging die KI davon aus, dass er für immer weg war. Aus einer vorübergehenden Abwesenheit wurde eine dauerhafte Kürzung abgeleitet.
„KI ist möglicherweise weniger in der Lage, implizites Know-how, die eigenwilligen Fähigkeiten und Tricks, die sich mit der Erfahrung anhäufen, zu ersetzen.“ — Stanford und NBER
Stillschweigendes Wissen. Dinge, die man lernt, indem man sie tut, nicht durch Lesen. KI hat das nicht. Noch nicht.
Warum KI-Agenten das Codieren dem Klicken vorziehen
Die KI verschluckte sich auch an der grundlegenden Navigation der Benutzeroberfläche. Es gab Probleme mit der Google Drive-Benutzeroberfläche. Es fummelte in Tabellenkalkulationen herum. Als ich angewiesen wurde, ein Organigramm in der Vorschau oder in Google Slits zu ändern, gab es sofort auf. Es entschied, dass die Verwendung einer App „zu unpraktisch“ sei und schrieb stattdessen Code.
Graham Neubig, Professor an der Carnegie Mellon University und Co-Autor des AgentCompany-Projekts, stellte fest, dass Agenten auf „sehr unmenschliche Weise“ arbeiten. Sie bevorzugen Codierung gegenüber typischen Benutzeroberflächen.
Unser Agent bestätigte diese Voreingenommenheit. Trotz der ausdrücklichen Anweisung, die Apps zuerst auszuprobieren, wurden wir ignoriert. Nach etwa 30 Sekunden wurde auf Codierung umgeschaltet. Es erkannte, dass es gut im Programmieren war. Es erkannte, dass es schlecht darin war, auf Schaltflächen zu klicken, die für das menschliche Auge gedacht waren.
Die nächste Aufgabe verstärkte dieses Muster. Der Agent musste 17 I-Anstellungsnachweisformulare anhand von Daten aus einer Tabellenkalkulation ausfüllen. Es hat sie auf Google Drive hochgeladen.
Auch hier wurden die Apps vermieden. Es hat Code geschrieben. Die Lösung hat gut funktioniert. Es wurden sogar Formatierungsprüfungen für Telefonnummern und Sozialversicherungsausweise hinzugefügt. Es ging durch die Arbeit, die für einen Menschen mühsam wäre.
Dann kam es zum Stillstand. Ein trivialer Schritt für jeden Büroangestellten: das Hochladen der fertigen PDFs in den richtigen Google Drive-Ordner. Der Agent ist gestolpert. Der Code hat die Logik verarbeitet, aber die Schnittstellenverarbeitung ist fehlgeschlagen.
Das Urteil: KI braucht einen menschlichen Chef
Unser Experiment stimmte mit breiteren Erkenntnissen in der Branche überein. Scale AI hat Agenten kürzlich an echten freiberuflichen Projekten getestet. Das Modell mit der besten Bewertung lieferte nur in 16 Prozent der Fälle kundengerechte Ergebnisse.
KI kann bei spezifischen, isolierten Aufgaben hervorragende Leistungen erbringen. Es kann strukturierte Daten verarbeiten. Es kann Code schreiben. Aber es scheitert an den nuancierten, intuitiven und schnittstellenintensiven Teilen der meisten Jobs. Es versteht die Büropolitik nicht. Es weiß nicht, wann jemand gerade eine Pause macht und wann er aufgehört hat.
Es kann für bestimmte Bereiche der Belegschaft einen Mehrwert schaffen. Aber vorerst braucht die KI noch einen Menschen, der ihr den Rücken stärkt. Ein menschlicher Chef. Jemand, der die hängengebliebenen Uploads abfängt. Jemand, der die Einstellungsfehler korrigiert.
Die Werkzeuge werden besser. Aber die Kluft zwischen „eine Aufgabe erledigen“ und „eine Arbeit erledigen“ ist immer noch groß.
