Ich wollte auch mal einen KI-Agenten laufen lassen, aber …

Ich wollte ein Tool ausprobieren, das mir empfohlen worden war. Ein Skill von GitHub, in Claude Code eingerichtet, ein paar Minuten Arbeit, dachte ich. Dann fragte der Agent nach einer Erlaubnis. Und noch mal. Und noch mal.

Nach gefühlt zwanzig Fenstern, jedes eine Spur unverständlicher als das davor, wollte er Dinge auf meinem Rechner installieren, die ich nicht mehr einordnen konnte. Ich habe dann abgebrochen. Ob es am Ende dreißig Abfragen geworden wären oder fünfzig, weiß ich bis nicht.

Das ist das Eigenartige an diesem Moment? Agentisch mit einer KI arbeiten ist so leicht geworden wie nie, und trotzem steht man schnell vor einer Wand.

Der Einstieg ist gefallen, die Verantwortung nicht

Noch vor Kurzem brauchte man ein Terminal, um einen KI-Agenten wirklich arbeiten zu lassen. Eine schwarze Konsole, Befehle, ein bisschen Angst, etwas kaputtzumachen. Das hat die meisten ferngehalten, und das war, ehrlich gesagt, eine ganz brauchbare Hürde. Wer bis dorthin kam, wusste ungefähr, was er tat.

Diese Hürde ist inzwischen aber weg. Mit Cowork von Anthropic und ChatGPT Work von OpenAI kann man heute agentisch arbeiten, ohne je eine Kommandozeile zu sehen. Man tippt in ein Fenster, der Agent legt los, öffnet Dateien, baut Tabellen, arbeitet stundenlang im Hintergrund weiter. Das ist ein Fortschritt, kein Grund zur Klage. Die Zugangshürde sinkt, mehr Menschen kommen an mächtige Werkzeuge. So weit, so gut.

Nur ist der Einstieg das eine und die Beherrschung das andere. Man kommt jetzt mühelos an einen Punkt, an dem man vorher nie gelandet wäre, und ist dort genauso ratlos wie eh und je. Vielleicht mit mehr Vertrauen im Gepäck, weil ja alles so einfach aussah.

Zwischen »ich kann das jetzt starten« und »ich weiß, was ich da tue« liegt ein Graben. Kein Werkzeug legt ihn für einen zurück.

Warum fünf Abfragen reichen, um mürbe zu werden

Zurück zu den zwanzig Fenstern. Dass ein Agent überhaupt nach Erlaubnis fragt, ist richtig. Er will echte Dinge tun, Dateien schreiben, Programme installieren, ins Netz greifen. Dafür braucht er echte Rechte, im Zweifel weitreichenden Zugriff auf den eigenen Rechner. Ein Agent, der nichts fragt, wäre gefährlicher, nicht harmloser.

Das Problem ist nicht, dass er fragt. Es ist, wie er fragt. Häppchenweise. Eine Abfrage, dann die nächste, dann die übernächste, jede für sich genommen harmlos, keine mit Blick aufs Ganze. Bei mir setzte die Ermüdung nicht nach zwanzig Fenstern ein, sondern nach fünf. Ich wollte einfach weiter.

Dieser Effekt hat einen Namen. Sicherheitsforscher nennen ihn Consent Fatigue, Zustimmungsmüdigkeit. Eine Sicherheitsanalyse von Agenten-Protokollen beschreibt ihn präzise: Wer über eine Kette von Einzelschritten immer wieder um Bestätigung gebeten wird, schaltet die Aufmerksamkeit ab und winkt irgendwann mechanisch durch. Aus Gewohnheit, nicht aus Überzeugung. Dieselbe Studie beziffert, was das anrichtet. In bestimmten Testaufbauten steigt die Fehlerquote bei solchen gebündelten Freigabeketten um bis zu 50 Prozent. Man erlaubt Dinge, die man nüchtern nie erlaubt hätte.

Das ist im Kern dasselbe Muster wie bei den Cookie-Bannern, die einen so lange nerven, bis man auf »Alle akzeptieren« klickt. Nur sind hier die Einsätze höher. Es geht nicht um Werbe-Tracking, sondern um Schreibrechte auf dem eigenen Rechner.

Was fehlt, ist ein einfacher Satz vorweg. »Das werden jetzt vierzig Abfragen, ich brauche diese Tools und will in diese Verzeichnisse schreiben.« Stünde das am Anfang, hätte ich bei »vierzig« sofort abgebrochen. Genau deshalb steht es womöglich nicht da. Ein Agent, der vorne ehrlich sagt, was auf einen zukommt, verliert die Hälfte der Interessenten gleich zu Beginn.

Kann der Agent nicht einfach vorher sagen, was kommt

Die naheliegende Frage. Wenn das Problem die häppchenweise Abfragerei ist, warum überblickt der Agent die Sache nicht selbst und legt vorher offen, was er vorhat? Man müsste ihn vielleicht nur fragen.

Zum Teil stimmt das, und es wird unterschätzt. Der Agent kennt die Befehle, die im Setup stehen. Er könnte sie als Liste zeigen, statt sie einzeln abzufragen. Genau das empfehlen die Protokoll-Forscher auch: gebündelte Zustimmung statt serieller Einzelfreigaben, mehrere Erlaubnisse zu einer einzigen Entscheidung zusammengefasst. Und man kann tatsächlich danach fragen. Ein Prompt wie der folgende ist völlig legitim, und ein guter Agent beantwortet ihn.

Bevor du anfängst: Liste mir vollständig auf, welche
Berechtigungen, Tools und Installationen dieses Setup
braucht. Ich will die Übersicht, bevor du den ersten
Schritt machst.

Das hilft. Für die schiere Flut an Berechtigungen ist es das beste Mittel, das man gerade hat. Aber es gibt eine Grenze, die kein Nachfragen überwindet, und die ist der eigentlich unangenehme Teil.

Der Agent kann nur überblicken, was er sieht. Er sieht aber nicht alles.

Der Agent will nicht Böses tun, sondern einen Fehler beheben

Ende Juni führte Mozillas Sicherheitsgruppe 0DIN genau das vor. Sie bauten ein GitHub-Repository, das keine einzige Zeile Schadcode enthält. Sauber, unauffällig, würde jede Prüfung bestehen. Ein Entwickler klont es und bittet Claude Code, das Projekt einzurichten. Der Agent stößt auf einen harmlosen Einrichtungsfehler und tut, was ein diensteifriger Assistent eben tut. Er führt den empfohlenen Reparaturbefehl aus.

Dieser Befehl lädt zur Laufzeit eine Konfiguration aus einem DNS-Eintrag nach, den der Angreifer kontrolliert, und führt sie aus. Am Ende läuft eine offene Verbindung zum fremden Server, mit allen Zugangsdaten, die auf dem Rechner erreichbar sind. Und das Beste daran, aus Sicht des Angreifers, ist der Satz, mit dem die Forscher ihren Fund zusammenfassen. »Claude Code hat nie entschieden, eine Shell zu öffnen. Es hat entschieden, einen Fehler zu beheben.«

Das ist der Kern. Der Schadcode steht nirgends im Repository, er wird erst im letzten Moment nachgeladen, drei Umwege entfernt von allem, was der Agent je zu Gesicht bekommt. Jeder einzelne Schritt ist harmlos. Der Schaden entsteht erst in der Reihenfolge. Kein Scanner findet etwas, kein menschlicher Prüfer sieht etwas, und der Agent selbst hat keine Chance, den Payload anzuschauen, bevor er ihn ausführt.

Damit ist auch die Frage von vorhin beantwortet. Der Agent kann dir ehrlich sagen »ich führe jetzt den Init-Befehl aus« und trotzdem nicht wissen, dass dieser Befehl gleich eine Hintertür öffnet. Er überblickt seinen nächsten Schritt, aber nicht dessen Folgen. Nachfragen bringt dich bis zur Grenze seiner eigenen Sicht, keinen Millimeter weiter. Es ist kein Bug, den man patcht. Es ist die Hilfsbereitschaft selbst, die ausgenutzt wird.

Interessant ist, was die 0DIN-Forscher als Lösung fordern. Der Agent müsste offenlegen, was ein Befehl am Ende wirklich tut, samt allem, was er unterwegs nachlädt, nicht nur den Befehl selbst. Also im Grunde das, was ich mir bei meinen zwanzig Fenstern gewünscht hätte, eine Stufe tiefer. Und wer beim Wegklicken ein ungutes Gefühl hat, liegt mit diesem Gefühl richtig. Es ist keine Paranoia, sondern die passende Sicherheitsintuition.

Die Anbieter sind nicht untätig. Agenten laufen zunehmend in Sandboxes, abgeschottete Umgebungen, in denen sie weniger anrichten können, und manche Werkzeuge zeigen inzwischen eine Vorschau, was ein Schritt bewirkt, bevor er läuft. Das mildert das Problem, löst es aber nicht. Solange der eigentliche Schaden erst zur Laufzeit von außen nachgeladen wird, sieht auch die beste Vorschau nur das, was zum Zeitpunkt der Anzeige da ist.

Wohin dieser hilfsbereite Reflex im großen Maßstab führen kann, wenn Angreifer ihn systematisch ausnutzen, ist ein Thema für sich. Was passiert, wenn dein Agent nachts für jemand anderen arbeitet, habe ich gesondert beschrieben.

Vier Gräben, die alle derselbe sind

Wenn man meinen abgebrochenen Nachmittag auseinandernimmt, stecken darin vier verschiedene Lücken. Sie sehen unterschiedlich aus, sind aber im Kern dasselbe. Der niedrige Einstieg bringt einen an einen Punkt, für den einem das Rüstzeug fehlt.

Die vier Lücken beim agentischen Arbeiten

Die Urteilslücke. Der Agent will etwas tun, das grenzwertig aussieht, und du kannst nicht beurteilen, ob es das ist. Ein Agent, der wirklich eigenständig handelt, tut das oft schneller, als du mitliest. Oft ist die einzelne Aktion ja wirklich harmlos. Beurteilen müsstest du die Kette, und die siehst du nicht.

Die Kontrolllücke. Er installiert Dinge auf deinem Rechner, greift auf Dateien zu, ändert Konfigurationen. Nichts davon überblickst du in dem Tempo, in dem es passiert.

Die Sicherheitslücke. Ein empfohlenes Repository kann präpariert sein, ohne dass man es dem Code ansieht. Und gerade der niedrige Einstieg sorgt dafür, dass die Leute darauf stoßen, die am wenigsten prüfen können, was sie da einrichten.

Die Ermüdungslücke. Die vielen Einzelabfragen zermürben dich, bis du nur noch klickst. Genau darauf ist das Muster stellenweise ausgelegt.

Man kann das auch anders sagen. Die Werkzeuge sind zugänglich geworden, die Verantwortung nicht. Die ist geblieben, wo sie war, nur trägt sie jetzt jemand, der eben noch dachte, das sei ein Nachmittagsprojekt.

Was das für dich heißt, wenn du gerade anfängst

Nichts davon ist ein Grund, die Finger davon zu lassen. Agentisch arbeiten ist nützlich, vielleicht sogar die Zukunft. Der einfache Einstieg über Cowork oder ChatGPT Work ist deshalb eine gute Sache. Man sollte nur wissen, dass hinter der niedrigen ersten Stufe eine zweite liegt, die man von unten nicht sieht.

Praktisch heißt das dreierlei. Frag den Agenten vorher, was auf dich zukommt, welche Tools, welche Zugriffe, welche Installationen. Das nimmt dir die Entscheidung nicht ab, aber es gibt dir das Gesamtbild, das die Einzelabfragen dir vorenthalten. Bleib misstrauisch bei allem, was von außen kommt, empfohlene Repositories eingeschlossen. Eine Empfehlung ist kein Sicherheitszertifikat. Und wenn dir etwas grenzwertig vorkommt, brich ab. Das ist keine Niederlage, sondern die richtige Antwort.

Ich habe an dem Nachmittag nichts installiert und weiß bis heute nicht, ob der agentische Workflow harmlos war. Womöglich war es das. Dennoch gibt es eine Grenze. (lk)