Verstehen
Governance von KI-Agenten
KI-Agenten zu steuern heißt, drei Fragen zu beantworten, bevor man ihnen das Ruder überlässt: Wie weit dürfen sie allein gehen, wie viel dürfen sie ausgeben, und wie lässt sich belegen, was sie getan haben. Ein Agent, der handelt, verpflichtet das Unternehmen. Ohne diese Antworten ist Autonomie keine Fähigkeit, sondern ein Risiko.
1. Die Autonomiegrenze
Nicht alle Handlungen wiegen gleich schwer. Ein Dokument abzulegen lässt sich anders zurücknehmen als eine an einen Kunden gesendete Nachricht, und eine Nachricht leichter als eine Zahlung. Die brauchbare Regel besteht deshalb darin, die Handlungen nach ihrer Umkehrbarkeit zu ordnen und die menschliche Freigabe dort zu setzen, wo der Rückweg unmöglich wird.
Eine Garantie wiegt schwerer als die übrigen: Die Zustimmung muss vor der Handlung eingeholt und darf niemals danach festgestellt werden. Eine Meldung darüber, was gerade hinausgegangen ist, ist keine Governance, sondern ein Bericht. Der ergänzende Grundsatz ist der der geringsten Rechte: Jeder Agent erhält nur die Werkzeuge, die sein Auftrag verlangt, sodass jede Abweichung durch das begrenzt bleibt, was er nie berühren durfte.
2. Die Budgetkontrolle
Ein Agent, der denkt, verbraucht — und er verbraucht umso mehr, je hartnäckiger er bleibt. Darin liegt der grundsätzliche Unterschied zu herkömmlicher Software, deren Kosten nicht von der Schwierigkeit der Aufgabe abhängen. Eine Schleife, die zu nichts führt, kann deshalb mehr kosten als eine gelungene Arbeit.
Wirksame Kontrolle ruht auf drei Anforderungen. Das Budget muss je Agent und je Zeitraum zugeteilt sein, sonst zieht ein einzelner Agent die Mittel aller auf sich. Es muss vor dem Aufruf geprüft und nicht im Nachhinein aufsummiert werden: eine Überschreitung auf der Rechnung festzustellen verhindert sie nicht. Und es muss durchsetzbar sein: Wird die Grenze erreicht, hält der Agent an und meldet dies, statt weiterzulaufen.
Diese vorherige Reservierung ist der Weg, auf dem nullbot eine Überschreitung unmöglich statt bloß unwahrscheinlich macht.
3. Nachvollziehbarkeit
Wenn eine Handlung überrascht, lautet die Frage nicht nur „was ist geschehen“, sondern „warum hielt der Agent dies für das Richtige“. Ein brauchbares Protokoll bewahrt deshalb das verfolgte Ziel, die eingesehenen Informationen, die gewählte Handlung, ihr Ergebnis und die Identität der Person, die freigegeben hat, wenn eine Freigabe erforderlich war.
Diese Spur dient drei Zwecken, die alles andere als theoretisch sind: eine schlecht formulierte Regel zu korrigieren, statt dem Agenten die Schuld zu geben; einem Kunden oder einem Prüfer zu antworten, der fragt, auf welcher Grundlage eine Entscheidung getroffen wurde; und nach einem Zwischenfall zu unterscheiden, was auf die erteilte Anweisung und was auf die Ausführung zurückgeht.
4. Die Hoheit über die Daten
Ein Agent liest, um zu entscheiden. Er liest also möglicherweise das Sensibelste, was das Unternehmen besitzt: Nachrichten, Verträge, Kundenakten, Finanzdaten. Die Frage der Governance wird damit ebenso geografisch wie rechtlich: Wo werden diese Inhalte verarbeitet, und was verlässt das Unternehmen?
nullbot antwortet mit Architektur statt mit Versprechen: Die Software wird auf Ihren Rechnern installiert und dort ausgeführt, die Daten bleiben dort, wo sie entstehen, und der Zugang zu den Modellen künstlicher Intelligenz läuft über Ihre eigenen Schlüssel. Unsere Seite zur Sicherheit beschreibt dies im Detail, und die Vereinbarung zur Auftragsverarbeitung setzt den vertraglichen Rahmen.
5. Häufige Fragen
Wie verhindert man, dass ein Agent sein Budget überschreitet?
Indem die Ausgabe vor dem Aufruf des Modells reserviert und nicht danach verbucht wird. Der vorgesehene Betrag wird vom Kontingent des Agenten einbehalten; ist das Kontingent erschöpft, findet der Aufruf nicht statt und der Agent hält an und nennt den Grund. Ein im Nachhinein eingesehener Zähler kann nichts verhindern.
Welche Handlungen sollten eine menschliche Freigabe verlangen?
Jene, die sich nicht rückgängig machen lassen, und jene, die das Unternehmen gegenüber Dritten binden: Versand an einen Kunden, finanzielle Verpflichtung, endgültige Löschung, Änderung eines Vertrags. Das praktische Kriterium ist die Umkehrbarkeit, nicht die technische Schwierigkeit.
Wer haftet für das, was ein Agent tut?
Das Unternehmen, das ihn eingesetzt hat, so wie es für die Arbeit seiner Mitarbeiter einsteht. Genau deshalb sind die Autonomiegrenze und die Spur der Entscheidungen unverzichtbar: Sie erlauben zu belegen, was genehmigt wurde, von wem und auf welcher Grundlage.
Lässt sich die Autonomie mit der Zeit ausweiten?
Das ist der empfohlene Weg. Man beginnt mit einer breiten Freigabepflicht, beobachtet, wo sie stets erteilt wird, und lockert die Auflage genau dort. Der umgekehrte Weg — alles erlauben und nach einem Zwischenfall einschränken — kostet weit mehr.
Weiterlesen
Weiterlesen: KI-Agenten im Unternehmen einsetzen, oder was ist ein agentisches System.