Human in the Loop bei KI-Agenten: was Freigabe braucht

Ein KI-Agent mit Human in the Loop bittet eine Person, eine Aktion freizugeben, bevor sie ausgeführt wird, aber nur bei Aktionen, bei denen ein Fehler teuer, schwer umkehrbar oder rechtlich heikel ist. Im Kundenservice kann der Agent eine FAQ beantworten oder eine Adresse ändern, ohne zu fragen; eine Erstattung über Ihrer Grenze braucht eine Freigabe, und das Löschen der Daten eines Kunden sollte nie die Entscheidung des Agenten sein.

Kurz gesagt

• Entscheiden Sie über Autonomie pro Aktion, nicht pro Agent: Derselbe KI-Agent kann allein antworten, innerhalb einer Grenze erstatten und eine Kontoschließung übergeben.
• Bewerten Sie jede Aktion nach vier Folgen (Umkehrbarkeit, Geld, Recht oder Compliance, Schaden für den Kunden) von 0 bis 3, und lassen Sie den höchsten Wert die Stufe bestimmen.
• Fünf Stufen decken die Arbeit im Kundenservice ab: informieren (nur antworten), allein handeln, innerhalb einer Grenze handeln, mit Freigabe handeln, nie.
• Eine Freigabe ist nur dann eine Kontrolle, wenn die freigebende Person die richtigen Fakten sieht, rechtzeitig antwortet und auch einmal Nein sagt.
• Weiten Sie Autonomie Intent für Intent aus oder schränken Sie sie ein, auf Basis von Belegen: bewertete Konversationen, Rückabwicklungen und geprüfte Freigaben.

Was bedeutet Human in the Loop bei einem KI-Agenten?

Human in the Loop heißt, dass eine Person eine vorgeschlagene Aktion eines KI-Agenten freigeben, ändern oder ablehnen muss, bevor sie ausgeführt wird. Human on the Loop heißt, dass der Agent handelt und eine Person ihn überwacht und danach eingreifen kann. Der Kundenservice braucht beides: in the Loop für die wenigen riskanten Aktionen, on the Loop für alles andere.

Die meisten Leitfäden behandeln den Menschen als einen einzigen Prüfpunkt für den ganzen Agenten. Im Kundenservice scheitert das in beide Richtungen: Ein Loop bei jeder Aktion begräbt Teamleitungen unter Freigaben, und ein Loop bei keiner Aktion lässt den Agenten ein Abo sofort kündigen, obwohl der Kunde nur die automatische Verlängerung stoppen wollte.

Agentenplattformen bauen den Mechanismus für Sie. Das Agent Framework von Microsoft zum Beispiel pausiert einen Workflow und sendet eine Freigabeanfrage, wenn der Agent ein Tool aufrufen will, das als freigabepflichtig markiert ist, und setzt fort, sobald eine Antwort kommt (Microsoft Learn). Was die Plattform nicht entscheidet: welche Aktionen diese Markierung bekommen. Diese Entscheidung liegt bei der Leitung Kundenservice, der verantwortlichen Person für den KI-Agenten und den Verantwortlichen für Richtlinien.

OWASP nennt den Fehler, den das verhindert, „Excessive Agency“ (übermäßige Handlungsfreiheit) und führt unter den Gegenmaßnahmen eine Human-in-the-Loop-Kontrolle auf, „um zu verlangen, dass ein Mensch Aktionen mit großer Wirkung freigibt, bevor sie ausgeführt werden“ (OWASP LLM06:2025). Schwierig ist, „große Wirkung“ für Ihre eigenen Aktionen im Kundenservice zu definieren. Unser Leitfaden zur KI-Agenten-Governance beschreibt 15 Kontrollen; dieser Artikel geht tiefer auf Kontrolle 5 (Aktionsstufen) und die Kontrollen 6 und 7 (Freigaben und die Aufsicht über die Freigebenden) ein.

Welche fünf Autonomiestufen gibt es für die Aktionen von KI-Agenten?

Die fünf Stufen sind: 0, informieren (nur aus freigegebenen Inhalten antworten); 1, allein handeln bei umkehrbaren Aktionen ohne Geld; 2, innerhalb einer Grenze handeln bei Geld oder Zusagen; 3, mit der Freigabe einer Person handeln; 4, nie handeln, sondern übergeben. Jede Aktion gehört zu genau einer Stufe.

Das sind dieselben Stufen wie im Governance-Leitfaden, sodass eine einzige Matrix Ihre Governance-Dokumentation und Ihre Plattformkonfiguration bedient. Die Guardrails setzen dann die Grenzen innerhalb jeder Stufe durch.

Wie entscheiden Sie, welche Aktionen eines KI-Agenten eine menschliche Freigabe brauchen?

Bewerten Sie jede Aktion nach vier Folgen, von 0 (keine) bis 3 (schwer): Umkehrbarkeit, Geld, rechtliches oder Compliance-Risiko und Schaden für den Kunden, wenn die Aktion falsch ist. Der höchste Einzelwert bestimmt die Stufe, nicht die Summe, denn eine günstige Aktion, die sich nicht rückgängig machen lässt, bleibt eine Aktion, die sich nicht rückgängig machen lässt.

Das folgt der Logik von Singapurs Model AI Governance Framework for Agentic AI. Danach sollten Organisationen Prüfpunkte festlegen, die eine menschliche Freigabe verlangen: bei folgenreichen Aktionen, bei unumkehrbaren Aktionen (zu seinen Beispielen gehören das endgültige Löschen von Daten und Zahlungen), bei auffälligem Verhalten und bei Grenzen, die Nutzer selbst setzen (IMDA, Version 1.5, Abschnitt 2.2.2; siehe unsere Zusammenfassung des Rahmenwerks). Leitungen im Kundenservice sagen es einfach: nach den Folgen automatisieren, nicht danach, wie komplex die Konversation aussieht. Die Skala unten macht das wiederholbar, sodass zwei Personen, die dieselbe Aktion bewerten, zum selben Ergebnis kommen.

Die Skala der Folgen

Die Bewertungsregel

Wenden Sie die Regeln in dieser Reihenfolge an und hören Sie bei der ersten auf, die zutrifft:

1. Die Aktion ändert nichts (sie beantwortet nur eine Frage): Stufe 0, informieren.
2. Recht oder Schaden für den Kunden hat den Wert 3: Stufe 4, nie. Eine Person, die diesen Prozess verantwortet, übernimmt den Fall.
3. Eine Dimension hat den Wert 2 oder 3: Stufe 3, mit Freigabe handeln.
4. Geld hat den Wert 1: Stufe 2, innerhalb einer Grenze handeln.
5. Alles andere (alle Werte 0 oder 1, kein Geld): Stufe 1, allein handeln.

Wenden Sie dann drei Kontextregeln an, unabhängig von der Stufe der Aktion. Ist die Identität nicht verifiziert, darf der Agent überhaupt nicht im Konto handeln. Zeigt der Kunde Anzeichen von Schutzbedürftigkeit, erwähnt er rechtliche Schritte oder reicht er eine formelle Beschwerde ein, geht die Konversation an eine Person (Stufe 4). Ist die Anfrage für diesen Kunden ungewöhnlich, etwa eine dritte Erstattung in einem Monat, steigt sie eine Stufe auf. Das ist der Prüfpunkt der IMDA für auffälliges Verhalten, übersetzt in den Kundenservice.

Welche Aktionen im Kundenservice brauchen eine menschliche Freigabe? Die Autonomie-Matrix

Adressänderungen und das Abschalten der automatischen Verlängerung können allein laufen; kleine Erstattungen, Gebührenerlasse und Kulanzgutschriften laufen innerhalb einer Grenze; größere Erstattungen, sofortige Kündigungen und Kontoschließungen brauchen eine Freigabe; das Löschen von Daten und das Ändern der Bankverbindung bleiben bei einer Person.

Die Grenzen (L1 = 50 $, L2 = 250 $) und die Werte unten sind eine Illustration für ein Team mit Abos und E-Commerce. Übernehmen Sie die Spalten, nicht die Zahlen.

Definieren Sie die Aktion genau. „Abo kündigen“ sind zwei Aktionen mit unterschiedlichen Stufen. Ein Agent, der sofort kündigt, obwohl der Kunde nur die nächste Verlängerung stoppen wollte, hat die falsche Aktion korrekt ausgeführt.

Trennen Sie die Anfrage von der Ausführung. Der Agent kann eine Anfrage auf Datenlöschung annehmen und protokollieren (Stufe 1), während die Löschung selbst beim Datenschutzteam bleibt (Stufe 4). Nach der DSGVO muss das Unternehmen dem Kunden Informationen über die auf eine solche Anfrage ergriffenen Maßnahmen „unverzüglich, in jedem Fall aber innerhalb eines Monats nach Eingang des Antrags“ zur Verfügung stellen (Art. 12 Abs. 3 DSGVO). Eine saubere Übergabe mit Ticket und Frist ist deshalb die Aufgabe des Agenten.

Prüfen Sie die Spalte Recht mit Ihrer eigenen Rechtsberatung. Art. 22 DSGVO gibt Menschen das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt, mit Ausnahmen; greift eine Ausnahme, muss das Unternehmen mindestens das Recht auf Erwirkung des Eingreifens einer Person anbieten. Ob eine Kontoschließung oder eine Ablehnung darunter fällt, hängt von Ihrem Fall ab, und deshalb schickt die Matrix solche Aktionen an eine Person. Für die Pflichten in der EU lesen Sie unseren Leitfaden zur KI-Verordnung im Kundenservice.

Wie funktioniert ein Freigabe-Workflow für KI-Agenten in der Praxis?

Der Agent schlägt die Aktion vor, die Plattform hält sie an und schickt eine Freigabekarte an die richtige Person, die innerhalb einer festgelegten Zeit freigibt, ändert oder ablehnt, und der Agent sagt dem Kunden, wie es weitergeht. Antwortet niemand rechtzeitig, wird die Aktion abgelehnt, und der Fall geht an eine Person.

Wer freigibt

Leiten Sie jede Aktion der Stufe 3 an die Rolle, die diese Entscheidung bei menschlichen Agenten bereits trifft, nicht an eine neue Rolle.

Wie schnell Freigaben sein müssen

Die Freigabezeit sollte zum Kanal passen. Im Live-Chat wartet der Kunde, also brauchen Sie eine Antwort in Minuten oder eine klare Nachricht, dass die Aktion per E-Mail folgt. Bei E-Mails und Tickets sind ein paar Stunden oft in Ordnung. Legen Sie ein Ziel pro Kanal fest und messen Sie es.

Ist die Frist abgelaufen, lehnen Sie standardmäßig ab. Die IMDA nennt es unter ihren Monitoring-Maßnahmen, „Aktionen standardmäßig abzulehnen, wenn die Freigabe-Infrastruktur versagt“, etwa wenn menschliche Aufsichtspersonen nicht erreichbar sind (Abschnitt 2.2.2). Der Kunde sollte dann hören, dass sich eine Person meldet, niemals Schweigen.

Was die freigebende Person sieht

Die IMDA rät, Freigabeanfragen „kontextbezogen und gut verdaulich“ zu halten, kurz und klar statt langer Protokolle, das Risiko deutlich zu machen und nützliche Daten wie das Risiko der Aktion mitzuliefern (Abschnitt 2.2.2). Für eine Erstattung im Kundenservice heißt das eine Karte:

• Die Aktion, der Betrag und die auslösende Regel („Erstattung 120 $, über der Grenze von 50 $“).
• Status der Identitätsprüfung und relevante Historie, etwa Erstattungen in den letzten 12 Monaten.
• Die Richtlinie, auf die sich der Agent stützt, verlinkt, mit ihrer Version.
• Die Begründung des Agenten in einem Satz, eine Zusammenfassung in zwei Zeilen und ein Link zum Transkript.
• Die Werte der Folgen, damit die freigebende Person weiß, was auf dem Spiel steht.
• Freigeben, ändern oder ablehnen, mit Pflichtbegründung beim Ändern und Ablehnen und einer schriftlichen Rechtfertigung bei Freigaben über L2.

Rechenbeispiel: Wie viele Freigaben schafft Ihr Team?

Eine Illustration, mit für das Beispiel gewählten Zahlen. Ein KI-Agent bearbeitet 40.000 Konversationen im Monat, und 6 % davon enden in einer Aktion der Stufe 3. Das sind 2.400 Freigaben im Monat oder etwa 109 pro Arbeitstag bei 22 Tagen. Bei 90 Sekunden pro Freigabe sind das jeden Tag etwa 2,7 Stunden Zeit von Teamleitungen, bevor jemand ein Transkript gründlich gelesen hat.

Freigaben sind ein Posten in der Personalplanung, also planen Sie sie wie einen. Steigt der Anteil der Stufe 3 auf 15 %, hat dasselbe Team etwa 273 Freigaben am Tag vor sich, und die Qualität der Prüfung sinkt. Das ist der Moment, einige Aktionen auf Basis von Belegen in Stufe 2 mit Grenze zu verschieben, statt die Menschen zu bitten, schneller zu klicken.

Wie vermeiden Sie Freigabemüdigkeit und bloßes Abnicken?

Messen Sie die Freigebenden, nicht nur den Agenten. Verfolgen Sie die Übersteuerungsquote jeder freigebenden Person (wie oft sie ändert oder ablehnt) und ihre Prüfzeit. Die IMDA hält fest, dass eine niedrige Übersteuerungsquote auf bloßes Abnicken hindeuten kann und eine kürzere Prüfzeit auf Automatisierungs-Bias oder Prüfmüdigkeit (Abschnitt 2.2.2). Prüfen Sie dann eine Stichprobe der freigegebenen Aktionen.

Automatisierungs-Bias, also den Vorschlag eines Systems ohne Prüfung zu übernehmen, wächst, wenn Anfragen fast immer richtig sind. Das Problem wird also größer, je besser der Agent wird.

Eine Illustration dessen, was der Bericht zeigen kann, mit erfundenen Zahlen:

Teamleitung A ist der Ausreißer, den die IMDA beschreibt: eine freigebende Person, deren Entscheidungsmuster von der Norm abweichen. Vier Sekunden reichen nicht, um eine Karte zu lesen. Das ist kein disziplinarischer Befund: Meist heißt es, dass A die Schicht mit dem meisten Betrieb abdeckt.

Vier Gewohnheiten halten Freigaben aussagekräftig:

1. Halten Sie Stufe 3 klein. Bearbeitet eine freigebende Person mehr als eine festgelegte Zahl von Anfragen pro Stunde, verschieben Sie eindeutig sichere Aktionen eine Stufe nach unten, mit Grenze.
2. Prüfen Sie freigegebene Aktionen. Lassen Sie die QA jede Woche eine Stichprobe freigegebener Aktionen gegen die Richtlinie prüfen. Eine Freigabequote sagt Ihnen nichts; eine Quote richtiger Freigaben schon.
3. Schulen Sie Freigebende in den Fehlermustern von Agenten, etwa dem Zitieren einer veralteten Richtlinie, das die IMDA als Beispiel nennt. Unser Artikel dazu, warum KI-Gespräche scheitern, listet die häufigsten auf.
4. Rotieren und begrenzen Sie. Verteilen Sie Freigaben auf mehrere Teamleitungen und legen Sie eine Obergrenze pro Schicht fest, damit niemand Hunderte Anfragen hintereinander freigibt.

Welche Belege sollten die Berechtigungen eines KI-Agenten ausweiten oder einschränken?

Weiten Sie die Autonomie für einen Intent aus, wenn seine bewerteten Konversationen bestehen, seine Freigaben sich bei der Prüfung meist als richtig erweisen und seine Aktionen selten rückgängig gemacht oder angefochten werden. Schränken Sie sie ein, wenn eines davon nachlässt. Ändern Sie immer nur einen Schritt: eine Grenze anheben oder eine Aktion eine Stufe nach unten verschieben, dann die nächsten Wochen beobachten.

Die Belege pro Intent:

Eine niedrige Übersteuerungsquote kann bedeuten, dass der Agent richtig liegt, oder dass die Freigebenden nicht mehr lesen. Nur die Prüfung und die Prüfzeiten unterscheiden beides, also nutzen Sie alle drei, bevor Sie ausweiten. Weiten Sie dann in Schritten aus: Heben Sie L1 für Erstattungen in einem Intent von 50 $ auf 75 $ an, lassen Sie alles andere gleich, und vergleichen Sie die nächsten vier Wochen mit den letzten vier. Der Governance-Leitfaden enthält Beispielschwellen, um einen Intent eine Stufe aufsteigen zu lassen, und eine Regel für den Abstieg. Um zu prüfen, ob die Aktionen dem Kunden tatsächlich geholfen haben, lesen Sie, wie Sie die Lösungsquote von KI-Agenten prüfen, und halten Sie die Richtlinien hinter jeder Grenze mit den Richtlinien für KI-Agenten aktuell.

Wann diese Matrix nicht für Sie ist

Wenn Ihr KI-Agent nur Fragen beantwortet, befinden Sie sich vollständig in Stufe 0: Sie brauchen eine gute Wissensdatenbank, eine Übergaberegel und die Prüfung der Konversationen, keinen Freigabe-Workflow. Bauen Sie die Matrix in der Woche, bevor Sie den Agenten mit Erstattungen oder Kontoänderungen verbinden. Und bei einigen Dutzend Aktionen pro Woche kann eine Teamleitung jede einzelne im Nachhinein lesen, sodass Berichte zur Übersteuerung wenig bringen.

Wo Kaizo ins Bild passt

Kaizo ist QA und Governance-Aufsicht für Supportteams, in denen Menschen und KI-Agenten die Arbeit teilen. AutoPilot bewertet jede gelöste Konversation anhand Ihrer eigenen Scorecard, sodass die Scores der Konversationen in der Belegtabelle aus all Ihren Konversationen stammen, nicht aus einer Stichprobe, und jeder Score mit den Zeilen verknüpft ist, die ihn begründen. Sehen Sie, wie Qualitätssicherung für KI-Agenten funktioniert.

Sehen Sie es an Ihren eigenen Konversationen. Kaizo bewertet 100 % Ihrer Support-Konversationen, von Ihrem Team und Ihren KI-Agenten, und zeigt, wo die Qualität einbricht. Demo buchen.

So starten Sie diese Woche

Sie können die erste Autonomie-Matrix an einem Nachmittag mit der verantwortlichen Person für den KI-Agenten und einer Teamleitung erstellen, aus der Plattformkonfiguration, dem Freigabeprotokoll des letzten Monats und der Bewertungsregel oben.

1. Listen Sie jede Aktion auf, die Ihr KI-Agent heute ausführen kann, aus der Plattformkonfiguration, nicht aus dem Gedächtnis.
2. Bewerten Sie jede Aktion, und wenden Sie dann die Bewertungsregel und die drei Kontextregeln an.
3. Gleichen Sie mit der Plattform ab. Prüfen Sie, ob jede Grenze der Stufe 2 und jede Freigabemarkierung der Stufe 3 in der Plattform durchgesetzt wird, nicht nur im Prompt.
4. Benennen Sie die freigebende Person und die Frist für jede Aktion der Stufe 3, und stellen Sie bei Zeitüberschreitung standardmäßig auf Ablehnung.
5. Holen Sie die Zahlen des letzten Monats: Freigaben pro Tag, Übersteuerungsquote und Median der Prüfzeit pro freigebender Person. Das ist Ihre Ausgangsbasis für die erste Prüfung der Autonomie.

Unser Leitfaden zum agentischen Kundenservice zeigt, wo diese Stufen in die gesamte Einführung passen.

Häufig gestellte Fragen

Was ist eine Human-in-the-Loop-Autorisierung für KI-Agenten?

Das ist eine Regel, nach der ein KI-Agent bestimmte Aktionen erst ausführen darf, wenn eine benannte Person sie freigibt. Der Agent schlägt die Aktion vor, die Plattform hält sie an, und die freigebende Person gibt sie frei, ändert sie oder lehnt sie ab. Die Autorisierung gilt pro Aktion und pro Betrag, nicht als pauschale Berechtigung für den Agenten.

Ist ChatGPT Human in the Loop?

Für sich genommen ist ein Chat-Assistent in einem einfachen Sinn Human in the Loop: Er erzeugt Text, und eine Person entscheidet, was damit geschieht. Sobald er mit Tools verbunden ist, die Aktionen ausführen, etwa Erstattungen auslösen, müssen Sie entscheiden, welche Aktionen allein laufen und welche auf eine Person warten.

Wozu dient ein Kill Switch bei einem KI-Agenten?

Ein Kill Switch stoppt einen KI-Agenten oder eine seiner Aktionen schnell, wenn etwas schiefgeht, etwa ein fehlerhaftes Release oder ein Richtlinienfehler, der sich massenhaft wiederholt. Er ergänzt Freigaben: Freigaben stoppen einzelne riskante Aktionen, bevor sie passieren, und ein Stoppmechanismus begrenzt den Schaden, wenn ein Muster durchrutscht. Prüfen Sie, was Ihre Agentenplattform bietet, um einen Agenten oder eine einzelne Aktion zu pausieren, und wer das tun darf.

Sollten Grenzen für Erstattungen für jeden Kunden gleich sein?

Nicht unbedingt. Legen Sie eine Grenze pro Aktion fest, und senken Sie sie oder verlangen Sie eine Freigabe bei kürzlichen Erstattungen, nicht verifizierter Identität oder ungewöhnlichen Anfragen. Die IMDA nennt auch Grenzen, die Nutzer selbst setzen, etwa eine Freigabe für Käufe über einem Betrag.

Was sagt der KI-Agent dem Kunden, während er auf die Freigabe wartet?

Er sollte klar sagen, dass ein Kollege oder eine Kollegin die Aktion bestätigen muss, wie lange das üblicherweise dauert und wie der Kunde Bescheid bekommt. Er sollte das Ergebnis nie vor der Freigabe versprechen: Ein Versprechen, das abgelehnt wird, ist schlimmer als eine kurze Wartezeit.

Haftet ein Unternehmen weniger für Fehler von KI-Agenten, wenn ein Mensch im Loop ist?

Nein. Eine Freigabe zeigt, dass eine Person die Aktion geprüft hat, aber die Verantwortung bleibt beim Unternehmen, und ein Protokoll durchgewinkter Freigaben kann zeigen, dass die Aufsicht nicht echt war. Bewahren Sie das Freigabeprotokoll, die Übersteuerungsquoten und die Prüfungen auf, damit Sie zeigen können, dass die Kontrollen funktioniert haben.