KI-Agenten-Governance im Kundenservice: 15 Kontrollen

KI-Agenten-Governance im Kundenservice ist die Gesamtheit der Verantwortlichen, Regeln und Prüfungen, die festlegen, was ein KI-Agent gegenüber Ihren Kunden sagen und tun darf, wie seine Konversationen geprüft werden und was passiert, wenn er etwas falsch macht. Gut umgesetzt ist sie keine Bremse. Sie liefert die Belege, die Sie brauchen, um dem Agenten Schritt für Schritt mehr Autonomie zu geben.

Kurz gesagt

• Die meisten Leitfäden behandeln IT und Sicherheit. Der Kundenservice braucht zusätzlich Governance dafür, was der Agent zusagt, welche Richtlinien er anwendet und wann er übergibt.
• Jeder KI-Agent braucht eine verantwortliche Person, und jede Richtlinie, die er anwendet, braucht eine verantwortliche Person und ein Prüfdatum.
• Ordnen Sie die Aktionen des Agenten in Stufen: nur antworten, allein handeln, innerhalb einer Grenze handeln, mit Freigabe handeln, nie.
• Aufsicht heißt, die Konversationen selbst zu bewerten und zu prüfen, ob die Menschen, die Aktionen des Agenten freigeben, sie nicht einfach durchwinken.
• Die 15 Kontrollen unten, jede mit ihrem Beleg, bilden ein Betriebsmodell zum Kopieren und die Schwellen, um Autonomie auszuweiten.

Was ist KI-Agenten-Governance im Kundenservice?

KI-Agenten-Governance im Kundenservice bedeutet festzulegen, wer jeden KI-Agenten verantwortet, innerhalb welcher Richtlinien und Grenzen er arbeitet, welche Aktionen einen Menschen brauchen, wie seine Konversationen geprüft werden und wie mit Vorfällen umgegangen wird. IT-Governance fragt, ob der Agent ein System erreichen kann. Governance im Kundenservice fragt, ob das, was er für den Kunden getan hat, richtig war.

Die meisten Seiten zu diesem Thema sind für IT- und Sicherheitsteams geschrieben. Diese Arbeit ist notwendig, aber nicht ausreichend: Ein Agent mit perfekt zugeschnittenen Berechtigungen kann trotzdem 300 Kunden die falsche Rückgabefrist nennen.

Neu beim Begriff? Beginnen Sie mit was agentische KI ist (auf Englisch) und unserem Leitfaden zum agentischen Kundenservice.

Was sollte ein Governance-Framework für KI-Agenten enthalten?

Ein Governance-Framework für KI-Agenten im Kundenservice sollte ein Agentenregister, benannte Verantwortliche, Verantwortung für Richtlinien und Änderungskontrolle, Aktionsstufen mit Freigabepunkten, Tests vor dem Release, Prüfung der Konversationen, Eskalationsregeln, KI-Offenlegung, ein Runbook für Vorfälle und eine regelmäßige Prüfung der Autonomie enthalten. Jede Kontrolle braucht einen Beleg, den Sie einem Prüfer zeigen könnten.

Kopieren Sie die Tabelle, weisen Sie jeder Zeile eine verantwortliche Person zu, und die Lücken in Ihrem aktuellen Setup werden schnell sichtbar.

Die Kontrollen 1, 8, 9 und 13 liegen nahe an der Plattform- und IT-Arbeit, die jede Einführung mit sich bringt. Die Kontrollen 3, 4, 7, 10 und 15 liegen beim Supportteam, und sie entscheiden darüber, ob die Fehler des Agenten klein bleiben.

Wer verantwortet einen KI-Agenten im Kundenservice?

Eine Person verantwortet jeden KI-Agenten im Kundenservice: meist eine verantwortliche Person für den KI-Agenten, die an die Leitung Kundenservice berichtet, die für seine Ergebnisse geradesteht. Verantwortliche für Richtlinien halten die Inhalte aktuell, die QA-Leitung prüft seine Konversationen, die IT sichert seinen Zugriff, und die Rechtsabteilung prüft die Offenlegung. Geteilte Verantwortung ohne einen Namen ist die häufigste Lücke.

Singapurs Rahmenwerk für agentische KI ist in diesem Punkt deutlich: „Als Betreiber bleiben Organisationen und Menschen für die Entscheidungen und Handlungen von Agenten verantwortlich“ (IMDA, Model AI Governance Framework for Agentic AI, Version 1.5, Abschnitt 2.2.1). Der Anbieter baut den Agenten. Ihr Unternehmen verantwortet, was er Ihren Kunden sagt.

Die Rolle ist echte Arbeit. Ein Team, das zwei Monate lang Enterprise-Plattformen für KI-Agenten evaluiert hatte, kam auf Reddit zu dem Schluss, dass es ungefähr eine Vollzeitstelle bräuchte, um einen Agenten zu verantworten (Thread). Planen Sie das vor dem Launch ein.

Eine RACI-Matrix zum Kopieren (R = führt aus, A = verantwortlich, C = konsultiert, I = informiert):

Welchen Richtlinien sollte ein KI-Agent folgen, und wer hält sie aktuell?

Ein KI-Agent sollte denselben Kundenrichtlinien folgen wie Ihr menschliches Team (Erstattungen, Rückgaben, Berechtigung, Entschädigung), dazu Verhaltensregeln (Offenlegung, Ton, schutzbedürftige Kunden) und Eskalationsregeln. Jede Richtlinie braucht eine benannte verantwortliche Person und ein Prüfdatum, und jede Änderung muss die Inhalte des Agenten erreichen, bevor sie wirksam wird.

Der Fehler ist hier selten eine dramatische Halluzination. Es ist ein Agent, der die Richtlinie vom letzten Monat perfekt anwendet, in jeder Konversation zu diesem Thema, bis jemand die Inhalte ändert. Deshalb prüft unser Leitfaden zum Erkennen von KI-Halluzinationen Antworten gegen die Richtlinie selbst und liest die Geldthemen zuerst.

Drei Regeln halten Richtlinien aktuell: Der Agent antwortet aus denselben Richtlinienseiten, die Ihr Team nutzt, nicht aus einer Kopie in einem Prompt; jedes Ticket für eine Richtlinienänderung enthält „KI-Agenten aktualisieren und testen“ vor dem Stichtag; und jeden Monat listet die QA-Leitung die Richtlinien mit überschrittenem Prüfdatum auf, damit die Verantwortlichen sie bestätigen oder aktualisieren.

Welche Aktionen darf ein KI-Agent allein ausführen, und welche brauchen eine Freigabe?

Ein KI-Agent kann geringwertige, umkehrbare Aktionen innerhalb schriftlicher Grenzen allein ausführen, etwa eine Rechnung erneut senden oder eine Erstattung unter einem festgelegten Betrag auslösen. Folgenreiche, unumkehrbare oder ungewöhnliche Aktionen brauchen vorher die Freigabe eines Menschen. Manche Aktionen führt er nie aus. Schreiben Sie die Stufen mit Schwellen auf, bevor der Agent live geht.

Das Rahmenwerk der IMDA nennt vier Arten von Prüfpunkten, die eine menschliche Freigabe auslösen sollten (Abschnitt 2.2.2): folgenreiche Aktionen, unumkehrbare Aktionen (zu seinen Beispielen gehören das Versenden von Mitteilungen und Zahlungen), auffälliges Verhalten und Grenzen, die der Nutzer setzt. Auf den Kundenservice übertragen:

Zwei Details sorgen dafür, dass die Stufen halten. Die Konfiguration der Plattform setzt die Grenze durch, nicht nur der Prompt. Und auch Freigaben brauchen Governance. Die IMDA empfiehlt, die Übersteuerungsquote der Menschen zu verfolgen, denn „eine niedrige Quote kann auf bloßes Abnicken hindeuten“, und die Prüfzeit, denn eine kürzere Zeit kann auf Automatisierungs-Bias oder Prüfmüdigkeit hindeuten (Abschnitt 2.2.2). Wer 100 % der Anfragen in jeweils vier Sekunden freigibt, ist keine Kontrolle.

Wenn mehrere Agenten an einem Fall arbeiten, müssen die Stufen über alle hinweg zusammenpassen. Das Beispiel der IMDA selbst: ein Support-Agent, der Erstattungen anbietet, um Beschwerden schnell zu lösen, während ein Agent zum Schutz der Umsätze Erstattungen über einer Schwelle blockiert (Abschnitt 1.2.3). Unser Leitfaden zur KI-Agenten-Orchestrierung zeigt, wie Sie diese Übergaben gestalten.

Wie prüfen Sie die Konversationen eines KI-Agenten?

Sie prüfen die Konversationen eines KI-Agenten, indem Sie sie anhand einer schriftlichen Scorecard bewerten (Richtigkeit, Richtlinie, Eskalation, Offenlegung, Ton) und jeden Score mit den Zeilen verknüpfen, die ihn begründen. Bewerten Sie alle, mindestens aber jede Konversation ab Stufe 2, denn die Fehler eines KI-Agenten wiederholen sich, und eine kleine Stichprobe findet sie spät.

Die Aufsicht hat drei Ebenen, jede mit einem eigenen Leitfaden in dieser Reihe:

Die Lösungsquote ist kein Qualitätsscore: Eine Konversation zählt als gelöst, wenn der Kunde keinen Menschen erreicht hat, und das sagt nichts darüber, ob die Antwort richtig war. Unsere Liste der stillen Fehler von KI-Agenten zeigt sechs Wege, auf denen die Fehler eines Agenten als Erfolge gezählt werden.

Nutzen Sie eine Scorecard für Mensch und KI, wo die Kriterien für beide gelten, plus Prüfungen nur für KI wie erfundene Fakten und Richtlinien. Und bemessen Sie Ihre Stichprobe ehrlich: Eine QA-Stichprobe von 3 % (auf Englisch) trägt keine Entscheidungen über einen einzelnen Agenten.

Welche Prüfbelege sollten Sie für einen KI-Agenten aufbewahren?

Bewahren Sie Belege auf, die für jedes Datum zeigen, welche Version des Agenten lief, welche Richtlinien er anwandte, was er tun durfte, wer seine Aktionen freigab, wie seine Konversationen bewertet wurden und wie mit Vorfällen umgegangen wurde. Das ist die Belegspalte der 15 Kontrollen, abgelegt dort, wo ein Prüfer sie findet.

Am schwersten nachträglich zu rekonstruieren sind die Versionshistorie, verknüpft mit den Richtlinienversionen („Welche Rückgabefrist hat der Agent am 3. März angewandt?“), und bewertete Konversationen mit den zugehörigen Transkriptzeilen. Für die Fragen, die IT und Einkauf zu den Tools selbst stellen, lesen Sie unsere Sicherheitscheckliste für KI-QA.

Wie gehen Sie mit einem Vorfall bei einem KI-Agenten um?

Gehen Sie in fünf Schritten vor: eindämmen (das betroffene Thema an Menschen leiten oder die Version zurückrollen), jede betroffene Konversation finden, die betroffenen Kunden entschädigen, die Ursache beheben und erneut testen, dann die nächsten Konversationen bewerten, um zu bestätigen, dass die Korrektur hält. Legen Sie vorab fest, wer den Agenten pausieren darf.

Ein Rechenbeispiel zeigt, warum der zweite Schritt vollständige Abdeckung braucht. Die Zahlen sind eine Illustration, keine Daten eines echten Unternehmens.

• Ein KI-Agent bearbeitet 40.000 Konversationen im Monat. Rückgaben machen 12 % aus, also etwa 4.800 im Monat oder 160 am Tag.
• Am 1. sinkt die Rückgabefrist von 30 auf 14 Tage. Die Inhalte des Agenten werden am 10. aktualisiert, 9 Tage lang wendet er also die alte Frist an.
• In diesen 9 Tagen bearbeitet er etwa 1.440 Konversationen zu Rückgaben. Wenn es in 20 % davon um Artikel geht, die 15 bis 30 Tage alt sind, wird etwa 288 Kunden gesagt, sie könnten noch zurückgeben.
• Eine Zufallsstichprobe von 2 % prüft etwa 800 Konversationen im Monat, also 240 in diesen 9 Tagen. Etwa 29 davon betreffen Rückgaben, und etwa 6 enthalten den Fehler.

Die Stichprobe kann das Problem entdecken. Sie kann Ihnen nicht sagen, wer die anderen 282 Kunden sind; dafür müssen Sie jede Konversation zu dem Thema durchsuchen oder bewerten. Die Zusagen bei einem durchschnittlichen Bestellwert von 60 US-Dollar einzulösen, kostet etwa 17.280 US-Dollar, plus die Kontakte, die das auslöst.

Legen Sie Schweregrade vorab fest. Eine falsche finanzielle oder rechtliche Zusage, die sich bei vielen Kunden wiederholt, oder offengelegte personenbezogene Daten bedeuten: das Thema innerhalb einer Stunde pausieren und die Rechtsabteilung informieren. Eine falsche Antwort zu einer Richtlinie ohne finanzielle Zusage bedeutet: das Thema an Menschen leiten und innerhalb weniger Tage beheben. Probleme mit dem Ton warten auf das nächste Release.

Was verlangen die KI-Verordnung und Singapurs Rahmenwerk von KI-Agenten im Kundenservice?

Die KI-Verordnung verlangt, dass Kunden spätestens bei der ersten Interaktion erfahren, dass sie mit einem KI-System interagieren, es sei denn, das ist offensichtlich; das gilt seit dem 2. August 2026. Singapurs Model AI Governance Framework for Agentic AI ist eine Leitlinie, kein Gesetz, und behandelt Risikobegrenzung, menschliche Verantwortung, technische Kontrollen und Transparenz gegenüber Endnutzern.

KI-Verordnung. Art. 50 Abs. 1 der Verordnung (EU) 2024/1689 legt diese Pflicht den Anbietern von KI-Systemen auf, die direkt mit Menschen interagieren. Die FAQ der Europäischen Kommission zu Art. 50 (aktualisiert am 24. Juli 2026) bestätigt, dass sie ab dem 2. August 2026 gilt, dass der Hinweis ab Beginn der ersten Interaktion fällig ist und dass die Ausnahme „offensichtlich“ eng auszulegen ist. KI, die Beschäftigte überwacht und bewertet, kann nach Anhang III hochriskant sein, mit Pflichten ab dem 2. Dezember 2027 in der 2026 geänderten Fassung (Seite der Kommission zur KI-Verordnung). Unser Leitfaden zur KI-Verordnung im Kundenservice geht auf die Details ein.

Singapur. Das Rahmenwerk der IMDA (Version 1.5, aktualisiert am 5. Juni 2026) richtet sich an Organisationen, die KI-Agenten bauen oder einkaufen. Für Agenten mit Kundenkontakt verlangt es Transparenz, einschließlich der Information an Nutzer, was der Agent tun darf und welche Menschen sie benachrichtigen können, wenn er nicht richtig funktioniert (Abschnitt 2.4.2). Unsere Erklärung zum Governance-Rahmen für agentische KI aus Singapur geht ihn für Supportteams durch.

NIST. In den USA ist das NIST AI Risk Management Framework (Version 1.0, 26. Januar 2023) zur freiwilligen Anwendung gedacht und gliedert die Arbeit in vier Funktionen: Govern, Map, Measure und Manage.

Die 15 Kontrollen lassen sich allen drei zuordnen. Dieser Abschnitt fasst öffentliche Texte zusammen und ist keine Rechtsberatung; prüfen Sie Ihre eigenen Pflichten mit Ihrer Rechtsberatung.

Wie erlaubt Governance, die Autonomie von KI-Agenten Schritt für Schritt auszuweiten?

Governance erlaubt es, Autonomie auszuweiten, indem sie jeden Schritt zu einer Entscheidung mit Belegen macht: Ein Intent steigt eine Stufe auf, wenn seine bewerteten Konversationen, Testergebnisse und Vorfälle vorab festgelegte Schwellen erfüllen, und er steigt ab, wenn nicht. Ohne diese Belege wächst Autonomie aus Optimismus oder gar nicht.

Die IMDA empfiehlt, Agenten schrittweise einzuführen: nach Nutzern, nach den Tools und Protokollen, die der Agent nutzen darf, und nach den Systemen, mit denen er in Berührung kommt (Abschnitt 2.3.3). Im Kundenservice ist die natürliche Einheit der Intent: Weiten Sie einen Intent nach dem anderen aus, nicht den ganzen Agenten.

Beispielschwellen, um einen Intent eine Stufe aufsteigen zu lassen. Das sind illustrative Ausgangspunkte, keine Branchenstandards; legen Sie Ihre eigenen fest:

Regeln für den Abstieg sind genauso wichtig. Eine sinnvolle Regel: Ein kritisches Fehlermuster (zum Beispiel dieselbe Ursache dreimal in einer Woche) setzt den Intent eine Stufe zurück, bis die Korrektur getestet ist und die nächsten Konversationen fehlerfrei bewertet werden. Erst eng, mehr Zuständigkeit nur mit Belegen.

Welche Tools brauchen Sie für die KI-Agenten-Governance?

Sie brauchen Tools für fünf Aufgaben: Steuerung in der Agentenplattform (Grenzen, Releases, Rollback), Sicherheit für Identität und Zugriff, ein Governance- oder Risikoregister, Monitoring und Evaluierung des Agentenverhaltens und die Qualitätsprüfung der Konversationen selbst. Kein einzelnes Tool deckt alle 15 Kontrollen ab. Ordnen Sie deshalb jede Kontrolle dem Tool zu, das ihren Beleg liefert.

Sierra beschreibt zum Beispiel in seinem Beitrag zur Release-Governance eine Prüfung durch Kollegen vor dem Release, eine Rolle für Reviewer und Releases für einen Teil des Traffics. Auch solche Kontrollen brauchen eine Prüfung der Live-Konversationen, sobald eine Änderung alle erreicht.

Wo Kaizo ins Bild passt

Kaizo ist QA-Software für den Kundenservice, die jede Konversation bewertet, von Ihrem Team und von Ihren KI-Agenten. Kaizo deckt die Prüfung der Konversationen ab (Kontrolle 10) sowie die bewerteten Belege für Eskalation und Offenlegung (11 und 12): AutoPilot bewertet jede gelöste Konversation anhand Ihrer eigenen Scorecard und verknüpft jeden Score mit den Belegen. Mehr dazu unter Qualitätssicherung für KI-Agenten, oder buchen Sie einen Termin, um es an Ihren eigenen Konversationen zu sehen.

Wann dieses Modell mehr ist, als Sie brauchen

Wenn Ihr KI-Agent nur aus Ihrem Hilfecenter antwortet, keine Aktionen ausführt und einige Hundert Konversationen im Monat bearbeitet, reichen fünf Kontrollen: eine verantwortliche Person, ein Prüfdatum für Richtlinien, Offenlegung, eine Übergaberegel und regelmäßiges Lesen seiner Konversationen. Ergänzen Sie den Rest, wenn er beginnt, Aktionen auszuführen, mit Geld umzugehen oder Volumen zu bearbeiten, die niemand mehr lesen kann.

So starten Sie diese Woche

Sie können diese Woche starten, ohne neues Tool und ohne Gremium. Fünf Schritte schaffen die Grundlagen für den Agenten, den Sie bereits betreiben, und zeigen, welche Kontrollen fehlen.

1. Benennen Sie die verantwortliche Person. Eine Person pro KI-Agent, schriftlich festgehalten, mit der Leitung Kundenservice als letztverantwortlicher Instanz.
2. Füllen Sie das Register aus. Listen Sie jeden Agenten, die Intents und Kanäle, die er bearbeitet, und seine aktuelle Version auf.
3. Schreiben Sie die Aktionsstufen auf. Ordnen Sie jede Aktion, die der Agent ausführen kann, einer Stufe mit Schwellen zu, und prüfen Sie, ob die Plattform sie durchsetzt.
4. Listen Sie die Richtlinien auf, die er anwendet, mit verantwortlicher Person und Prüfdatum, und ergänzen Sie „KI-Agenten aktualisieren“ in Ihrem Prozess für Richtlinienänderungen.
5. Bewerten Sie die Konversationen der letzten Woche für einen Intent mit hohem Volumen anhand Ihrer Scorecard, und sehen Sie, was eine Stichprobe übersehen hätte.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Governance für agentische KI und klassischer KI-Governance?

Klassische KI-Governance konzentriert sich darauf, was ein Modell ausgibt: Genauigkeit, Bias und Transparenz von Vorhersagen oder Texten. Governance für agentische KI ergänzt, was das System tut: die Aktionen, die es ausführt, die Tools, die es nutzt, und wer sie freigibt. Im Kundenservice heißt das, Erstattungen, Kontoänderungen und Übergaben zu steuern, nicht nur Antworten.

Was sind die Säulen der KI-Governance?

Es gibt keine einheitliche offizielle Liste. Das Rahmenwerk des NIST gliedert die Arbeit in Govern, Map, Measure und Manage. Für ein Supportteam sind die praktischen Säulen Verantwortung, Kontrolle der Richtlinien, Grenzen für Aktionen, Prüfung der Konversationen und Umgang mit Vorfällen.

Ist KI-Agenten-Governance gesetzlich vorgeschrieben?

Teilweise. In der EU verlangt Art. 50 der KI-Verordnung seit dem 2. August 2026 die Offenlegung von KI, und das Datenschutzrecht gilt weiterhin. Singapurs Rahmenwerk ist eine nicht gesetzliche Leitlinie, und das des NIST ist zur freiwilligen Anwendung gedacht; keines von beiden sieht Sanktionen vor.

Wer ist verantwortlich, wenn ein KI-Agent einem Kunden falsche Informationen gibt?

Planen Sie so, als wäre es Ihr Unternehmen. Singapurs Rahmenwerk hält fest, dass die einsetzenden Organisationen und Menschen für die Entscheidungen und Handlungen von Agenten verantwortlich bleiben. Was auch immer Ihr Vertrag mit dem Anbieter sagt: Der Kunde sieht Ihre Marke, also liegen das Runbook für Vorfälle und die Entschädigung der Kunden bei Ihnen.

Wie viel menschliche Prüfung braucht ein KI-Agent?

Die menschliche Prüfung sollte sich nach dem Risiko richten, nicht nach einem festen Prozentsatz. Bewerten Sie alle Konversationen automatisch, legen Sie Aktionen der Stufe 3 einem Menschen vor, bevor sie passieren, und lassen Sie Menschen Fehler, angefochtene Scores und eine wöchentliche Kalibrierstichprobe prüfen. Prüfen Sie dann, ob die Menschen, die Aktionen freigeben, tatsächlich einige davon ändern.