Ein Performance Review für KI-Agenten ist ein monatliches Meeting, in dem die Verantwortlichen für Ihren KI-Agenten einen Monat bewerteter Konversationen ansehen, ihn mit den Zielen vergleichen und entscheiden, was sich ändert. Es funktioniert wie das Review eines menschlichen Agenten: dieselbe Scorecard, echte Belege, klare Ziele. Der Unterschied liegt im Ergebnis: eine Änderung an Inhalten, Scope oder Routing, kein Coaching-Plan.
Kurz gesagt
- Ein monatliches Performance Review für KI-Agenten macht aus Scores Entscheidungen: den Bot ausweiten, ihn halten oder ihm Themen wegnehmen.
- Es unterscheidet sich vom Review eines Menschen darin, wer teilnimmt, was als Beleg dient und welche Folgen es hat.
- Fünf Rollen gehören in den Raum, und die QA präsentiert die Befunde, nicht das Team, das den Bot eingeführt hat.
- Ein einseitiger Bericht und eine 60-Minuten-Agenda halten es kurz genug, damit es jeden Monat stattfindet.
- Eine schriftliche Entscheidungsregel für das Ausweiten, Halten oder Einschränken von Themen verhindert, dass das Review zur Debatte wird.
Dieser Leitfaden behandelt das Ritual: Rhythmus, Beteiligte, Bericht und Entscheidungen. Welche Kennzahlen Sie verfolgen sollten, zeigt unser Leitfaden dazu, wie Sie die Leistung von KI-Agenten messen. Für die Bewertung selbst zeigt unsere Seite zur Qualitätssicherung für KI-Agenten, wie Kaizo jede Konversation eines KI-Agenten mit derselben Scorecard bewertet wie Ihr Team.
Warum braucht ein KI-Agent ein Performance Review?
Ein KI-Agent braucht ein Performance Review, weil Dashboards berichten und Menschen entscheiden. Jemand muss die Entscheidung verantworten, dem Bot mehr Arbeit zu geben, ihn dort zu lassen, wo er ist, oder ihm Arbeit abzunehmen.
Die meisten Teams haben die Daten bereits. Der Helpdesk zählt automatisierte Lösungen, der Anbieter zeigt Anliegen und Abbrüche, und die QA bewertet die Konversationen. Was oft fehlt, ist ein fester Zeitpunkt, an dem jemand mit Entscheidungsbefugnis alles zusammen ansieht und entscheidet. Ohne diesen Zeitpunkt kann ein bekanntes Problem mit Antworten zu Erstattungen wochenlang in einem Chat-Thread liegen.
Leitlinien zum KI-Risiko erwarten diesen Zeitpunkt ebenfalls. Das NIST AI Risk Management Framework (Januar 2023) nennt unter Manage 4.1, dass Pläne zur Überwachung nach der Einführung umgesetzt werden, einschließlich Mechanismen für Rückmeldungen von Nutzern, Einspruch und Übersteuerung, Außerbetriebnahme, Reaktion auf Vorfälle, Wiederherstellung und Änderungsmanagement. Ein monatliches Review ist ein einfacher Weg, jedem dieser Punkte einen Ort zu geben.
Es gibt auch einen Grund der Fairness. Ihre menschlichen Agenten werden beurteilt, gecoacht und an einem Standard gemessen. Wenn der Bot einen wachsenden Anteil Ihrer Konversationen übernimmt, macht erst dieselbe Disziplin den Vergleich ehrlich, und genau danach wird Ihre Geschäftsleitung fragen.
Wie unterscheidet sich das Review eines KI-Agenten von dem eines Menschen?
Das Review eines KI-Agenten betrachtet Muster über Tausende Konversationen und endet mit Änderungen an Inhalten und Konfiguration. Das Review eines Menschen betrachtet die Arbeit einer Person und endet mit Coaching.
| Review eines menschlichen Agenten | Performance Review eines KI-Agenten | |
|---|---|---|
| Was geprüft wird | Eine Stichprobe oder alle Konversationen einer Person | Jede Konversation, die der KI-Agent in dem Monat geführt hat |
| Analyseeinheit | Die Person | Das Thema, der Artikel, die Regel |
| Wer teilnimmt | Der Agent und seine Teamleitung | QA, Bot-Verantwortlicher, Content-Verantwortlicher, Support Operations, CX-Leitung |
| Typischer Befund | Eine Kompetenzlücke oder eine Gewohnheit | Ein veralteter Artikel, eine fehlende Regel, eine zu späte Übergabe |
| Ergebnis | Coaching, ein Ziel, ein Entwicklungsplan | Eine Inhaltskorrektur, eine Änderung des Scopes, eine Änderung an Routing oder Eskalation |
| Folge eines schlechten Monats | Ein Plan zur Verbesserung | Themen werden eingeschränkt oder bis zur Korrektur an Menschen übergeben |
| Fairnessfrage | Bewertet für Dinge außerhalb der eigenen Kontrolle | Fehler des Bots landen im Score eines Menschen |
Eine Regel aus der letzten Zeile sollten Sie in Ihren Prozess schreiben: Ein Fehler des Bots landet nie im Score eines menschlichen Agenten. Wenn der KI-Agent eine Erstattung versprochen hat und der menschliche Agent sie zurücknehmen musste, gehört das verfehlte Kriterium dem Bot.
Wer gehört in den Raum?
Fünf Rollen gehören in ein Performance Review für KI-Agenten: Die QA präsentiert, Bot-Verantwortlicher und Content-Verantwortlicher übernehmen die Korrekturen, Support Operations spricht für die Warteschlangen, und die CX-Leitung entscheidet.
| Rolle | Was sie mitbringt | Womit sie geht |
|---|---|---|
| QA-Leitung (präsentiert) | Die Scores, die Trends, die Transkripte hinter jedem Befund | Änderungen an Kriterien für den nächsten Monat |
| Verantwortlicher für den KI-Agenten | Wie der Bot konfiguriert ist, was sich in diesem Monat geändert hat | Änderungen an Prompt, Routing und Eskalation |
| Verantwortlicher für Wissensinhalte | Aus welchen Artikeln der Bot antwortet | Artikelkorrekturen, mit Datum |
| Leitung Support Operations | Übergabevolumen, Auswirkung auf Warteschlangen, erneute Kontakte | Anpassungen bei Personaleinsatz oder Routing |
| CX-Leitung (entscheidet) | Ziele und Risikobereitschaft | Die Entscheidungen zu Ausweiten, Halten oder Einschränken |
Die QA präsentiert, weil der Befund von denen kommen sollte, die den Bot nicht gebaut haben. Das Team, das ihn eingeführt hat, ist auch das Team, dessen Projekt gut aussieht, wenn die Zahlen gut aussehen. Unser Beitrag darüber, wer Ihren KI-Agenten eigentlich prüft (auf Englisch), erklärt, wie Sie Befund, Korrektur und die Befugnis zum Abschalten eines Ablaufs aufteilen.
Laden Sie Risk oder Compliance ein, wenn der Monat einen kritischen Fehler bei einem regulierten Thema enthält. Laden Sie den Anbieter ein, wenn Sie seine Hilfe bei einer Korrektur brauchen, nicht um die Ergebnisse zu präsentieren.
Der einseitige Bericht zur Leistung des KI-Agenten
Der Bericht passt auf eine Seite: eine Leitkennzahl gegen ihr Ziel, die Kriterien, die sich verändert haben, die gefährdeten Themen, die Ursachen hinter den Fehlern und die nötigen Entscheidungen.
Kopieren Sie diese Vorlage und füllen Sie sie jeden Monat aus Ihrem QA-Tool und Ihrem Helpdesk:
| Abschnitt | Was hineingehört | Woher es kommt |
|---|---|---|
| 1. Leitkennzahl | Quote gelöst und richtig gegen das Ziel, dieser und letzter Monat | QA-Scores plus erneute Kontakte |
| 2. Volumen und Scope | Konversationen des KI-Agenten, Anteil an allen Konversationen, Themen, die er bearbeitet | Helpdesk |
| 3. Gemeinsame Kriterien | Scores bei den Kriterien, die Menschen und Bot teilen, neben denen des menschlichen Teams | QA-Scorecard |
| 4. Bot-Kriterien | Erfüllungsquoten bei Quellenbezug, Grenzen der Richtlinie, Zuständigkeit und Eskalation | QA-Scorecard |
| 5. Gefährdete Themen | Jedes Thema unter seinem Ziel, mit Anzahl der Konversationen | QA-Scores nach Thema |
| 6. Kritische Fehler | Anzahl, was passiert ist, betroffene Kunden, Status | QA-Befunde |
| 7. Die drei wichtigsten Ursachen | Der Artikel, die Regel oder die Einstellung hinter den meisten Fehlern, mit je einem Transkript | Ursachenanalyse |
| 8. Korrekturen des Vormonats | Was umgesetzt wurde und ob sich die Scores bewegt haben | Neu bewertete Konversationen |
| 9. Übergabe | Verspätete oder fehlende Übergaben, weitergegebener Kontext | Kriterien zur Übergabe |
| 10. Nötige Entscheidungen | Ausweiten, Halten oder Einschränken, je Thema | Die Entscheidungsregel unten |
Beschränken Sie sich auf die Zahlen, die zu einer Entscheidung führen. Wenn eine Zeile drei Monate lang keine Entscheidung verändert hat, nehmen Sie sie von der Seite und behalten Sie sie im Anhang.
In Kaizo stammen die Scores für die Abschnitte 3 bis 9 aus derselben Scorecard. Kaizo Insights bündelt QA, Stimmung und Coaching in einer Ansicht, die bereit zum Präsentieren oder Exportieren ist, und die Ursachenanalyse gruppiert die Fehler hinter einem Einbruch.
Rechenbeispiel: ein Review für Oktober
In diesem Beispiel hat sich der KI-Agent insgesamt verbessert, ist aber bei einem Thema gescheitert, also weitet das Review ein Thema aus, hält drei und schränkt eines ein. Die Zahlen sind ein von uns gebautes Beispiel, keine Kundendaten.
Der Abschnitt mit der Leitkennzahl im Oktoberbericht:
| Kennzahl | September | Oktober | Ziel |
|---|---|---|---|
| Konversationen des KI-Agenten | 11.200 | 12.400 | |
| Gelöst und richtig | 70,4 % | 73,1 % | 75 % |
| Bezug auf unsere Inhalte (Erfüllungsquote) | 95,8 % | 98,0 % | 98 % |
| Grenzen der Richtlinie (Erfüllungsquote) | 97,2 % | 98,1 % | 99 % |
| Beim richtigen Auslöser eskaliert | 91,0 % | 89,5 % | 93 % |
| Erneuter Kontakt innerhalb von 7 Tagen | 6,8 % | 6,1 % | 5 % |
| Kritische Fehler | 4 | 1 | 0 |
Die Leitkennzahl hat sich um 2,7 Punkte in die richtige Richtung bewegt, die Eskalation aber in die falsche. Genau in so einem gemischten Monat verdient sich das Review seine Stunde: Die Gesamtzahl wäre als gute Nachricht berichtet worden, während der Rückgang bei der richtigen Eskalation einen Verantwortlichen braucht.
Aus dem Abschnitt zu den Themen kommen die Entscheidungen:
| Thema | Konversationen | Erfüllungsquote Quellenbezug und Richtlinie | Kritische Fehler | Entscheidung |
|---|---|---|---|---|
| Sendungsverfolgung | 4.900 | 99,3 % (September 99,1 %) | 0 | Ausweiten: Anfragen zur Lieferänderung hinzufügen |
| Rücksendungen | 2.600 | 97,8 % | 0 | Halten |
| Produktfragen | 2.700 | 97,1 % | 0 | Halten, die zwei Artikel hinter den meisten Fehlern korrigieren |
| Erstattungen | 1.300 | 94,6 % | 1 | Einschränken: Teilerstattungen bis zur Korrektur an Menschen übergeben |
| Kontoänderungen | 900 | 98,4 % (September 97,6 %) | 0 | Noch einen Monat halten, dann ausweiten |
Das Meeting endet mit fünf Entscheidungen, jede mit einem Verantwortlichen und einem Datum. Die Einschränkung bei Erstattungen wird im November erneut geprüft, nachdem der Content-Verantwortliche den Artikel zu Teilerstattungen neu geschrieben und die QA das Thema neu bewertet hat.
Eine Entscheidungsregel für Ausweiten, Halten oder Einschränken
Schreiben Sie die Entscheidungsregel vor dem ersten Review auf: Schwellenwerte für das Ausweiten, Halten und Einschränken jedes Themas. Dann wendet das Meeting die Regel an, statt über sie zu streiten.
Eine Ausgangsregel, die Sie an Ihre eigene Risikobereitschaft anpassen:
| Entscheidung | Wann | Was passiert |
|---|---|---|
| Ausweiten | Erfüllungsquote für Quellenbezug und Richtlinie zwei Monate in Folge bei 98 % oder darüber, und kein kritischer Fehler | Der Bot übernimmt ein neues Anliegen oder eine breitere Version des Themas |
| Halten | Erfüllungsquote zwischen 96 % und 98 %, oder ein guter Monat nach einem schwachen | Keine Änderung des Scopes; die wichtigsten Ursachen beheben |
| Einschränken | Erfüllungsquote unter 96 %, oder ein kritischer Fehler bei einem Geldthema | Das Thema oder seinen riskanten Teil an Menschen übergeben, bis eine neue Bewertung es freigibt |
Die Schwellenwerte oben sind unser Vorschlag, kein Branchenstandard. Legen Sie sie bei Bedarf je Thema fest: Dieselbe Erfüllungsquote kann bei Produktfragen in Ordnung und bei Erstattungen zu niedrig sein. Entscheidend ist, dass die Regel existiert, bevor jemand die Zahlen sieht.
Die 60-Minuten-Agenda
Sechzig Minuten reichen, wenn der Bericht zwei Arbeitstage vor dem Meeting verschickt wird und die Zeit in Entscheidungen fließt, nicht ins Vorlesen von Zahlen.
| Minuten | Punkt | Geleitet von |
|---|---|---|
| 0 bis 5 | Leitkennzahl gegen Ziel, und die Entscheidungen des Vormonats: erledigt oder nicht | QA-Leitung |
| 5 bis 20 | Gefährdete Themen und kritische Fehler, mit je einem Transkript | QA-Leitung |
| 20 bis 35 | Die drei wichtigsten Ursachen und vorgeschlagene Korrekturen | Content-Verantwortlicher und Bot-Verantwortlicher |
| 35 bis 45 | Korrekturen des Vormonats: Haben sich die Scores bewegt? | QA-Leitung |
| 45 bis 55 | Entscheidungen je Thema, anhand der Regel | CX-Leitung |
| 55 bis 60 | Verantwortliche, Termine und Änderungen an Kriterien für den nächsten Monat | QA-Leitung |
Ein echtes Transkript zu jedem Befund ist wichtiger als jedes Diagramm. Es macht aus „der Quellenbezug ist bei Erstattungen gesunken“ einen Satz, den der ganze Raum lesen kann, und es klärt Streit darüber, ob der Bewerter recht hatte. Unser Leitfaden zur Nachvollziehbarkeit von QA-Scores (auf Englisch) erklärt, warum jeder Score die Zeilen braucht, auf denen er beruht.
Wöchentlich, monatlich, quartalsweise: was wohin gehört
Das monatliche Review liegt zwischen einem wöchentlichen operativen Check und einem Quartalsbericht an die Geschäftsleitung. Jeder Rhythmus hat seine eigene Aufgabe, und wer sie vermischt, macht alle drei schlechter.
| Rhythmus | Wer | Was es abdeckt | Was es entscheidet |
|---|---|---|---|
| Wöchentlich (15 Minuten) | QA-Leitung, Bot-Verantwortlicher | Kritische Fehler, neue Muster, ob die Korrekturen der Vorwoche halten | Dringende Korrekturen und Übergaben |
| Monatlich (60 Minuten) | Die fünf Rollen oben | Der einseitige Bericht | Ausweiten, Halten oder Einschränken je Thema |
| Quartalsweise | CX-Leitung an die Geschäftsleitung | Trend der Leitkennzahl, Wachstum des Scopes, Kosten vermiedener Fehler | Budget und Roadmap für den KI-Agenten |
Beschränken Sie sich im Quartalsbericht auf drei Zahlen, denen die Geschäftsleitung über die Zeit folgen kann: die Quote gelöst und richtig, den Anteil des Bots an den Konversationen und die kritischen Fehler. Unser Leitfaden zum Kundenservice-Reporting für die Geschäftsleitung (auf Englisch) zeigt, wie Sie einer VP oder einem CFO eine Qualitätskennzahl präsentieren. Für den wöchentlichen Rhythmus finden Sie die Details in unserem Beitrag zum Rhythmus des QA-Monitorings (auf Englisch).
So führen Sie Ihr erstes Performance Review für KI-Agenten durch
Führen Sie Ihr erstes Performance Review für KI-Agenten mit einem Monat bewerteter Konversationen, der einseitigen Vorlage und einer vorab vereinbarten Entscheidungsregel durch. Fünf Schritte führen Sie dorthin.
Schritt 1: Bewerten Sie einen vollen Monat
Bewerten Sie einen Monat lang jede Konversation des KI-Agenten mit einer Scorecard, die die Kriterien des Bots enthält: Quellenbezug, Grenzen der Richtlinie, Zuständigkeit und Eskalation. Kaizos AutoPilot bewertet jede Konversation anhand Ihrer Kriterien, sobald sie gelöst ist.
Schritt 2: Vereinbaren Sie Ziele und die Entscheidungsregel
Legen Sie ein Ziel für die Leitkennzahl und jedes Bot-Kriterium fest, und vereinbaren Sie die Schwellenwerte für Ausweiten, Halten und Einschränken, bevor jemand den ersten Bericht sieht.
Schritt 3: Benennen Sie die fünf Rollen
Setzen Sie Namen neben QA-Leitung, Bot-Verantwortlichen, Content-Verantwortlichen, Leitung Support Operations und CX-Leitung. Buchen Sie einen wiederkehrenden 60-Minuten-Termin in der ersten Woche jedes Monats.
Schritt 4: Verschicken Sie den Bericht zwei Tage vorher
Füllen Sie die einseitige Vorlage aus und verschicken Sie sie zwei Arbeitstage vor dem Meeting, damit die Stunde den Entscheidungen gehört.
Schritt 5: Enden Sie mit Verantwortlichen und Terminen
Jede Entscheidung verlässt den Raum mit einem Verantwortlichen und einem Termin, und der nächste Bericht beginnt damit, ob sie umgesetzt wurde.
Sehen Sie es in einer Live-Demo. Kaizo bewertet jede Konversation eines KI-Agenten mit derselben Scorecard wie Ihr Team und zeigt die Trends nach Woche, Thema und Team, bereit für Ihr monatliches Review. Sprechen wir darüber.
Häufig gestellte Fragen
Wie oft sollten Sie die Leistung eines KI-Agenten überprüfen?
Überprüfen Sie sie monatlich für Entscheidungen, mit einem kurzen wöchentlichen Check auf kritische Fehler und Korrekturen. Ein Monat liefert genug Konversationen je Thema, um einen echten Trend zu sehen, und ist häufig genug, damit ein Problem bei einem Geldthema nicht ein ganzes Quartal läuft. Berichten Sie den Trend quartalsweise an die Geschäftsleitung.
Was sollte ein Performance Review für KI-Agenten enthalten?
Eine Leitkennzahl zur Qualität gegen ihr Ziel, Erfüllungsquoten bei den eigenen Kriterien des Bots, die Themen unter ihren Zielen, alle kritischen Fehler, die wichtigsten Ursachen hinter den Fehlern mit je einem Transkript, ob die Korrekturen des Vormonats gewirkt haben, und die nötigen Entscheidungen. Halten Sie es auf einer Seite und verschieben Sie alles, was zu keiner Entscheidung führt, in einen Anhang.
Können Sie den KI-Agenten im Review mit Ihren menschlichen Agenten vergleichen?
Ja, bei den Kriterien, die beide teilen, etwa eine richtige Antwort und der richtige Ton, gleich bewertet. Vergleichen Sie je Thema statt insgesamt, weil der Bot meist die einfacheren Themen bearbeitet. Vergleichen Sie nicht bei Kriterien, die nur einer von beiden hat, und lassen Sie nie einen Fehler des Bots in den Score eines menschlichen Agenten einfließen.
Was passiert, wenn ein KI-Agent sein Performance Review nicht besteht?
Er verliert Scope, bis er ihn sich zurückverdient. Die Themen unter dem Schwellenwert oder mit einem kritischen Fehler gehen an menschliche Agenten oder bekommen eine erzwungene Übergabe. Der Content-Verantwortliche korrigiert die Quelle, die QA bewertet das Thema neu, und das nächste Review entscheidet, ob der Bot das Thema zurückbekommt.
Sollte der Anbieter des KI-Agenten die Ergebnisse präsentieren?
Nein. Der Anbieter kann erklären, wie der Bot funktioniert, und bei Korrekturen helfen, aber die Ergebnisse sollten von Ihrer eigenen QA kommen, mit Ihrer eigenen Scorecard. Ein Anbieter, der die Bewertung seines eigenen Produkts präsentiert, hat ein Interesse an einem guten Ergebnis, und Ihre Geschäftsleitung wird eine Zahl wollen, die Ihr Team erstellt hat und vertreten kann.
