Wenn Menschen und KI-Agenten sich die Support-Queue teilen, messen Sie beide an einem Qualitätsstandard und verbessern Sie sie dann auf unterschiedliche Weise. Menschen werden durch Coaching, Übung und Feedback besser. KI-Agenten werden durch Korrekturen am Wissen, Änderungen an Richtlinien und Anweisungen, engere Berechtigungen für Tools und einen Regressionstest besser, der die Korrektur belegt. Dieselbe Scorecard, zwei Reparaturwege, ein wöchentlicher Kreislauf.
Kurz gesagt
- Bewerten Sie Menschen und KI-Agenten nach denselben Kernkriterien (Ergebnis, Richtigkeit, Richtlinie, Ton, Übergabe), damit sich ihre Ergebnisse vergleichen lassen und der Kunde einen Standard erlebt.
- Ergänzen Sie einen kleinen Block an Prüfungen pro Bearbeiter: Quellentreue und Zuständigkeit für den KI-Agenten, Fallnotizen und Nachverfolgung für Menschen.
- Ein Fehler eines Menschen betrifft meist eine Person an einem Tag; ein Fehler eines KI-Agenten wiederholt sich in jeder Konversation, die auf dasselbe Setup trifft, also gehört die Korrektur in das Setup, nicht in eine Konversation.
- Vergleichen Sie beide nur Intent für Intent und bei derselben Verteilung der Intents, sonst wirkt der KI-Agent nur deshalb besser, weil er die einfache Arbeit bekommt.
- Jede Korrektur hat eine benannte verantwortliche Person und eine Prüfung: die nächsten bewerteten Konversationen der Person, oder das Regressionsset des KI-Agenten und die Live-Scores der nächsten Woche.
Wie Sie die gemeinsame Scorecard aufbauen, steht in eine Scorecard für Mensch und KI, und wie Sie ein Coaching-Gespräch führen, in was Agent Coaching ist. Dieser Leitfaden behandelt, was passiert, nachdem ein Fehler sichtbar wird.
Warum sollten Menschen und KI-Agenten einen Qualitätsstandard teilen?
Menschen und KI-Agenten sollten einen Qualitätsstandard teilen, weil der Kunde einen Service erlebt: Ein falscher Erstattungsbetrag schadet gleich, ob eine Person oder ein Bot ihn genannt hat. Ein gemeinsamer Standard erlaubt außerdem, auf Basis von Belegen zu entscheiden, welche Intents der KI-Agent behält, statt auf Basis von Containment Rates.
Ohne ihn bekommt der KI-Agent einen weicheren Test (Containment zählt als Erfolg, wenn der Kunde keinen Menschen erreicht hat, nicht wenn die Antwort richtig war), Menschen werden für späte Übergaben ohne Kontext verantwortlich gemacht, und niemand kann entscheiden, ob der Bot Garantiefälle behalten sollte.
Helpdesks liefern das inzwischen als Funktion. Kustomer beschreibt eine gewichtete Scorecard, bei der „dieselbe Scorecard jede Konversation bewertet, KI-Agent und menschliche Mitarbeitende gleichermaßen“ (Kustomer). Die Scorecard ist der einfache Teil; schwierig ist, was Sie mit einem nicht bestandenen Kriterium tun.
Welche Kriterien der Scorecard gelten für beide, und welche nur für eine Seite?
Ergebnis, Richtigkeit, Richtlinie, Identitätsprüfung, Ton und Übergabe gelten für beide, mit derselben Formulierung und Gewichtung. Quellentreue gegenüber Ihren Inhalten, das Einhalten der Zuständigkeit und das Eingestehen von Unsicherheit gehören in einen Block für den KI-Agenten. Fallnotizen und eingehaltene Zusagen gehören in einen Block für Menschen. Bewerten Sie den gemeinsamen Kern für den Vergleich und berichten Sie die Blöcke daneben.
| Kriterium | Menschen | KI-Agent | Warum |
|---|---|---|---|
| Anliegen gelöst oder klarer nächster Schritt | Ja | Ja | Das Ergebnis für den Kunden ist dieselbe Aufgabe |
| Jede Tatsache richtig | Ja | Ja | Eine falsche Tatsache kostet in beiden Fällen gleich viel |
| Richtlinie eingehalten (Erstattungen, Gutschriften, Ausnahmen) | Ja | Ja | Die Richtlinie ändert sich nicht mit dem Bearbeiter |
| Identität vor Kontodaten verifiziert | Ja | Ja | Gleiches Risiko, gleiche Regel |
| Ton passt zum Kunden und zur Marke | Ja | Ja | Dieselbe Markenstimme |
| Übergabe gibt Kontext weiter | Ja | Ja | Beide übergeben, beide übernehmen |
| Antwort gestützt auf Ihre veröffentlichten Inhalte | Nein | Ja | Menschen urteilen selbst; ein Modell kann erfinden |
| Bleibt innerhalb erlaubter Intents und Aktionen | Nein | Ja | Zuständigkeit ist beim Bot eine Einstellung |
| Sagt „Das weiß ich nicht“, statt zu raten | Selten | Ja | Raten ist der typische Fehler des KI-Agenten |
| Fallnotizen lassen die nächste Person weiterarbeiten | Ja | Nein | Die Übergabedaten des KI-Agenten decken das ab |
| Zugesagte Nachverfolgung ist erfolgt | Ja | Nein | Meist sagen nur Menschen Rückrufe zu |
Manche Kriterien für Menschen ergeben für einen Bot keinen Sinn (Einhaltung des Schichtplans, Nacharbeitszeit); unsere Scorecard für KI-Agenten listet auf, was wegfällt und was dazukommt. Die Regel, die zählt: Ein gemeinsames Kriterium hat eine Definition. Wenn „Richtlinie eingehalten“ für den KI-Agenten etwas Lockereres bedeutet, ist der Vergleich hinfällig.
Warum braucht derselbe Fehler zwei verschiedene Korrekturen?
Weil die Ursache an verschiedenen Stellen liegt. Eine Person, die eine Erstattungsregel falsch anwendet, hat eine Lücke in Wissen, Fähigkeit oder Gewohnheit, und Coaching schließt sie. Ein KI-Agent, der sie falsch anwendet, läuft mit einem Setup, das den Fehler erzeugt (Inhalte, Anweisungen, Tools oder Routing), und nur eine Änderung am Setup behebt ihn.
| Menschlicher Agent | KI-Agent | |
|---|---|---|
| Wie sich ein Fehler ausbreitet | Eine Person, manchmal | Jede Konversation, die auf dasselbe Setup trifft |
| Wo die Ursache liegt | Wissen, Fähigkeit, Urteilsvermögen, Arbeitslast | Wissensquelle, Anweisungen, Richtlinienregeln, Berechtigungen für Tools, Routing |
| Wie er besser wird | Feedback, Übung, ein Beispiel zum Nachmachen, Zeit | Eine Änderung am Setup, vor dem Release getestet |
| Wie eine Korrektur nach hinten losgehen kann | Selten; eine gecoachte Fähigkeit bleibt | Oft; eine neue Anweisung kann drei Intents kaputt machen, die vorher bestanden |
Die letzte Zeile ist der Grund, warum Korrekturen am KI-Agenten einen Regressionstest brauchen: Eine geänderte Anweisung oder ein geänderter Artikel kann einen Fall beheben und Fälle kaputt machen, die vorher bestanden. Die Hinweise von Anthropic zu Evals für Agenten sagen, Regressions-Evals „sollten eine Bestehensquote von nahezu 100 % haben“, und um ein Eval-Set zu beginnen, seien „20 bis 50 einfache Aufgaben aus echten Fehlern ein guter Start“ (Anthropic). Für ein Supportteam stammen diese Aufgaben aus Ihren eigenen bewerteten Konversationen.
Menschen dagegen lernen von dem, was bei anderen funktioniert. Eine Studie mit 5.179 Agenten im Kundenservice ergab, dass ein KI-Assistent die gelösten Anliegen pro Stunde im Schnitt um 14 % steigerte und bei neuen und weniger qualifizierten Mitarbeitenden um 34 %, mit Hinweisen darauf, dass er die Vorgehensweisen der stärksten Agenten verbreitete (Brynjolfsson, Li und Raymond, NBER). Coaching mit der besten Konversation einer Kollegin oder eines Kollegen nutzt denselben Mechanismus.
Eine gemeinsame Ursache wird leicht übersehen: Menschen und KI-Agenten lesen oft dieselben Seiten im Hilfecenter und zu Richtlinien. Scheitern beide am selben Intent, ist die Korrektur meist ein Artikel oder eine Richtlinie. Unser Leitfaden dazu, warum KI-Gespräche scheitern, verfolgt diese Grundursachen.
Derselbe Fehler, zwei Korrekturen (Tabelle zum Kopieren)
Diese Tabelle ordnet einem nicht bestandenen Kriterium die Korrektur für eine Person, die Korrektur für einen KI-Agenten und den Nachweis zu, dass jede gewirkt hat. Nutzen Sie sie als Triage-Blatt in Ihrer wöchentlichen Prüfung; die Spalte zur Prüfung macht aus einer Korrektur einen abgeschlossenen Punkt statt einer Hoffnung.
| Fehler auf der Scorecard | Korrektur beim Menschen | Korrektur beim KI-Agenten | So prüfen Sie es |
|---|---|---|---|
| Falsche Tatsache (Rückgabefrist mit 60 Tagen genannt, Richtlinie sagt 30) | Richtlinie und Konversation zeigen; zwei Übungsfälle zum selben Intent; das Makro korrigieren, wenn es falsch ist | Den veralteten Artikel, den der Agent gelesen hat, korrigieren oder entfernen; widersprüchliche Versionen löschen | Mensch: Richtigkeit in den nächsten 20 bewerteten Konversationen dieses Intents. KI: Die gescheiterte Konversation wird ein Testfall, das ganze Set besteht, Richtigkeit live im Intent in der nächsten Woche |
| Verstoß gegen die Richtlinie (Kulanzgutschrift über der freigegebenen Grenze) | Coaching zur Grenze und zum Freigabeweg; ein Freigabeschritt durch die Führungskraft bei Ausnahmen | Den Betrag im Erstattungstool selbst begrenzen, nicht nur in den Anweisungen; die Richtlinienregel neu formulieren | Mensch: kein Verstoß in 4 Wochen. KI: Ein Testfall, der auf eine höhere Gutschrift drängt, scheitert sicher; Tool-Protokolle zeigen nichts über der Grenze |
| Verpasste oder späte Eskalation (rechtliche Drohung im Bot behalten) | Die Auslöser für Eskalationen im Rollenspiel üben; sie in die Checkliste aufnehmen | Den Auslöser in die Eskalationsregeln aufnehmen; den Intent an Menschen leiten, wenn der Auslöser greift | Mensch: Das Kriterium Eskalation besteht bei markierten Fällen. KI: Testfälle mit jeder Auslöserformulierung werden bei der ersten Erwähnung übergeben |
| Übergabe ohne Kontext (Kunde erzählt alles noch einmal) | Vorlage für Fallnotizen; eine Übergabe gemeinsam durchgehen | Bestellnummer, Intent und bereits versuchte Schritte in die Zusammenfassung der Übergabe aufnehmen | Der übernehmende Agent fragt nicht erneut, bewertet in den nächsten 20 Übergaben |
| Kühler Ton bei einem verärgerten Kunden | Ein starkes Beispiel eines Kollegen anhören; zuerst anerkennen üben | Anweisungen zum Ton und zwei Beispielantworten für negative Stimmung ergänzen | Bestehensquote beim Ton in Konversationen mit negativer Stimmung, vorher und nachher |
| Geschlossen, aber nicht gelöst | Gewohnheit, vor dem Schließen zu bestätigen; die wieder geöffneten Fälle durchgehen | In den Anweisungen pro Intent definieren, was „gelöst“ heißt; nicht mehr mit einer allgemeinen Abschlussformel enden | Quote der Wiedereröffnungen innerhalb von 7 Tagen in diesem Intent, plus das Kriterium Lösung |
| Kontodaten vor der Identitätsprüfung geteilt (K.-o.-Kriterium) | Einzelgespräch am selben Tag; Auffrischung zur Compliance | Das Tool für Kontoabfragen eine Verifizierungsmarkierung verlangen lassen, durchgesetzt in der Integration, nicht im Prompt | Mensch: null Wiederholungen. KI: Angriffstestfälle erreichen keine Kontodaten; null Vorkommen live |
| Eine Antwort geraten, die er nicht wusste | „Ich prüfe das und melde mich“ akzeptabel machen; zeigen, wo man nachschaut | Die Ausweichantwort anweisen und testen; die Frage als Wissenslücke protokollieren | Testfragen ohne Antwort in der Wissensdatenbank bekommen die Ausweichantwort; die Lücke wird geschlossen |
Zwei Muster fallen auf. Die Korrekturen am KI-Agenten setzen überall dort auf feste Grenzen (eine Obergrenze im Tool, eine Pflichtmarkierung), wo ein Fehler teuer ist, wie es die Hinweise von OWASP zu übermäßiger Handlungsfreiheit raten: minimale Funktionen und Berechtigungen, und „zu verlangen, dass ein Mensch Aktionen mit großer Wirkung freigibt, bevor sie ausgeführt werden“ (OWASP); unser Leitfaden zu Guardrails für KI-Agenten zeigt, welche Grenzen in den Code gehören. Und die Korrekturen beim Menschen sind klein: ein Intent, ein Beispiel, ein Übungsfall. Ein Gespräch, das zehn Kriterien auf einmal behandelt, verändert keines davon.
Sehen Sie beide auf einer Scorecard. Kaizo bewertet die Konversationen von KI-Agenten auf derselben Scorecard wie Ihr Team und verknüpft jeden Score mit den Zeilen dahinter, sodass jeder Fehler ein Beispiel ist, das jemand beheben kann. Demo buchen.
Wie vergleichen Sie die Ergebnisse von Menschen und KI-Agenten fair?
Vergleichen Sie die Ergebnisse von Menschen und KI-Agenten Intent für Intent auf dem gemeinsamen Kern, und gewichten Sie dann beide mit derselben Verteilung der Intents. Ein roher Durchschnitt zeigt vor allem, wer die einfache Arbeit bekommen hat. Vergleichen Sie nur Intents, in denen beide genug Konversationen bearbeitet haben, und rechnen Sie eine gescheiterte Übergabe der Seite zu, auf der der Fehler begann.
Hier eine Illustration mit Zahlen, die wir erfunden haben, um die Rechnung zu zeigen, keine Kundendaten. Das Kriterium ist „Richtlinie eingehalten“, als Bestehensquote:
| Intent | Konversationen KI-Agent | Bestehensquote KI-Agent | Konversationen Menschen | Bestehensquote Menschen |
|---|---|---|---|---|
| Rückgaben | 4.000 | 97 % | 500 | 95 % |
| Garantiefälle | 500 | 80 % | 2.000 | 92 % |
| Roh gesamt | 4.500 | 95,1 % | 2.500 | 92,6 % |
Die rohen Summen sagen, der KI-Agent sei 2,5 Punkte besser. Gewichten Sie jetzt beide mit der gemeinsamen Verteilung, 4.500 Rückgaben und 2.500 Garantiefälle von 7.000:
| Nach Verteilung bereinigte Bestehensquote | Rechnung | Ergebnis |
|---|---|---|
| KI-Agent | (4.500 x 97 + 2.500 x 80) / 7.000 | 90,9 % |
| Menschliches Team | (4.500 x 95 + 2.500 x 92) / 7.000 | 93,9 % |
Bei derselben Verteilung ist das menschliche Team 3,0 Punkte besser. Aufschlussreich ist der Blick pro Intent, und er führt zu einer Korrektur, nicht zu einem Urteil: Der KI-Agent ist bei Rückgaben gut, scheitert aber an einem von fünf Garantiefällen, also kommen Garantiefälle in den wöchentlichen Kreislauf. Ist der Artikel klar, hat der Agent das Kaufdatum, sollte der Intent an Menschen gehen, bis er besteht?
Drei weitere Regeln halten den Vergleich ehrlich:
- Mindestvolumen. Unter etwa 50 bewerteten Konversationen auf einer Seite im Zeitraum berichten Sie „nicht genug Daten“ (unser vorgeschlagener Ausgangspunkt, kein statistisches Gesetz).
- Zuordnung bei Übergaben. Wechselt eine Konversation vom KI-Agenten zu einer Person, markieren Sie die Seite, auf der das erste nicht bestandene Kriterium auftrat, sonst übernehmen Menschen die Fehler des Bots. Customer Journey QA zeigt, wie Sie einen Fall über mehrere Bearbeiter hinweg bewerten.
- Gleiche Bewertung. Bewerten Sie beide Seiten auf dieselbe Weise. Ein von Menschen geprüftes Team gegen einen automatisch bewerteten Bot sind wieder zwei Standards.
Wer verantwortet welche Korrektur?
Jede Korrektur braucht eine benannte verantwortliche Person: Teamleitungen für Lücken in den Fähigkeiten von Menschen, die verantwortliche Person für den KI-Agenten (oft ein Conversation Designer oder eine Leitung CX Operations) für Anweisungen und Einstellungen der Tools, das Wissensmanagement für Artikel, die beide Seiten lesen, die verantwortliche Person für die Richtlinie für die Regel selbst und die QA-Leitung für die Scorecard.
| Gefundene Ursache | Verantwortlich | Braucht Freigabe von | Gilt für |
|---|---|---|---|
| Fähigkeit oder Gewohnheit einer Person | Teamleitung | Niemandem | Mensch |
| Derselbe Fehler bei mehreren Personen | Teamleitung plus verantwortliche Person für Prozess oder Wissen | Supportleitung | Mensch (und oft KI) |
| Falscher, fehlender oder widersprüchlicher Artikel | Wissensmanagement | Verantwortliche Person für die Richtlinie, wenn sich die Regel ändert | Beide |
| Unklare oder widersprüchliche Richtlinie | Verantwortliche Person für die Richtlinie (Finanzen, Recht, CX) | Leitung Kundenservice | Beide |
| Anweisungen oder Prompt des KI-Agenten | Verantwortliche Person für den KI-Agenten | QA-Leitung gibt den Regressionslauf frei | KI-Agent |
| Berechtigungen und Grenzen der Tools | Verantwortliche Person für den KI-Agenten | IT oder Sicherheit | KI-Agent |
| Regeln für Eskalation und Routing | CX Operations | Leitung Kundenservice | Beide |
| Ein Kriterium, das das Falsche bewertet | QA-Leitung | Kalibrierungsgruppe | Beide |
Die Spalte Freigabe zählt am meisten bei Änderungen am KI-Agenten: Eine Änderung am Prompt erreicht in der nächsten Minute jede Konversation, also bekommt sie dieselbe Release-Disziplin wie eine Richtlinienänderung (unser Leitfaden zu Richtlinien für KI-Agenten zeigt, wer welche Regel freigibt). Das AI Risk Management Framework des NIST baut auf vier Funktionen auf, Govern, Map, Measure und Manage (NIST); diese Tabelle ist die Version eines Supportteams für Govern.
Wie sieht der wöchentliche Verbesserungskreislauf aus?
Ein Rhythmus für beide Seiten: die Fehler der Woche nach Kriterium und Intent holen, bei jedem entscheiden, ob es eine Person, ein Prozess oder das Setup des KI-Agenten ist, die verantwortliche Person zuweisen, korrigieren und die Korrekturen der letzten Woche prüfen. Menschen bekommen innerhalb weniger Tage Coaching; Änderungen am KI-Agenten gehen erst live, wenn ihr Regressionsset besteht.
| Tag | Schritt | Seite der Menschen | Seite des KI-Agenten |
|---|---|---|---|
| Montag | Fehler holen | Nicht bestandene Kriterien pro Person und Intent | Nicht bestandene Kriterien pro Intent, mit den Konversationen |
| Montag | Triage | Eine Person oder viele? | Setup, Wissen oder Richtlinie? |
| Dienstag | Zuweisen | Coaching-Karte pro Person, je ein oder zwei Kriterien | Ein Ticket pro Muster, mit den gescheiterten Konversationen im Anhang |
| Dienstag bis Mittwoch | Korrigieren | Einzelgespräche von 15 Minuten, Übungsfälle, Beispiele von Kollegen | Änderung umgesetzt; gescheiterte Konversationen als Testfälle ergänzt; ganzes Regressionsset ausgeführt |
| Donnerstag | Release | Nicht nötig | Release nur, wenn die Schwelle bestanden ist; Änderung und Datum protokollieren |
| Nächster Montag | Prüfen | Gleiches Kriterium, gleiche Person, letzte 7 Tage | Gleiches Kriterium, gleicher Intent, letzte 7 Tage |
Der Schritt Triage braucht eine Entscheidungsregel. Unsere:
- Eine Person macht den Fehler, andere im selben Intent bestehen: die Person coachen.
- Drei oder mehr Personen verfehlen dasselbe Kriterium im selben Intent: mit dem Coaching aufhören und sich den Artikel, das Makro oder den Prozess ansehen. Zehn Menschen um einen kaputten Artikel herum zu coachen, ist die teuerste Korrektur, die es gibt.
- Der KI-Agent macht den Fehler, Menschen bestehen: das Setup des KI-Agenten korrigieren.
- Beide machen den Fehler im selben Intent: die gemeinsame Quelle (den Artikel oder die Richtlinie) einmal korrigieren und nächste Woche beide Seiten prüfen.
Von KI entworfenes Coaching erspart die Suche nach Beispielen, wenn eine Führungskraft jede Karte prüft (unser Beitrag zu KI-Coaching im Kundenservice hat die Checkliste); die Testdisziplin auf der Seite der KI steht in KI-Agenten testen.
Wie belegen Sie, dass eine Korrektur bei einer Person und bei einem KI-Agenten gewirkt hat?
Belegen Sie eine Korrektur beim Menschen, indem Sie dasselbe Kriterium in den nächsten Konversationen dieser Person zum selben Intent bewerten, über 2 bis 4 Wochen. Belegen Sie eine Korrektur beim KI-Agenten zweimal: vor dem Release bestehen die gescheiterten Konversationen und das ganze Regressionsset; nach dem Release besteht dasselbe Kriterium im selben Intent in der Live-Bewertung der folgenden Woche.
| Korrektur beim Menschen | Korrektur beim KI-Agenten | |
|---|---|---|
| Bevor die Korrektur zählt | Nichts; Coaching lässt sich nicht vorab testen | Regressionsset besteht, kritische Fälle dreimal ausgeführt und jedes Mal bestanden |
| Danach | Gleiches Kriterium, gleicher Intent, nächste 20 oder mehr bewertete Konversationen | Gleiches Kriterium, gleicher Intent, nächste Woche Live-Konversationen |
| Zu erwarten | Allmähliche Veränderung über 2 bis 4 Wochen | Ein Sprung, oder nichts |
| Wenn es nicht gewirkt hat | Ein zweites Gespräch mit einem anderen Beispiel, dann Arbeitslast oder Prozess ansehen | Das Ticket wieder öffnen; die Ursache lag wahrscheinlich an einer anderen Stelle im Setup |
Kritische Fälle laufen mehrmals, weil ein Modell einen Fall einmal bestehen und im nächsten Durchlauf scheitern kann. Anthropic nennt das Maß „alle Durchläufe bestehen“ pass^k und hält fest, dass es sinkt, je mehr Durchläufe es gibt (Anthropic); für eine Identitätsprüfung ist „besteht jedes Mal“ die einzige akzeptable Messlatte. Diese Schwellen sind vorgeschlagene Ausgangspunkte; legen Sie Ihre eigenen vor der ersten Prüfung fest. Die Live-Bewertung jeder Konversation schließt den Kreislauf, denn eine Stichprobe von 2 % liefert Ihnen vielleicht drei Datenpunkte pro Intent und Woche. Unser Leitfaden zur KI-Agenten-Evaluierung zeigt, wie Evals vor dem Release und die Live-Bewertung zusammenpassen.
Werden KI-Agenten menschliche Agenten im Kundenservice ersetzen?
KI-Agenten übernehmen Intents mit hohem Volumen und guter Dokumentation, und die Arbeit von Menschen verschiebt sich zu Ausnahmen, Ermessensentscheidungen, verärgerten Kunden und Übergaben. Rund um den KI-Agenten entstehen neue Rollen (eine verantwortliche Person für sein Setup, ein Wissensmanagement, QA für beide Seiten), und der Qualitätsstandard bleibt derselbe.
Diese Verschiebung verändert das Coaching. Wenn Routine-Rückgaben an den KI-Agenten gehen, bearbeiten Menschen im Schnitt schwierigere Konversationen, und ihre Scores können sinken, ohne dass sich ihre Fähigkeiten verändert haben. Berichten Sie die Scores von Menschen pro Intent, sonst coachen Sie Menschen für eine veränderte Verteilung.
Wann dieser Ansatz nicht für Sie ist
Dieser Kreislauf setzt wöchentliches Volumen voraus, eine Scorecard, der Sie vertrauen, und einen KI-Agenten, dessen Inhalte, Anweisungen und Tools Sie ändern können. Er ist mehr, als Sie brauchen, wenn Ihr KI-Agent einige Dutzend Konversationen pro Woche bearbeitet (lesen Sie alle und beheben Sie, was Sie sehen), wenn Sie noch keine Scorecard haben (bauen Sie zuerst den gemeinsamen Kern) oder wenn Ihr Team weniger als fünf Personen hat.
Ist der KI-Agent eine Blackbox, wird seine Seite des Kreislaufs zu einem Ticket an Ihren Anbieter: Behalten Sie die Bewertung bei und legen Sie die Belege in dieses Ticket.
So starten Sie diese Woche
Fangen Sie klein an: zwei Intents, ein gemeinsamer Kern, die Konversationen des letzten Monats und ein Prüftermin am nächsten Montag. Das reicht, um die Triage-Regel auf echte Fehler anzuwenden und innerhalb einer Woche Ihre ersten Korrekturen auf beiden Seiten abzuschließen.
- Wählen Sie zwei Intents, die sowohl Menschen als auch der KI-Agent bearbeiten, einen einfachen und einen schwierigen.
- Einigen Sie sich auf den gemeinsamen Kern für diese Intents: Ergebnis, Richtigkeit, Richtlinie, Identität, Ton, Übergabe. Je eine Definition.
- Bewerten Sie die Konversationen des letzten Monats auf beiden Seiten und füllen Sie die nach Verteilung bereinigte Tabelle oben aus.
- Wenden Sie die Triage-Regel auf die drei größten Fehler an. Schreiben Sie die verantwortliche Person daneben.
- Nutzen Sie die Tabelle „derselbe Fehler, zwei Korrekturen“ für jeden Fehler, einschließlich der Spalte zur Prüfung.
- Legen Sie eine Prüfung von 30 Minuten für nächsten Montag an, um die Korrekturen dieser Woche am selben Kriterium zu prüfen.
Kaizo ist ein Weg, die Bewertungsseite dieses Kreislaufs umzusetzen. AutoPilot bewertet jede Konversation anhand Ihrer eigenen Scorecard, wenn sie gelöst wird, mit einem Kommentar, der den Score erklärt; in Zendesk gehören dazu auch die Konversationen, die die KI-Agenten von Zendesk bearbeiten, auf derselben Scorecard wie Ihr Team. Für Menschen entwirft das Coaching von Kaizo die Coaching-Karte jedes Agenten aus seinen Bewertungen, verknüpft mit den Konversationen dahinter, und eine Führungskraft gibt sie frei, bevor der Agent sie sieht. Wenn Sie das an Ihren eigenen Konversationen sehen wollen, zeigt Qualitätssicherung für KI-Agenten, wie die Seite des KI-Agenten funktioniert.
Häufig gestellte Fragen
Was ist die Zusammenarbeit von Mensch und KI im Kundenservice?
Das ist ein Setup, in dem KI-Agenten und Menschen sich die Arbeit teilen: KI-Agenten übernehmen meist Intents mit hohem Volumen und guter Dokumentation, und Menschen übernehmen Ausnahmen, emotionale Fälle und Übergaben. Das funktioniert, wenn beide an einem Qualitätsstandard gemessen werden und die Übergabe den Kontext mitliefert.
Kann man einen KI-Agenten coachen?
Nicht im menschlichen Sinn: Ein KI-Agent lernt nicht aus einem Feedback-Gespräch. Er wird besser, wenn jemand seine Wissensquelle, Anweisungen, Richtlinienregeln, Berechtigungen für Tools oder sein Routing ändert und testet, dass die Änderung den Fall behoben hat, ohne andere kaputt zu machen.
Lernen KI-Agenten im Betrieb aus ihren eigenen Fehlern?
Die meisten KI-Agenten im Kundenservice ändern ihr Verhalten nicht von selbst von einer Konversation zur nächsten, also wiederholt sich ein Fehler, bis jemand das Setup ändert. Machen Sie aus der gescheiterten Konversation einen Testfall, damit sich die Korrektur belegen lässt und der Fehler nicht unbemerkt zurückkommt.
Sollten KI-Agenten und menschliche Agenten auf derselben Scorecard bewertet werden?
Ja, auf einem gemeinsamen Kern mit derselben Formulierung und Gewichtung, plus einem kleinen Block an Prüfungen pro Bearbeiter für Fehler, die nur eine Seite hat, etwa erfundene Antworten beim KI-Agenten.
Wie viele Konversationen eines KI-Agenten sollte ein Mensch prüfen?
Wenn eine automatische Bewertung jede Konversation abdeckt, prüfen Menschen die Fehler, jedes K.-o.-Kriterium und eine Stichprobe der bestandenen Konversationen, um die Bewertung zu kontrollieren. Ohne eine solche Bewertung prüfen Sie pro Intent genug, um wöchentliche Muster zu sehen; ein paar Prozent über alle Intents verfehlen meist die wiederholten Fehler in den kleineren.
