Zum Inhalt springen

QA für KI-Agenten

Ihr KI-Agent antwortet Kunden. Kaizo prüft jede Antwort.

Kaizo bewertet 100 % der Konversationen Ihrer KI-Agenten nach Ihrer eigenen Scorecard, derselben, nach der Ihr Team bewertet wird, und verknüpft jeden Score mit dem Beleg in der Konversation. Lassen Sie es vollständig automatisiert laufen oder ergänzen Sie menschliche Prüfung genau dort, wo es darauf ankommt.

In Tagen live · Native Apps für Zendesk und Salesforce

Von globalen Supportteams genutzt

Eine automatisierte Lösung ist kein Qualitätsscore

Ihr Helpdesk zählt eine Konversation als gelöst, wenn der Kunde keinen Menschen erreicht hat. Ob die Antwort richtig war, sagt das nicht. Ein KI-Agent kann eine Richtlinie erfinden, ein Problem fälschlich für gelöst erklären oder einen Fall behalten, den er hätte übergeben müssen, und jedes Dashboard zählt das trotzdem als Erfolg. Weil er jedes Mal aus demselben Prompt und denselben Inhalten antwortet, wiederholt sich derselbe Fehler in jeder Konversation, die er berührt, und eine Stichprobe von 2 % übersieht ihn meist.

So funktioniert es

Ein Standard für menschliche und KI-Agenten

Kaizo läuft in dem Helpdesk, in dem die Konversationen Ihres KI-Agenten ohnehin liegen, und bewertet sie so, wie es die Ihres Teams bewertet.

Ihre Scorecard

Dieselbe Scorecard, mit Prüfungen für einen Bot.

Bewerten Sie Konversationen von KI-Agenten nach derselben Scorecard wie die Ihres Teams, so sehen Sie menschliche und KI-Agenten direkt nebeneinander. Ergänzen Sie dann die Kriterien, an denen ein Bot scheitert: sachliche Richtigkeit, Treue zu den Richtlinien, Zuständigkeitsgrenzen und Eskalation. Formulieren Sie sie in Ihren eigenen Worten und verbinden Sie Ihre Wissensdatenbank, damit die KI an Ihren Inhalten misst.

  • Kriterien in Ihren eigenen Worten, keine Vorlage
  • Gemeinsame Kriterien halten menschliche und KI-Ergebnisse vergleichbar
  • Zusätzliche Prüfungen auf erfundene Fakten und erfundene Richtlinien
So funktionieren Scorecards

Jede Konversation

Jede Konversation des KI-Agenten bewertet, mit Beleg.

AutoPilot bewertet jede Konversation, sobald sie gelöst ist, und hängt einen Kommentar an, der den Score erklärt. Jeder Score verweist auf den Beleg in der Konversation, so wird ein Fehler zu einem konkreten Beispiel, das Sie dem Verantwortlichen für den Prompt oder den Help-Center-Artikel vorlegen können.

  • 100 % der Konversationen, keine Stichprobe
  • Jeder Score erklärt und mit den Zeilen dahinter verknüpft
  • Sie wählen, welche Queues, Kanäle oder Teams bewertet werden
Mehr über AutoPilot

Monitoring und Analysen

Sehen, wo der KI-Agent scheitert, und warum.

Wenn jede Konversation bewertet ist, ist ein wiederkehrender Fehler keine Anekdote mehr, sondern ein Trend, den Sie nach Team und Woche verfolgen. Die Ursachenanalyse bündelt die Fehler hinter einem Einbruch, so werden zehn falsche Antworten aus einem Artikel zu einer einzigen Korrektur. Bewerten Sie nach jeder Änderung erneut, um zu bestätigen, dass die Korrektur hält.

Mehr über die Ursachenanalyse

Menschliche Prüfung

Menschen bleiben eingebunden.

Testen Sie die Bewertung an Ihren historischen Bewertungen, bevor sie live geht, und passen Sie die Kriterien an, bis sie zu Ihrem Team passt. Reviewer behalten die Konversationen, die Urteilsvermögen brauchen: Auto QA füllt die Kriterien vor und entwirft das Feedback, das sie bearbeiten und freigeben.

Mehr über Auto QA
100%
der QA automatisiert bei UiPath
200%
ROI der QA-Automatisierung bei UiPath
50%
weniger Zeit für QA bei SteelSeries

Wann Kaizo nicht das richtige Tool ist

Kaizo bewertet Konversationen, nachdem sie beendet sind, in dem Helpdesk, in dem sie liegen. Wenn Sie vor dem Launch eine Testsuite für Entwickler brauchen, etwa Prompt-Regressionstests in Ihrer CI-Pipeline, ist das eine andere Phase und eine andere Art von Tool, die neben Kaizo laufen kann. Und wenn Ihr KI-Agent nur ein paar Dutzend Konversationen pro Woche bearbeitet, lesen Sie sie selbst: Eine Stunde pro Woche mit den Transkripten und eine kurze Checkliste finden die meisten Probleme.

Neu im Thema? Lesen Sie unseren Leitfaden zur QA für KI-Agenten, warum die Containment Rate kein Qualitätsscore ist, welche Kennzahlen für KI im Kundenservice Sie verfolgen sollten (die Leitfäden auf Englisch).

Sie testen einen Voice-Agenten?

Einen Voice-Agenten vor dem Launch mit geskripteten Testanrufen zu testen, ist Testen vor dem Launch: eine andere Phase als die QA echter Konversationen. Sprechen Sie mit uns über Ihr Setup, und wir sagen Ihnen offen, ob es passt.

Supportteams, die keine Stichproben mehr ziehen

  • 50%

    weniger Zeit für QA

    “Our tickets can be long and complex. AI has been a life-saver in our experience.”

    SteelSeries

  • 75%

    schnellere Lösung

    “Kaizo is an essential part of finding the root causes of areas we need to improve, then improving on that.”

    Foot Locker

Wie sieht eine Scorecard für KI-Agenten aus?

Beginnen Sie mit den Kriterien, nach denen Ihr Team bereits bewertet wird, damit menschliche und KI-Ergebnisse vergleichbar bleiben, und ergänzen Sie dann die Prüfungen, an denen ein Bot scheitert. Eine typische Scorecard sieht so aus:

KriteriumWas es prüftBewertet für
Richtige AntwortDie Antwort löst die Frage des KundenMenschliche und KI-Agenten
TonalitätDie Antwort klingt nach Ihrer MarkeMenschliche und KI-Agenten
Gestützt auf Ihre InhalteJede Tatsache stammt aus Ihrer Wissensdatenbank, nichts ist erfundenKI-Agenten
Grenzen der RichtlinienKeine erfundene Richtlinie, Rückerstattung oder AusnahmeKI-Agenten
ZuständigkeitDer Agent bleibt in dem Rahmen, den er bearbeiten darfKI-Agenten
EskalationDer Agent übergibt beim richtigen AuslöserKI-Agenten
ÜbergabeDer Kontext wird weitergegeben, und der menschliche Agent knüpft daran anKI- und menschliche Agenten

FAQ

Häufig gestellte Fragen

Was ist QA für KI-Agenten?

QA für KI-Agenten heißt, die Konversationen Ihres Chatbots oder KI-Agenten nach einem schriftlichen Standard zu bewerten, damit Sie wissen, ob seine Antworten richtig und erlaubt waren, und nicht nur, ob der Kunde einen Menschen erreicht hat. Kaizo macht das bei jeder Konversation, und jeder Score verweist auf den Beleg.

Kann Kaizo KI-Agenten anderer Anbieter bewerten?

Ja. Wenn die Konversation in Zendesk oder Salesforce liegt, bewertet Kaizo sie nach derselben Scorecard wie die Ihres Teams, egal wer den Agenten gebaut hat. In Zendesk gehören dazu die Konversationen, die die KI-Agenten von Zendesk bearbeiten.

Bekommt der KI-Agent dieselbe Scorecard wie unsere Mitarbeitenden?

Er kann die Kriterien teilen, die für beide gelten, etwa eine richtige Antwort und den passenden Ton, so bleiben die Ergebnisse vergleichbar. Ergänzen Sie dann die Kriterien, an denen ein Bot scheitert: Verankerung in Ihren eigenen Inhalten, Grenzen der Richtlinien, Zuständigkeitsgrenzen und Eskalation.

Kann Kaizo die Übergabe vom KI-Agenten an einen Menschen prüfen?

Ja, als Kriterien auf Ihrer Scorecard: Hat der KI-Agent beim richtigen Auslöser eskaliert, hat er den Kontext weitergegeben, und hat der menschliche Agent ihn aufgegriffen? Sie sehen die Übergabe in derselben Konversation, auf die der Score verweist.

Heißt eine hohe Containment Rate, dass der KI-Agent funktioniert?

Nicht für sich allein. Containment zählt eine Konversation als Erfolg, wenn der Kunde keinen Menschen erreicht hat, und eine falsche Lösung oder ein Fall, den der Agent hätte übergeben müssen, sieht genau so aus. Sie müssen bewerten, was der Agent gesagt hat, um zu wissen, ob eine eingedämmte Konversation eine gute war.

Wer prüft die Scores?

Ihr Team, überall dort, wo es darauf ankommt. Sie testen die Bewertung an Ihren früheren Bewertungen, bevor sie live geht, jeder Score verweist auf den Beleg, sodass jeder ihn prüfen kann, und Auto QA entwirft Feedback, das ein Reviewer bearbeitet und freigibt.

Müssen wir unseren Helpdesk wechseln?

Nein. Kaizo ist nativ mit Zendesk und Salesforce Service Cloud integriert und liest die Konversationen direkt von dort. Die Einrichtung dauert Tage, kein Connector-Projekt.

Verkauft Kaizo auch KI-Agenten?

Ja. Die Kaizo Agentic Customer Service Platform bringt rollenbasierte KI-Agenten für die Arbeit hinter der Supportqualität. Sie läuft im 4. Quartal 2026 als Pilot, und die Arbeit der Agenten wird am selben Standard gemessen wie die Ihrer Mitarbeitenden. Die Quality Assurance Platform, die Konversationen von KI-Agenten bewertet, ist jetzt verfügbar.

Sicherheit & Compliance

SOC 2 Type II, ISO 27001 und DSGVO

Prüfberichte, Zertifikate und Richtlinien an einem Ort.

Trust Center ›

Sehen Sie es an den Konversationen Ihres KI-Agenten

Wir zeigen Ihnen in einer Live-Demo, wie Kaizo Konversationen von KI-Agenten nach einer Scorecard bewertet und was ein Lösungs-Dashboard als Erfolg gezählt hätte.

Von globalen Supportteams genutzt

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath