Zum Inhalt springen

Überblick

Tools für KI-Agenten-Evaluierung und Monitoring im Support

Tools für KI-Agenten-Evaluierung und Monitoring im Support: Entwickler-Evals, Tests in Zendesk, Salesforce und Intercom, Chatbot-Tests und Konversations-QA.

· 13 Min. Lesezeit

Geprüft von Dominik Blattner, Gründer von Kaizo

Tools für die KI-Agenten-Evaluierung prüfen, ob die Antworten eines KI-Agenten richtig, erlaubt und gut gelöst sind; Monitoring-Tools beobachten ihn weiter, sobald er mit Kunden spricht. Supportteams nutzen vier Arten: Eval- und Observability-Tools für Entwickler wie LangSmith und Langfuse, die Tests in Zendesk, Salesforce und Intercom, Chatbot-Testtools und Konversations-QA-Tools, die echte Kundengespräche an Ihrem eigenen Standard messen.

Kurz gesagt

  • Die meisten Listen mit KI-Agenten-Evaluierungstools sind für Entwickler geschrieben: LangSmith, Langfuse, Arize Phoenix, Braintrust und DeepEval verfolgen und testen den Agenten, aber ihre Scores passen selten zu einer Support-Scorecard.
  • Zendesk, Salesforce Agentforce und Intercom Fin bringen eigene Tests für ihren eigenen KI-Agenten mit. Das hilft vor einem Release und endet an der Plattformgrenze.
  • Chatbot-Testtools wie Botium und Promptfoo führen geskriptete und gezielt feindliche Testsets in großer Zahl aus. Sie testen, woran Sie gedacht haben, nicht, was Kunden getan haben.
  • Konversations-QA-Tools bewerten echte, abgeschlossene Gespräche anhand Ihrer Scorecard, mit einem Beleg für jeden Score. Diese Ebene verantwortet die QA-Leitung.
  • Die meisten Teams mit einem KI-Agenten im Betrieb brauchen ein Tool vor dem Release und eines danach. Wählen Sie nach der Frage, die Sie heute nicht beantworten können.

Dieser Leitfaden richtet sich an Support-Leitungen, QA-Leads und Support Operations, nicht an die Entwickler, die den Agenten bauen. Wenn Sie zuerst die Methode brauchen, lesen Sie unseren Leitfaden zur KI-Agenten-Evaluierung. Wenn Sie schon wissen, dass jedes Gespräch Ihres KI-Agenten bewertet werden soll, sehen Sie, wie die Qualitätssicherung für KI-Agenten in Kaizo funktioniert.

Was leisten Tools für die KI-Agenten-Evaluierung im Support?

Tools für die KI-Agenten-Evaluierung liefern einem Supportteam Belege, dass sein KI-Agent richtig antwortet, Richtlinien einhält und rechtzeitig übergibt. Sie arbeiten an zwei Stellen: an Testgesprächen, bevor eine Änderung live geht, und an echten Kundengesprächen nach dem Launch. Ein Tool, das nur automatisierte Lösungen zählt, misst Menge, nicht Qualität.

Die Begriffe, nach denen gesucht wird, überschneiden sich. Das meinen sie meistens:

SuchbegriffWas das Tool machtDie Frage, die es beantwortet
KI-Agenten-Evaluierung ToolsBewertet Antworten anhand schriftlicher Kriterien, in Tests oder im BetriebWar die Antwort richtig und erlaubt?
KI-Agenten-Monitoring ToolsBeobachtet Live-Gespräche und löst Alarme ausLäuft gerade etwas schief?
KI-Agenten-Observability ToolsZeichnet jeden Schritt eines Laufs auf: Modellaufrufe, Tool-Aufrufe, Kosten, LatenzWarum ist dieser Lauf gescheitert?
KI-Agenten-Testtools, Chatbot-TesttoolsSpielt geskriptete oder simulierte Gespräche vor einem Release durchMacht diese Änderung etwas kaputt?

Die Tool-Listen, die heute ranken, vergleichen Trace-Tiefe, CI-Pipelines und Kostenkontrolle. In den drei, die wir am 19. November 2026 gelesen haben (von MLflow, Amplitude und Sematext), kommen CSAT, Eskalation und die Übergabe an einen Menschen nicht vor. Genau dafür steht eine Support-Leitung gerade.

Welche Tools für KI-Agenten-Evaluierung und Monitoring gibt es?

Es gibt vier Kategorien von Tools für KI-Agenten-Evaluierung und Monitoring: Eval- und Observability-Plattformen für Entwickler, die Tests und Analysen der KI-Agenten-Plattform selbst, Chatbot-Testtools und Konversations-QA-Tools. Sie unterscheiden sich darin, wer sie nutzt, ob sie Test- oder echte Gespräche ansehen und wessen Definition von “gut” sie anwenden.

KategorieBeispieleHauptnutzerSchaut aufWo es für den Support endet
Eval und Observability für EntwicklerLangSmith, Langfuse, Arize Phoenix, Braintrust, DeepEvalKI-EntwicklerTraces, Testdatensätze, teils Live-VerkehrKriterien stecken im Code; keine Verbindung zu Scorecard oder CSAT
Tests der PlattformZendesk KI-Agenten, Salesforce Agentforce Testing Center, Intercom Fin EvalsVerantwortliche für den KI-AgentenTest- und simulierte GesprächeEine Plattform, und nur die Fälle, die jemand geschrieben hat
Chatbot-TesttoolsCyara Botium, PromptfooQA-Engineers, KI-TeamGeskriptete und feindliche TestsetsTestet, was Sie vorhergesehen haben, nicht, was Kunden fragten
Konversations-QAZendesk QA, KaizoQA-Leitung, Support OperationsEchte abgeschlossene GesprächeLäuft nach dem Gespräch, nicht vor einem Release

Die meisten Enterprise-Teams landen bei einem Tool aus der ersten oder zweiten Zeile für das KI-Team und einem aus der letzten Zeile für den Support.

Was zeigen KI-Agenten-Observability-Tools wie LangSmith und Langfuse?

Observability-Tools für KI-Agenten wie LangSmith und Langfuse zeigen, was in jedem Lauf passiert ist: welches Modell und welche Tools der Agent aufgerufen hat, in welcher Reihenfolge, was es gekostet hat und wo es scheiterte. Die meisten bieten inzwischen auch Evals mit Testdatensätzen, LLM-Judges und menschlicher Prüfung. Ihre Support-Scorecard ist nicht eingebaut.

Was die Dokumentation der Anbieter selbst sagt, geprüft am 19. November 2026:

ToolWas es laut Dokumentation machtGut zu wissen
LangSmith (LangChain)Offline-Evaluierung auf kuratierten Datensätzen vor dem Release, Online-Evaluierung echter Nutzerinteraktionen, LLM-as-judge und menschliche PrüfungFehlgeschlagene Produktions-Traces lassen sich in einen Datensatz übernehmen, so werden Live-Fehler zu Tests
LangfuseTracing, LLM-as-a-judge auf Produktions- oder Entwicklungs-Traces, Annotation Queues für menschliche Prüfung, Datensätze, Prompt-VerwaltungOpen Source und selbst hostbar
Arize PhoenixTracing, Evaluierungen, Datensätze und ExperimenteBasiert auf OpenTelemetry, gebaut von Arize AI und der Open-Source-Community
BraintrustNennt sich Observability-Plattform für Agenten: Experimente, Monitoring im Betrieb, menschliches Feedback für DatensätzeStark beim Vergleich von Prompts und Modellen
DeepEvalOpen-Source-Eval-Paket, das sich in Pytest einklinkt und lokal läuftConfident AI, vom Team hinter DeepEval, ergänzt optional Produktions-Traces

Für eine Support-Leitung zählen diese Tools, weil Ihr KI-Team bereits eines davon nutzt. An drei Stellen hören sie auf. Die Kriterien schreiben Entwickler in Code, also bedeutet “Richtlinienverstoß”, was immer der Evaluator prüft. Sie sehen Traces, keine Tickets, also liegen CSAT, Wiedereröffnungen und Beschwerden in einem anderen System. Und sie sind gebaut, um einen Lauf zu debuggen, nicht um zu sagen, wie viele Kunden letzte Woche eine falsche Antwort bekamen.

Bitten Sie Ihr KI-Team um drei Dinge: die Liste der Evaluatoren mit je einer Zeile Definition, die Fehlerquote pro Kriterium und eine wöchentliche Stichprobe gescheiterter Gespräche, zugeordnet zu Ihrer Scorecard.

Welche KI-Agenten-Testtools sind in Zendesk, Salesforce und Intercom eingebaut?

Zendesk, Salesforce und Intercom bringen jeweils Testtools für ihren eigenen KI-Agenten mit. Zendesk hat ein Test-Widget, Salesforce das Agentforce Testing Center, Intercom Evals und Batch test für Fin. Sie sind der schnellste Weg, eine Änderung vor dem Release zu testen, und decken nur Agenten auf dieser Plattform ab.

PlattformEingebaute Tests laut Anbieter-DokumentationWo es endet
Zendesk KI-AgentenEin Test-Widget simuliert das Kundenerlebnis und testet Dialogabläufe. Testgespräche landen in den Gesprächsprotokollen und zählen nicht als automatisierte Lösungen.Das Widget ist nicht mit Ihrem CRM verbunden; CRM-Ereignisse sollen laut Zendesk im Web Widget getestet werden
Salesforce AgentforceDas Testing Center führt Testsets aus und markiert jeden Test als bestanden oder nicht bestanden nach gewähltem Subagent, ausgeführten Aktionen und Antwort, jeweils mit BestehensquotePrüft gegen das erwartete Ergebnis, das Sie pro Test geschrieben haben
Intercom FinEvals bündeln mehrstufige Simulationen eines Kunden im Gespräch mit Fin; ein LLM-Judge bewertet jede anhand der Checks, die Sie festlegen, auch die Übergabe. Bis zu 50 Simulationen pro Eval, mit einem Monatslimit nach Gesprächsvolumen. Batch test prüft einzelne Fragen, die Sie von Hand bewerten; seit dem 5. November 2026 bekommen neue Workspaces stattdessen Evals.Simulierte Kunden, keine echten

Läuft Ihr KI-Agent auf einer dieser Plattformen, fangen Sie hier an, bevor Sie etwas kaufen. Die Grenze ist bei allen dreien gleich: Sie testen die Fälle, die jemand geschrieben hat. Das Gespräch, das Ihnen schadet, ist meist das, mit dem niemand gerechnet hat.

Welche Chatbot-Testtools zählen bei KI-Agenten noch?

Chatbot-Testtools zählen weiter, wenn Sie einen KI-Agenten oft ändern und Hunderte Regressionsfälle jedes Mal gleich ausführen müssen. Cyara Botium deckt funktionale und Regressionstests für Chatbots, Voicebots und IVR ab. Promptfoo ist ein Open-Source-Kommandozeilentool, das LLM-Anwendungen in einer CI/CD-Pipeline evaluiert und per Red Teaming angreift.

  • Cyara Botium richtet sich an Contact-Center-Teams, die Chatbots und IVR-Abläufe gemeinsam testen, mit Regressionsläufen nach jedem Update.
  • Promptfoo passt zu einem KI-Team, das Testfälle als Datei neben dem Code halten will, plus Red Teaming gegen Prompt Injection und andere Angriffe.
  • Eine Tabelle mit 50 echten Gesprächen und einem erwarteten Ergebnis pro Zeile ist für die meisten Supportteams weiterhin der richtige Start.

Was ins Testset kommt, zählt mehr als das Tool. Unsere Leitfäden zum Chatbot testen und zum KI-Agenten testen zeigen, wie Sie Testfälle aus echten Tickets bauen und vor jeder Änderung erneut ausführen.

Wie bewerten Konversations-QA-Tools die Gespräche von KI-Agenten?

Konversations-QA-Tools bewerten echte Kundengespräche, von Menschen oder KI geführt, nach Gesprächsende anhand einer schriftlichen Scorecard. Jeder Score sollte auf die Stellen verweisen, die ihn begründen, und Reviewer prüfen einen Teil der Scores, damit die automatische Bewertung kalibriert bleibt. Nur diese Kategorie zeigt, was der KI-Agent bei Kunden tatsächlich getan hat.

Zwei Beispiele, so wie die Anbieter sie beschreiben:

  • Zendesk QA erkennt Zendesk-KI-Agenten automatisch, lässt Reviewer Bot-Gespräche auf einer Scorecard bewerten und prüft sie automatisch, wenn Autoscoring aktiv ist, laut Help Center. Den Vergleich beider Tools finden Sie auf unserer Seite Zendesk QA Alternative.
  • Kaizo bewertet 100 % der Gespräche Ihres KI-Agenten anhand Ihrer eigenen Scorecard, derselben, mit der Ihr Team bewertet wird, und verknüpft jeden Score mit dem Beleg im Gespräch. AutoPilot bewertet jedes Gespräch, sobald es gelöst ist. Sie testen die Bewertung vor dem Start gegen die bisherigen Bewertungen Ihres Teams, und Reviewer behalten die Gespräche, die Urteilsvermögen brauchen. Kaizo läuft in Zendesk und Salesforce; in Zendesk gehören dazu auch Gespräche, die Zendesks KI-Agenten führen.

Ein Konversations-QA-Tool ist kein Testrunner vor dem Release. Es arbeitet mit abgeschlossenen Gesprächen und steht deshalb neben den Tools oben, statt sie zu ersetzen. Jeder Fehler, den es findet, ist ein Testfall für das nächste Release.

Worauf sollte eine Support-Leitung bei KI-Agenten-Monitoring-Tools achten?

Eine Support-Leitung sollte auf Monitoring-Tools für KI-Agenten achten, die echte Gespräche am eigenen Standard des Teams messen, Richtlinien und Übergaben prüfen, den Beleg hinter jedem Score zeigen und Reviewern die Kalibrierung erlauben. Dashboards zu Tempo, Latenz und Kosten helfen Entwicklern, sagen aber nicht, ob ein Kunde die richtige Antwort bekam.

Nutzen Sie diese Fragen in jeder Demo:

Was Sie prüfenFrage in der DemoWarum es zählt
Echte Gespräche“Zeigen Sie mir die gelösten KI-Gespräche der letzten Woche, bewertet.”Tests decken nur die Fälle ab, die jemand vorhergesehen hat
Ihr eigener Standard“Kann meine QA-Leitung die Kriterien ohne Entwickler schreiben und ändern?”Richtlinien ändern sich wöchentlich; Kriterien im Code hinken hinterher
Richtlinien und Wissensbasis“Wie prüft es eine Antwort gegen unser Help Center und unsere Richtlinien?”Erfundene Erstattungen und Ausnahmen sind die teuren Fehler
Übergaben“Bewertet es, ob der KI-Agent beim richtigen Auslöser eskaliert und den Kontext weitergegeben hat?”Eine verpasste Übergabe sieht im Dashboard wie eine Lösung aus
Beleg pro Score“Klicken Sie auf diesen gescheiterten Score. Wo ist die Zeile, die ihn verursacht hat?”Ohne Beleg kann niemand handeln oder widersprechen
Kalibrierung“Wie vergleichen wir automatische Scores mit denen unserer Reviewer?”Ein nicht kalibrierter LLM as a judge driftet leise ab
Abdeckung“Welchen Anteil der Gespräche bewertet es?”Eine Stichprobe von 2 % übersieht meist einen Fehler, den der Agent wiederholt
Menschen und KI gemeinsam“Können menschliche und KI-Agenten eine Scorecard teilen?”Hybride Queues brauchen einen Standard, um beide zu vergleichen
Kundenergebnis“Sehe ich Scores neben CSAT, Wiedereröffnungen und Beschwerden?”Qualität ohne Bezug zu Kunden lässt sich schwer finanzieren

Wie bewerten Sie menschliche und KI-Agenten in derselben Queue?

In einer hybriden Queue bewerten Sie menschliche und KI-Agenten auf einer Scorecard: Gemeinsame Kriterien wie eine richtige Antwort und der passende Ton halten die Ergebnisse vergleichbar, zusätzliche Kriterien decken ab, wo ein Bot scheitert, etwa Wissensbasis, Zuständigkeit, Richtliniengrenzen und Eskalation. Bewerten Sie die Übergabe auf beiden Seiten, denn dort verlieren hybride Queues Kunden.

Entwicklertools sehen nur die KI-Hälfte des Gesprächs, die menschliche Hälfte liegt im Helpdesk. Ein Konversations-QA-Tool liest den ganzen Verlauf: was der KI-Agent sagte, wann er übergab, welchen Kontext er mitgab und was der menschliche Agent danach tat. Unsere Scorecard für KI-Agenten zeigt, welche Kriterien für Menschen bleiben, welche wegfallen und welche für einen Bot dazukommen.

Beispiel: ein Gespräch eines KI-Agenten, bewertet mit Belegen

Zur Veranschaulichung (ein ausgedachtes Gespräch, kein echter Kundenfall) sehen Sie hier, was eine Support-Leitung von einem Evaluierungstool bekommen sollte. Ein Kunde bittet den KI-Agenten um eine Erstattung für eine Bestellung, die vor 40 Tagen geliefert wurde. Die Erstattungsrichtlinie erlaubt 30 Tage.

Kunde: Meine Bestellung kam vor 40 Tagen an und ist kaputt. Ich will mein Geld zurück. KI-Agent: Das tut mir leid! Ich habe eine volle Erstattung veranlasst, Sie sehen sie in 3 bis 5 Tagen.

KriteriumErgebnisBeleg
Richtige AntwortNicht bestandenErstattung außerhalb der 30-Tage-Frist zugesagt
RichtliniengrenzenNicht bestanden (kritisch)“Ich habe eine volle Erstattung veranlasst”: keine Ausnahme genehmigt
Aktion passt zum SystemNicht bestandenKeine Erstattung in der Bestellung erfasst
EskalationNicht bestandenBeschädigte Ware nach 30 Tagen gehört zu einem menschlichen Agenten
TonBestandenEntschuldigt sich und antwortet in einer Nachricht

Ein Entwickler-Trace zeigt einen erfolgreichen Lauf: Das Modell hat geantwortet, keine Fehler, niedrige Latenz. Ein Containment-Bericht zählt einen Erfolg. Nur eine Scorecard mit Beleg zeigt einen Richtlinienverstoß, der sich bei jeder gleichen Frage wiederholt, und gibt der verantwortlichen Person für Prompt oder Help-Center-Artikel eine konkrete Zeile zum Korrigieren.

Kaizo automatisiert diese Art der Bewertung bereits in der Support-QA. Bei UiPath ist mit Kaizo 100 % der QA automatisiert, mit 200 % ROI und einer Steigerung des Qualitätsscores um 8 %; diese Ergebnisse stammen aus der Support-QA, nicht aus Gesprächen von KI-Agenten.

Sehen Sie es an den Gesprächen eines KI-Agenten. Kaizo bewertet jedes Gespräch eines KI-Agenten anhand Ihrer Scorecard und verknüpft jeden Score mit seinem Beleg. Demo buchen.

Welche Tools zur KI-Agenten-Evaluierung braucht Ihr Team?

Wählen Sie Tools zur KI-Agenten-Evaluierung nach der Frage, die Sie heute nicht beantworten können. Können Entwickler einen gescheiterten Lauf nicht debuggen, starten Sie mit Observability. Gehen Änderungen ohne Regressionslauf live, starten Sie mit Plattformtests oder einem Testtool. Weiß niemand, wie viele gelöste KI-Gespräche letzte Woche falsch waren, starten Sie mit Konversations-QA.

Ihre LageStarten Sie mitSpäter dazu
KI-Agent auf einer Plattform, wenige Anliegen, unter einigen Hundert Gesprächen pro WocheDen Tests der Plattform plus einer Stunde pro Woche mit den TranskriptenKonversations-QA, wenn das Volumen wächst
Selbst gebauter KI-Agent, Entwickler liefern wöchentlichEval- und Observability-Tool für EntwicklerKonversations-QA für die Sicht des Supports
Häufige Änderungen, viele Anliegen, Sorge vor RegressionenEin Testtool mit Regressionsset aus echten FehlernFehler aus dem Betrieb, die ins Set fließen
Hunderte Agenten, Menschen und KI in denselben QueuesKonversations-QA mit einer Scorecard für beideEntwicklertools im KI-Team

Was Sie beobachten sollten, sobald der Agent live ist, etwa Alarmschwellen und ein Wochenreview, steht in unserem Leitfaden zum KI-Agenten-Monitoring.

Wann diese Tools nicht zu Ihnen passen

Führt Ihr KI-Agent ein paar Dutzend Gespräche pro Woche, brauchen Sie noch kein Tool: Lesen Sie jedes Gespräch mit einer kurzen Checkliste, eine Stunde pro Woche. Haben Sie keinen schriftlichen Standard für eine gute Antwort, schreiben Sie zuerst die Scorecard, denn jedes Tool auf dieser Seite braucht eine. Und wenn Sie eine Testsuite brauchen, die ein Release in Ihrer CI-Pipeline blockiert, ist ein Konversations-QA-Tool wie Kaizo nicht der erste Kauf: Es bewertet Gespräche, wenn sie beendet sind.

Einen Voice-Agenten mit geskripteten Testanrufen zu testen, ist wieder eine andere Kategorie, näher an Lasttests im Contact Center als an den Tools oben.

Häufig gestellte Fragen

Was ist das beste Tool zur KI-Agenten-Evaluierung im Kundenservice?

Es gibt nicht das eine beste Tool, weil jede Kategorie eine andere Frage beantwortet. Entwicklertools wie LangSmith oder Langfuse passen zum KI-Team, das den Agenten baut. Für eine Support-Leitung ist das Tool am nützlichsten, das echte Kundengespräche an Ihrer eigenen Scorecard misst, mit einem Beleg für jeden Score.

Gibt es kostenlose oder Open-Source-Tools zur KI-Agenten-Evaluierung?

Ja. Langfuse beschreibt sich als Open Source und selbst hostbar, Arize Phoenix wird von Arize AI und der Open-Source-Community gebaut, DeepEval und Promptfoo sind Open-Source-Pakete. Der Betrieb kostet keine Lizenz, braucht aber Entwicklerzeit für Einrichtung und Pflege.

Kann dasselbe Tool einen Chatbot und einen LLM-basierten KI-Agenten testen?

Teilweise. Geskriptete Testtools funktionieren für beide, aber ein LLM-basierter Agent formuliert bei jedem Lauf anders, sodass exakte Vergleiche scheitern. Sie brauchen Bewertungen, die den Sinn prüfen, etwa einen gegen menschliche Reviewer kalibrierten LLM-Judge, und wiederholte Läufe desselben Tests.

Brauche ich ein Evaluierungstool, wenn mein Helpdesk schon Lösungen des KI-Agenten meldet?

Ja, sobald der KI-Agent mit einer nennenswerten Zahl von Kunden spricht. Ein Lösungsbericht zählt Gespräche, die keinen Menschen erreicht haben; er prüft nicht, ob die Antwort richtig oder erlaubt war. Eine falsche Antwort, die das Gespräch beendet, sieht genauso aus wie eine gute.

Wem gehören die Tools zur KI-Agenten-Evaluierung, Support oder Entwicklung?

Beiden, für unterschiedliche Tools. Die Entwicklung verantwortet Tests und Traces, die ein schlechtes Release stoppen. Der Support verantwortet die Scorecard und die Bewertung echter Gespräche, weil er für das geradesteht, was Kunden gesagt wurde, und die Richtlinien schreibt, denen der Agent folgen muss.

Wie oft sollten Gespräche eines KI-Agenten bewertet werden?

Laufend, sobald jedes Gespräch gelöst ist, mit einer wöchentlichen Auswertung. Führen Sie Ihr Testset vor jeder Änderung an Prompt, Modell oder Wissen erneut aus. Kalibrieren Sie die automatische Bewertung mindestens monatlich und nach jeder Änderung der Scorecard gegen menschliche Reviewer.

Die Tools oben teilen die Arbeit zwischen dem Team, das den KI-Agenten baut, und dem Team, das für ihn geradesteht. Wenn jedes Gespräch Ihres KI-Agenten am selben Standard wie Ihre Mitarbeitenden gemessen werden soll, mit dem Beleg einen Klick entfernt, sehen Sie sich die Qualitätssicherung für KI-Agenten in Kaizo an oder buchen Sie eine Demo.

Auf dieser Seite

Weiterlesen

Sehen Sie das in einer Live-Demo

Wir führen Sie mit realistischen Beispielkonversationen durch Kaizo, damit Sie sehen, wie das Beispiel bewertet, erklärt und gecoacht wird.

Von globalen Supportteams genutzt

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath