KI-Agenten-Monitoring und Observability im Support

Observability für KI-Agenten heißt, Schritt für Schritt nachzuverfolgen, was ein KI-Agent tut, damit Entwickler Latenz, Token-Kosten, Tool-Fehler und abgebrochene Durchläufe sehen. Für eine Supportleitung ist das die halbe Arbeit. Die andere Hälfte ist Qualitätsmonitoring: prüfen, ob der Agent Kunden die richtige Antwort gegeben, die Richtlinien eingehalten, rechtzeitig eskaliert und wirklich getan hat, was er zugesagt hat.

Kurz gesagt

• Technische Observability beantwortet die Frage „Läuft der Agent?“. Qualitätsmonitoring beantwortet „Hat der Agent recht?“. Observability-Tools sind vor allem für die erste Frage gebaut.
• Die teuersten Fehler im Support sehen in den Logs wie Erfolge aus: falsche Antworten in gelösten Konversationen, verpasste Eskalationen, Richtlinienverstöße und Aktionen, die der Agent behauptet, aber nie ausgeführt hat.
• Ein brauchbares Dashboard für das Monitoring von KI-Agenten gibt jeder Kennzahl eine Definition, eine Datenquelle, eine Alarmschwelle und genau einen Verantwortlichen. Die Vorlage unten hat 13 Zeilen zum Kopieren.
• Legen Sie Schwellen auf Basis Ihrer eigenen Baseline aus 4 Wochen fest und lesen Sie jede Kennzahl gegen ein Änderungsprotokoll, damit Drift nach einer Prompt- oder Wissensänderung innerhalb weniger Tage sichtbar wird.
• Ein wöchentliches Review von 45 Minuten, das mit benannten Korrekturen endet, verhindert, dass das Dashboard zur Tapete wird.

Was ist Observability für KI-Agenten?

Observability für KI-Agenten bedeutet, jeden Durchlauf eines KI-Agenten als Trace aufzuzeichnen: die Nachricht des Kunden, jede Anfrage an das Modell, jede Tool- oder API-Anfrage, die abgerufenen Daten und die Antwort, jeweils mit Zeiten, Token-Zahlen und Fehlern. Entwickler nutzen diese Traces, um Fehler zu finden, Kosten zu steuern und den Agenten schnell und verfügbar zu halten.

Das Vokabular stammt aus dem Softwarebetrieb. Das Site-Reliability-Engineering-Buch von Google nennt die vier „Golden Signals“ des Monitorings: Latenz, Traffic, Fehler und Auslastung. Observability für KI-Agenten ergänzt, was für Sprachmodelle spezifisch ist: Prompts, Modellversionen, Token-Verbrauch, Retrieval und Tool-Nutzung. Die Branche bewegt sich auf ein gemeinsames Datenformat zu, die semantischen Konventionen von OpenTelemetry für generative KI.

Ein Trace ist die Aufzeichnung eines Agenten-Durchlaufs, und jeder Schritt darin (eine Modellanfrage, eine Suche in der Wissensdatenbank, eine Bestellabfrage) ist ein Span. Der Bedarf an dieser Transparenz ist real: In einer Studie des IBM Institute for Business Value aus dem Jahr 2025 nannte etwa die Hälfte der Führungskräfte die fehlende Einsicht in die Entscheidungsprozesse von Agenten als wesentliches Hindernis bei der Einführung (IBM).

Was ist der Unterschied zwischen Observability und Qualitätsmonitoring bei KI-Agenten?

Technische Observability zeigt Ihnen, ob der KI-Agent gelaufen ist: schnell geantwortet, ohne Fehler, zu vertretbaren Kosten. Qualitätsmonitoring zeigt Ihnen, ob der Agent recht hatte: richtige Antwort, erlaubte Aktion, richtige Eskalation, dem Kunden geholfen. Eine Konversation kann im Trace perfekt aussehen und für den Kunden falsch sein, und der Trace zeigt das nicht.

LangChain, der Anbieter der Observability-Plattform LangSmith, formuliert es klar: Klassische Monitoring-Tools konzentrieren sich auf Kennzahlen wie Latenz, Traffic, Fehler und Auslastung, während Observability für Agenten verlangt, die Eingaben und Ausgaben selbst zu überwachen, nicht nur die Systemkennzahlen drumherum (LangChain, Februar 2026).

Das rechtliche Risiko liegt auf der Qualitätsseite. Im Fall Moffatt v. Air Canada (2024 BCCRT 149) sagte der Chatbot auf der Website der Airline einem Kunden, er könne einen Trauerfalltarif rückwirkend beantragen, was die Richtlinie nicht vorsah. Das Tribunal verurteilte die Airline zur Zahlung und schrieb, es sollte für Air Canada offensichtlich sein, dass sie für alle Informationen auf ihrer Website verantwortlich ist (Entscheidung des Tribunals). Kein Latenz-Diagramm hätte diese Antwort markiert.

Die beiden Ebenen treffen sich in der Mitte: Eine Schleife zeigt sich im Trace als wiederholte Schritte und in der Konversation als frustrierter Kunde. Die Konversationen selbst anhand eines schriftlichen Standards zu bewerten, nennen Supportteams Qualitätssicherung für KI-Agenten.

Was sollte eine Supportleitung bei einem KI-Agenten überwachen?

Eine Supportleitung sollte sieben Dinge überwachen: Antworten, die falsch waren, aber als gelöst zählen, Fehler bei Eskalation und Übergabe, Richtlinienverstöße, behauptete, aber nicht ausgeführte Aktionen, Schleifen, Stimmungseinbrüche und Drift nach jeder Änderung. Jeder dieser Fehler besteht einen technischen Health Check, deshalb braucht jeder eine eigene Messung.

1. Falsch, aber gelöst. Der Kunde hat nicht mehr geantwortet, also zählt der Helpdesk eine Lösung, aber die Antwort war falsch. Das ist der Kern der stillen Fehler, die Ihr Dashboard als Erfolg zählt, und Halluzinationen sind eine Ursache davon. Nur die Bewertung des Inhalts gelöster Konversationen macht sie sichtbar.
2. Fehler bei Eskalation und Übergabe. Eine verpasste Eskalation ist ein Fall, den der Agent behalten hat, obwohl Ihre Regeln ihn einem Menschen zuweisen. Eine fehlgeschlagene Übergabe ist eine schlecht ausgeführte Eskalation: kein Kontext übergeben, der Kunde muss alles wiederholen, oder niemand übernimmt rechtzeitig.
3. Richtlinienverstöße. Der Agent hat eine Erstattung, einen Gebührenerlass oder eine Ausnahme versprochen, die Ihre Richtlinie nicht erlaubt. Ein einziges solches Versprechen kann reichen, damit die Geschäftsleitung jeden weiteren KI-Rollout stoppt, bis Compliance ihn geprüft hat.
4. Behauptet, aber nicht ausgeführt. Der Agent sagt „Ihre Erstattung ist unterwegs“, aber im Backend gibt es keine Erstattung. Die Tool-Anfrage ist still fehlgeschlagen, oder der Agent hat eine Aktion beschrieben, die er nie versucht hat. Erkennen lässt sich das nur, wenn Sie Transkripte mit dem führenden System abgleichen.
5. Schleifen. Der Agent stellt dieselbe Frage dreimal oder schickt den Kunden zwischen Chat und Telefon hin und her. Der Trace zeigt eine hohe Zahl an Turns; der Kunde fühlt sich festgefahren und kommt wieder, oder er kündigt.
6. Stimmungseinbrüche. Der Kunde ist am Ende verärgerter als am Anfang, auch bei einem technisch gelösten Fall. Ein Anstieg bei einem Thema deutet meist auf eine Antwort hin, die der Agent schlecht beherrscht.
7. Drift nach Änderungen. Die Qualität verschiebt sich, wenn etwas live geht: eine Modellversion, eine Prompt-Änderung, ein umgeschriebener Artikel, eine neue Richtlinie oder Integration. Lesen Sie jede Kennzahl gegen ein Änderungsprotokoll, dann hat Drift ein Datum und eine Ursache.

Ob sich der Agent überhaupt lohnt (Lösungsquote, Containment, Kosten pro Lösung, CSAT), ist eine eigene Frage, die wir unter die Leistung von KI-Agenten messen behandeln. Monitoring ist die Ebene darunter: erkennen, was diese Woche schiefgegangen ist, solange es noch klein ist.

Die Dashboard-Vorlage für das Monitoring von KI-Agenten

Ein Monitoring-Dashboard funktioniert nur, wenn jede Kennzahl eine genaue Definition, eine benannte Datenquelle, eine Alarmschwelle und genau einen Verantwortlichen hat. Ohne diese vier Felder färbt sich ein Diagramm rot, und niemand bewegt sich. Kopieren Sie die Vorlage unten und ersetzen Sie die Beispielschwellen, die Illustrationen und keine Benchmarks sind, durch Zahlen aus Ihrer eigenen Baseline.

Drei Regeln halten das Dashboard ehrlich. Jede Qualitätskennzahl verlinkt auf die Konversationen dahinter, sodass eine rote Zelle echte Beispiele öffnet statt eine Debatte. Jede Kennzahl wird nach Thema aufgeschlüsselt, weil ein Durchschnitt den einen falschen Artikel versteckt. Und die ersten beiden Zeilen haben Vorrang vor der letzten: Ein schneller, günstiger Agent, der falsche Antworten gibt, ist nicht gesund.

Die meisten Zeilen setzen eine schriftliche Scorecard voraus. Wenn Sie noch keine haben, beginnen Sie mit der Scorecard für KI-Agenten und den Methoden aus dem Leitfaden zur Evaluierung von KI-Agenten.

Wie legen Sie Alarmschwellen für das Monitoring von KI-Agenten fest?

Legen Sie Alarmschwellen auf Basis Ihrer eigenen Baseline fest. Bewerten Sie mindestens 4 Wochen an Konversationen, notieren Sie die normale wöchentliche Spanne jeder Kennzahl und alarmieren Sie bei einer Bewegung außerhalb dieser Spanne oder bei einer absoluten Obergrenze, je nachdem, was zuerst eintritt. Ereignisse der roten Liste wie Zahlungsfehler oder rechtliche Zusagen lösen schon beim einzelnen Fall Alarm aus, unabhängig von der Quote.

Die SRE-Leitlinie von Google lautet, dass jede Benachrichtigung zu einer Handlung führen muss. Arbeiten Sie deshalb mit drei Stufen:

• Am selben Tag: ein Richtlinienverstoß aus der roten Liste, eine behauptete, aber nicht ausgeführte Zahlung, Abdeckung unter 95 %, ein Ausfall.
• Innerhalb von 2 Tagen: eine überschrittene Quote bei einem volumenstarken Thema oder jede überschrittene Schwelle innerhalb von 7 Tagen nach einer Änderung.
• Im wöchentlichen Review: langsamere Trends, Themen mit geringem Volumen, Stimmung und Wiederkontakte.

Rechenbeispiel: warum vollständige Abdeckung verändert, was Sie sehen

Eine Illustration mit runden Zahlen, für diesen Artikel berechnet. Ein KI-Agent bearbeitet 50.000 Konversationen pro Woche und löst 35.000 davon ohne einen Menschen. Die Baseline für „falsch, aber gelöst“ liegt bei 2,0 %, also etwa 700 falschen Antworten pro Woche. Am Montag wird ein Artikel zu Retouren umgeschrieben, und in der Woche danach liegt die Quote bei 2,8 %: etwa 980 falsche Antworten, 280 mehr als üblich.

Richtlinienverstöße sind seltener. Bei 0,1 % sind es etwa 35 pro Woche in 35.000 gelösten Konversationen. Eine Stichprobe von 2 % enthält im Schnitt 0,7 davon, die Wahrscheinlichkeit, dass sie keinen enthält, liegt also bei etwa 50 %. In der Hälfte der Wochen meldet ein Review auf Stichprobenbasis null Verstöße, während 35 Kunden etwas gesagt wurde, das Ihre Richtlinie nicht erlaubt.

Wie sieht ein wöchentliches Qualitätsreview für KI-Agenten aus?

Ein wöchentliches Qualitätsreview für KI-Agenten ist ein Termin von 45 Minuten, in dem der Verantwortliche für den KI-Agenten, die QA-Leitung, Support Operations und der Verantwortliche für die Wissensdatenbank Alarme, Fehlercluster und die Änderungen der letzten Woche durchgehen und mit benannten Korrekturen herausgehen. Compliance kommt dazu, wenn ein Richtlinienverstoß auf der Liste steht. Das Ergebnis ist eine Liste von Korrekturen und ein aktualisiertes Änderungsprotokoll.

1. Alarme seit letzter Woche (5 Minuten): was ausgelöst hat, was getan wurde, was offen ist.
2. Die 3 größten Fehlercluster (15 Minuten): je 3 echte Konversationen, gemeinsam am Bildschirm gelesen, nicht zusammengefasst.
3. Ausgerollte Änderungen (10 Minuten): jede Änderung aus dem Protokoll mit ihren Zahlen 7 Tage davor und danach.
4. Korrekturen festlegen (10 Minuten): ein Verantwortlicher und ein Datum pro Korrektur, ob Wissensänderung, Guardrail, Eskalationsregel oder Rollback.
5. Korrekturen der letzten Woche prüfen (5 Minuten): Hat sich die Kennzahl bewegt, auf die jede Korrektur zielte?

Lassen Sie Korrekturen vor dem Rollout durch Ihre Prüfungen vor dem Livegang laufen; der Leitfaden KI-Agenten testen beschreibt Testsets, die verhindern, dass die Korrektur für ein Thema ein anderes kaputt macht. Wer Änderungen an Themen der roten Liste freigibt und wer ein Thema abschalten darf, gehört in Ihr Modell für die Governance von KI-Agenten.

Welche Arten von Monitoring-Tools für KI-Agenten gibt es?

Monitoring-Tools für KI-Agenten fallen in fünf Kategorien: Tracing-Tools für Entwickler, Suiten für Application Performance Monitoring, die eigenen Analysen der Agenten-Plattform, Tools für Konversations-QA, die gelöste Konversationen bewerten, und KI-Sicherheitstools. Jede beantwortet eine andere Frage, deshalb nutzen die meisten Supportteams mit einem KI-Agenten in Produktion am Ende zwei oder drei davon.

Wählen Sie nach der Frage, die Sie heute nicht beantworten können: Wenn Entwickler einen gescheiterten Durchlauf nicht debuggen können, beginnen Sie mit Tracing; wenn niemand sagen kann, wie viele gelöste Konversationen letzte Woche falsch waren, beginnen Sie mit Konversations-QA.

Wann lohnt sich dieses Niveau an Monitoring für Sie nicht?

Vollständiges Qualitätsmonitoring lohnt sich nicht, solange der KI-Agent nur einige Hundert Konversationen pro Woche zu risikoarmen Themen bearbeitet. Bei diesem Volumen reicht es, wenn eine Person die Konversationen wöchentlich liest, und die Zeit ist in der Wissensdatenbank besser investiert.

Es ist auch der falsche erste Schritt, wenn der Agent noch nicht live ist (dann brauchen Sie Tests vor dem Livegang) oder wenn es keinen schriftlichen Standard für eine gute Antwort gibt: Ein Tool kann nicht bei einer Regel alarmieren, die niemand aufgeschrieben hat.

So starten Sie diese Woche mit dem Monitoring von KI-Agenten

Sie können diese Woche mit dem Monitoring von KI-Agenten beginnen, ohne etwas zu kaufen: Schreiben Sie eine rote Liste, beginnen Sie ein Änderungsprotokoll, lesen Sie die gelösten Konversationen der letzten Woche für eine erste Baseline und benennen Sie für jede Kennzahl einen Verantwortlichen. Tools kommen, sobald Sie wissen, welche Fragen Sie nicht beantworten können.

1. Rote Liste schreiben: 5 bis 10 Themen wie Erstattungen, Kündigungen, Rechtliches, Sicherheit und schutzbedürftige Kunden.
2. Änderungsprotokoll beginnen: Datum, was sich geändert hat, wer es geändert hat. Tragen Sie den letzten Monat nach.
3. 200 gelöste KI-Konversationen der letzten Woche lesen, gemessen an Ihrer Richtlinie, und zählen Sie „falsch, aber gelöst“, verpasste Eskalationen und Verstöße.
4. Die Dashboard-Vorlage kopieren, Zeilen streichen, für die Sie noch keine Quelle haben, und jede Zelle „Verantwortlich“ ausfüllen.
5. Das wöchentliche Review einplanen, jede Woche im selben Slot.

Wenn Ihre Konversationen in Zendesk oder Salesforce liegen und Sie die Qualitätsebene ohne manuelles Lesen wollen, ist das der Teil, den Kaizo abdeckt. AutoPilot bewertet jede Konversation bei ihrem Abschluss anhand Ihrer eigenen Scorecard und verknüpft jeden Score mit den Belegen, und Sie testen es vor dem Livegang an Ihren bisherigen Bewertungen. Die Ursachenanalyse führt einen Qualitätseinbruch auf die Konversationen zurück, die ihn verursacht haben. Sie ersetzt nicht die Tracing-Tools Ihrer Entwickler; wie sie sich einfügt, lesen Sie unter Qualitätssicherung für KI-Agenten.

Sehen Sie es an den Konversationen Ihres eigenen KI-Agenten. Demo buchen.

Häufig gestellte Fragen

Lassen sich KI-Agenten überwachen?

Ja, auf zwei Ebenen. Die Durchläufe eines Agenten lassen sich auf Fehler, Geschwindigkeit und Kosten nachverfolgen, und seine Konversationen lassen sich auf Richtigkeit, Richtlinien und Eskalation bewerten. Supportteams brauchen beides, weil auch ein technisch gesunder Durchlauf einem Kunden eine falsche Antwort geben kann.

Welche Tools eignen sich am besten für das Monitoring agentischer KI?

Ein bestes Tool gibt es nicht, weil jede Kategorie eine andere Frage beantwortet: Tracing-Tools debuggen Durchläufe, Performance-Suiten überwachen die Verfügbarkeit, Plattform-Analysen berichten über einen Agenten, und Tools für Konversations-QA prüfen, ob Antworten richtig und erlaubt waren. Beginnen Sie mit der Frage, die Sie heute nicht beantworten können.

Was ist ein Trace bei einem KI-Agenten?

Ein Trace ist die vollständige Aufzeichnung eines Durchlaufs eines KI-Agenten, von der Nachricht des Kunden bis zur Antwort. Jeder Schritt darin, etwa eine Modellanfrage oder eine Bestellabfrage, ist ein Span mit eigenen Zeiten, Eingaben, Ausgaben und Fehlern. Ein Trace zeigt, wie der Agent zu einer Antwort kam, nicht, ob die Antwort richtig war.

Wer sollte das Monitoring von KI-Agenten in einem Supportteam verantworten?

Teilen Sie die Verantwortung nach Ebenen. Das KI-Engineering verantwortet technischen Zustand und Kosten. Ein benannter Verantwortlicher für den KI-Agenten, meist in Support Operations, verantwortet Antwortqualität, Eskalation und Schleifen. Die QA-Leitung verantwortet die Scorecard und die Übereinstimmung der Bewertung. Jede Kennzahl im Dashboard sollte genau einen Namen tragen.

Reicht die Containment-Rate, um einen KI-Agenten zu überwachen?

Nein. Containment zählt jede Konversation, die keinen Menschen erreicht hat, als Erfolg, auch solche, in denen der Agent falsch lag und der Kunde aufgegeben hat. Lesen Sie die Kennzahl zusammen mit der Quote „falsch, aber gelöst“, Wiederkontakten innerhalb von 72 Stunden und der Stimmungsverschiebung. Was Sie zuerst prüfen sollten, lesen Sie unter QA für Konversationen, die die KI bearbeitet (auf Englisch).