Eine Ausschreibung für KI-Agenten (RFP, Request for Proposal) sollte prüfen, ob man dem Agenten im großen Maßstab vertrauen kann, nicht nur, was er kann. Ergänzen Sie Fragen dazu, wie „gelöst“ definiert und abgerechnet wird, zum Zugriff auf vollständige Transkripte und Aktionsprotokolle, zum Export für unabhängige QA, zu Regressionstests, Freigabekontrollen, Audit-Logs, Vorfällen, Ankündigung von Modelländerungen, Datenbedingungen und Unterstützung bei der KI-Verordnung.
Kurz gesagt
- Ausschreibungsvorlagen der Anbieter sind stark bei Funktionen, Kanälen und Integrationen und schwach bei der Frage, wie Sie die Arbeit des Agenten nach dem Go-live prüfen.
- Der Fragenkatalog unten hat 38 Fragen in 8 Bereichen, jeweils mit einer guten Antwort und einem Warnsignal, das die Bewertung senken oder das Gespräch beenden sollte.
- Behandeln Sie die Abrechnungsdefinition von „gelöst“, den Zugriff auf Transkripte und Protokolle und das Recht, Konversationen für Ihre eigene QA zu exportieren, als K.-o.-Kriterien, nicht als bewertete Funktionen.
- Ein Rechenbeispiel zeigt, wie eine geprüfte Fehlerquote von 18 % in abgerechneten Lösungen aus 1,00 US-Dollar pro Lösung 1,22 US-Dollar pro korrekter Lösung macht.
- Schließen Sie mit einer Demo nach Drehbuch auf Ihren eigenen Konversationen ab: acht Aufgaben, dieselbe Reihenfolge für jeden Finalisten, bewertet auf derselben Skala wie die schriftlichen Antworten.
Dieser Beitrag richtet sich an Teams, die eine Plattform für KI-Agenten im Kundenservice einkaufen, ob auf der Shortlist Sierra, Decagon, Intercom Fin, Salesforce Agentforce, Zendesk AI Agents, Ada oder eine Eigenentwicklung stehen. Er erstellt kein Ranking der Anbieter. Er gibt Ihnen die Fragen, die deren eigene Vorlagen auslassen. Wenn Sie QA-Software statt eines KI-Agenten einkaufen, nutzen Sie stattdessen unsere Ausschreibung für QA-Software mit 40 Fragen und Bewertungsmatrix; diese Seite folgt demselben Format.
Was gehört über Funktionen hinaus in eine Ausschreibung für KI-Agenten?
Über Funktionen hinaus gehören in eine Ausschreibung für KI-Agenten die Bedingungen, die entscheiden, ob Sie den Agenten prüfen und steuern können: wie eine abgerechnete Lösung definiert ist, welche Belege Sie sehen und exportieren können, wie Änderungen getestet und angekündigt werden, welche Aktionen eine Freigabe brauchen, wie mit Vorfällen umgegangen wird und wohin Ihre Daten gehen. Funktionen entscheiden die Demo; diese Punkte entscheiden das zweite Jahr.
Die meisten veröffentlichten Vorlagen, viele davon von Anbietern von KI-Agenten geschrieben, decken Kanäle, Sprachen, Integrationen, Wissensquellen, Übergabe, Sicherheit und Preis gut ab und gehen weniger tief bei den Fragen, die Käufer stellen, sobald der Agent live ist. Die Tabelle vergleicht eine typische Vorlage (mehrere auf Anbieterseiten veröffentlicht, gelesen am 13. November 2026) mit diesem Fragenkatalog.
| Thema | Typische Vorlage eines Anbieters | Dieser Fragenkatalog |
|---|---|---|
| Kanäle, Integrationen, Wissensquellen | Ausführlich abgedeckt | Ihrem Funktionsteil überlassen |
| Wie „gelöst“ definiert ist | Oft gefragt | Gefragt, mit Auslöser, Zeitfenster und Verifizierung |
| Abgerechnete Lösungen anfechten | Selten, und ohne Verfahren | Ein Fenster für Einsprüche, Regeln für Belege und Gutschriften |
| Vollständige Transkripte und Aktionsprotokolle | Teilweise (Zusammenfassungen, einige Protokolle) | Rohtranskripte, Tool-Aufrufe und das verwendete Wissen, je Konversation |
| Export für unabhängige QA während der Laufzeit | Meist nur beim Vertragsende | Laufender Export in einem dokumentierten Format |
| Regressionstests nach dem Go-live | Ein Test vor der Unterschrift | Eine Testsuite, die vor jeder Änderung erneut läuft |
| Ankündigung von Modelländerungen | Manchmal, nicht bewertet | Schriftliche Ankündigung, ein Testfenster und eine Rückfalloption |
| KI-spezifischer Prozess für Vorfälle | Selten | Schweregrad, Meldefrist, Stopp-Kontrolle und ein schriftlicher Bericht |
| Unterstützung für Betreiber nach der KI-Verordnung | Nicht gefunden | Rollen, Offenlegung, Dokumentation und Protokolle |
Die Lücke ist kein Zufall: Ein Vertriebsteam kann eine Funktionsfrage in einer Demo beantworten, aber Einsprüche gegen Abrechnungen oder die Ankündigung von Modelländerungen brauchen eine schriftliche Antwort von Recht und Produkt, die zur Vertragsbedingung wird.
Warum gehört die Definition von „gelöst“ in die Ausschreibung?
Die Definition von „gelöst“ gehört in die Ausschreibung, weil sie meist zugleich die wichtigste Erfolgskennzahl und die Abrechnungseinheit ist, und weil Anbieter sie unterschiedlich definieren. Eine Lösung, die zählt, wenn der Kunde einfach nicht mehr antwortet, ist nicht dasselbe wie eine, die gegen Antwort, Aktion und Wiederholungskontakt geprüft wird. Der Unterschied zeigt sich auf Ihrer Rechnung.
Zwei öffentliche Beispiele zeigen die Bandbreite. Intercom zählt eine Lösung durch Fin, wenn der Kunde nach der letzten Antwort von Fin bestätigt, dass sie geholfen hat, oder „die Konversation verlässt, ohne um weitere Unterstützung zu bitten“, und zieht die Gebühr ab, wenn der Kunde in dieselbe Konversation zurückkehrt, um mehr Hilfe zu bekommen (Intercom-Hilfecenter). Zendesk rechnet automatisierte Lösungen ab und lässt für die Stufe „verified“ ein großes Sprachmodell die Konversation prüfen, sobald sie endet, was bei Messaging standardmäßig 2 Stunden nach der ersten Nachricht und bei E-Mail nach 72 Stunden der Fall ist (Zendesk-Hilfecenter).
Keine der beiden Definitionen prüft, so wie sie dokumentiert ist, ob die Antwort nach Ihrer Richtlinie richtig war oder ob die zugesagte Erstattung bearbeitet wurde. Das ist Ihre Aufgabe, und Ihre Ausschreibung sollte fragen, wie der Anbieter Ihnen dabei hilft. Unser Leitfaden zur Prüfung der Lösungsquote von KI-Agenten liefert die Stichprobenmethode, und die korrekte Lösungsquote ist die Kennzahl, die Sie neben der Zahl des Anbieters berichten.
Rechenbeispiel: was eine Prüfung mit dem Preis einer Lösung macht
Das ist eine Illustration mit erfundenen Zahlen, keine Daten eines Anbieters.
| Zeile | Wert |
|---|---|
| Vom KI-Agenten bearbeitete Konversationen im Monat | 40.000 |
| Vom Anbieter gemeldete abgerechnete Lösungen | 24.000 (60 %) |
| Preis pro Lösung (illustrativ) | 1,00 US-Dollar |
| Monatsrechnung | 24.000 US-Dollar |
| Geprüfte abgerechnete Lösungen (Zufallsstichprobe) | 400 |
| Prüfung nicht bestanden (falsche Antwort, Aktion nicht ausgeführt, Verstoß gegen Richtlinie oder Wiederholungskontakt innerhalb von 7 Tagen) | 72 (18 %) |
| Geschätzte korrekte Lösungen | 24.000 × 0,82 = 19.680 |
| Kosten pro korrekter Lösung | 24.000 US-Dollar ÷ 19.680 = 1,22 US-Dollar |
| Fehlermarge bei 18 % mit 400 geprüften (95 %) | etwa ±3,8 Prozentpunkte |
| Gutschrift, wenn nicht bestandene Lösungen erstattet werden | 24.000 × 0,18 × 1,00 US-Dollar = 4.320 US-Dollar im Monat |
Die Fehlermarge ergibt sich aus 1,96 × √(0,18 × 0,82 ÷ 400) = 0,038. Die wahre Fehlerquote liegt also wahrscheinlich zwischen etwa 14 % und 22 %, genau genug, um darüber zu verhandeln. Ohne Einspruchsklausel im Vertrag (Fragen H2 und H3 unten) bleiben die 4.320 US-Dollar jeden Monat auf der Rechnung.
Der Fragenkatalog für die Ausschreibung von KI-Agenten (38 Fragen zum Kopieren)
Diese 38 Fragen decken die acht Bereiche ab, in denen sich Plattformen für KI-Agenten bei Qualität und Governance am stärksten unterscheiden. Kopieren Sie sie neben Ihre Funktionsfragen, behalten Sie die Nummerierung bei und verlangen Sie zu jeder Antwort einen Beleg: einen Screenshot, ein Dokument, eine Vertragsklausel oder eine Live-Vorführung. Ein „Ja“ ohne Beleg wird wie keine Antwort bewertet.
Bereich A: Definition und Abrechnung von Lösungen (5 Fragen)
| # | Frage | So sieht eine gute Antwort aus | Warnsignal |
|---|---|---|---|
| A1 | Was genau löst eine abgerechnete Lösung aus, je Kanal? | Eine schriftliche Regel je Kanal: Auslöser, Zeitfenster und was ausgeschlossen ist | „Unsere KI entscheidet“, ohne schriftliche Regel |
| A2 | Wie wird eine Lösung verifiziert, bevor sie abgerechnet wird? | Eine beschriebene Prüfung (Bestätigung durch den Kunden, LLM-Prüfung, Fenster für Wiederholungskontakte), die Sie je Konversation sehen können | Schweigen des Kunden zählt als Erfolg, ohne Zeitfenster |
| A3 | Was passiert, wenn der Kunde zum selben Anliegen zurückkommt? | Die Lösung wird innerhalb eines festgelegten Fensters, etwa 7 Tage, storniert oder nicht abgerechnet | Der Wiederholungskontakt wird als neue Lösung abgerechnet |
| A4 | Können wir je abgerechneter Konversation sehen, warum sie als gelöst zählte? | Ein Feld oder Protokolleintrag je Konversation, exportierbar | Nur eine Monatssumme auf der Rechnung |
| A5 | Berichten Sie Lösungen getrennt von Containment und Deflection? | Getrennte Definitionen und getrennte Zahlen | Eine einzige „Automatisierungsquote“, die alles mischt |
Bereich B: Transkripte, Aktionsprotokolle und Export (5 Fragen)
| # | Frage | So sieht eine gute Antwort aus | Warnsignal |
|---|---|---|---|
| B1 | Haben wir Zugriff auf das vollständige Transkript jeder Konversation des KI-Agenten, einschließlich interner Schritte? | Jede Nachricht, dazu die Wissensartikel und Anweisungen, die für jede Antwort verwendet wurden | Nur Zusammenfassungen oder eine Stichprobe |
| B2 | Protokollieren Sie jede Aktion und jeden Tool-Aufruf des Agenten, mit Eingaben und Ergebnissen? | Ein Protokoll je Konversation: welches System, welcher Aufruf, welche Parameter, Erfolg oder Fehler | „Aktionen werden im Zielsystem protokolliert“, ohne etwas auf Ihrer Seite |
| B3 | Können wir während der Vertragslaufzeit alle Konversationen und Protokolle laufend für unsere eigene QA exportieren? | Eine API oder ein geplanter Export in einem dokumentierten Format, ohne Zusatzkosten, in ein Tool Ihrer Wahl | Export nur bei Kündigung oder nur in die eigene Analyse des Anbieters |
| B4 | Wie lange bewahren Sie Transkripte und Protokolle auf, und können wir den Zeitraum festlegen? | Eine Standardfrist und eine einstellbare Frist je Datenart | Keine angegebene Aufbewahrung oder Löschung, die Sie nicht steuern können |
| B5 | Kann eine unabhängige prüfende Person dieselben Belege sehen, die Ihre Dashboards nutzen? | Dieselbe Konversation, dieselben Schritte und Ergebnisfelder, exportierbar | Ein Score oder Label ohne Zugriff auf die zugrunde liegende Konversation |
Frage B3 lassen die meisten Vorlagen aus, und sie ist die wichtigste, wenn Sie Konversationen von KI-Agenten anhand Ihrer eigenen Scorecard bewerten wollen, wie wir es in unserem Leitfaden zur KI-Agenten-Evaluierung beschreiben.
Bereich C: Tests und Regression (5 Fragen)
| # | Frage | So sieht eine gute Antwort aus | Warnsignal |
|---|---|---|---|
| C1 | Lassen Sie den Agenten vor der Unterschrift auf einem Set unserer historischen Konversationen laufen und teilen jedes Ergebnis? | Ein Test auf mehreren hundert Ihrer echten Konversationen, mit jeder Antwort sichtbar | Eine Demo nur auf den eigenen Beispieldaten des Anbieters |
| C2 | Können wir eigene Testfälle anlegen und speichern, mit erwarteten Antworten und erwarteten Aktionen? | Eine Testbibliothek, die Ihnen gehört und die Sie exportieren können | Tests, die nur das Team des Anbieters anlegen kann |
| C3 | Können wir das vollständige Testset vor jeder Änderung an Prompts, Wissen, Richtlinien oder Modell erneut laufen lassen? | Regressionsläufe per Klick oder nach Zeitplan, mit Vergleich zum letzten Lauf | Tests finden einmalig beim Onboarding statt |
| C4 | Können wir schwierige Kunden simulieren: themenfremde Fragen, verärgerte Kunden, Versuche, eine Erstattung außerhalb der Richtlinie zu bekommen? | Simulierte Konversationen aus Skripten oder Personas, mit Ergebnissen, die Sie prüfen können | „Das Modell kommt damit klar“, ohne Möglichkeit zur Prüfung |
| C5 | Können wir ein Release blockieren, wenn Tests fehlschlagen? | Eine Release-Schranke mit einer Bestehensschwelle, die Sie festlegen | Änderungen gehen live, sobald sie gespeichert sind |
Unser Leitfaden zum Testen von KI-Agenten erklärt, wie Sie aus echten Konversationen ein Golden Test Set aufbauen und was eine Release-Schranke prüfen sollte.
Bereich D: Richtlinien und Freigabekontrollen (5 Fragen)
| # | Frage | So sieht eine gute Antwort aus | Warnsignal |
|---|---|---|---|
| D1 | Welche Aktionen darf der Agent allein ausführen, und können wir je Aktionsart eine Freigabe verlangen? | Eine Liste der Aktionen mit einer Einstellung je Aktion: erlaubt, freigabepflichtig, gesperrt | Alle Aktionen an oder alle aus |
| D2 | Wie werden Grenzen durchgesetzt, zum Beispiel eine Obergrenze für Erstattungen? | Grenzen, die das System prüft, bevor die Aktion läuft, nicht nur im Prompt festgehalten | Grenzen nur als Anweisungen an das Modell formuliert |
| D3 | Wer darf Prompts, Richtlinien und Wissen ändern, und wird jede Änderung freigegeben und versioniert? | Rollen, ein Freigabeschritt, Versionshistorie und Rollback | Jeder Admin bearbeitet live, ohne Historie |
| D4 | Können wir den Agenten auf bestimmte Themen, Kunden oder Kanäle beschränken? | Eingrenzung nach Intent, Segment und Kanal | Ein einziger globaler Schalter |
| D5 | Können wir den Agenten schnell stoppen, für ein Thema oder ganz, und an Menschen weiterleiten? | Eine dokumentierte Stopp-Kontrolle je Thema und global, mit einem Ausweichweg | Für den Stopp braucht es ein Ticket beim Anbieter |
Bereich E: Übergabe und Eskalation (4 Fragen)
| # | Frage | So sieht eine gute Antwort aus | Warnsignal |
|---|---|---|---|
| E1 | Welche Auslöser schicken eine Konversation an einen Menschen, und können wir sie ändern? | Einstellbare Auslöser: Wunsch nach einem Menschen, Frust, Risikothemen, wiederholtes Scheitern | Ein fester Satz, den Sie nicht sehen können |
| E2 | Kann ein Kunde immer einen Menschen erreichen, und wie schnell? | Ein festgelegter Weg und eine festgelegte Zeit je Kanal | Der Agent hält den Kunden fest, wenn er nach einem Menschen fragt |
| E3 | Was erhält der menschliche Agent bei der Übergabe? | Das vollständige Transkript, die ausgeführten Aktionen und den Grund für die Übergabe | Eine Zusammenfassung in einer Zeile |
| E4 | Wie berichten Sie Übergaben, die zu spät kamen? | Ein Bericht über Konversationen mit mehreren gescheiterten Versuchen vor der Übergabe | Die Übergabe zählt nur als Versagen der KI |
Ein Agent, der einen Kunden festhält, der nach einem Menschen gefragt hat, macht aus einer schlechten Antwort eine Beschwerde. In unserem Beitrag zur Übergabe vom KI-Agenten an Mitarbeitende steht, was Sie bewerten sollten.
Bereich F: Change Management und Vorfälle (5 Fragen)
| # | Frage | So sieht eine gute Antwort aus | Warnsignal |
|---|---|---|---|
| F1 | Informieren Sie uns, bevor Sie das zugrunde liegende Modell oder seine Version ändern, und wie lange vorher? | Schriftliche Ankündigung eine festgelegte Zahl von Tagen vorher, mit Release Notes | „Wir verbessern das Modell laufend“ |
| F2 | Können wir eine Modelländerung auf unserem Testset prüfen, bevor sie unsere Kunden erreicht? | Eine Vorschau- oder Staging-Umgebung für das neue Modell | Änderungen erreichen zuerst die Produktion |
| F3 | Können wir für einen Zeitraum beim vorherigen Modell bleiben, wenn unsere Tests fehlschlagen? | Eine Rollback- oder Pinning-Option für einen festgelegten Zeitraum | Keine Möglichkeit zum Aufschub |
| F4 | Wie sieht Ihr Prozess für Vorfälle mit schädlichen oder falschen Antworten im großen Umfang aus? | Schweregrade, Meldefristen, eine benannte Kontaktperson und ein schriftlicher Bericht nach jedem Vorfall | Nur ein SLA zur Verfügbarkeit |
| F5 | Wie erkennen Sie einen Qualitätsdrift, wenn sich an unserem Setup nichts geändert hat? | Monitoring der Antwortqualität, mit Alarmen, die Sie einstellen können | Den Drift finden Ihre Kunden |
Drift ohne Konfigurationsänderung ist eine echte Sorge von Käufern: In einem Thread der Intercom-Community (November 2025) berichtete ein Kunde, Fin habe begonnen, falsche Antworten zu geben, obwohl „der gesamte Inhalt gleich geblieben“ sei (Intercom-Community). F1 und F5 gibt es für genau diesen Moment; unser Leitfaden zum KI-Agenten-Monitoring beschreibt die Alarme, die Sie einstellen sollten.
Bereich G: Daten, Datenschutz und Regulierung (5 Fragen)
| # | Frage | So sieht eine gute Antwort aus | Warnsignal |
|---|---|---|---|
| G1 | Wo werden unsere Daten gespeichert und verarbeitet, auch durch den Modellanbieter? | Benannte Regionen und eine Wahl der Region, wo Sie eine brauchen | „In der Cloud“ |
| G2 | Wer sind Ihre Unterauftragsverarbeiter, einschließlich der Modellanbieter, und wie informieren Sie uns über Änderungen? | Eine veröffentlichte Liste und eine Vorabinformation mit Widerspruchsrecht | Eine Liste „auf Anfrage“ ohne Information |
| G3 | Nutzen Sie oder Ihre Modellanbieter unsere Konversationen, um Modelle zu trainieren oder zu verbessern? | Ein klares schriftliches Nein oder ein Opt-in, im Vertrag | Ein Opt-out, versteckt in den Bedingungen |
| G4 | Welche Rolle übernehmen Sie nach der KI-Verordnung, und wie unterstützen Sie uns als Betreiber? | Eine benannte Rolle, die Offenlegung, dass der Kunde mit einer KI spricht, Dokumentation und Protokolle, die Sie aufbewahren können | „Die KI-Verordnung gilt für uns nicht“ |
| G5 | Können wir Sie prüfen oder unabhängige Prüfberichte erhalten? | Aktuelle Berichte unter NDA und eine Auditklausel | Keine Berichte oder Berichte für ein anderes Produkt |
Einige dieser Fragen stützen sich auf Gesetze. Nach der DSGVO darf ein Auftragsverarbeiter keinen weiteren Auftragsverarbeiter ohne Ihre schriftliche Genehmigung in Anspruch nehmen, und bei einer allgemeinen Genehmigung muss er Sie über beabsichtigte Änderungen informieren, damit Sie Einspruch erheben können; außerdem muss er Überprüfungen ermöglichen (Artikel 28 DSGVO). Ist der Modellanbieter des Anbieters ein Unterauftragsverarbeiter, sollte Sie ein Wechsel des Modellanbieters über diese Information erreichen. Eine neue Modellversion desselben Anbieters erreicht Sie auf diesem Weg meist nicht, deshalb fragt F1 separat danach.
Die KI-Verordnung verlangt von Anbietern ab dem 2. August 2026 sicherzustellen, dass Menschen wissen, dass sie mit einem KI-System interagieren (FAQ der Europäischen Kommission zu Artikel 50). Pflichten zur KI-Kompetenz für Anbieter und Betreiber gelten seit dem 2. Februar 2025 (Europäische Kommission). Gilt eine Verwendung als hochriskant, müssen Betreiber das System außerdem überwachen und seine Protokolle mindestens sechs Monate aufbewahren (Verordnung (EU) 2024/1689, Artikel 26). Die meisten Support-Agenten sind nicht hochriskant, aber das entscheidet Ihre Rechtsabteilung, nicht der Anbieter. Unser Beitrag zur KI-Verordnung im Kundenservice erklärt die Risikoklassen.
Bereich H: Kommerzielle Bedingungen und Einsprüche (4 Fragen)
| # | Frage | So sieht eine gute Antwort aus | Warnsignal |
|---|---|---|---|
| H1 | Was zahlen wir für eine Konversation, die nicht gelöst, übergeben oder abgebrochen wurde? | Eine Preistabelle je Ergebnisart | Gebühren für Ergebnisse, die nicht in der Tabelle stehen |
| H2 | Wie fechten wir eine abgerechnete Lösung an, und innerhalb welcher Frist? | Ein Einspruchsverfahren mit Frist, akzeptierten Belegen (zum Beispiel Ihrer Prüfung) und Zeitplan | Einsprüche werden „von Fall zu Fall behandelt“ |
| H3 | Schreiben Sie Lösungen gut, die laut unserer Prüfung falsch waren? | Gutschriften oder eine Preisanpassung, wenn die geprüfte Fehlerquote eine vereinbarte Schwelle überschreitet | Abrechnung nur auf Basis der eigenen Zählung des Anbieters |
| H4 | Was passiert mit Preis- und Volumenzusagen, wenn die Qualität der Lösungen unter ein vereinbartes Niveau fällt? | Ein Ausgleich: Gutschriften, ein Recht zu pausieren oder ein Recht zum Ausstieg | Mindestabnahmen ohne Qualitätsbedingung |
Vertragsbedingungen, mit denen Sie Lösungen anfechten und gutschreiben lassen können, sorgen dafür, dass sich die Prüfung aus dem Rechenbeispiel selbst bezahlt.
Wie bewerten Sie die Antworten auf eine Ausschreibung für KI-Agenten?
Bewerten Sie die Antworten in zwei Durchgängen. Prüfen Sie zuerst die K.-o.-Kriterien: Ein Anbieter, der eines nicht erfüllt, scheidet aus, unabhängig von seiner Punktzahl bei den Funktionen. Bewerten Sie dann jede verbleibende Antwort von 0 bis 3 anhand schriftlicher Definitionen, gewichten Sie die Bereiche und entscheiden Sie knappe Ergebnisse mit der Demo nach Drehbuch statt mit einer längeren Tabelle.
Nutzen Sie dieselbe Skala von 0 bis 3 wie in unserer Ausschreibung für QA-Software: 0 für keine Antwort, 1 für große Einschränkungen oder „auf der Roadmap“, 2 für erfüllt mit teilweisem Beleg, 3 für erfüllt mit gezeigtem Beleg. Ein „Ja“ ohne Beleg erhält 0.
| K.-o.-Kriterium | Fragen | Warum es ein K.-o.-Kriterium ist |
|---|---|---|
| Eine schriftliche Definition einer abgerechneten Lösung | A1, A2 | Ohne sie können Sie keine Rechnung prüfen |
| Vollständige Transkripte und Aktionsprotokolle je Konversation | B1, B2 | Ohne Belege keine QA und keine Aufarbeitung von Vorfällen |
| Laufender Export für Ihre eigene QA | B3 | Ihre Qualitätszahlen hingen sonst allein von denen des Anbieters ab |
| Eine Stopp-Kontrolle und ein jederzeit verfügbarer Weg zu einem Menschen | D5, E2 | Schaden für Kunden, während Sie auf ein Ticket warten |
| Schriftliche Datenbedingungen: Speicherort, Unterauftragsverarbeiter, Training | G1 bis G3 | Die Rechtsabteilung blockiert den Vertrag sonst ohnehin später |
Eine Startgewichtung für Teams, die bereits eine Shortlist nach Funktionen haben; stimmen Sie sie mit Kundenservice, IT, Recht und Einkauf ab, bevor die Antworten eintreffen, und ändern Sie sie danach nicht mehr.
| Bereich | Gewicht |
|---|---|
| A. Definition und Abrechnung von Lösungen | 15 |
| B. Transkripte, Protokolle und Export | 15 |
| C. Tests und Regression | 20 |
| D. Richtlinien und Freigabekontrollen | 15 |
| E. Übergabe und Eskalation | 10 |
| F. Change Management und Vorfälle | 15 |
| G. Daten, Datenschutz und Regulierung | 5 (nach dem K.-o.-Kriterium) |
| H. Kommerzielle Bedingungen und Einsprüche | 5 |
| Summe | 100 |
Die gewichtete Punktzahl ist die Summe aus dem Gewicht jedes Bereichs mal seiner Durchschnittspunktzahl, geteilt durch 3; ein Anbieter mit 3 Punkten überall erhält also 100. Lassen Sie zwei Personen getrennt bewerten und besprechen Sie jede Frage, bei der sie mehr als einen Punkt auseinanderliegen. Unsere Governance-Kontrollen für KI-Agenten helfen Ihnen zu entscheiden, welche Teile der Bereiche D und F Ihre Organisation am dringendsten braucht.
Was gehört in eine Demo von KI-Agenten nach Drehbuch?
Eine Demo nach Drehbuch sollte zeigen, wie jeder Finalist Ihre eigenen Konversationen durch dieselben Aufgaben führt, in derselben Reihenfolge und in derselben Zeit. Schicken Sie das Drehbuch eine Woche vorher, lassen Sie Ihr Testset laden und bewerten Sie jede Aufgabe auf der Skala von 0 bis 3. Sie testen die Kontrollen des Produkts, nicht die vortragende Person.
Planen Sie 90 Minuten pro Anbieter. Bringen Sie 30 bis 50 echte Konversationen aus Ihrer Queue mit, ohne personenbezogene Daten, darunter auch solche, die Ihr Team schlecht bearbeitet hat.
| Schritt | Aufgabe für den Anbieter | Was Sie prüfen | Zugehörige Fragen |
|---|---|---|---|
| 1 (10 Min.) | 10 Ihrer Konversationen live beantworten, von Ihnen am Tag ausgewählt | Richtige Antwort, richtiger Ton, Quellen gezeigt | C1 |
| 2 (10 Min.) | Eine abgerechnete Lösung öffnen und zeigen, warum sie zählte | Auslöser, Zeitfenster und Verifizierung für diese Konversation | A1, A2, A4 |
| 3 (10 Min.) | Das vollständige Transkript und Aktionsprotokoll einer Konversation zeigen, in der eine Erstattung ausgelöst oder eine Bestellung geändert wurde | Jeder Tool-Aufruf, seine Parameter und sein Ergebnis | B1, B2 |
| 4 (10 Min.) | Die Konversationen der letzten Woche in dem Format exportieren, das Sie erhalten würden | Felder, Format, Vollständigkeit | B3 |
| 5 (15 Min.) | Eine Richtlinie ändern (zum Beispiel die Obergrenze für Erstattungen senken), das Testset erneut laufen lassen, die Ergebnisse vergleichen | Versionierung, Freigabe, Regressionsbericht, Release-Schranke | C3, C5, D2, D3 |
| 6 (10 Min.) | Drei feindliche Szenarien durchspielen: eine themenfremde Anfrage, eine Erstattung außerhalb der Richtlinie, ein Kunde, der nach einem Menschen fragt | Ablehnungen, eingehaltene Grenzen, Übergabe mit Kontext | C4, E1, E3 |
| 7 (10 Min.) | Den Agenten für ein Thema stoppen und zeigen, wohin die Konversationen gehen | Zeit bis zum Stopp, der Ausweichweg | D5, E2 |
| 8 (15 Min.) | Die letzte Modelländerung durchgehen: Ankündigung, Testfenster, Rollback-Option | Release Notes, Staging, Pinning | F1 bis F3 |
Fragen Sie nach der Demo zwei Referenzkunden mit ähnlichem Volumen und Kanalmix drei Dinge: was in den ersten drei Monaten schiefging, wie der Anbieter damit umging und wie eine Modelländerung angekündigt wurde. Die Antwort auf die letzte Frage zeigt Ihnen, ob F1 eine Regel ist oder ein Versprechen.
Wie passt das zur QA, sobald der Agent live ist?
Die Antworten auf die Ausschreibung werden zu Ihrem Betriebsmodell, sobald der Agent live ist: Der Export aus B3 speist Ihre Qualitätsprüfungen, das Testset aus C2 wird zu Ihrer Regressionssuite, und das Einspruchsverfahren aus H2 läuft auf Basis Ihrer Prüfergebnisse. Ein Anbieter, der bei B, C und H gut abschneidet, macht unabhängige QA günstig.
In der Praxis bewerten viele Teams eine Stichprobe oder alle Konversationen des KI-Agenten mit derselben Scorecard, die sie für menschliche Agents nutzen, ergänzen Prüfungen auf erfundene Fakten und Richtlinien und berichten eine korrigierte Lösungsquote neben der des Anbieters. Wenn Sie diese Bewertung automatisieren wollen: Kaizo bewertet 100 % der Konversationen von KI-Agenten anhand Ihrer eigenen Scorecard, direkt im Helpdesk, in dem sie bereits liegen, und verknüpft jeden Score mit dem Beleg in der Konversation. Auf unserer Seite zur QA für KI-Agenten sehen Sie, wie das funktioniert.
Wann ist diese Ausschreibung mehr, als Sie brauchen?
Dieser Fragenkatalog ist mehr, als Sie brauchen, wenn der KI-Agent nur einen engen Satz an Informationsfragen beantwortet, keine Aktionen in Ihren Systemen ausführt und ein paar hundert Konversationen im Monat bearbeitet. Dann reichen die K.-o.-Kriterien und die Bereiche A, B und E. Ergänzen Sie den Rest, sobald der Agent Erstattungen auslöst, Bestellungen ändert oder regulierte Themen bearbeitet.
Er ist auch das falsche Werkzeug für einen ersten Blick auf den Markt: Führen Sie zuerst eine kurze Informationsanfrage (RFI) oder ein paar Erstgespräche durch und schicken Sie diese Ausschreibung dann an drei bis fünf Finalisten.
So starten Sie Ihre Ausschreibung für KI-Agenten diese Woche
Wählen Sie 30 bis 50 echte Konversationen für die Demo und den Test vor der Unterschrift aus, schreiben Sie Ihre K.-o.-Kriterien, kopieren Sie die 38 Fragen neben Ihre Funktionsfragen, legen Sie die Gewichte in einem Termin fest und verschicken Sie die Ausschreibung mit einer Frist von zwei Wochen.
- Wählen Sie die 30 bis 50 Konversationen aus, darunter Ihre fünf schwierigsten Fälle.
- Schreiben Sie Ihre K.-o.-Kriterien anhand der Tabelle oben und streichen Sie, was Sie nicht brauchen.
- Fragen Sie die Rechtsabteilung, welche Fragen zur KI-Verordnung und zur DSGVO in Bereich G sie schriftlich beantwortet haben will.
- Bitten Sie die Finanzabteilung, Ihre Monatsrechnung nach der Lösungsdefinition jedes Anbieters zu modellieren, mit dem Volumen des letzten Monats.
- Planen Sie die Demos nach Drehbuch für die Woche nach Eingang der Antworten ein.
Wenn Sie sehen wollen, wie die Bewertung jeder Konversation Ihres KI-Agenten anhand Ihrer eigenen Scorecard neben der gewählten Plattform funktionieren würde, buchen Sie eine Demo und bringen Sie Ihre Shortlist mit.
Häufig gestellte Fragen
Was ist eine Ausschreibung für KI-Agenten?
Eine Ausschreibung für KI-Agenten ist eine Angebotsanfrage (RFP) an Anbieter von KI-Agenten für den Kundenservice, damit sich deren Antworten auf dieselben Fragen vergleichen lassen. Sie beschreibt Ihr Volumen, Ihre Kanäle und Systeme, listet Ihre Anforderungen und K.-o.-Kriterien und bittet jeden Anbieter, mit Belegen zu antworten. Eine vollständige Ausschreibung deckt Funktionen ab und dazu die Bedingungen zu Qualität, Governance, Daten und Abrechnung, die entscheiden, ob der Agent im großen Maßstab laufen kann.
Wie viele Anbieter sollten eine Ausschreibung für KI-Agenten erhalten?
Drei bis fünf Anbieter reichen meist. Weniger geben wenig zum Vergleichen, und mehr erzeugen Bewertungs- und Demo-Aufwand, der das Ergebnis selten ändert. Grenzen Sie die Liste zuerst mit Erstgesprächen ein und streichen Sie jeden Anbieter, der in diesem Gespräch an einem K.-o.-Kriterium scheitert, etwa einen, der während der Vertragslaufzeit keine Konversationen exportieren kann.
Sollten wir pro Lösung oder pro Konversation zahlen?
Eine Abrechnung pro Lösung koppelt den Preis des Anbieters an Ergebnisse, aber nur, wenn „gelöst“ schriftlich definiert, geprüft und anfechtbar ist. Eine Abrechnung pro Konversation ist einfacher vorherzusagen und zu prüfen. Welche Einheit Sie auch wählen: Modellieren Sie das Volumen des letzten Monats nach der Definition jedes Anbieters und verlangen Sie Gutschriften, wenn Ihre Prüfung abgerechnete Lösungen findet, die falsch waren.
Wie lange sollte ein Pilot mit einem KI-Agenten vor der Unterschrift laufen?
Ein Pilot sollte lange genug laufen, um Wiederholungskontakte und einige Änderungen an Richtlinien zu sehen, meist vier bis acht Wochen auf einem festgelegten Satz von Themen. Vereinbaren Sie Erfolgskriterien, Prüfmethode und Ausstiegsbedingungen vor dem Start, und lassen Sie Ihr Testset vor und nach jeder Änderung laufen, die der Anbieter während des Piloten vornimmt.
Wer sollte an der Bewertung eines Anbieters von KI-Agenten beteiligt sein?
Support Operations verantwortet die Anforderungen und die Demo. QA verantwortet das Testset und die Bewertung der Konversationen, die IT Integrationen und Aktionen, Recht und Datenschutz Bereich G und den Vertrag, die Finanzabteilung das Abrechnungsmodell. Benennen Sie eine Person, die entscheidet, bevor die Ausschreibung verschickt wird, damit die Gewichte vorab feststehen.
