Zum Inhalt springen

Vorlage

Ausschreibung für QA-Software: 40 Fragen und Bewertung

Eine Ausschreibung für QA-Software zum Kopieren: 40 Fragen an Anbieter in 9 Bereichen, eine gewichtete Bewertungsmatrix, K.-o.-Kriterien und ein Rechenbeispiel.

· 13 Min. Lesezeit

Eine Ausschreibung für QA-Software (RFP, Request for Proposal) ist die Anfrage, die Sie an Anbieter von Qualitätssicherung schicken, damit deren Antworten auf dieselben Fragen vergleichbar sind. Für ein Contact Center sollte sie Bewertungsabdeckung und Genauigkeit, Scorecards, Kanäle und Integrationen, Coaching, KI-Agenten, Sicherheit, Einführung und Preis abdecken und eine gewichtete Bewertungsmatrix enthalten, die vor der ersten Antwort feststeht.

Kurz gesagt

  • Legen Sie Ihre Anforderungen vor der Ausschreibung fest: wie viel bewertet wird, auf welchen Kanälen, von wem, und welche Antworten einen Anbieter ausschließen.
  • Nutzen Sie die 40 Fragen unten, gegliedert in neun Bereiche, und verlangen Sie zu jeder Antwort einen Beleg statt eines Ja.
  • Bewerten Sie jede Antwort von 0 bis 3 anhand schriftlicher Definitionen, gewichten Sie die Bereiche und behandeln Sie Sicherheit und Datenbedingungen als Bestanden-oder-nicht-Hürde.
  • Das Rechenbeispiel zeigt, warum ein knappes Ergebnis eine Regel für den Gleichstand und eine Demo nach Drehbuch braucht, keine längere Tabelle.
  • Vermeiden Sie die Fehler, die Antworten unvergleichbar machen: offene Fragen, keine Gewichtung und der Preis als Funktion bewertet.

Dieser Beitrag ist die Checkliste für den Einkauf. Wenn Sie wissen wollen, wie konkrete Tools abschneiden, lesen Sie unseren Vergleich von QA-Software für den Kundenservice. Wenn Sie QA-Software für ein großes Supportteam auswählen, sind die folgenden Fragen genau die, die ein Käufer uns stellen sollte.

Was gehört in eine Ausschreibung für QA-Software im Contact Center?

Eine Ausschreibung für QA-Software im Contact Center enthält Ihren Kontext, Ihre Anforderungen, die Fragen an die Anbieter, die Bewertungsmethode und den Zeitplan. Anbieter antworten besser, wenn sie Volumen, Kanäle und Helpdesk kennen, und Sie vergleichen besser, wenn die Bewertung vorab feststeht.

Teil der AusschreibungInhaltWarum es wichtig ist
KontextLizenzen, monatliches Gesprächsvolumen, Kanäle, Sprachen, Helpdesk, heutiger QA-ProzessAnbieter passen die Antwort an Ihren Betrieb an statt an ein Standarddeck
AnforderungenMuss-Kriterien, Wunsch-Kriterien, K.-o.-KriterienTrennt, was Sie brauchen, von dem, was in einer Demo gut klingt
FragenDie 40 Fragen unten, mit der Bitte, Belege zu zeigenMacht Antworten Zeile für Zeile vergleichbar
BewertungSkala, Gewichte, K.-o.-Regeln, wer bewertetVerhindert, dass die lauteste Stimme im Nachhinein entscheidet
KommerziellesPreistabelle zum Ausfüllen, Laufzeit, VerlängerungsbedingungenDer Einkauf vergleicht Gleiches mit Gleichem
ZeitplanFristen für Rückfragen, Antworten, Demos, EntscheidungHält das Verfahren bei Wochen, nicht Quartalen

Halten Sie das Dokument so kurz, dass beim Anbieter das Produktteam antwortet und nicht nur der Vertrieb. Vierzig gut gewählte Fragen bringen bessere Antworten als zweihundert, die aus einer allgemeinen Software-Vorlage kopiert wurden.

Legen Sie die Anforderungen fest, bevor Sie ausschreiben

Ihre Anforderungen folgen aus vier internen Entscheidungen: wie viel Sie bewerten, wer bewertet, welche Kanäle zählen und wie das Tool angebunden werden muss. Jede macht aus einem vagen Wunsch eine Frage, an der ein Anbieter scheitern kann.

Schritt 1: Legen Sie die nötige Abdeckung fest

Ein manuelles Programm prüft meist nur eine kleine Stichprobe. Hängen Entscheidungen über einzelne Agents, Compliance-Prüfungen oder die Aufsicht über KI-Agenten an der QA, reicht eine Stichprobe selten, wie wir in unserem Beitrag darüber erklären, warum eine 3-%-Stichprobe keine Entscheidungen über einzelne Agents trägt (auf Englisch). Halten Sie fest, ob jede Konversation bewertet werden soll oder eine größere Stichprobe schneller.

Schritt 2: Legen Sie fest, wer das letzte Wort hat

Manche Teams wollen vollautomatische Bewertung, andere wollen, dass die KI einen Entwurf macht und ein Reviewer freigibt. Viele wollen beides, auf unterschiedlichen Queues. Fragen Sie in der Ausschreibung, wie beide Modi funktionieren und wie ein Reviewer die KI überstimmt.

Schritt 3: Listen Sie Ihre Kanäle und Systeme auf

Nennen Sie jeden Kanal, der auf die Scorecard soll (Telefon, Chat, E-Mail, Messaging), und jedes System, in dem die Konversationen liegen. Ein Anbieter, der Chat gut bewertet, aber Telefonie als separates Produkt behandelt, überzeugt in der Chat-Demo und scheitert an Ihrer Telefon-Queue.

Schritt 4: Schreiben Sie Ihre K.-o.-Kriterien

Ein K.-o.-Kriterium ist eine Antwort, die einen Anbieter unabhängig von seiner Punktzahl ausschließt. Typisch sind: kein unterschriebener Auftragsverarbeitungsvertrag, keine Unterstützung für Ihren Helpdesk oder keine Möglichkeit zu sehen, warum ein Score vergeben wurde. Begrenzen Sie die Liste auf fünf oder weniger, sonst bleibt niemand übrig.

Die 40 Fragen der Ausschreibung, nach Bereichen

Diese 40 Fragen decken die neun Bereiche ab, in denen sich QA-Tools für Contact Center am stärksten unterscheiden. Übernehmen Sie sie mit Nummerierung in Ihre Ausschreibung und bitten Sie die Anbieter, jede kurz zu beantworten und den verlangten Beleg zu liefern.

Bereich A: Abdeckung und Bewertung (6 Fragen)

#FrageWas eine starke Antwort zeigt
A1Welchen Anteil unserer Konversationen können Sie bewerten, und wann wird jede bewertet?Einen konkreten Anteil und Auslöser, etwa jede Konversation, sobald sie gelöst ist
A2Welche Teile der Bewertung sind vollautomatisch und welche brauchen einen Reviewer?Eine klare Aufteilung, beide Modi verfügbar
A3Wie ändert ein Reviewer einen automatischen Score oder Kommentar?Ein Ablauf zum Bearbeiten und Freigeben, die Änderung wird gespeichert
A4Wie zeigen Sie, warum ein Score vergeben wurde?Den Beleg im Transkript neben jedem Kriterium
A5Wie bewerten Sie K.-o.-Kriterien, etwa die Weitergabe von Kartendaten?K.-o.-Kriterien getrennt von gewichteten Kriterien
A6Was passiert mit Konversationen, bei denen die KI unsicher ist?Weiterleitung an eine Queue für Menschen, kein stilles Raten

Bereich B: Scorecards und Ihr Standard (5 Fragen)

#FrageWas eine starke Antwort zeigt
B1Können wir unsere aktuelle Scorecard unverändert übernehmen?Ihre Kriterien in Ihren Worten, keine erzwungene Vorlage
B2Wie viele automatisierte Kriterien sind möglich, und gibt es Grenzen je Plan?Eine Zahl, je Plan
B3Wie gewichten wir Kriterien und nutzen verschiedene Scorecards je Team, Queue oder Kunde?Gewichte je Kriterium und Scorecards je Team
B4Was passiert mit künftigen und vergangenen Scores, wenn wir ein Kriterium ändern?Eine dokumentierte Regel, idealerweise mit Versionshistorie
B5Wie nutzen Sie unsere Wissensdatenbank oder Richtlinien bei der Bewertung?Ihre eigenen Inhalte als Kontext, kein generisches Urteil

Wie Sie die Scorecard selbst aufbauen, zeigt unser Leitfaden zur QA-Scorecard im Callcenter.

Bereich C: Genauigkeit und Validierung (5 Fragen)

#FrageWas eine starke Antwort zeigt
C1Wie können wir automatische Scores vor dem Start mit den Bewertungen unserer Reviewer vergleichen?Einen Test gegen historische Bewertungen, Kriterium für Kriterium
C2Wie berichten Sie die Übereinstimmung zwischen automatischen und menschlichen Scores?Übereinstimmung je Kriterium, keine einzelne Genauigkeitszahl
C3Was tun Sie, wenn ein Kriterium immer wieder von unseren Reviewern abweicht?Eine neue Formulierung des Kriteriums, dann ein neuer Test
C4Wie halten Sie Reviewer untereinander konsistent?Kalibrierungssitzungen, deren Ergebnis in die Scorecard einfließt
C5Wie widerspricht ein Agent einem Score?Ein Einspruchsverfahren mit Nachweis

Bereich D: Kanäle und Integrationen (5 Fragen)

#FrageWas eine starke Antwort zeigt
D1Welche unserer Kanäle lassen sich auf einer Scorecard bewerten: Telefon, Chat, E-Mail, Messaging?Ein Standard über alle Kanäle
D2Wie binden Sie unseren Helpdesk an, und ist die Integration nativ?Benannte, native Integrationen für Ihre Systeme
D3Wie gehen Sie mit Anrufen um: Import der Aufnahmen, Transkription, Sprachen?Einen klaren Weg für Telefonie, nicht „auf der Roadmap“
D4Wie kommen Konversationen aus einem eigenen System zu Ihnen?Einen Connector, eine API oder einen Dateiimport, mit Formaten
D5Wie gelangen Scores und Daten in unsere BI-Tools?Geplante Exporte in Standardformaten

Bereich E: Coaching und Reporting (4 Fragen)

#FrageWas eine starke Antwort zeigt
E1Wie werden QA-Ergebnisse zu Coaching für einen Agent?Feedback, verknüpft mit den Konversationen, aus denen es stammt
E2Was sieht ein Teamleiter, ohne einen Analysten zu fragen?Dashboards nach Agent, Team und Kriterium
E3Wie zeigen Sie Trends und Ursachen über alle Konversationen?Analyse auf voller Abdeckung, nicht auf einer Stichprobe
E4Wie verteilen Sie die Prüfarbeit auf Reviewer?Zuweisungen, die die Arbeit gleichmäßig verteilen

Bereich F: KI-Agenten und Bots (3 Fragen)

#FrageWas eine starke Antwort zeigt
F1Können Sie Konversationen unseres KI-Agenten auf derselben Scorecard bewerten wie die menschlicher Agents?Ein Standard für Menschen und KI-Agenten
F2Wie bewerten Sie die Übergabe vom KI-Agenten an einen Menschen?Prüfungen auf beiden Seiten der Übergabe
F3Wie fließen Erkenntnisse in die Inhalte oder Regeln des Bots zurück?Einen Weg vom Fehler zur Korrektur

Wenn KI-Agenten schon einen Teil Ihrer Queue beantworten, listet unser Leitfaden zur Qualitätssicherung von KI-Agenten auf, was Sie bewerten sollten.

Bereich G: Sicherheit, Datenschutz und Recht (5 Fragen)

#FrageWas eine starke Antwort zeigt
G1Welche unabhängigen Prüfungen und Zertifizierungen haben Sie, und können wir die Berichte sehen?Aktuelle Berichte, unter NDA verfügbar
G2Wo werden unsere Daten gespeichert und verarbeitet, und von welchen Unterauftragsverarbeitern?Eine veröffentlichte Liste der Unterauftragsverarbeiter mit Standorten
G3Nutzen Sie unsere Daten, um KI-Modelle zu trainieren oder feinabzustimmen?Eine klare schriftliche Antwort, im Vertrag
G4Was passiert mit unseren Daten am Vertragsende?Ein Zeitfenster für die Rückgabe und eine Löschregel
G5Unterschreiben Sie einen Auftragsverarbeitungsvertrag, und was deckt er ab?Einen AVV, der auch die KI-Funktionen abdeckt

Bereich H: Einführung und Support (4 Fragen)

#FrageWas eine starke Antwort zeigt
H1Was umfasst das Onboarding, und wer macht was?Einen Plan mit Ihren und deren Aufgaben
H2Wie lange dauert es, bis die ersten Konversationen bewertet sind?Eine realistische Dauer und wovon sie abhängt
H3Wer betreut uns nach dem Start, und zu welchen Bedingungen?Einen benannten Kontakt und Supportbedingungen
H4Wie helfen Sie unseren Reviewern und Agents bei der Einführung?Schulung und einen Einführungsplan, siehe unseren Plan zur Einführung eines QA-Tools (auf Englisch)

Bereich I: Kommerzielles (3 Fragen)

#FrageWas eine starke Antwort zeigt
I1Was ist die Preiseinheit (Lizenz, Reviewer, Konversation, Minute), und wer zählt als Lizenz?Eine Definition, die Sie auf Ihr Organigramm anwenden können
I2Was ist in jedem Plan enthalten, und was ist ein Zusatzmodul?Eine Tabelle, keine Spanne
I3Was ändert sich bei Verlängerung oder wenn unser Team wächst?Schriftliche Bedingungen für Verlängerung und Wachstum

So bewerten Sie die Antworten der Anbieter

Bewerten Sie jede Antwort von 0 bis 3 anhand schriftlicher Definitionen, mitteln Sie die Antworten je Bereich und wenden Sie dann die Gewichte an. Prüfen Sie Sicherheit und Datenbedingungen zuerst als Hürde, damit eine hohe Funktionspunktzahl keinen Anbieter trägt, der daran scheitert.

PunkteDefinition
0Nicht angeboten oder keine Antwort
1Angeboten mit großen Einschränkungen oder nur für später versprochen
2Angeboten und erfüllt die Anforderung, Beleg teilweise gezeigt
3Erfüllt die Anforderung, Beleg in der Antwort oder Demo gezeigt

Diese Gewichtung passt zu einem Contact Center, dessen Hauptziel eine vollständigere und fairere Abdeckung ist. Passen Sie die Gewichte an Ihre Prioritäten an, bevor die Antworten eintreffen, und ändern Sie sie danach nicht mehr.

BereichGewichtHürde
A. Abdeckung und Bewertung25
B. Scorecards und Ihr Standard15
C. Genauigkeit und Validierung15
D. Kanäle und Integrationen15K.-o., wenn Ihr Helpdesk oder Hauptkanal nicht unterstützt wird
E. Coaching und Reporting10
F. KI-Agenten und Bots5
G. Sicherheit, Datenschutz und RechtHürdeK.-o., wenn eine der Fragen G1 bis G5 mit 0 bewertet wird
H. Einführung und Support10
I. Kommerzielles5
Summe100

Die gewichtete Punktzahl eines Anbieters ist die Summe aus Gewicht mal Durchschnittspunktzahl je Bereich, geteilt durch 3. Wer überall 3 erreicht, kommt auf 100. Lassen Sie mindestens zwei Personen unabhängig bewerten und vergleichen Sie: Liegen sie bei einer Frage mehr als einen Punkt auseinander, war die Frage oder die Antwort unklar.

Ein Rechenbeispiel

Dies ist ein erfundenes Beispiel mit drei fiktiven Anbietern, keine echten Ergebnisse. Es zeigt, wie sich die Matrix verhält, wenn die Summen knapp sind und wenn ein K.-o.-Kriterium greift.

Bereich (Gewicht)Anbieter AAnbieter BAnbieter C
A. Abdeckung und Bewertung (25)323
B. Scorecards (15)233
C. Genauigkeit und Validierung (15)321
D. Kanäle und Integrationen (15)232
E. Coaching und Reporting (10)222
F. KI-Agenten (5)132
G. SicherheitshürdeBestandenBestandenNicht bestanden (G3 mit 0)
H. Einführung (10)233
I. Kommerzielles (5)223
Gewichtete Punktzahl78,381,7Ausgeschieden (wäre 80,0)

Anbieter A: (25×3 + 15×2 + 15×3 + 15×2 + 10×2 + 5×1 + 10×2 + 5×2) ÷ 3 = 235 ÷ 3 = 78,3.

Anbieter B: (25×2 + 15×3 + 15×2 + 15×3 + 10×2 + 5×3 + 10×3 + 5×2) ÷ 3 = 245 ÷ 3 = 81,7.

Anbieter C hätte 80,0 erreicht, konnte aber nicht schriftlich sagen, ob er Modelle mit Ihren Daten trainiert. Die Hürde schließt ihn aus.

Die Lehre steckt im Abstand zwischen A und B: 3,4 Punkte liegen im Rauschen, wenn zwei Personen 40 Antworten bewerten.

Vereinbaren Sie vorab eine Regel für den Gleichstand, etwa „bei weniger als 5 Punkten Abstand gewinnt die höhere Punktzahl im am stärksten gewichteten Bereich“. Hier ist das Anbieter A, mit 3 bei der Abdeckung gegenüber 2 bei B. Bestätigen Sie das dann mit einer Demo nach Drehbuch, die auf Ihren am stärksten gewichteten Fragen aufbaut.

Demo nach Drehbuch, dann Referenzen

Eine Demo nach Drehbuch zeigt, wie jeder Finalist Ihre am stärksten gewichteten Fragen live und in derselben Reihenfolge beantwortet, sodass Sie Produkte vergleichen und nicht Präsentierende. Schicken Sie das Drehbuch eine Woche vorher und bewerten Sie die Demo auf derselben Skala von 0 bis 3.

Ein gutes Drehbuch bittet jeden Anbieter zu zeigen statt zu erzählen:

  • eine bewertete Konversation je Kanal, mit dem Beleg hinter jedem Kriterium
  • einen Reviewer, der einen automatischen Score ändert, und wo diese Änderung gespeichert wird
  • Ihre Scorecard oder eine enge Kopie, mit Ihren Gewichten und einem K.-o.-Kriterium
  • das Dashboard, das ein Teamleiter am Montagmorgen öffnet
  • wie eine geänderte Kriteriumsbeschreibung für künftige Scores gilt

Bitten Sie nach der Demo um ein bis zwei Referenzen mit einem Team ähnlicher Größe und Kanalmischung. Fragen Sie, was länger gedauert hat als erwartet, nicht ob sie zufrieden sind.

Planen Sie nach der Entscheidung, wie Sie die Scores in den ersten Wochen an Ihren eigenen Konversationen prüfen. Unser Einwochenprotokoll zur Validierung von KI-QA-Scores (auf Englisch) liefert die Methode.

Fehler, die Antworten unvergleichbar machen

Die meisten Ausschreibungen scheitern, weil die Fragen Marketingantworten einladen und die Bewertung erst nach den Antworten festgelegt wird. Fünf Fehler verursachen das meiste davon.

FehlerWas passiertLösung
Ja/Nein-FragenJeder Anbieter antwortet mit JaFragen Sie „wie“ und „zeigen Sie“
Keine Gewichte vor den AntwortenDer Favorit gewinnt im NachhineinGewichte vorher freigeben
Preis als Funktion bewertetEin billiges Tool ohne Abdeckung gewinntKommerzielles bei 5 bis 10 Punkten halten, Kosten getrennt vergleichen
Zweihundert FragenDer Vertrieb antwortet aus einer BibliothekBei etwa 40 Fragen bleiben, die zählen
Keine K.-o.-KriterienEin Anbieter ohne AVV kommt ins FinaleFünf oder weniger K.-o.-Kriterien schreiben

Die Kosten verdienen ein eigenes Modell: Lizenz, Onboarding, Reviewer-Zeit und die Zeit bis zur vollen Abdeckung. Unser Leitfaden zum ROI von Auto QA (auf Englisch) zeigt, wie Sie es aufbauen.

So starten Sie Ihre Ausschreibung für QA-Software diese Woche

Füllen Sie zuerst die Kontexttabelle und Ihre K.-o.-Kriterien aus, kopieren Sie dann die 40 Fragen und die Bewertungsmatrix in Ihr Dokument. Stimmen Sie die Gewichte in einem Termin mit IT, Recht, Einkauf und QA-Leitung ab, bevor etwas hinausgeht.

Wenn Kaizo auf Ihrer Liste steht, darauf stützen sich unsere Antworten. AutoPilot bewertet 100 % der Konversationen anhand Ihrer Kriterien, sobald sie gelöst sind, und Auto QA entwirft Scores und Feedback, die ein Reviewer bearbeitet und freigibt.

Sie können die KI vor dem Start gegen Ihre historischen Bewertungen testen, und unser Trust Center listet unseren SOC-2-Type-II-Bericht, das ISO-27001-Zertifikat und den Auftragsverarbeitungsvertrag, auf Anfrage verfügbar. Abgerechnet wird pro Lizenz, wie auf unserer Preisseite beschrieben.

Sehen Sie in einer Live-Demo, wie Kaizo diese Fragen beantwortet, mit realistischen Beispieldaten und Ihrer Ausschreibung in der Hand. Termin buchen.

Häufig gestellte Fragen

Wie schreibt man eine Ausschreibung für Contact-Center-Software?

Beschreiben Sie zuerst Ihren Betrieb: Lizenzen, Volumen, Kanäle, Helpdesk und heutigen Prozess. Listen Sie dann Muss- und K.-o.-Kriterien auf, schreiben Sie Fragen, die Belege verlangen, und legen Sie Bewertungsmethode und Gewichte fest, bevor Sie verschicken. Nennen Sie einen Zeitplan für Rückfragen, Antworten, Demos und Entscheidung sowie eine Kontaktperson.

Was ist der Unterschied zwischen RFI und RFP?

Ein RFI (Request for Information) ist ein kurzes, frühes Dokument, um den Markt kennenzulernen und eine Shortlist zu bilden. Ein RFP (Request for Proposal) geht an diese Shortlist und fragt nach einer konkreten Lösung, mit Antworten, die Sie bewerten, und einem Preis. Viele Käufer von QA-Software überspringen das RFI und schicken ein RFP an drei bis fünf Anbieter.

Wie viele Anbieter sollten Ihre Ausschreibung erhalten?

Drei bis fünf reichen meist. Weniger geben wenig zu vergleichen, mehr erzeugen Bewertungsaufwand, der das Ergebnis selten ändert. Grenzen Sie die Liste vorher mit unserem Vergleich von QA-Software oder einem kurzen Gespräch mit jedem Anbieter ein, und streichen Sie jeden, der in diesem Gespräch an einem K.-o.-Kriterium scheitert.

Wie lange dauert eine Ausschreibung für QA-Software?

Für die meisten Contact Center sind vier bis acht Wochen vom Versand bis zur Entscheidung realistisch: etwa zwei Wochen für die Antworten, ein bis zwei für Bewertung und Demos, der Rest für Referenzen, Sicherheitsprüfung und Vertrag. Sicherheits- und Rechtsprüfung dauern oft am längsten, starten Sie sie deshalb parallel zu den Demos.

Sollte der Preis in die Bewertung einfließen?

Der Preis sollte in der Ausschreibung abgefragt, in der Funktionsbewertung aber gering gewichtet werden, mit etwa 5 bis 10 Punkten. Vergleichen Sie die Gesamtkosten getrennt, einschließlich Reviewer-Zeit, Onboarding und Wachstumsbedingungen. Ein günstigeres Tool, das weniger Konversationen bewertet oder mehr manuelle Prüfung braucht, kann über die Laufzeit mehr kosten.

Auf dieser Seite

Weiterlesen

Sehen Sie das in einer Live-Demo

Wir führen Sie mit realistischen Beispielkonversationen durch Kaizo, damit Sie sehen, wie das Beispiel bewertet, erklärt und gecoacht wird.

Von globalen Supportteams genutzt

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath