Zum Inhalt springen

Qualitätssicherung

Gleiche Konversation, gleicher Score.

Kalibrierungssitzungen sorgen dafür, dass Ihre Reviewer Grenzfälle gleich bewerten. So bedeutet ein Unterschied im Score einen Unterschied in der Konversation und nicht darin, wer sie geprüft hat.

Sitzungen

Abweichungen sichtbar gemacht und geklärt.

Lassen Sie eine Konversation von mehreren Reviewern bewerten, vergleichen Sie, wo sie voneinander abweichen, und einigen Sie sich darauf, was das Kriterium tatsächlich bedeutet. Das Ergebnis aktualisiert das Bewertungsschema, statt nur in jemandes Gedächtnis zu existieren.

  • Abweichungen zwischen Reviewern werden sichtbar statt unsichtbar
  • Grenzfälle fließen in die Kriterien ein
  • Neue Reviewer werden auf einen vereinbarten Standard eingearbeitet

So funktioniert es

So läuft eine Kalibrierungssitzung, in vier Schritten

  1. Grenzfälle auswählen

    Wählen Sie einige Konversationen, die an der Grenze eines Kriteriums liegen: die, über die Reviewer streiten, oder die ein neuer Reviewer wahrscheinlich anders bewerten würde.

  2. Mehreren Reviewern vorlegen

    Jeder Reviewer bewertet dieselben Konversationen nach derselben Scorecard.

  3. Abweichungen vergleichen

    Sehen Sie sich an, wo die Reviewer auseinanderlagen, und besprechen Sie, warum. Meist geht es darum, was ein Kriterium eigentlich bedeutet.

  4. Die Entscheidung ins Bewertungsschema schreiben

    Einigen Sie sich auf die Bedeutung und passen Sie die Beschreibung des Kriteriums an, damit das Ergebnis im Bewertungsschema steht und nicht im Gedächtnis einer Person. AutoPilot wendet die neue Beschreibung auf jede künftige Bewertung an.

Ein Beispiel

Ein Kriterium, drei Reviewer

Eine Veranschaulichung einer typischen Sitzung, kein Kundenfall.

  1. Das Kriterium

    „Der Agent bestätigt, dass das Problem gelöst ist, bevor er das Ticket schließt.“

  2. Die Abweichung

    Zwei Reviewer bewerten einen Chat als bestanden, weil der Agent gefragt hat: „Kann ich sonst noch etwas für Sie tun?“. Der dritte bewertet ihn als nicht bestanden, weil der Kunde die Lösung nie bestätigt hat.

  3. Die Entscheidung

    Das Team einigt sich: Bestanden heißt, der Kunde hat bestätigt, oder es gab eine Nachfrage, wenn der Kunde nicht antwortet. Das kommt in die Beschreibung des Kriteriums.

  4. Das Ergebnis

    Wenn der Fall das nächste Mal auftaucht, bewertet ihn jeder Reviewer gleich, und neue Reviewer lernen die Regel aus dem Bewertungsschema.

Weiterlesen: was QA-Kalibrierung ist, wie Sie Kalibrierungssitzungen durchführen, die Bewertungsfehler beseitigen, und wie Sie ein Golden Set aufbauen, an dem Sie die Bewertung prüfen.

FAQ

Häufig gestellte Fragen

Muss AutoPilot kalibriert werden?

Nein. Es legt das Bewertungsschema jedes Mal identisch aus, genau darum geht es. Kalibrierung ist für die menschlichen Reviewer, die mit ihm zusammenarbeiten.

Wie oft sollten wir kalibrieren?

Die meisten Teams führen monatlich eine Sitzung durch, und immer dann, wenn sich ein Standard wesentlich ändert.

Sollte ein Agent einen Score anfechten, den ein Systemfehler verursacht hat?

Ja. Wenn ein Tool- oder Prozessfehler den Fehler verursacht hat, sagt der Score nichts über den Agent. Sprechen Sie den Reviewer an und bringen Sie den Fall in die nächste Kalibrierungssitzung; wenn das Team zustimmt, ergänzen Sie in der Beschreibung des Kriteriums, wie diese Situation zu bewerten ist, damit sie keinem Agent mehr angelastet wird.

Wer sollte an der Kalibrierung teilnehmen?

Alle, die Konversationen bewerten: QA-Reviewer, Teamleitungen, die prüfen, und neue Reviewer, die am vereinbarten Maßstab eingearbeitet werden.

Sicherheit & Compliance

SOC 2 Type II, ISO 27001 und DSGVO

Prüfberichte, Zertifikate und Richtlinien an einem Ort.

Trust Center ›

Finden Sie heraus, wie weit Ihre Reviewer auseinanderliegen

Wir lassen dieselben Konversationen von Ihrem Team bewerten und zeigen Ihnen, wo die Scores voneinander abweichen.

Von globalen Supportteams genutzt

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath