Zerlegen Sie jeden Soft Skill in beobachtbare Verhaltensweisen, etwa die Situation des Kunden anzuerkennen oder keine Schuld zuzuweisen, und bewerten Sie diese anhand des Transkripts. Dann kommen zwei Reviewer oder eine KI zum selben Score.
Kurz gesagt
- Fragen Sie „War der Agent empathisch?“, antwortet jeder Reviewer anders.
- Bewerten Sie, was der Agent getan hat, nicht, wie sich der Reviewer gefühlt hat.
- Kalibrieren Sie Soft-Skill-Kriterien am intensivsten, denn dort driften Reviewer am stärksten.
- Bei vollständiger Abdeckung werden Soft Skills zu Coaching-Anlässen.
Warum Soft Skills meist schlecht bewertet werden
Die meisten Scorecards behandeln Soft Skills auf eine von zwei schlechten Arten. Entweder lassen sie sie aus und bewerten nur die objektive Mechanik, weil das leicht ist. Das sagt Agents stillschweigend, dass es nicht zählt, wie sich der Kunde gefühlt hat. Oder sie nehmen sie als Eindrücke auf, mit Kriterien wie „War der Agent empathisch?“ oder „War der Ton angemessen?“. Das klingt vernünftig, ist aber kaum bewertbar, weil jeder Reviewer aus seiner eigenen Vorstellung von Empathie antwortet.
Das Ergebnis ist das Schlechteste aus beiden Welten. Die Kriterien, die für die Customer Experience wohl am meisten zählen, werden am wenigsten einheitlich bewertet, und Agents lernen, dass ihr Soft-Skill-Score in Wahrheit misst, wer sie geprüft hat. Es ist dasselbe Problem der Einheitlichkeit, das die Kalibrierung lösen soll, konzentriert auf die Kriterien, bei denen es am stärksten wirkt.
Den Skill in beobachtbare Verhaltensweisen zerlegen
Bewertbar wird ein Soft Skill, wenn Sie aufhören, die Abstraktion zu bewerten, und stattdessen die Verhaltensweisen bewerten, die sie hervorbringen. Empathie ist kein Gefühl, das Sie erkennen, sondern eine Reihe von Dingen, die ein Agent getan oder nicht getan hat, jedes davon im Transkript sichtbar.
| Soft Skill | Nicht bewertbare Version | Beobachtbare Verhaltensweisen, die Sie stattdessen bewerten |
|---|---|---|
| Empathie | War der Agent empathisch? | Hat das konkrete Problem anerkannt, bevor er es löst; hat die Auswirkung auf den Kunden benannt; hat verharmlosende Sprache vermieden |
| Ton | War der Ton angemessen? | Hat die Förmlichkeit an den Kunden angepasst; hat abweisende oder roboterhafte Formulierungen vermieden; hat sich angepasst, als der Kunde verärgert war |
| Deeskalation | Hat der Agent deeskaliert? | Hat den Frust ausdrücklich anerkannt; hat Verantwortung übernommen statt abzuwimmeln; hat früh einen konkreten nächsten Schritt angeboten |
| Aktives Zuhören | Hat der Agent zugehört? | Hat sich auf Details bezogen, die der Kunde genannt hat; hat nicht nach bereits gegebenen Informationen gefragt; hat sein Verständnis bestätigt, bevor er handelt |
| Beruhigung | Wurde der Kunde beruhigt? | Hat eine konkrete Erwartung gesetzt; hat erklärt, was als Nächstes passiert; hat vage Versprechen vermieden |
Die Verhaltensweisen so formulieren, dass die Belege entscheiden
Sobald Sie die Verhaltensweisen haben, formulieren Sie jede als etwas, das das Transkript beantwortet, statt etwas, das der Reviewer beurteilt. „Hat das konkrete Problem des Kunden anerkannt, bevor er eine Lösung anbietet“ lässt sich beantworten: Sie können auf die Zeile zeigen oder auf ihr Fehlen. „War herzlich“ nicht. Das ist dieselbe Disziplin wie beim Schreiben eines Bewertungsschemas, das eine KI bewerten kann (auf Englisch), und sie hat einen nützlichen Nebeneffekt: Kriterien, die klar genug für eine KI sind, sind auch klar genug, damit sich Ihre menschlichen Reviewer endlich einig sind.
Behalten Sie zwei Vorbehalte im Kopf. Erstens: Werden Sie nicht so genau, dass ein Skript daraus wird. Das Verhalten lautet „hat die Situation des Kunden anerkannt“, nicht „hat genau die Worte gesagt: Ich verstehe, dass das frustrierend ist“. Wer das Skript bewertet, erzeugt den roboterhaften Ton, der in Positive Scripting (auf Englisch) beschrieben ist. Bewerten Sie, ob der Agent es getan hat, in seinen eigenen Worten. Zweitens: Lassen Sie Raum für Kontext. Ein routinemäßiges Zurücksetzen des Passworts braucht andere Empathie als ein Abrechnungsfehler, der den Kunden Geld gekostet hat. Die stärksten Scorecards beurteilen deshalb, ob die Reaktion der Situation angemessen war. Viele passende Formulierungen finden Sie in unseren 50 Sätzen für Empathie im Kundenservice.
Hier am intensivsten kalibrieren, dann alles bewerten
Bei Soft-Skill-Kriterien driften Reviewer am stärksten, deshalb zahlt sich die Kalibrierung (auf Englisch) hier am meisten aus. Nehmen Sie Ihre Kriterien für Empathie und Ton gezielt in die Kalibrierung: Lassen Sie Reviewer dieselben emotional aufgeladenen Konversationen bewerten, machen Sie sichtbar, wo sie auseinanderliegen, und schärfen Sie die Definitionen der Verhaltensweisen, bis sie übereinstimmen. Können sich die Reviewer nicht einigen, ist das Kriterium noch ein Eindruck, keine Verhaltensweise, und muss neu geschrieben werden.
Zwei Dinge machen die Bewertung von Soft Skills dann wirklich nützlich. Abdeckung: Erst wenn Sie jede Konversation (auf Englisch) bewerten statt einer Stichprobe, sehen Sie, ob die Empathie eines Agents über seine ganze Bandbreite hält und nicht nur in den wenigen Konversationen, die gezogen wurden. Und Nachvollziehbarkeit: Weil jeder Score für ein Verhalten auf die genaue Zeile zeigt, kann Coaching zu etwas so Heiklem wie Empathie bei einem echten Moment in einer echten Konversation ansetzen statt beim allgemeinen Eindruck einer Führungskraft. Das ist der Unterschied zwischen Feedback, das ein Agent annimmt, und Feedback, das er übelnimmt. Die Achse Empathie gut zu bewerten, ist in der Praxis die Stelle, an der viele Programme am schwächsten sind und an der sich ein QA-Ansatz, der dafür gebaut ist, abhebt.
Häufig gestellte Fragen
Wie bewerten Sie Soft Skills wie Empathie in der QA?
Indem Sie jeden Soft Skill in die beobachtbaren Verhaltensweisen zerlegen, die ihn hervorbringen, und diese anhand des Transkripts bewerten. Statt zu fragen, ob der Agent empathisch war, bewerten Sie, ob er das konkrete Problem des Kunden anerkannt, die Auswirkung benannt und verharmlosende Sprache vermieden hat. Verhaltensweisen lassen sich aus den Belegen beantworten, sodass Reviewer und eine KI sie einheitlich bewerten können.
Warum werden Soft Skills so uneinheitlich bewertet?
Weil sie meist als Eindrücke formuliert sind statt als Verhaltensweisen. Ein Kriterium wie „War der Ton angemessen?“ verlangt von jedem Reviewer, aus seiner eigenen Vorstellung von angemessen zu antworten, und so driften die Scores je nachdem, wer die Konversation geprüft hat. Wer das Kriterium als konkrete, beobachtbare Verhaltensweisen neu schreibt, beseitigt den größten Teil dieser Drift.
Kann eine KI Empathie und Ton bewerten?
Ja, sobald die Kriterien auf Verhalten beruhen statt auf Eindrücken. Eine KI kann prüfen, ob ein Agent die Situation des Kunden anerkannt, sich auf genannte Details bezogen und abweisende Formulierungen vermieden hat, weil das im Transkript beobachtbar ist. „War der Agent empathisch?“ als Abstraktion kann sie nicht verlässlich bewerten, und genau diese Version bewerten auch menschliche Reviewer uneinheitlich.
Wie bewerten Sie Empathie, ohne dass Agents nach Skript klingen?
Bewerten Sie das Verhalten, nicht die genauen Worte. Das Kriterium lautet, dass der Agent die Situation des Kunden anerkannt hat, wie auch immer er es formuliert, nicht, dass er einen bestimmten Satz gesagt hat. Ein vorgeschriebenes Skript zu bewerten, erzeugt den roboterhaften Ton, der den Sinn untergräbt. Beurteilen Sie, ob der Agent es getan hat, und lassen Sie zu, dass die Reaktion der Situation angemessen ist.
Warum sollten Sie Soft-Skill-Kriterien besonders intensiv kalibrieren?
Weil Reviewer bei diesen Kriterien am stärksten auseinanderliegen. Lassen Sie Reviewer dieselben emotional aufgeladenen Konversationen bewerten, machen Sie Abweichungen sichtbar und schärfen Sie die Definitionen, bis sie übereinstimmen. Können sich die Reviewer nicht einigen, ist das Kriterium noch ein Eindruck und muss neu geschrieben werden.
Verwandte Begriffe
- Positive Scripting: 30 Vorher-nachher-Beispiele (auf Englisch)
- Ein QA-Bewertungsschema schreiben, das eine KI bewerten kann (auf Englisch)
- Was ist QA-Kalibrierung?
- Wie Sie Kalibrierungssitzungen durchführen (auf Englisch)
- Aus QA-Daten Coaching machen (auf Englisch)
Machen Sie Empathie und Ton zu etwas, das Sie wirklich bewerten können
Bringen Sie Ihre aktuellen Soft-Skill-Kriterien und eine Reihe emotional aufgeladener Konversationen mit. Wir zeigen Ihnen, wie Sie Empathie und Ton in Verhaltensweisen verwandeln, die Ihre Reviewer und eine KI über jede Konversation gleich bewerten, mit jedem Score bis zur genauen Zeile zurückverfolgbar, damit Coaching bei einem echten Moment beginnt.
