Mehrsprachige Qualitätssicherung heißt, Ihre Supportkonversationen in jeder angebotenen Sprache anhand eines gemeinsamen Standards zu bewerten, sodass eine 90 auf Polnisch dasselbe bedeutet wie eine 90 auf Englisch. Sie brauchen dafür eine Scorecard mit wenigen sprachspezifischen Kriterien, ein Kalibrierungsset pro Sprache und genug Abdeckung, damit kleine Sprachen überhaupt bewertet werden.
Kurz gesagt
- Mit einem kleinen QA-Team bricht die Stichprobe zuerst bei den kleinen Sprachen: Manche Queues bekommen überhaupt keine muttersprachliche Prüfung.
- Die meisten Kriterien sind in jeder Sprache gleich, während Anrede, Rechtschreibung und lokale Richtlinien sprachspezifische Prüfungen brauchen.
- Sechs Schritte richten es ein: eine Scorecard, sprachspezifische Kriterien, ein Kalibrierungsset pro Sprache, die Bewertung jeder Konversation, sprachübergreifende Kalibrierung und Reporting nach Sprache.
- Vergleichen Sie Sprachen nur bei genug Konversationen, mit einer einfachen Regel dafür, wann ein Unterschied echt ist.
- Muttersprachliche Reviewer, übersetzte Prüfungen und KI-Bewertung haben jeweils ihren Platz, und die meisten Teams kombinieren sie.
Für die Plattformseite zeigt die Seite zum Qualitätsmanagement im Kundenservice, wie Kaizo jede Konversation anhand Ihrer eigenen Kriterien bewertet.
Warum scheitert mehrsprachige Qualitätssicherung mit einem kleinen QA-Team?
Mehrsprachige QA scheitert, weil QA-Analysten nur Sprachen prüfen können, die sie lesen. Ein Team aus zwei Personen deckt also zwei oder drei Sprachen gut ab und lässt den Rest ungeprüft. Die Gesamtstichprobe sieht gut aus, während ganze Queues unkontrolliert bleiben.
Rechenbeispiel (Zahlen zur Veranschaulichung, keine Kaizo-Daten). Ein Supportteam bearbeitet 40.000 Konversationen im Monat in acht Sprachen. Zwei QA-Analysten prüfen jeweils 25 Konversationen am Tag, an 20 Tagen im Monat: 1.000 Prüfungen, also eine Konversation von 40. Eine Analystin liest Englisch und Deutsch, der andere Englisch und Französisch.
| Sprache | Konversationen pro Monat | Agents | Muttersprachliche Prüfungen pro Monat | Prüfungen pro Agent und Monat |
|---|---|---|---|---|
| Englisch | 16.000 | 40 | 400 | 10 |
| Deutsch | 8.000 | 20 | 300 | 15 |
| Französisch | 5.000 | 12 | 300 | 25 |
| Spanisch | 4.000 | 10 | 0 | 0 |
| Niederländisch | 2.500 | 6 | 0 | 0 |
| Italienisch | 2.000 | 5 | 0 | 0 |
| Polnisch | 1.500 | 4 | 0 | 0 |
| Portugiesisch (Brasilien) | 1.000 | 3 | 0 | 0 |
| Gesamt | 40.000 | 100 | 1.000 | 10 |
Auf dem Papier deckt die QA eine Konversation von 40 ab. In der Praxis bekommen 11.000 Konversationen im Monat, mehr als ein Viertel des Volumens, keine muttersprachliche Prüfung, und 28 Agents erhalten nie einen QA-Score in ihrer eigenen Sprache. Diese Agents werden zu nichts gecoacht oder auf Grundlage einer maschinellen Übersetzung ihrer Arbeit, die niemand geprüft hat.
Die Kosten sind nicht abstrakt. In der Umfrage von CSA Research aus dem Jahr 2020 unter 8.709 Verbrauchern in 29 Ländern gaben 75 % an, eher wieder bei derselben Marke zu kaufen, wenn der Kundenservice in ihrer Sprache war. Die Sprache anzubieten, ist die halbe Arbeit; zu wissen, dass der Support in dieser Sprache gut ist, die andere Hälfte.
Welche QA-Kriterien ändern sich je Sprache?
Die meisten QA-Kriterien sind sprachneutral: Eine richtige Antwort, ein eingehaltener Prozess und eine geprüfte Identität bedeuten in jeder Sprache dasselbe. Anrede, Rechtschreibung, Namen und lokale Richtlinien sind sprachspezifisch und brauchen pro Sprache eine eigene Definition.
Sortieren Sie Ihre Scorecard mit dieser Tabelle, bevor Sie sie übersetzen:
| Kriterium | In jeder Sprache gleich? | Was Sie pro Sprache festlegen |
|---|---|---|
| Richtige Antwort | Ja | Nichts, wenn Ihre Wissensdatenbank in dieser Sprache existiert |
| Prozess eingehalten | Ja | Lokale Schritte, etwa eine andere Rücksendeadresse oder ein anderer Versanddienstleister |
| Identität geprüft | Ja | Nichts, es sei denn, die Prüfungen unterscheiden sich je Land |
| Grenzen der Richtlinie | Größtenteils | Lokale Rechtsbegriffe, etwa Widerrufsfristen oder Gewährleistungsregeln |
| Tonfall und Empathie | Größtenteils | Wie „herzlich“ klingt: förmliche oder informelle Anrede (Sie oder du, vous oder tu) |
| Rechtschreibung und Grammatik | Nein | Die Regeln der jeweiligen Sprache und Ihr Styleguide |
| Namen und Begrüßung | Nein | Lokale Namensreihenfolge, Titel und Begrüßungskonventionen |
| Produktbegriffe | Nein | Ihr freigegebenes Glossar pro Sprache, damit Agents dieselben Wörter verwenden wie Ihr Hilfecenter |
Schreiben Sie die sprachneutralen Kriterien einmal.
Ergänzen Sie dann bei den Kriterien mit „Größtenteils“ oder „Nein“ eine kurze Notiz pro Sprache, zum Beispiel: „Deutsch: den Kunden siezen, es sei denn, er hat zuerst geduzt.“ So bleibt es bei einer Scorecard und einem Score, während jede Sprache nach ihren eigenen Regeln beurteilt wird.
Unser Leitfaden zur Bewertung von Soft Skills in der QA zeigt, wie Sie Kriterien zum Tonfall in jeder Sprache überprüfbar machen.
Mehrsprachige Qualitätssicherung in sechs Schritten einrichten
Für mehrsprachige QA schreiben Sie eine Scorecard, ergänzen Sprachnotizen, bauen ein Kalibrierungsset pro Sprache auf, bewerten jede Konversation, kalibrieren sprachübergreifend und berichten die Ergebnisse nach Sprache.
Schritt 1: Schreiben Sie eine Scorecard
Gehen Sie von Ihrer aktuellen Scorecard aus und behalten Sie sie als einzige. Eine eigene Scorecard pro Sprache wirkt aufgeräumt, macht die Scores aber unvergleichbar. Wenn Sie dabei die Gewichte neu verteilen müssen, lesen Sie unseren Leitfaden zur Gewichtung der Bewertungskriterien einer Scorecard.
Schritt 2: Ergänzen Sie Sprachnotizen bei den Kriterien, die sie brauchen
Finden Sie mit der Tabelle oben die Kriterien, die sich je Sprache ändern, und ergänzen Sie eine einzeilige Notiz pro Sprache. Bitten Sie eine muttersprachliche Person in jedem Team, oft einen erfahrenen Agent oder eine Teamleitung, die Notizen für ihre Sprache zu schreiben und zu prüfen.
Schritt 3: Bauen Sie ein Kalibrierungsset pro Sprache auf
Wählen Sie pro Sprache 20 bis 30 frühere Konversationen aus, die gute, durchschnittliche und gescheiterte Bearbeitung abdecken, und lassen Sie sie von einem muttersprachlichen Reviewer bewerten. Dieses Set wird zur Referenz für diese Sprache. Unser Leitfaden zum Aufbau eines Golden Set (auf Englisch) beschreibt, wie Sie die Konversationen auswählen und sich auf die Scores einigen.
Schritt 4: Bewerten Sie jede Konversation in ihrer eigenen Sprache
Bewerten Sie Konversationen in der Sprache, in der sie geschrieben oder gesprochen wurden, nicht in einer Übersetzung. Eine Übersetzung glättet genau das, was Sie prüfen wollen: Anrede, Formulierung und Produktbegriffe. Wenn Sie KI-Bewertung einsetzen, testen Sie sie am Kalibrierungsset jeder Sprache, bevor Sie sich darauf verlassen, so wie es unser Validierungsprotokoll (auf Englisch) beschreibt.
Schritt 5: Kalibrieren Sie sprachübergreifend
Nehmen Sie einmal im Quartal fünf Konversationen pro Sprache, übersetzen Sie sie nur für die Diskussion in eine gemeinsame Sprache und lassen Sie Reviewer aus jeder Sprache sie gemeinsam bewerten.
Das Ziel ist nicht, die Grammatik in einer Übersetzung zu beurteilen. Es geht darum zu prüfen, ob „richtige Antwort“ und „Richtlinie eingehalten“ überall gleich verstanden werden. Das Format dieser Sitzungen steht in unserem Leitfaden zu QA-Kalibrierungssitzungen (auf Englisch).
Schritt 6: Berichten Sie nach Sprache und nach Kriterium
Zeigen Sie den QA-Score pro Sprache und pro Kriterium, neben dem Volumen und der Zahl der bewerteten Konversationen. Ein Durchschnitt auf Sprachebene verbirgt, welches Kriterium hinter einem Unterschied steckt, und eine Ansicht pro Kriterium ohne Volumen verleitet zu Schlüssen aus zehn Konversationen.
Sehen Sie es in einer Live-Demo. Kaizo bewertet 100 % Ihrer Konversationen anhand Ihrer eigenen Kriterien, und jeder Score ist mit dem Beleg in der Konversation verknüpft. Termin buchen.
Wie vergleichen Sie die Qualität zwischen Sprachen fair?
Vergleichen Sie Sprachen Kriterium für Kriterium, nur dort, wo jede Sprache genug bewertete Konversationen hat, und behandeln Sie einen Unterschied nur dann als echt, wenn er größer ist, als der Zufall bei diesem Volumen hervorbringen würde.
Eine Entscheidungsregel, die Sie nutzen können (Beispielannahmen, prüfen Sie sie an Ihren eigenen Daten):
| Bedingung | Was Sie tun |
|---|---|
| Weniger als 100 bewertete Konversationen in einer Sprache in diesem Monat | Noch nicht vergleichen; den Score mit seiner Anzahl berichten |
| Unterschied von weniger als 5 Punkten bei einem Kriterium | Als Rauschen behandeln; weiter beobachten |
| Unterschied von 5 Punkten oder mehr, mit mindestens 100 Konversationen auf jeder Seite | Zehn nicht bestandene Konversationen aus der schwächeren Sprache lesen |
| Dasselbe Kriterium zwei Monate in Folge in einer Sprache niedrig | Die Ursache beheben: Inhalte, Prozess, Schulung oder die Sprachnotiz |
Warum 5 Punkte und 100 Konversationen?
Wenn einzelne QA-Scores mit einer Standardabweichung von etwa 15 Punkten streuen, hat der Durchschnitt von 100 Scores einen Standardfehler von 1,5 Punkten. Der Unterschied zwischen zwei solchen Durchschnitten hat einen Standardfehler von etwa 2,1 Punkten, ein Unterschied von 5 Punkten entspricht also etwa 2,4 Standardfehlern: kaum Zufall.
Bei 30 Konversationen pro Seite läge derselbe Unterschied klar im Rauschen.
Wenn Sie die nicht bestandenen Konversationen lesen, prüfen Sie die Ursache, bevor Sie den Agents die Schuld geben. Ein niedriger Score bei „richtige Antwort“ in einer Sprache ist oft ein fehlender oder veralteter Hilfecenter-Artikel in dieser Sprache. Ein niedriger Score bei „Prozess eingehalten“ kann ein lokaler Prozess sein, den niemand dokumentiert hat.
Muttersprachliche Reviewer, Übersetzung oder KI-Bewertung?
Muttersprachliche Reviewer urteilen am besten, skalieren aber nicht. Maschinelle Übersetzung skaliert, verbirgt aber Anrede und Formulierung. KI-Bewertung deckt jede Konversation ab, muss aber pro Sprache an muttersprachlichen Reviewern geprüft werden. Die meisten Teams kombinieren alle drei.
| Methode | Stark bei | Schwach bei | Einsatz für |
|---|---|---|---|
| Muttersprachliche Reviewer | Tonfall, Anrede, Formulierung, lokale Erwartungen | Abdeckung: ein Reviewer pro Sprache passt selten ins Budget | Kalibrierungssets, Streitfälle, Coaching in der Sprache des Agents |
| Maschinell übersetzte Prüfung | Eine Analystin kann jede Sprache lesen | Grammatik, Anrede und Produktbegriffe gehen in der Übersetzung verloren | Nur zur Prüfung sprachneutraler Kriterien |
| KI-Bewertung in der Originalsprache | Jede Konversation in jeder Sprache auf dieselbe Weise bewerten | Muss pro Sprache getestet werden, bevor Sie ihr vertrauen | Abdeckung aller Sprachen, Markieren dessen, was ein muttersprachlicher Reviewer lesen sollte |
| Externe muttersprachliche Reviewer | Eine Sprache schnell ergänzen | Die Kalibrierung mit Ihrem eigenen Team macht Arbeit | Große Sprachen ohne interne Reviewer |
Laut Kaizos Website funktioniert die Stimmungsanalyse in allen Sprachen, die Ihr Team unterstützt, und die Coaching-Karten sind in jeder gängigen Supportsprache verfügbar. Foot Locker nutzt Kaizo in mehreren europäischen Sprachen. Welche Sprachen Kaizo genau bewertet und wie Kriterien pro Sprache greifen, fragen Sie in der Demo für Ihren eigenen Sprachmix.
So starten Sie mit mehrsprachiger Qualitätssicherung
Beginnen Sie mit Ihren kleinsten Sprachen, nicht mit den größten: Listen Sie jede Sprache auf, ihr Volumen und wie viele Konversationen im letzten Monat muttersprachlich geprüft wurden. Die Sprachen mit null sind Ihre erste Lücke, und ein Kalibrierungsset von 20 Konversationen für jede davon ist Ihr erster Schritt.
Wie Kaizo einen Standard auf jede Konversation anwendet, sehen Sie auf der Seite zu Kaizos QA-Plattform.
Häufig gestellte Fragen
Funktioniert eine QA-Scorecard in mehreren Sprachen?
Ja, und das sollte sie auch. Behalten Sie die Kriterien, die überall dasselbe bedeuten, etwa richtige Antwort und eingehaltener Prozess, und ergänzen Sie eine kurze Notiz pro Sprache, wo die Regeln abweichen, zum Beispiel bei der förmlichen Anrede oder der Rechtschreibung. Eine Scorecard hält die Scores über Sprachen und Teams hinweg vergleichbar.
Müssen QA-Reviewer die Sprache sprechen, die sie bewerten?
Für Tonfall, Anrede und Rechtschreibung ja: Diese lassen sich über eine Übersetzung nicht zuverlässig beurteilen. Für sprachneutrale Kriterien, etwa ob die Antwort richtig war oder der Prozess eingehalten wurde, kann ein Reviewer mit einer Übersetzung arbeiten. Setzen Sie für Kalibrierung und Streitfälle muttersprachliche Reviewer ein, auch wenn der Großteil der Bewertung anders läuft.
Wie prüfen Sie eine Sprache, die niemand im QA-Team spricht?
Bauen Sie mit einer muttersprachlichen Person, oft einem erfahrenen Agent aus diesem Team, ein Kalibrierungsset auf und prüfen Sie damit alles, was diese Sprache bewertet, ob übersetzte Prüfung oder KI-Bewertung. Lassen Sie die muttersprachliche Person dann jeden Monat die nicht bestandenen Konversationen prüfen. Das kostet weit weniger Zeit als die Prüfung einer Stichprobe.
Sollten Agents in ihrer Zweitsprache nach Grammatik bewertet werden?
Bewerten Sie Grammatik dort, wo sie das Verständnis oder Ihre Marke berührt, und halten Sie das in der Sprachnotiz fest. Viele Teams gewichten Rechtschreibung und Grammatik niedriger als eine richtige Antwort und den richtigen Prozess. Sie bewerten Fehler, die den Sinn verändern, und nicht kleine Versehen, die ein Kunde gar nicht bemerken würde.
Wie viele Konversationen pro Sprache brauchen Sie, um QA-Scores zu vergleichen?
Als Faustregel mindestens 100 bewertete Konversationen pro Sprache und Zeitraum, bevor Sie Durchschnitte vergleichen, und mehr bei Kriterien, die selten zutreffen. Darunter können wenige ungewöhnliche Konversationen den Durchschnitt um mehrere Punkte verschieben. Berichten Sie den Score also mit seiner Anzahl und warten Sie ab.
