Wielojęzyczna kontrola jakości oznacza ocenianie rozmów z klientami w każdym obsługiwanym języku według jednego wspólnego standardu, tak aby 90 punktów po polsku znaczyło to samo co 90 punktów po angielsku. Potrzebna jest jedna karta oceny z kilkoma kryteriami zależnymi od języka, zestaw kalibracyjny dla każdego języka i takie pokrycie, by małe języki w ogóle były oceniane.
W skrócie
- Przy małym zespole QA próbkowanie zawodzi najpierw w małych językach: niektóre kolejki w ogóle nie mają oceny przez osobę znającą język.
- Większość kryteriów jest taka sama w każdym języku, natomiast forma zwracania się, ortografia i lokalne zasady wymagają kryteriów zależnych od języka.
- Wdrożenie obejmuje sześć kroków: jedną kartę oceny, kryteria zależne od języka, zestaw kalibracyjny dla każdego języka, ocenę każdej rozmowy, kalibrację między językami i raporty według języka.
- Języki porównuje się tylko na wystarczającej liczbie rozmów, z prostą regułą, kiedy różnica jest rzeczywista.
- Recenzenci znający język, ocena tłumaczeń i ocenianie przez AI mają swoje miejsce, a większość zespołów łączy wszystkie trzy.
Jeśli interesuje Państwa platforma, strona o kontroli jakości obsługi klienta pokazuje, jak Kaizo ocenia każdą rozmowę według Państwa własnych kryteriów.
Dlaczego wielojęzyczna kontrola jakości zawodzi przy małym zespole QA?
Wielojęzyczna kontrola jakości zawodzi, bo analitycy QA mogą oceniać tylko języki, które znają, więc dwuosobowy zespół dobrze pokrywa dwa lub trzy języki, a resztę zostawia bez oceny. Łączna próbka wygląda dobrze, a całe kolejki pozostają niesprawdzone.
Przykład z liczbami (dane ilustracyjne, nie dane Kaizo). Zespół obsługi klienta prowadzi 40 000 rozmów miesięcznie w ośmiu językach. Dwóch analityków QA ocenia po 25 rozmów dziennie przez 20 dni w miesiącu: to 1 000 ocen, czyli jedna rozmowa na 40. Jeden analityk zna angielski i niemiecki, drugi angielski i francuski.
| Język | Rozmowy miesięcznie | Konsultanci | Oceny przez osoby znające język, miesięcznie | Oceny na konsultanta, miesięcznie |
|---|---|---|---|---|
| Angielski | 16 000 | 40 | 400 | 10 |
| Niemiecki | 8 000 | 20 | 300 | 15 |
| Francuski | 5 000 | 12 | 300 | 25 |
| Hiszpański | 4 000 | 10 | 0 | 0 |
| Niderlandzki | 2 500 | 6 | 0 | 0 |
| Włoski | 2 000 | 5 | 0 | 0 |
| Polski | 1 500 | 4 | 0 | 0 |
| Portugalski (Brazylia) | 1 000 | 3 | 0 | 0 |
| Razem | 40 000 | 100 | 1 000 | 10 |
Na papierze kontrola jakości obejmuje jedną rozmowę na 40. W praktyce 11 000 rozmów miesięcznie, czyli ponad jedna czwarta wolumenu, nie jest oceniana przez nikogo, kto zna język, a 28 konsultantów nigdy nie dostaje oceny jakości we własnym języku. Ci konsultanci nie dostają coachingu albo dostają go na podstawie maszynowego tłumaczenia ich pracy, którego nikt nie sprawdził.
Ten koszt nie jest abstrakcyjny. W badaniu CSA Research z 2020 roku (po angielsku), obejmującym 8 709 konsumentów z 29 krajów, 75% odpowiedziało, że chętniej kupi ponownie u tej samej marki, jeśli obsługa klienta jest w ich języku. Zaoferowanie języka to połowa pracy; druga połowa to wiedza, że obsługa w tym języku jest dobra.
Które kryteria kontroli jakości zależą od języka?
Większość kryteriów kontroli jakości nie zależy od języka: poprawna odpowiedź, przestrzegana procedura i zweryfikowana tożsamość znaczą to samo w każdym języku. Forma zwracania się, ortografia, nazwiska i lokalne zasady zależą od języka i wymagają osobnej definicji dla każdego z nich.
Ta tabela pomoże uporządkować kartę oceny, zanim zostanie przetłumaczona:
| Kryterium | Takie samo w każdym języku? | Co zdefiniować dla każdego języka |
|---|---|---|
| Poprawna odpowiedź | Tak | Nic, jeśli baza wiedzy istnieje w tym języku |
| Przestrzegana procedura | Tak | Lokalne kroki, na przykład inny adres zwrotów lub przewoźnik |
| Zweryfikowana tożsamość | Tak | Nic, chyba że kontrole różnią się w zależności od kraju |
| Granice zasad | W większości | Lokalne pojęcia prawne, takie jak terminy odstąpienia od umowy czy zasady gwarancji |
| Ton i empatia | W większości | Jak brzmi „ciepło”: forma oficjalna lub nieoficjalna (Sie lub du, vous lub tu, Pan/Pani lub ty) |
| Ortografia i gramatyka | Nie | Zasady danego języka i Państwa firmowy styl |
| Nazwiska i powitania | Nie | Lokalna kolejność imienia i nazwiska, tytuły i zwyczaje powitań |
| Nazwy produktów | Nie | Zatwierdzony słownik dla każdego języka, tak aby konsultanci używali tych samych słów co centrum pomocy |
Kryteria niezależne od języka zapisuje się raz.
Następnie do kryteriów oznaczonych jako „W większości” lub „Nie” dodaje się krótką notatkę dla każdego języka, na przykład: „Niemiecki: zwracać się do klienta formą Sie, chyba że klient pierwszy napisał du”. Dzięki temu zostaje jedna karta oceny i jeden wynik, a każdy język jest oceniany według własnych zasad.
Nasz poradnik o ocenie umiejętności miękkich pokazuje, jak sprawić, by kryteria dotyczące tonu dało się sprawdzić w każdym języku.
Jak wdrożyć wielojęzyczną kontrolę jakości w sześciu krokach
Aby wdrożyć wielojęzyczną kontrolę jakości, trzeba napisać jedną kartę oceny, dodać notatki językowe, zbudować zestaw kalibracyjny dla każdego języka, oceniać każdą rozmowę, kalibrować oceny między językami i raportować wyniki według języka.
Krok 1: Napisać jedną kartę oceny
Proszę zacząć od obecnej karty oceny i zachować ją jako jedyną. Osobna karta dla każdego języka wygląda porządnie, ale uniemożliwia porównanie wyników. Jeśli przy okazji trzeba zmienić wagi, pomoże poradnik o tym, jak ustalić wagi kryteriów oceny.
Krok 2: Dodać notatki językowe do kryteriów, które ich wymagają
Na podstawie powyższej tabeli proszę znaleźć kryteria zależne od języka i dodać do nich jednozdaniową notatkę dla każdego języka. Warto poprosić osobę z każdego zespołu, dla której to język ojczysty, często doświadczonego konsultanta lub lidera zespołu, o napisanie i sprawdzenie notatek dla jej języka.
Krok 3: Zbudować zestaw kalibracyjny dla każdego języka
Dla każdego języka proszę wybrać od 20 do 30 wcześniejszych rozmów, które obejmują dobrą, przeciętną i nieudaną obsługę, i ocenić je z recenzentem znającym ten język. Ten zestaw staje się punktem odniesienia dla danego języka. Nasz poradnik o budowaniu zestawu referencyjnego (po angielsku) opisuje, jak dobrać rozmowy i uzgodnić oceny.
Krok 4: Oceniać każdą rozmowę w jej własnym języku
Rozmowy ocenia się w języku, w którym zostały napisane lub przeprowadzone, a nie w tłumaczeniu. Tłumaczenie wygładza dokładnie to, co chcą Państwo sprawdzić: formę zwracania się, sformułowania i nazwy produktów. Jeśli korzystają Państwo z oceniania przez AI, proszę je przetestować na zestawie kalibracyjnym każdego języka, zanim zaczną Państwo na nim polegać, tak jak opisuje nasz protokół weryfikacji (po angielsku).
Krok 5: Kalibrować oceny między językami
Raz na kwartał warto wziąć po pięć rozmów z każdego języka, przetłumaczyć je na jeden wspólny język wyłącznie na potrzeby dyskusji i poprosić recenzentów z każdego języka, aby ocenili je razem.
Celem nie jest ocena gramatyki w tłumaczeniu. Chodzi o sprawdzenie, czy „poprawna odpowiedź” i „przestrzegane zasady” są wszędzie rozumiane tak samo. Format takich spotkań opisujemy w poradniku o tym, jak prowadzić sesje kalibracyjne QA (po angielsku).
Krok 6: Raportować według języka i kryterium
Proszę pokazywać wynik jakości dla każdego języka i każdego kryterium, obok wolumenu i liczby ocenionych rozmów. Średnia dla całego języka ukrywa, które kryterium stoi za różnicą, a widok według kryteriów bez wolumenu zachęca do wniosków z dziesięciu rozmów.
Proszę zobaczyć to w demo na żywo. Kaizo ocenia 100% Państwa rozmów według Państwa własnych kryteriów, a każdą ocenę łączy z dowodem w rozmowie. Umów spotkanie.
Jak uczciwie porównywać jakość między językami?
Języki porównuje się kryterium po kryterium, tylko tam, gdzie każdy język ma wystarczająco dużo ocenionych rozmów, a różnicę uznaje się za rzeczywistą dopiero wtedy, gdy jest większa niż to, co przy danym wolumenie dałby przypadek.
Reguła decyzyjna, z której można skorzystać (przykładowe założenia, proszę sprawdzić je na własnych danych):
| Warunek | Co zrobić |
|---|---|
| Mniej niż 100 ocenionych rozmów w danym języku w tym miesiącu | Jeszcze nie porównywać; raportować wynik razem z liczbą rozmów |
| Różnica mniejsza niż 5 punktów w danym kryterium | Traktować jako szum; nadal obserwować |
| Różnica 5 punktów lub więcej, przy co najmniej 100 rozmowach po każdej stronie | Przeczytać dziesięć nieudanych rozmów z języka o niższym wyniku |
| To samo kryterium nisko w jednym języku dwa miesiące z rzędu | Usunąć przyczynę: treści, proces, szkolenie lub notatkę językową |
Dlaczego 5 punktów i 100 rozmów?
Jeśli pojedyncze oceny QA mają odchylenie standardowe około 15 punktów, średnia ze 100 ocen ma błąd standardowy 1,5 punktu. Różnica między dwiema takimi średnimi ma błąd standardowy około 2,1 punktu, więc różnica 5 punktów to około 2,4 błędu standardowego: mało prawdopodobne, by wynikała z przypadku.
Przy 30 rozmowach po każdej stronie ta sama różnica mieściłaby się spokojnie w granicach szumu.
Czytając nieudane rozmowy, proszę sprawdzić przyczynę, zanim obwinią Państwo konsultantów. Niski wynik w kryterium „poprawna odpowiedź” w jednym języku to często brakujący lub nieaktualny artykuł w centrum pomocy w tym języku. Niski wynik w kryterium „przestrzegana procedura” może oznaczać lokalny proces, którego nikt nie opisał.
Recenzenci znający język, tłumaczenie czy ocenianie przez AI?
Recenzenci znający język oceniają najtrafniej, ale nie skalują się, tłumaczenie maszynowe się skaluje, ale ukrywa formę zwracania się i sformułowania, a ocenianie przez AI obejmuje każdą rozmowę, ale musi być sprawdzone przez recenzentów znających każdy język. Większość zespołów łączy wszystkie trzy.
| Metoda | Mocna strona | Słaba strona | Do czego jej używać |
|---|---|---|---|
| Recenzenci znający język | Ton, forma zwracania się, sformułowania, lokalne oczekiwania | Pokrycie: jeden recenzent na język rzadko mieści się w budżecie | Zestawy kalibracyjne, spory, coaching w języku konsultanta |
| Ocena tłumaczenia maszynowego | Jeden analityk może czytać każdy język | Gramatyka, forma zwracania się i nazwy produktów giną w tłumaczeniu | Tylko kryteria niezależne od języka |
| Ocenianie przez AI w oryginalnym języku | Ocena każdej rozmowy w każdym języku w ten sam sposób | Wymaga testów dla każdego języka, zanim można mu zaufać | Pokrycie wszystkich języków, wskazywanie rozmów, które powinien przeczytać recenzent znający język |
| Zewnętrzni recenzenci znający język | Szybkie dodanie języka | Kalibracja z własnym zespołem wymaga pracy | Duże języki bez recenzentów we własnym zespole |
Na stronie Kaizo można przeczytać, że jego analiza sentymentu działa we wszystkich językach obsługiwanych przez Państwa zespół, a karty coachingowe są dostępne w każdym głównym języku obsługi klienta. Foot Locker korzysta z Kaizo w wielu językach europejskich. O dokładną listę języków, które Kaizo ocenia, i o to, jak kryteria działają w każdym z nich, warto zapytać podczas demo, podając własny zestaw języków.
Jak zacząć wielojęzyczną kontrolę jakości
Proszę zacząć od najmniejszych języków, a nie od największych: spisać każdy język, jego wolumen i liczbę rozmów, które w zeszłym miesiącu ocenił ktoś znający ten język. Języki z zerem to pierwsza luka, a zestaw kalibracyjny z 20 rozmów dla każdego z nich to pierwszy krok.
Aby zobaczyć, jak Kaizo stosuje jeden standard do każdej rozmowy, proszę przejść na stronę platformy Kaizo do kontroli jakości.
Najczęściej zadawane pytania
Czy jedna karta oceny może działać w kilku językach?
Tak, i powinna. Kryteria, które wszędzie znaczą to samo, takie jak poprawna odpowiedź i przestrzegana procedura, zostają bez zmian, a tam, gdzie zasady się różnią, na przykład w formie zwracania się czy ortografii, dodaje się krótką notatkę dla każdego języka. Jedna karta oceny zapewnia porównywalność wyników między językami i zespołami.
Czy recenzenci QA muszą znać język, w którym oceniają?
W przypadku tonu, formy zwracania się i ortografii tak: tych elementów nie da się rzetelnie ocenić przez tłumaczenie. W przypadku kryteriów niezależnych od języka, takich jak poprawność odpowiedzi czy przestrzeganie procedury, recenzent może pracować na tłumaczeniu. Recenzentów znających język warto zostawić do kalibracji i sporów, nawet jeśli większość ocen powstaje inaczej.
Jak oceniać język, którego nikt w zespole QA nie zna?
Proszę zbudować zestaw kalibracyjny z osobą znającą ten język, często doświadczonym konsultantem z tego zespołu, i za jego pomocą sprawdzać to, co ocenia ten język, czy to ocena tłumaczenia, czy ocenianie przez AI. Następnie ta osoba co miesiąc przegląda nieudane rozmowy, co zajmuje dużo mniej czasu niż ocena próbki.
Czy konsultantów należy oceniać z gramatyki w ich drugim języku?
Gramatykę warto oceniać tam, gdzie wpływa na zrozumienie lub na wizerunek marki, i zapisać to w notatce językowej. Wiele zespołów nadaje ortografii i gramatyce mniejszą wagę niż poprawnej odpowiedzi i właściwej procedurze, a ocenia błędy zmieniające sens, a nie drobne potknięcia, których klient by nie zauważył.
Ile rozmów w danym języku potrzeba, aby porównywać wyniki QA?
Jako zasadę roboczą przyjmuje się co najmniej 100 ocenionych rozmów na język w danym okresie, zanim porówna się średnie, i więcej w przypadku kryteriów, które rzadko mają zastosowanie. Poniżej tego progu kilka nietypowych rozmów może przesunąć średnią o kilka punktów, więc wynik raportuje się razem z liczbą rozmów i czeka.
