Kontrola jakości voicebotów AI polega na ocenianiu rozmów prowadzonych przez Państwa voicebota według spisanego standardu, po zakończeniu każdej rozmowy, tak aby wiedzieć, czy zrozumiał rozmówcę, udzielił poprawnej i dozwolonej odpowiedzi oraz przekazał rozmowę człowiekowi wtedy, gdy powinien. Potrzebna jest karta oceny z kryteriami typowymi dla rozmów głosowych, transkrypcja każdej rozmowy i sposób na ocenę wszystkich rozmów, a nie próbki.
W skrócie
- Voicebot popełnia błędy, których nie popełnia chatbot (źle usłyszane liczby, wchodzenie rozmówcy w słowo, utracone przełączenia), więc jego karta oceny zawiera dodatkowe kryteria: rozpoznawanie mowy, powtórzenie danych, eskalację i informację o AI.
- Mała losowa próbka rozmów zwykle przeocza błędy voicebota, bo skupiają się one na jednej intencji i się powtarzają.
- Całą pracę obejmuje sześć kroków: najpierw ryzykowne intencje, potem karta oceny, transkrypcje, ocena każdej rozmowy, przekazanie rozmowy i ponowna ocena po każdej poprawce.
- Od 2 sierpnia 2026 akt w sprawie sztucznej inteligencji (AI Act) wymaga, aby rozmówcy wiedzieli, że rozmawiają z AI, a w USA nadal obowiązują przepisy o nagrywaniu rozmów.
- Testy przed uruchomieniem i kontrola jakości rozmów na żywo to dwa różne etapy i potrzebne są oba.
Ten poradnik to wersja głosowa naszego ogólnego przewodnika o tym, jak prowadzić kontrolę jakości agentów AI. Jeśli interesuje Państwa produkt, strona o kontroli jakości agentów AI pokazuje, jak Kaizo ocenia rozmowy agentów AI na tej samej karcie oceny co rozmowy Państwa zespołu.
Czym różni się kontrola jakości voicebotów AI?
Kontrola jakości voicebota sprawdza, co bot usłyszał, a nie tylko co powiedział, bo voicebot zamienia mowę na tekst, zanim odpowie. Błąd na tym pierwszym etapie zmienia wszystko, co następuje później. Chatbot czyta to, co klient napisał; voicebot zgaduje.
Dochodzą więc trzy rodzaje błędów, których kontrola jakości rozmów tekstowych nigdy nie widzi:
- Błędy rozpoznawania mowy. Bot słyszy „piętnaście” zamiast „pięćdziesiąt”, myli jedną cyfrę numeru zamówienia albo przekręca nazwisko. Odpowiedź, która następuje, może w pełni opierać się na Państwa treściach, a mimo to dotyczyć niewłaściwego zamówienia.
- Rytm rozmowy. Bot odpowiada, zanim rozmówca skończy, zostawia długie chwile ciszy albo mówi dalej, gdy rozmówca próbuje mu przerwać. W transkrypcji czatu nic takiego nie istnieje.
- Przełączenie. Przekazanie rozmowy głosowej to przełączenie na żywo. Jeśli kontekst nie idzie razem z połączeniem, rozmówca powtarza wszystko osobie, która od początku brzmi na nieprzygotowaną.
Reszta jest taka sama jak u każdego agenta AI: odpowiedź musi być poprawna, pochodzić z Państwa własnych treści, mieścić się w zasadach i eskalować na właściwy sygnał. Te wspólne kryteria opisujemy w artykule o karcie oceny agenta AI, a samo przełączenie szczegółowo w poradniku o ocenie przekazania rozmowy między botem a konsultantem.
Jakie błędy powinna wychwytywać karta oceny voicebota?
Karta oceny voicebota powinna wychwytywać błędne odpowiedzi, wymyślone zasady, źle usłyszane dane, niepotwierdzone działania, pominięte eskalacje i brak informacji o AI. Dla każdego kryterium powinna też określać, czy wystarczy transkrypcja, czy potrzebne jest nagranie, bo od tego zależy sposób oceny.
Oto karta oceny, którą można skopiować i dostosować. Pierwsze cztery wiersze to kryteria, według których oceniani są już Państwa konsultanci, dzięki czemu oba zestawy wyników pozostają porównywalne.
| Kryterium | Co sprawdza | Kogo dotyczy | Czy wystarczy transkrypcja? |
|---|---|---|---|
| Poprawna odpowiedź | Odpowiedź rozwiązuje sprawę rozmówcy | Konsultanci i agenci AI | Tak |
| Granice zasad | Brak wymyślonego zwrotu, anulowania opłaty czy wyjątku | Konsultanci i agenci AI | Tak |
| Weryfikacja tożsamości | Wymagane kontrole odbyły się przed udostępnieniem danych konta | Konsultanci i agenci AI | Tak |
| Ton | Brzmi jak Państwa marka, a nie jak odczytywany skrypt | Konsultanci i agenci AI | Częściowo: tempo i wchodzenie w słowo wymagają nagrania |
| Powtórzenie kluczowych danych | Numery, daty, nazwiska i kwoty zostały potwierdzone rozmówcy | Agenci AI | Tak |
| Rozpoznawanie mowy | To, na podstawie czego bot działał, zgadza się z tym, co powiedział rozmówca | Agenci AI | Nie: w nieudanych rozmowach trzeba porównać nagranie z transkrypcją |
| Oparcie w Państwa treściach | Każdy fakt pochodzi z Państwa bazy wiedzy | Agenci AI | Tak |
| Eskalacja | Bot zaproponował rozmowę z człowiekiem na właściwy sygnał, w tym gdy rozmówca dwa razy powiedział „konsultant” lub „człowiek” | Agenci AI | Tak |
| Przekazanie rozmowy | Kontekst trafił razem z przełączeniem, a osoba po drugiej stronie go podjęła | Agenci AI i konsultanci | Tak, jeśli obie części rozmowy są w jednym rekordzie |
| Informacja o AI | Rozmówca usłyszał na początku, że rozmawia z AI | Agenci AI | Tak |
Powtórzenie danych to najtańsza poprawka o największym efekcie. Voicebot, który powtarza „Czyli zamówienie 4-8-1-7, zwrot 15 złotych, zgadza się?”, zamienia niewidoczny błąd rozpoznawania w poprawkę, którą rozmówca robi za Państwa. Proszę oceniać to kryterium w każdej rozmowie, w której bot zmienia coś na koncie, przyjmuje płatność lub dokonuje rezerwacji.
Dlaczego próbka rozmów przeocza błędy voicebota?
Losowa próbka przeocza błędy voicebota, bo skupiają się one na jednej intencji i się powtarzają. Usterka, która psuje dużą część jednego rodzaju rozmów, to wciąż mały odsetek wszystkich rozmów. Poniższe obliczenie pokazuje, jak często typowa próbka nie widzi niczego.
Przykład z liczbami (dane ilustracyjne, nie dane Kaizo). Załóżmy, że Państwa voicebot prowadzi 12 000 rozmów miesięcznie, a zespół ocenia losową próbkę jednej rozmowy na 50, czyli 240 rozmów. Co dwudziesta rozmowa dotyczy zwrotu, czyli 600 rozmów.
Po zmianie zasad bot podaje błędny termin zwrotu w co dziesiątej rozmowie o zwrot: to 60 rozmów, czyli jedna na 200.
| Wartość | |
|---|---|
| Rozmowy miesięcznie | 12 000 |
| Ocenione rozmowy (próbka 2%) | 240 |
| Rozmowy o zwrot z błędną odpowiedzią | 60 (0,5% wszystkich rozmów) |
| Oczekiwana liczba błędnych rozmów o zwrot w próbce | 1,2 |
| Szansa, że próbka nie zawiera żadnej z nich | około 30% |
| Szansa, że zawiera najwyżej jedną | około 66% |
Dwa ostatnie wiersze wynikają ze wzoru dwumianowego: szansa, że nie trafi się żadna, to 0,995 do potęgi 240, czyli około 0,30.
Mniej więcej w dwóch miesiącach na trzy recenzenci widzą jedną złą rozmowę o zwrot albo żadnej, co wygląda na szum. Ocena każdej rozmowy zamienia tę samą usterkę w 60 rozmów niespełniających jednego kryterium, z dołączonymi transkrypcjami.
Ogólną wersję tego argumentu, ze wzorami, opisujemy w artykule why a 3% QA sample cannot support agent-level decisions (po angielsku).
Jak prowadzić kontrolę jakości voicebotów AI w sześciu krokach
Kontrolę jakości voicebotów AI zaczyna się od kosztownych intencji, potem pisze się kartę oceny z kryteriami głosowymi, zapewnia transkrypcję każdej rozmowy, ocenia wszystkie rozmowy, sprawdza przełączenia i ocenia ponownie po każdej poprawce.
Krok 1: Spisać ryzykowne intencje
Proszę zebrać intencje, które obsługuje Państwa voicebot, i oznaczyć te, w których błąd kosztuje pieniądze lub zaufanie: zwroty, płatności, rezygnacje, zmiany adresu, rezerwacje wizyt i wszystko, co dotyczy tożsamości. Te rozmowy ocenia się w pierwszej kolejności i czyta najczęściej.
Krok 2: Napisać kartę oceny
Proszę zacząć od powyższej tabeli. Warto zachować kryteria wspólne dla konsultantów i bota, dodać kryteria głosowe i sformułować każde kryterium jako pytanie z odpowiedzią tak lub nie, na które AI lub recenzent może odpowiedzieć na podstawie rozmowy. Nasz poradnik o tym, jak napisać kryteria oceny, które AI potrafi ocenić (po angielsku), pokazuje, jak je formułować.
Krok 3: Zapewnić transkrypcję każdej rozmowy
Ocena wymaga tekstu. Proszę sprawdzić, czy każda rozmowa voicebota trafia z nagraniem i transkrypcją do systemu, w którym są rozmowy Państwa zespołu, i czy transkrypcja oznacza, kto co powiedział. Jeśli rozmowy bota leżą w osobnej konsoli dostawcy, wyniki konsultantów i AI nigdy nie znajdą się w jednym raporcie.
Krok 4: Oceniać każdą rozmowę, a nie próbkę
Proszę oceniać wszystkie rozmowy voicebota według karty oceny, z komentarzem przy każdej ocenie, który wskazuje fragment rozmowy stojący za wynikiem.
Recenzentów warto kierować do rozmów, które nie spełniły kryterium o wysokiej wadze, oraz do zestawu rozmów, które je spełniły, aby sprawdzić samo ocenianie. Zanim zaczną Państwo polegać na automatycznych ocenach, warto porównać je z własnymi wcześniejszymi ocenami, tak jak opisujemy w poradniku o tym, jak zweryfikować ocenianie QA przez AI (po angielsku).
Krok 5: Sprawdzać przełączenia
Proszę wyfiltrować rozmowy, które voicebot przełączył, oraz rozmowy, w których rozmówca prosił o człowieka. Ocenia się, czy bot eskalował na właściwy sygnał, czy kontekst dotarł do konsultanta i czy rozmówca musiał się powtarzać.
Następnie warto przejrzeć rozmowy zakończone bez przełączenia i bez rozwiązania sprawy: rozmówca, który się rozłącza, często jest liczony jako obsłużony przez bota.
Krok 6: Naprawić, a potem ocenić ponownie
Każdy błąd trzeba sprowadzić do przyczyny: artykułu w bazie wiedzy, promptu, brakującego powtórzenia danych, reguły eskalacji albo problemu z rozpoznawaniem mowy przy jednym rodzaju danych. Po poprawce proszę obserwować to kryterium dla tej samej intencji przez kolejny tydzień.
Poprawka jednej odpowiedzi może zepsuć inną, a widać to tylko wtedy, gdy nadal ocenia się wszystkie rozmowy.
Proszę zobaczyć to w demo na żywo. Kaizo ocenia połączenia, czaty i e-maile na jednej karcie oceny, a rozmowy agentów AI na tej samej karcie oceny co rozmowy Państwa zespołu. Umów spotkanie.
Czego prawo wymaga od voicebota AI?
W UE voicebot musi od 2 sierpnia 2026 jasno informować rozmówców, że rozmawiają z AI, od początku rozmowy. W USA obowiązują zwykłe przepisy o nagrywaniu rozmów, a wychodzące połączenia głosowe AI podlegają przepisom o robocallach.
| Przepis | Co oznacza dla voicebota | Źródło |
|---|---|---|
| AI Act, art. 50 ust. 1 | Dostawcy muszą projektować systemy AI przeznaczone do bezpośredniej interakcji z ludźmi tak, aby te osoby były informowane, że mają do czynienia z AI, chyba że jest to oczywiste. Obowiązuje od 2 sierpnia 2026. | Rozporządzenie (UE) 2024/1689 w EUR-Lex |
| Wytyczne Komisji do art. 50 | Informacja należy się od początku pierwszej interakcji, w jasnej i dostępnej formie; chatboty i agenci AI są podani jako przykłady. | FAQ Komisji Europejskiej do art. 50 |
| Federalne prawo USA o nagrywaniu | Nagrywanie jest dozwolone za zgodą jednej strony na podstawie 18 U.S.C. § 2511(2)(d). | Cornell LII (po angielsku) |
| Stanowe przepisy USA o nagrywaniu | Niektóre stany, w tym Kalifornia, wymagają zgody wszystkich stron. | California Penal Code § 632 (po angielsku) |
| Połączenia wychodzące w USA | FCC orzekła 8 lutego 2024, że głosy generowane przez AI są „sztuczne” w rozumieniu TCPA, więc obowiązują zasady zgody dla robocalli. | Komunikat FCC (po angielsku) |
Ta tabela jest podsumowaniem, a nie poradą prawną.
Dla kontroli jakości praktyczny wniosek jest prosty: informacja o AI i informacja o nagrywaniu powinny być kryteriami na karcie oceny, tak aby mogli Państwo wykazać, że padły w każdej rozmowie, zamiast to zakładać. Wytyczne i przepisy krajowe mogą się jeszcze zmienić, więc przed uruchomieniem na nowym rynku proszę sprawdzić aktualny stan z prawnikiem.
Testy przed uruchomieniem a kontrola jakości po rozmowie
Testy przed uruchomieniem sprawdzają voicebota na scenariuszach testowych w kontrolowanych warunkach; kontrola jakości po rozmowie sprawdza, co faktycznie zrobił z prawdziwymi rozmówcami. Wychwytują różne problemy i voicebot potrzebuje obu.
| Testy przed uruchomieniem | Kontrola jakości rozmów na żywo | |
|---|---|---|
| Dane wejściowe | Rozmowy testowe według scenariusza lub symulowane | Prawdziwe rozmowy z prawdziwymi klientami |
| Kiedy | Przed wdrożeniem i po każdej zmianie promptów lub ścieżek | Po zakończeniu każdej rozmowy |
| Co wychwytuje | Zepsute ścieżki, regresje promptów, opóźnienia pod obciążeniem | Prawdziwe akcenty i hałas, nowe pytania, rozjazd z zasadami, nieudane przełączenia |
| Kto za to odpowiada | Zespół, który buduje bota | Kontrola jakości i operacje obsługi klienta |
| Typowe narzędzie | Zestaw testów lub narzędzie do symulacji | Platforma QA z kartą oceny |
Kaizo działa w drugiej kolumnie. Ocenia rozmowy po ich zakończeniu i mówi o tym wprost na swojej stronie: testowanie voicebota przed uruchomieniem na rozmowach testowych według scenariusza to inny etap niż kontrola jakości rozmów na żywo. Jeśli potrzebują Państwo odsłuchu rozmów na żywo lub podpowiedzi w trakcie rozmowy, to jest wsparcie konsultanta w czasie rzeczywistym (po angielsku), czyli jeszcze inna kategoria.
Jak zacząć kontrolę jakości voicebota
Proszę zacząć w tym tygodniu od jednej intencji: wybrać najbardziej ryzykowną z tych, które obsługuje Państwa voicebot, napisać dziesięć kryteriów na podstawie powyższej tabeli i przez dwa tygodnie oceniać każdą rozmowę dotyczącą tej intencji. Z tych rozmów dowiedzą się Państwo więcej niż z miesiąca próbkowania wszystkich intencji.
Potem warto poszerzać zakres intencja po intencji. Aby zobaczyć, jak jedna karta oceny obejmuje konsultantów, chatboty i połączenia, proszę przejść na stronę o kontroli jakości agentów AI.
Najczęściej zadawane pytania
Jak przetestować voicebota AI przed uruchomieniem?
Proszę przeprowadzić rozmowy testowe według scenariusza, które obejmują główne i ryzykowne intencje, a także trudne przypadki: hałas w tle, akcenty, przerywanie, szybko podawane liczby i rozmówców proszących o człowieka. Sprawdza się ścieżki, odpowiedzi i czas reakcji. Ten sam zestaw testów warto powtarzać po każdej zmianie promptu lub ścieżki, bo poprawka w jednym miejscu może zepsuć coś w innym.
Które wskaźniki są ważne dla voicebota AI?
Warto śledzić wskaźniki wyników, takie jak containment, odsetek przełączeń i ponowne połączenia, ale jakość ocenia się na karcie oceny: poprawna odpowiedź, granice zasad, powtórzenie kluczowych danych, eskalacja i przekazanie rozmowy. Sam containment liczy jako sukces rozmówcę, który się poddał i rozłączył. Nasz poradnik o wskaźniku containment (po angielsku) wyjaśnia, jak go czytać bez złudzeń.
Czy rozmowy voicebota i konsultantów można oceniać na tej samej karcie oceny?
Tak, w zakresie kryteriów, które dotyczą obu stron, takich jak poprawna odpowiedź, granice zasad, weryfikacja tożsamości i ton. Dzięki temu wyniki pozostają porównywalne i widać, gdzie bot jest mocniejszy lub słabszy od Państwa zespołu. Voicebot dostaje dodatkowo kryteria dotyczące rozpoznawania mowy, powtórzenia danych, eskalacji i informacji o AI.
Czy Kaizo ocenia rozmowy telefoniczne?
Tak. Kaizo ocenia połączenia na tej samej karcie oceny co czat i e-mail, a każdy plan obejmuje podsumowania AI i transkrypcję na żądanie. Kaizo ocenia rozmowę po jej zakończeniu i rozwiązaniu sprawy, więc jest narzędziem do kontroli jakości rozmów na żywo po fakcie, a nie narzędziem do monitorowania rozmów w czasie rzeczywistym.
Ile rozmów voicebota należy oceniać ręcznie?
Jeśli to możliwe, proszę oceniać automatycznie każdą rozmowę, a ręcznie przeglądać te, które nie spełniły kryterium o wysokiej wadze, oraz mały zestaw tych, które je spełniły, aby sprawdzić ocenianie. Jeśli oceniają Państwo tylko ręcznie, najpierw warto przeczytać każdą rozmowę z najbardziej ryzykownej intencji, bo błędy voicebota skupiają się na jednej intencji i się powtarzają.
