Kontrola jakości agentów AI w Zendesk polega na czytaniu i ocenianiu rozmów, które prowadzi Państwa agent AI w Zendesk, według spisanego standardu, tak aby wiedzieć, czy jego odpowiedzi były poprawne, a nie tylko czy klient odszedł. Potrzebna jest karta oceny przygotowana dla bota, sposób na ocenę każdej rozmowy agenta AI oraz pętla, która zamienia każdy błąd w konkretną poprawkę w Zendesk.
W skrócie
- Automatyczne rozwiązanie w Zendesk mówi, że klient nie trafił do konsultanta, a nie że odpowiedź była poprawna.
- Proszę zacząć od rozmów agenta AI, w których błędna odpowiedź kosztuje pieniądze: zwroty, ceny, wyjątki od zasad i zmiany na koncie.
- Bota należy oceniać pod kątem poprawności, oparcia w treściach, eskalacji i przekazania rozmowy, a nie tylko powitania i empatii.
- Każdy błąd powinien kończyć się konkretną zmianą: artykułem w centrum pomocy, procedurą, regułą eskalacji lub zablokowanym tematem.
- Po każdej zmianie trzeba ocenić rozmowy ponownie, bo poprawka jednej odpowiedzi może zepsuć inną.
Ten poradnik to wersja dla Zendesk naszego ogólnego przewodnika o tym, jak prowadzić kontrolę jakości agentów AI. Jeśli szukają Państwo samego narzędzia, strona narzędzia do kontroli jakości dla Zendesk pokazuje, jak Kaizo ocenia rozmowy w Zendesk, w tym te prowadzone przez agentów AI Zendesk.
Co Zendesk pokazuje o jakości agenta AI?
Zendesk pokazuje wolumen i wyniki: ile rozmów agent AI rozwiązał, których nie rozwiązał, oraz transkrypcje jednych i drugich. Sam w sobie nie mówi, czy każda odpowiedź była poprawna i zgodna z Państwa zasadami. Do tego potrzebna jest ocena, w Zendesk QA albo w osobnym narzędziu do QA.
W praktyce administrator Zendesk ma dziś trzy miejsca, w których może sprawdzać:
| Gdzie | Co Państwo otrzymują | Czego to nie mówi |
|---|---|---|
| Statystyki i transkrypcje agenta AI | Automatyczne rozwiązania i nierozwiązane rozmowy, wraz z transkrypcjami | Czy rozwiązana rozmowa zawierała poprawną odpowiedź |
| Liczba automatycznych rozwiązań | Ile zgłoszeń agent AI rozwiązał bez eskalacji do konsultanta | Czy klient wrócił, czy zrezygnował |
| Zendesk QA (płatny dodatek) | Oceny i automatyczne ocenianie rozmów, w tym botów oznaczonych jako podlegające ocenie | Czy odpowiedź była zgodna z Państwa zasadami, chyba że karta oceny to sprawdza |
Warto znać dwa szczegóły. Według centrum pomocy Zendesk widok transkrypcji, który otwiera się z karty Insights w ustawieniach agenta AI, pokazuje pierwsze 100 wiadomości wymienionych między agentem AI a użytkownikiem, a wśród automatycznych rozwiązań pojawiają się tylko rozmowy nieaktywne dłużej niż 72 godziny. Ten sam artykuł oznacza ten widok jako starszą wersję i podaje, że po 10 grudnia 2026 nie będzie już dostępny, więc warto sprawdzić, gdzie Państwa zespół będzie czytał transkrypcje po tej dacie.
Dlaczego automatyczne rozwiązanie nie jest wynikiem jakości?
Zendesk mierzy wykorzystanie agenta AI w automatycznych rozwiązaniach i nalicza opłaty tylko za zgłoszenia klientów skutecznie rozwiązane przez agenta AI, bez żadnej eskalacji do konsultanta. Ta definicja mówi, że rozmowa zakończyła się bez udziału człowieka. Nie mówi, czy odpowiedź była poprawna, kompletna i dozwolona.
Ta luka ujawnia się na trzy sposoby:
- Klient zrezygnował. Błędna lub ogólnikowa odpowiedź, a potem cisza. Nie było eskalacji, więc rozmowa liczy się jako rozwiązana.
- Odpowiedź była prawie poprawna. Bot cytuje właściwą zasadę, ale pomija jeden warunek, albo podaje właściwy produkt, ale ze starą ceną. Wszystkie wskaźniki systemowe pozostają zielone.
- Bot obiecał coś, czego Państwo nie oferują. Zwrot po terminie, anulowaną opłatę, termin dostawy, którego nikt nie dotrzyma. Klient jest zadowolony, dopóki nie okaże się, że obietnicy nie da się spełnić.
Zespoły obsługi klienta publicznie opisują ten sam wzorzec. W jednym wątku na r/Zendesk zespół, który przeglądał zgłoszenia „started and finished with the AI Agent (no human touch)”, czyli rozpoczęte i zakończone przez agenta AI bez udziału człowieka, napisał, że widział „high value customers getting iffy or bad answers and then abandoning the chat” (klientów o wysokiej wartości, którzy dostawali wątpliwe lub złe odpowiedzi, a potem porzucali czat). To relacja jednego zespołu, ale to dokładnie ten przypadek, którego liczba automatycznych rozwiązań nie jest w stanie pokazać. Szerszą listę takich cichych błędów opisujemy w artykule o cichych błędach agentów AI.
Jak wdrożyć kontrolę jakości agentów AI w Zendesk?
Kontrolę jakości agentów AI w Zendesk wdraża się w sześciu krokach: najpierw wybrać ryzykowne tematy, napisać kartę oceny dla bota, oceniać każdą rozmowę agenta AI, sprawdzać przekazanie rozmowy konsultantom, sprowadzać każdy błąd do poprawki w Zendesk i oceniać ponownie po każdej zmianie. Dwa pierwsze kroki wykonuje się raz; reszta to cotygodniowa rutyna.
Krok 1: Ustalić, które rozmowy agenta AI są najważniejsze
Nie każda rozmowa bota niesie to samo ryzyko. Błędna odpowiedź o godzinach otwarcia jest irytująca. Błędna odpowiedź o zwrocie, opłacie za anulowanie albo żądaniu dotyczącym danych kosztuje pieniądze lub tworzy problem ze zgodnością. Proszę spisać tematy, w których błędna odpowiedź szkodzi, i upewnić się, że ocena obejmuje je w pierwszej kolejności:
- Zwroty, środki na koncie klienta, rekompensaty i anulowanie opłat
- Ceny, plany i wszystko, co zawiera liczbę
- Wyjątki od zasad i warunki kwalifikacji
- Zmiany na koncie, rezygnacje i dane osobowe
- Reklamacje i groźby odejścia
Warto też oznaczać rozmowy z kontami o wysokiej wartości oraz każdą rozmowę, w której ten sam klient wraca w ciągu kilku dni z tym samym tematem.
Krok 2: Napisać kartę oceny dla agenta AI
Karta oceny konsultantów to punkt wyjścia, a nie gotowe rozwiązanie. Powitanie i ortografia rzadko zawodzą u bota. Zawodzi poprawność, oparcie w Państwa własnych treściach i wiedza, kiedy przestać. Proszę zachować od 6 do 8 kryteriów, z których każde recenzent może sprawdzić w transkrypcji. Następna sekcja zawiera pełny przykład, a nasz poradnik o karcie oceny agenta AI wyjaśnia, które kryteria dla konsultantów pominąć.
Krok 3: Oceniać każdą rozmowę agenta AI, a nie próbkę
Bot ma skłonność do powtarzania tego samego błędu we wszystkich rozmowach na ten sam temat, bo za każdym razem odpowiada z tych samych treści. Próbka 2% może go całkowicie przeoczyć albo znaleźć raz i uznać za szum. Ocena każdej rozmowy agenta AI pokazuje wzorzec: jeden artykuł, jedną procedurę lub jedną regułę stojącą za dziesiątkami złych odpowiedzi.
W Kaizo wystarczy połączyć Zendesk, wybrać kartę oceny i włączyć AutoPilot. AutoPilot ocenia każdą rozmowę według Państwa kryteriów w momencie jej zamknięcia i dołącza do zgłoszenia komentarz wyjaśniający wynik. Można określić, które kolejki, kanały lub zespoły ma oceniać.
Krok 4: Sprawdzać przekazanie rozmowy konsultantom
Gdy agent AI eskaluje, mogą pójść źle dwie rzeczy: eskaluje za późno, kiedy klient jest już sfrustrowany, albo przekazuje rozmowę bez kontekstu i klient musi wszystko powtarzać. Proszę oceniać obie strony: bota (czy eskalował na właściwy sygnał, czy przekazał podsumowanie) i konsultanta (czy je przeczytał). Nasz poradnik o ocenie przekazania rozmowy omawia oba kierunki.
Krok 5: Sprowadzić każdy błąd do poprawki w Zendesk
Wynik QA, który nie zmienia bota, to tylko raport. Dla każdego niespełnionego kryterium trzeba ustalić przyczynę i miejsce poprawki:
| Co zawiodło | Prawdopodobna przyczyna | Gdzie to naprawić |
|---|---|---|
| Błędna lub nieaktualna informacja | Artykuł źródłowy jest błędny, stary lub go brakuje | Zaktualizować lub dodać artykuł w centrum pomocy, z którego odpowiada bot |
| Właściwa zasada, brakujący warunek | Artykuł ukrywa warunek albo dwa artykuły są sprzeczne | Przepisać artykuł tak, aby warunek był w samej odpowiedzi |
| Obietnica czegoś niedozwolonego | Nic nie zatrzymuje bota w tym temacie | Przekazać ten temat konsultantowi albo zablokować botowi odpowiedzi na niego |
| Zbyt późna eskalacja | Warunki przekazania rozmowy są zbyt wąskie | Rozszerzyć je: temat, oznaki frustracji, to samo pytanie zadane dwa razy |
| Przekazanie bez kontekstu | Konsultant nie dostaje podsumowania | Zmienić przekazanie tak, aby konsultant otrzymywał podsumowanie rozmowy |
Zanim cokolwiek Państwo naprawią, proszę pogrupować błędy według przyczyny. Dziesięć złych odpowiedzi pochodzących z jednego artykułu wymaga jednej poprawki, a nie dziesięciu.
Krok 6: Oceniać ponownie po każdej zmianie
Zmiany w treściach mają skutki uboczne. Przepisany artykuł o zwrotach może naprawić odpowiedzi o zwrotach i zepsuć powiązane odpowiedzi o rezygnacjach. Po każdej zmianie proszę przejrzeć wyniki dla danego tematu w kolejnym tygodniu i porównać je z tygodniem poprzednim. Jeśli oceniają Państwo każdą rozmowę, to porównanie jest już gotowe.
Jak wygląda karta oceny agenta AI w Zendesk?
Karta oceny agenta AI w Zendesk sprawdza, czy odpowiedź bota była poprawna, oparta na Państwa własnych treściach, dozwolona przez zasady i przekazana konsultantowi we właściwym momencie. Potrzebuje mniej kryteriów dotyczących umiejętności miękkich niż karta oceny konsultantów i więcej kryteriów dotyczących faktów i eskalacji. Oto pełny przykład dla zespołu obsługi klienta w handlu detalicznym.
| Kryterium | Pytanie, na które odpowiada recenzent | Typ |
|---|---|---|
| Poprawna odpowiedź | Czy każdy fakt w odpowiedzi był prawdziwy w przypadku tego klienta? | Spełnione / niespełnione, błąd krytyczny w tematach finansowych |
| Oparta na naszych treściach | Czy każde twierdzenie da się powiązać z artykułem w centrum pomocy lub procedurą? | Spełnione / niespełnione |
| Zasady przestrzegane | Czy bot pozostał w granicach zasad dotyczących zwrotów, opłat i warunków kwalifikacji? | Spełnione / niespełnione, błąd krytyczny |
| Zrozumiał prośbę | Czy odpowiedział na pytanie, które zadał klient, a nie na podobne? | Od 1 do 3 |
| Eskalował, gdy powinien | Czy przekazał rozmowę na właściwy sygnał, zanim klient musiał się powtarzać? | Spełnione / niespełnione |
| Kontekst przy przekazaniu | Czy konsultant dostał podsumowanie, na podstawie którego mógł działać? | Spełnione / niespełnione |
| Ton | Czy ton był odpowiedni dla zdenerwowanego klienta? | Od 1 do 3 |
A tak powinien wyglądać komentarz, który recenzent, albo AutoPilot, zostawia w zgłoszeniu:
Zasady przestrzegane: niespełnione. Klient poprosił o zwrot 34. dnia. Agent AI potwierdził zwrot, ale zasady zwrotów dopuszczają 30 dni. Źródło: artykuł w centrum pomocy „Zwroty i refundacje”, który podaje 30-dniowy termin dopiero w ostatnim akapicie. Sugerowana poprawka: przenieść termin do pierwszego zdania artykułu i dodać regułę eskalacji dla próśb o zwrot po 30. dniu.
To właśnie taki komentarz sprawia, że wynik jest użyteczny: wskazuje kryterium, dowód w transkrypcji, źródło błędu i poprawkę. Zanim zaufają Państwo jakiemukolwiek automatycznemu wynikowi, warto sprawdzić go na rozmowach, które zespół już ocenił, i zobaczyć, gdzie się nie zgadza. Nasz poradnik o tym, jak zweryfikować ocenianie QA przez AI (po angielsku), opisuje ten test krok po kroku.
Jakich wyników można oczekiwać od pełnego pokrycia?
Opublikowane wyniki pochodzą z kontroli jakości rozmów obsługi klienta w ogóle. W UiPath Kaizo zautomatyzowało 100% kontroli jakości, osiągając ROI na poziomie 200% i wzrost wyniku jakości o 8%. W SteelSeries (po angielsku), 30-osobowym zespole obsługi klienta, który zaczynał na Zendesk, podsumowania AI skróciły o połowę czas kontroli jakości, nie ograniczając tego, co wychwytywała.
Żaden z tych wyników nie dotyczy wyłącznie rozmów agentów AI. Mechanizm jest jednak ten sam: gdy każda rozmowa jest oceniana, powtarzający się błąd przestaje być anegdotą i staje się liczbą, którą można naprawić i śledzić.
Proszę zobaczyć to we własnym Zendesk. Kaizo ocenia każdą rozmowę w Zendesk według Państwa kryteriów, w tym te prowadzone przez agentów AI Zendesk, i dołącza wyjaśnienie do zgłoszenia. Umów demo.
Zendesk QA czy osobne narzędzie do QA?
Zendesk QA sprawdzi się, jeśli już płacą Państwo za ten dodatek, a jego karty oceny pasują do sposobu, w jaki chcą Państwo oceniać bota. Osobne narzędzie do QA warto wybrać, jeśli chcą Państwo mieć jedną kartę oceny i jeden zestaw raportów dla rozmów konsultantów i agentów AI, zbudowanych wokół własnych kryteriów. Obie drogi mogą działać; karta oceny i dalsze działania znaczą więcej niż narzędzie.
Co Zendesk QA oferuje dla botów według centrum pomocy Zendesk:
- Każdego bota oznacza się jako podlegającego ocenie lub nie. Boty podlegające ocenie są uwzględniane w automatycznym ocenianiu i ocenach ręcznych.
- Rozmowy można filtrować według uczestnika, bota, typu bota (przepływ pracy lub generatywny) i liczby odpowiedzi bota.
- Kategorie AutoQA to powitanie, empatia, ortografia i gramatyka, zakończenie, zaproponowane rozwiązanie, ton, czytelność i zrozumienie, a konsultanci i boty są oceniani osobno.
- Wymaga dodatku Quality Assurance lub Workforce Engagement Management.
Pytania, które warto zadać każdemu narzędziu, w tym Zendesk QA:
- Czy potrafi oceniać kryteria ważne dla bota, takie jak poprawność względem Państwa treści i zasad, a nie tylko standardowe kategorie?
- Czy każdy wynik ma wyjaśnienie powiązane z transkrypcją?
- Czy można je przetestować na własnych wcześniejszych ocenach, zanim zacznie oceniać na żywo?
- Czy ocenia każdą rozmowę agenta AI, czy próbkę?
- Czy osoby, które poprawiają bota, widzą błędy pogrupowane według przyczyny?
Jeśli porównują Państwo oba rozwiązania bezpośrednio, nasza strona o alternatywie dla Zendesk QA przedstawia różnice, a strona Kaizo dla Zendesk pokazuje, jak wygląda konfiguracja.
Kiedy to nie jest dla Państwa
Formalna kontrola jakości agentów AI nie wszędzie się opłaca. Jeśli Państwa agent AI w Zendesk prowadzi kilkadziesiąt rozmów tygodniowo, lepiej przeczytać je samodzielnie: godzina tygodniowo z transkrypcjami i krótka lista kontrolna wychwycą większość problemów. Jeśli bot odpowiada tylko na pytania niskiego ryzyka, takie jak godziny otwarcia czy linki do śledzenia zamówień, wystarczy comiesięczna kontrola wyrywkowa.
Jest też za wcześnie, jeśli nie mają Państwo jeszcze spisanego standardu tego, jak wygląda dobra odpowiedź. Najpierw trzeba go napisać, choćby jako jednostronicową listę, bo żadne narzędzie nie oceni według standardu, który nie istnieje. A jeśli treści w Państwa centrum pomocy są nieaktualne niemal wszędzie, najpierw należy poprawić treści, a dopiero potem mierzyć bota: kontrola jakości powie głównie to, co już Państwo wiedzą.
Najczęściej zadawane pytania
Czy Zendesk QA może oceniać rozmowy prowadzone przez agentów AI?
Tak. Zendesk QA może uwzględniać w automatycznym ocenianiu i ocenach ręcznych boty oznaczone jako podlegające ocenie, a rozmowy można filtrować według bota i typu bota. Wymaga dodatku Quality Assurance lub Workforce Engagement Management.
Czy Kaizo współpracuje z agentami AI Zendesk?
Tak. Kaizo łączy się z Zendesk, a AutoPilot ocenia każdą rozmowę w Zendesk według Państwa kryteriów, w tym te prowadzone przez agentów AI Zendesk. Każdy wynik ma komentarz, który go wyjaśnia.
Ile rozmów agenta AI w Zendesk należy oceniać?
Jeśli to możliwe, wszystkie, bo bot ma skłonność do powtarzania tego samego błędu w rozmowach na ten sam temat. Jeśli ocena jest ręczna, proszę zacząć od ryzykownych tematów, takich jak zwroty, ceny i wyjątki od zasad, i najpierw przeczytać każdą z tych rozmów.
Czy można używać tej samej karty oceny dla konsultantów i agenta AI?
Można współdzielić kryteria, które dotyczą obu stron, takie jak poprawna odpowiedź i ton, dzięki czemu wyniki pozostają porównywalne. Agent AI potrzebuje dodatkowych kryteriów dotyczących oparcia w treściach, granic zasad i eskalacji oraz mniejszej wagi powitania i ortografii.
Ile trwa wdrożenie kontroli jakości agenta AI w Zendesk?
Większość pracy to wybór ryzykownych tematów i napisanie pierwszej karty oceny, co robi się raz. W Kaizo połączenie Zendesk i włączenie AutoPilot zajmuje dni, a nie cały projekt integracyjny, a ocenianie można przetestować na wcześniejszych ocenach, zanim zostanie uruchomione na żywo.
Co zrobić, gdy agent AI udzieli błędnej odpowiedzi?
Najpierw trzeba znaleźć źródło odpowiedzi: zwykle jest nim artykuł w centrum pomocy, który jest błędny, nieaktualny lub niejasny. Proszę poprawić artykuł albo dodać regułę eskalacji dla tego tematu, a potem sprawdzić wyniki dla tego tematu w kolejnym tygodniu, aby potwierdzić, że poprawka zadziałała.
Czytaj także
- Jak prowadzić kontrolę jakości agentów AI i chatbotów, ogólny poradnik dla każdego agenta AI
- Your AI agent is closing tickets. Who is checking it? (po angielsku), o tym, co oceniać w pierwszej kolejności
- QA inside the Zendesk ticket view (po angielsku), o tym, dlaczego informacja zwrotna powinna trafiać do zgłoszenia
- Kaizo dla Zendesk, narzędzie do kontroli jakości dla Zendesk, które ocenia rozmowy konsultantów i agentów AI
