Przejdź do treści

Kontrola jakości agentów AI

Agent AI odpowiada klientom. Kaizo sprawdza każdą odpowiedź.

Kaizo ocenia 100% rozmów prowadzonych przez agentów AI według Państwa własnej karty oceny, tej samej, według której oceniany jest zespół, i łączy każdą ocenę z dowodem w rozmowie. Proces może działać w pełni automatycznie lub z weryfikacją przez ludzi dokładnie tam, gdzie ma to znaczenie.

Wdrożenie w kilka dni · Natywne aplikacje dla Zendesk i Salesforce

Zaufały nam zespoły obsługi klienta na całym świecie

Automatyczne rozwiązanie to nie ocena jakości

Helpdesk liczy rozmowę jako rozwiązaną, gdy klient nie dotarł do człowieka. Nie mówi to jednak, czy odpowiedź była poprawna. Agent AI może wymyślić zasadę, uznać problem za rozwiązany, choć nie jest, albo zatrzymać sprawę, którą powinien był przekazać, a każdy dashboard i tak liczy to jako sukces. Ponieważ za każdym razem odpowiada na podstawie tego samego promptu i tych samych treści, ten sam błąd powtarza się w każdej rozmowie, której dotyczy, a próbka 2% zwykle go nie wychwytuje.

Jak to działa

Jeden standard dla konsultantów i agentów AI

Kaizo działa w helpdesku, w którym już znajdują się rozmowy agenta AI, i ocenia je tak samo jak rozmowy Państwa zespołu.

Państwa karta oceny

Ta sama karta oceny, z kontrolami przygotowanymi dla bota.

Rozmowy agentów AI można oceniać według tej samej karty oceny co rozmowy zespołu, aby widzieć wyniki konsultantów i agentów AI obok siebie. Następnie wystarczy dodać kryteria, na których bot zawodzi: poprawność faktów, wierność zasadom, zakres uprawnień i eskalację. Kryteria formułują Państwo własnymi słowami, a po podłączeniu bazy wiedzy AI ocenia według Państwa treści.

  • Kryteria Państwa własnymi słowami, nie szablon
  • Wspólne kryteria zapewniają porównywalność wyników ludzi i AI
  • Dodatkowe kontrole wymyślonych faktów i wymyślonych zasad
Jak działają karty oceny

Każda rozmowa

Każda rozmowa agenta AI oceniona, z dowodem.

AutoPilot ocenia każdą rozmowę po jej rozwiązaniu i dołącza komentarz, który wyjaśnia ocenę. Każda ocena prowadzi do dowodu w rozmowie, więc błąd staje się konkretnym przykładem, który można przekazać osobie odpowiedzialnej za prompt lub artykuł w centrum pomocy.

  • 100% rozmów, a nie próbka
  • Każda ocena wyjaśniona i powiązana z fragmentami, które ją uzasadniają
  • To Państwo wybierają, które kolejki, kanały lub zespoły są oceniane
Więcej o AutoPilocie

Monitoring i analityka

Gdzie agent AI zawodzi i dlaczego.

Gdy każda rozmowa jest oceniona, powtarzający się błąd przestaje być anegdotą i staje się trendem, który można śledzić według zespołu i tygodnia. Analiza przyczyn źródłowych grupuje błędy stojące za spadkiem, więc dziesięć złych odpowiedzi z jednego artykułu to jedna poprawka. Po każdej zmianie warto ocenić rozmowy ponownie, aby potwierdzić, że poprawka działa.

Więcej o analizie przyczyn źródłowych

Weryfikacja przez ludzi

Ludzie pozostają w procesie.

Ocenianie można przetestować na historycznych ocenach przed uruchomieniem i dostosować kryteria, aż będą zgodne z oceną zespołu. Recenzenci zachowują rozmowy wymagające osądu: Auto QA wstępnie wypełnia kryteria i przygotowuje informację zwrotną, którą recenzent edytuje i zatwierdza.

Więcej o Auto QA
100%
kontroli jakości zautomatyzowane w UiPath
200%
ROI z automatyzacji kontroli jakości w UiPath
50%
mniej czasu na kontrolę jakości w SteelSeries

Kiedy Kaizo nie jest właściwym narzędziem

Kaizo ocenia rozmowy po ich zakończeniu, w helpdesku, w którym się znajdują. Jeśli potrzebny jest zestaw testów dla programistów przed uruchomieniem, na przykład testy regresji promptów w pipeline CI, to inny etap i inny rodzaj narzędzia, które może działać obok Kaizo. A jeśli agent AI prowadzi kilkadziesiąt rozmów tygodniowo, wystarczy przeczytać je samodzielnie: godzina tygodniowo z transkrypcjami i krótka lista kontrolna wychwycą większość problemów.

Nowy temat? Polecamy nasz przewodnik po kontroli jakości agentów AI, wyjaśnienie, dlaczego containment rate nie jest oceną jakości, oraz omówienie wskaźników AI w obsłudze klienta (przewodniki po angielsku).

Testują Państwo agenta głosowego?

Testowanie agenta głosowego przed uruchomieniem, za pomocą zaplanowanych połączeń testowych, to testy przed wdrożeniem: inny etap niż kontrola jakości rzeczywistych rozmów. Prosimy opowiedzieć nam o swojej konfiguracji, a szczerze powiemy, czy to pasuje.

Zespoły obsługi klienta, które przestały oceniać próbki

  • 50%

    mniej czasu na kontrolę jakości

    “Our tickets can be long and complex. AI has been a life-saver in our experience.”

    SteelSeries

  • 75%

    szybsze rozwiązywanie zgłoszeń

    “Kaizo is an essential part of finding the root causes of areas we need to improve, then improving on that.”

    Foot Locker

Jak wygląda karta oceny dla agenta AI?

Proszę zacząć od kryteriów, według których Państwa zespół jest już oceniany, aby wyniki ludzi i AI pozostały porównywalne, a następnie dodać kontrole tam, gdzie bot zawodzi. Typowa karta oceny wygląda tak:

KryteriumCo sprawdzaOceniane dla
Poprawna odpowiedźOdpowiedź rozwiązuje pytanie klientaKonsultanci i agenci AI
TonOdpowiedź brzmi jak Państwa markaKonsultanci i agenci AI
Oparcie na Państwa treściachKażdy fakt pochodzi z Państwa bazy wiedzy, nic nie jest wymyśloneAgenci AI
Granice politykiŻadnych wymyślonych zasad, zwrotów ani wyjątkówAgenci AI
ZakresPozostaje w granicach tego, czym agent może się zajmowaćAgenci AI
EskalacjaPrzekazuje rozmowę przy właściwym sygnaleAgenci AI
PrzekazanieKontekst zostaje przekazany, a konsultant go przejmujeAgenci AI i konsultanci

FAQ

Najczęściej zadawane pytania

Czym jest kontrola jakości agentów AI?

Kontrola jakości agentów AI to ocenianie rozmów prowadzonych przez chatbota lub agenta AI według spisanego standardu, aby wiedzieć, czy odpowiedzi były poprawne i dozwolone, a nie tylko, czy klient dotarł do człowieka. Kaizo robi to dla każdej rozmowy, a każda ocena prowadzi do dowodu.

Czy Kaizo może oceniać agentów AI innych dostawców?

Tak. Jeśli rozmowa znajduje się w Zendesk lub Salesforce, Kaizo ocenia ją według tej samej karty oceny co rozmowy Państwa zespołu, niezależnie od tego, kto zbudował agenta. W Zendesk obejmuje to rozmowy obsługiwane przez agentów AI Zendesk.

Czy agent AI dostaje tę samą kartę oceny co konsultanci?

Może dzielić kryteria wspólne dla obu, takie jak poprawna odpowiedź i właściwy ton, dzięki czemu wyniki pozostają porównywalne. Następnie wystarczy dodać kryteria, na których bot zawodzi: oparcie w Państwa treściach, granice zasad, zakres uprawnień i eskalację.

Czy Kaizo może sprawdzić przekazanie rozmowy od agenta AI do człowieka?

Tak, jako kryteria na karcie oceny: czy agent AI eskalował przy właściwym wyzwalaczu, czy przekazał kontekst i czy konsultant go podjął? Przekazanie widać w tej samej rozmowie, do której prowadzi ocena.

Czy wysoki containment rate oznacza, że agent AI działa dobrze?

Sam w sobie nie. Containment liczy rozmowę jako sukces, gdy klient nie dotarł do człowieka, a fałszywe rozwiązanie lub sprawa, którą agent powinien był przekazać, wyglądają dokładnie tak samo. Trzeba ocenić, co agent powiedział, aby wiedzieć, czy zatrzymana rozmowa była dobra.

Kto sprawdza oceny?

Państwa zespół, wszędzie tam, gdzie ma to znaczenie. Ocenianie testuje się na wcześniejszych ocenach przed uruchomieniem, każda ocena prowadzi do dowodu, więc każdy może ją sprawdzić, a Auto QA przygotowuje informację zwrotną, którą recenzent edytuje i zatwierdza.

Czy musimy zmienić helpdesk?

Nie. Kaizo integruje się natywnie z Zendesk i Salesforce Service Cloud i odczytuje rozmowy bezpośrednio z nich. Wdrożenie trwa kilka dni, a nie cały projekt budowy konektora.

Czy Kaizo sprzedaje także agentów AI?

Tak. Kaizo Agentic Customer Service Platform wprowadza agentów AI o określonych rolach do pracy, która stoi za jakością obsługi klienta. Działa w ramach pilotażu w IV kwartale 2026, a praca agentów jest mierzona tym samym standardem co praca Państwa zespołu. Platforma kontroli jakości, która ocenia rozmowy agentów AI, jest dostępna już teraz.

Bezpieczeństwo i zgodność

SOC 2 Type II, ISO 27001 i RODO

Raporty z audytów, certyfikaty i zasady w jednym miejscu.

Trust Center ›

Proszę zobaczyć to na rozmowach swojego agenta AI

Podczas demo na żywo pokażemy Państwu, jak Kaizo ocenia rozmowy agentów AI według karty oceny i co dashboard automatycznych rozwiązań policzyłby jako sukces.

Zaufały nam zespoły obsługi klienta na całym świecie

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath