Monitorowanie agentów AI i observability w obsłudze

Observability agentów AI to śledzenie krok po kroku tego, co robi agent AI, tak aby inżynierowie widzieli opóźnienia, koszty tokenów, błędy narzędzi i nieudane uruchomienia. Dla lidera obsługi klienta to połowa pracy. Druga połowa to monitorowanie jakości: sprawdzanie, czy agent udzielił klientom prawidłowej odpowiedzi, przestrzegał zasad, eskalował wtedy, kiedy powinien, i naprawdę zrobił to, co zapowiedział.

W skrócie

• Observability techniczne odpowiada na pytanie „czy agent działa?”. Monitorowanie jakości odpowiada na pytanie „czy agent ma rację?”. Narzędzia observability są budowane głównie z myślą o pierwszym pytaniu.
• Najdroższe błędy w obsłudze wyglądają w logach jak sukces: błędne odpowiedzi w rozwiązanych rozmowach, pominięte eskalacje, naruszenia zasad i działania, które agent zadeklarował, ale nigdy ich nie wykonał.
• Użyteczny dashboard monitorowania agentów AI daje każdemu wskaźnikowi definicję, źródło danych, próg alertu i jednego właściciela. Poniższa specyfikacja ma 13 wierszy do skopiowania.
• Progi warto ustalić na podstawie własnego 4-tygodniowego punktu odniesienia i czytać każdy wskaźnik razem z rejestrem zmian, tak aby dryf po zmianie promptu lub bazy wiedzy był widoczny w ciągu kilku dni.
• Cotygodniowy, 45-minutowy przegląd zakończony przypisanymi poprawkami sprawia, że dashboard nie staje się tapetą.

Czym jest observability agentów AI?

Observability agentów AI oznacza zapisywanie każdego uruchomienia agenta AI w postaci śladu (trace): wiadomości klienta, każdego zapytania do modelu, każdego wywołania narzędzia lub API, pobranych danych i odpowiedzi, wraz z czasami, liczbą tokenów i błędami. Inżynierowie wykorzystują te ślady do debugowania błędów, kontroli kosztów oraz utrzymania szybkości i dostępności agenta.

Słownictwo pochodzi z utrzymania oprogramowania. Książka Google o Site Reliability Engineering wymienia cztery złote sygnały monitorowania: opóźnienie, ruch, błędy i nasycenie. Observability agentów AI dodaje to, co specyficzne dla modeli językowych: prompty, wersje modeli, zużycie tokenów, wyszukiwanie danych (retrieval) i korzystanie z narzędzi. Branża zbiega się wokół wspólnego formatu danych, czyli konwencji semantycznych OpenTelemetry dla generatywnej AI.

Ślad (trace) to zapis jednego uruchomienia agenta, a każdy krok w nim (zapytanie do modelu, przeszukanie bazy wiedzy, sprawdzenie zamówienia) to span. Zapotrzebowanie na taki wgląd jest realne: w badaniu IBM Institute for Business Value z 2025 roku mniej więcej połowa liderów wskazała „brak wglądu w procesy decyzyjne agentów” jako istotną barierę wdrożenia (IBM).

Czym różni się observability agentów AI od monitorowania jakości agentów AI?

Observability techniczne mówi, czy agent AI zadziałał: odpowiedział szybko, bez błędów i przy akceptowalnym koszcie. Monitorowanie jakości mówi, czy agent miał rację: poprawna odpowiedź, dozwolone działanie, właściwa eskalacja, klient w lepszej sytuacji niż wcześniej. Rozmowa może być idealna w śladzie i błędna dla klienta, a ślad tego nie pokaże.

LangChain, twórca platformy observability LangSmith, ujmuje to wprost: tradycyjne narzędzia monitorowania „skupiają się na wskaźnikach takich jak opóźnienie, ruch, błędy i nasycenie”, natomiast „observability agentów wymaga monitorowania samych wejść i wyjść, a nie tylko wskaźników systemowych wokół nich” (LangChain, luty 2026).

Ryzyko prawne leży po stronie jakości. W sprawie Moffatt v. Air Canada (2024 BCCRT 149) chatbot na stronie linii lotniczej poinformował klienta, że może wstecznie ubiegać się o taryfę żałobną, na co zasady przewoźnika nie pozwalały. Trybunał nakazał linii zapłatę i napisał, że „dla Air Canada powinno być oczywiste, że odpowiada za wszystkie informacje na swojej stronie internetowej” (orzeczenie trybunału). Żaden wykres opóźnień nie oznaczyłby tej odpowiedzi.

Obie warstwy spotykają się pośrodku: zapętlenie widać w śladzie jako powtarzające się kroki, a w rozmowie jako sfrustrowanego klienta. Ocenianie samych rozmów według spisanego standardu to to, co zespoły obsługi nazywają kontrolą jakości agentów AI.

Co lider obsługi klienta powinien monitorować u agenta AI?

Lider obsługi powinien monitorować siedem rzeczy: odpowiedzi błędne, ale policzone jako rozwiązane, błędy eskalacji i przekazania, naruszenia zasad, działania zadeklarowane, ale niewykonane, zapętlenia, spadki sentymentu oraz dryf po każdej zmianie. Każda z nich przechodzi techniczną kontrolę stanu, dlatego każda potrzebuje własnej miary.

1. Błędne, ale rozwiązane. Klient przestał odpisywać, więc helpdesk policzył rozwiązanie, ale odpowiedź była błędna. To sedno cichych błędów, które dashboard liczy jako sukces, a halucynacje są jedną z przyczyn. Ujawnia to wyłącznie ocena treści rozwiązanych rozmów.
2. Błędy eskalacji i przekazania. Pominięta eskalacja to sprawa, którą agent zatrzymał, choć według Państwa zasad powinien ją przejąć człowiek. Nieudane przekazanie to eskalacja przeprowadzona źle: bez przekazania kontekstu, z klientem powtarzającym wszystko od początku albo bez nikogo, kto podejmie sprawę na czas.
3. Naruszenia zasad. Agent obiecał zwrot, zwolnienie z opłaty albo wyjątek, na który Państwa zasady nie pozwalają. Jedna taka obietnica może wystarczyć, żeby kierownictwo wstrzymało każde kolejne wdrożenie AI do czasu przeglądu przez dział compliance.
4. Zadeklarowane, ale niewykonane. Agent pisze „zwrot jest w drodze”, ale system nie pokazuje żadnego zwrotu. Wywołanie narzędzia po cichu się nie powiodło albo agent opisał działanie, którego nigdy nie próbował wykonać. Wychwycenie tego wymaga porównania transkrypcji z systemem źródłowym.
5. Zapętlenia. Agent trzy razy zadaje to samo pytanie albo odsyła klienta między czatem a telefonem. Ślad pokazuje dużą liczbę tur; klient czuje, że utknął, i wraca albo rezygnuje.
6. Spadki sentymentu. Klient kończy rozmowę bardziej zdenerwowany, niż ją zaczął, nawet w sprawie technicznie rozwiązanej. Wzrost w jednym temacie zwykle wskazuje na jedną odpowiedź, z którą agent sobie nie radzi.
7. Dryf po zmianach. Jakość się zmienia, gdy coś zostaje wdrożone: wersja modelu, edycja promptu, przepisany artykuł, nowa zasada albo integracja. Jeśli czyta się każdy wskaźnik razem z rejestrem zmian, dryf ma datę i przyczynę.

To, czy w ogóle warto utrzymywać agenta (rozwiązanie, containment, koszt rozwiązania, CSAT), to osobne pytanie, omówione w artykule o mierzeniu skuteczności agentów AI. Monitorowanie to warstwa pod spodem: wychwytywanie tego, co poszło źle w tym tygodniu, póki problem jest jeszcze mały.

Specyfikacja dashboardu monitorowania agentów AI

Dashboard monitorowania działa tylko wtedy, gdy każdy wskaźnik ma precyzyjną definicję, wskazane źródło danych, próg alertu i jednego właściciela. Bez tych czterech pól wykres robi się czerwony i nikt nie reaguje. Proszę skopiować poniższą specyfikację i zastąpić przykładowe progi, które są ilustracją, a nie benchmarkiem, liczbami z własnego punktu odniesienia.

Trzy zasady utrzymują ten dashboard w uczciwości. Każdy wskaźnik jakości prowadzi do rozmów, które za nim stoją, więc czerwona komórka otwiera prawdziwe przykłady zamiast dyskusji. Każdy wskaźnik jest podzielony na tematy, bo średnia ukrywa ten jeden błędny artykuł. A dwa pierwsze wiersze są ważniejsze niż ostatni: szybki i tani agent, który udziela błędnych odpowiedzi, nie jest zdrowy.

Większość wierszy wymaga spisanej karty oceny. Jeśli jej jeszcze nie ma, warto zacząć od karty oceny agenta AI i metod z przewodnika po ewaluacji agentów AI.

Jak ustawić progi alertów w monitorowaniu agentów AI?

Progi alertów należy ustawić na podstawie własnego punktu odniesienia. Proszę ocenić co najmniej 4 tygodnie rozmów, zanotować normalny tygodniowy zakres każdego wskaźnika, a następnie alarmować przy wyjściu poza ten zakres albo przy przekroczeniu bezwzględnego limitu, zależnie od tego, co nastąpi pierwsze. Zdarzenia z czerwonej listy, takie jak błędy w płatnościach czy obietnice o skutkach prawnych, alarmują już przy jednym przypadku, niezależnie od odsetka.

Wytyczne Google SRE mówią, że „każde wezwanie powinno wymagać działania”, dlatego warto stosować trzy poziomy:

• Tego samego dnia: naruszenie zasad z czerwonej listy, zadeklarowana, ale niewykonana płatność, pokrycie poniżej 95%, awaria.
• W ciągu 2 dni: przekroczony próg odsetka w temacie o dużym wolumenie albo dowolny próg przekroczony w ciągu 7 dni od zmiany.
• Przegląd tygodniowy: wolniejsze trendy, tematy o małym wolumenie, sentyment i ponowne kontakty.

Przykład: dlaczego pełne pokrycie zmienia to, co widać

Ilustracja z okrągłymi liczbami, policzona na potrzeby tego artykułu. Agent AI obsługuje 50 000 rozmów tygodniowo i rozwiązuje 35 000 bez udziału człowieka. Punkt odniesienia dla odsetka błędnych, ale rozwiązanych wynosi 2,0%, czyli około 700 błędnych odpowiedzi tygodniowo. W poniedziałek zostaje przepisany artykuł o zwrotach, a w kolejnym tygodniu odsetek wynosi 2,8%: około 980 błędnych odpowiedzi, o 280 więcej niż zwykle.

Naruszenia zasad są rzadsze. Przy 0,1% to około 35 tygodniowo na 35 000 rozwiązanych rozmów. Próbka 2% zawiera ich średnio 0,7, więc szansa, że nie znajdzie się w niej ani jedno, wynosi około 50%. W co drugim tygodniu przegląd oparty na próbce raportuje zero naruszeń, podczas gdy 35 klientów usłyszało coś, na co Państwa zasady nie pozwalają.

Jak wygląda cotygodniowy przegląd jakości agenta AI?

Cotygodniowy przegląd jakości agenta AI to 45-minutowe spotkanie, na którym właściciel agenta AI, lider QA, operacje obsługi i właściciel bazy wiedzy omawiają alerty, skupiska błędów i zmiany z ubiegłego tygodnia, a wychodzą z przypisanymi poprawkami. Dział compliance dołącza, gdy na liście jest naruszenie zasad. Wynikiem jest lista poprawek i zaktualizowany rejestr zmian.

1. Alerty od ostatniego tygodnia (5 minut): co się uruchomiło, co zrobiono, co jest otwarte.
2. 3 największe skupiska błędów (15 minut): po 3 prawdziwe rozmowy z każdego, czytane na ekranie, a nie streszczane.
3. Wdrożone zmiany (10 minut): każda zmiana z rejestru z liczbami z 7 dni przed nią i po niej.
4. Decyzja o poprawkach (10 minut): jeden właściciel i jeden termin na poprawkę, niezależnie od tego, czy to edycja wiedzy, zabezpieczenie (guardrail), reguła eskalacji czy wycofanie zmiany.
5. Sprawdzenie poprawek z zeszłego tygodnia (5 minut): czy wskaźnik, w który celowała każda poprawka, się zmienił?

Poprawki warto przepuszczać przez testy przed wdrożeniem; artykuł o testowaniu agentów AI opisuje zestawy testów, które nie pozwalają, by poprawka jednego tematu zepsuła inny. To, kto zatwierdza zmiany z czerwonej listy i kto może wyłączyć dany temat, należy do Państwa modelu zarządzania agentami AI.

Jakie są rodzaje narzędzi do monitorowania agentów AI?

Narzędzia do monitorowania agentów AI dzielą się na pięć kategorii: narzędzia śledzenia dla programistów, pakiety monitorowania wydajności aplikacji (APM), wbudowana analityka platformy agenta, narzędzia QA rozmów, które oceniają rozwiązane rozmowy, oraz narzędzia bezpieczeństwa AI. Każda odpowiada na inne pytanie, dlatego większość zespołów obsługi z agentem AI w produkcji korzysta z dwóch lub trzech z nich.

Wybór warto oprzeć na pytaniu, na które dziś nie da się odpowiedzieć: jeśli inżynierowie nie potrafią zdebugować nieudanego uruchomienia, warto zacząć od śledzenia; jeśli nikt nie umie powiedzieć, ile rozwiązanych rozmów w zeszłym tygodniu było błędnych, warto zacząć od QA rozmów.

Kiedy taki poziom monitorowania agentów AI nie jest dla Państwa?

Pełne monitorowanie jakości nie jest warte budowania, dopóki agent AI obsługuje kilkaset rozmów tygodniowo w tematach o niskim ryzyku. Przy takim wolumenie wystarczy jedna osoba czytająca rozmowy raz w tygodniu, a czas lepiej zainwestować w bazę wiedzy.

To także zły pierwszy krok, jeśli agent nie działa jeszcze w produkcji (potrzebne są wtedy testy przed uruchomieniem) albo jeśli nie ma spisanego standardu dobrej odpowiedzi: narzędzie nie zaalarmuje o regule, której nikt nie spisał.

Jak zacząć monitorowanie agentów AI w tym tygodniu

Monitorowanie agentów AI można zacząć w tym tygodniu bez żadnych zakupów: spisać czerwoną listę, założyć rejestr zmian, przeczytać rozwiązane rozmowy z zeszłego tygodnia, żeby uzyskać pierwszy punkt odniesienia, i wskazać właściciela każdego wskaźnika. Narzędzia mogą przyjść później, gdy będzie wiadomo, na które pytania brakuje odpowiedzi.

1. Spisać czerwoną listę: 5 do 10 tematów, takich jak zwroty, anulowania, kwestie prawne, bezpieczeństwo i klienci w trudnej sytuacji.
2. Założyć rejestr zmian: data, co się zmieniło, kto to zmienił. Uzupełnić wstecz ostatni miesiąc.
3. Przeczytać 200 rozmów rozwiązanych przez AI w zeszłym tygodniu pod kątem Państwa zasad i policzyć przypadki błędne, ale rozwiązane, pominięte eskalacje i naruszenia.
4. Skopiować specyfikację dashboardu, usunąć wiersze, dla których nie ma jeszcze źródła danych, i wypełnić każdą komórkę właściciela.
5. Zarezerwować cotygodniowy przegląd w tym samym terminie co tydzień.

Jeśli Państwa rozmowy znajdują się w Zendesk lub Salesforce i chcą Państwo mieć warstwę jakości bez ręcznego czytania, to jest ta część, którą obejmuje Kaizo. AutoPilot ocenia każdą rozmowę według Państwa własnej karty oceny w chwili jej rozwiązania i łączy każdy wynik z dowodem, a przed uruchomieniem można go przetestować na Państwa wcześniejszych ocenach. Analiza przyczyn źródłowych prowadzi od spadku jakości do rozmów, które go spowodowały. Nie zastępuje narzędzi śledzenia Państwa inżynierów; jak to do siebie pasuje, opisuje strona o kontroli jakości agentów AI.

Proszę zobaczyć to na rozmowach własnego agenta AI. Umów demo.

Najczęściej zadawane pytania

Czy agentów AI można monitorować?

Tak, na dwóch poziomach. Uruchomienia agenta można śledzić pod kątem błędów, szybkości i kosztu, a jego rozmowy oceniać pod kątem poprawności, zasad i eskalacji. Zespoły obsługi potrzebują obu, bo technicznie zdrowe uruchomienie wciąż może dać klientowi błędną odpowiedź.

Jakie są najlepsze narzędzia do monitorowania agentowej AI?

Nie ma jednego najlepszego narzędzia, bo każda kategoria odpowiada na inne pytanie: narzędzia śledzenia debugują uruchomienia, pakiety wydajności pilnują dostępności, analityka platformy raportuje o jednym agencie, a narzędzia QA rozmów sprawdzają, czy odpowiedzi były poprawne i dozwolone. Warto zacząć od pytania, na które dziś nie ma odpowiedzi.

Czym jest ślad (trace) agenta AI?

Ślad to pełny zapis jednego uruchomienia agenta AI, od wiadomości klienta do odpowiedzi. Każdy krok w nim, na przykład zapytanie do modelu albo sprawdzenie zamówienia, to span z własnym czasem, wejściami, wyjściami i błędami. Ślad pokazuje, jak agent doszedł do odpowiedzi, a nie czy odpowiedź była poprawna.

Kto w zespole obsługi powinien odpowiadać za monitorowanie agentów AI?

Odpowiedzialność warto podzielić według warstw. Inżynieria AI odpowiada za stan techniczny i koszt. Wskazany właściciel agenta AI, zwykle w operacjach obsługi, odpowiada za jakość odpowiedzi, eskalacje i zapętlenia. Lider QA odpowiada za kartę oceny i zgodność oceniających. Przy każdym wskaźniku na dashboardzie powinno widnieć dokładnie jedno nazwisko.

Czy wskaźnik containment wystarczy do monitorowania agenta AI?

Nie. Containment liczy jako sukces każdą rozmowę, która nie trafiła do człowieka, także te, w których agent się mylił, a klient się poddał. Należy go czytać razem z odsetkiem błędnych, ale rozwiązanych, ponownymi kontaktami w ciągu 72 godzin i zmianą sentymentu. Od czego zacząć, opisuje artykuł o QA rozmów obsłużonych przez AI (po angielsku).