Zarządzanie politykami agentów AI to sposób, w jaki zespół obsługi klienta utrzymuje zasady, których przestrzega agent AI (co mu wolno, jakie ma limity, wyjątki i kiedy musi przekazać rozmowę człowiekowi), spisane w jednym miejscu, z właścicielem, wersjonowane i zgodne z tym, co słyszą Państwa konsultanci. Baza wiedzy daje agentowi fakty. Centrum polityk mówi mu, co wolno mu z nimi zrobić.
W skrócie
- Artykuły pomocy są pisane dla ludzi, którzy uzupełniają luki własnym osądem; agent AI powtarza ich niepisane wyjątki, stare wersje i sprzeczności na dużą skalę.
- Warto rozdzielić wiedzę (fakty), politykę (co agentowi wolno, limity, wyjątki, eskalacja) i procedurę (kroki): każda z nich zawodzi inaczej i ma innego właściciela.
- Jedna karta polityki na zasadę, z właścicielem, wersją, datą przeglądu, powiązanymi artykułami i przypadkami testowymi, a zarówno makro konsultanta, jak i instrukcja agenta AI odsyłają do niej.
- Każdą zmianę polityki traktuje się jak wydanie: wskazany zatwierdzający według poziomu ryzyka, data wejścia w życie, ponowne uruchomienie powiązanych przypadków testowych i tydzień dokładniejszego przeglądu.
- Pętlę trzeba domknąć: każdą nieudaną rozmowę AI klasyfikuje się według przyczyny, przyczyny leżące w polityce trafiają do właściciela karty, a po poprawce rozmowy ocenia się ponownie.
Ten poradnik to centralny artykuł o politykach i wiedzy w naszej serii o zarządzaniu agentami AI, napisany dla Head of Support albo lidera AI, którego agent AI wciąż udziela odpowiedzi, które „formalnie były w centrum pomocy”.
Dlaczego baza wiedzy pisana dla ludzi zawodzi przy agentach AI?
Baza wiedzy pisana dla ludzi zawodzi przy agentach AI, bo ludzie czytają między wierszami, a agent AI nie. Konsultanci wiedzą, który artykuł jest nieaktualny, na jaki wyjątek pozwala lider zespołu i które dwie strony są ze sobą sprzeczne. Agent pobiera to, co najlepiej pasuje, i za każdym razem podaje to z pełnym przekonaniem.
Większość problemów sprowadza się do czterech wzorców:
| Wzorzec | Co robi konsultant | Co robi agent AI | Poprawka |
|---|---|---|---|
| Niepisane wyjątki („zwykle robimy wyjątek dla…”) | Stosuje niepisany wyjątek, gdy sprawa wydaje się tego warta | Nigdy go nie stosuje albo stosuje zgadniętą wersję wobec wszystkich | Zapisać wyjątek na karcie polityki z jego warunkami i limitem |
| Nieaktualne wersje (stary termin zwrotu wciąż w jednym artykule) | Wie, że polityka zmieniła się w zeszłym miesiącu | Cytuje ten artykuł, który pobierze jako pierwszy | Jeden właściciel na politykę, wycofanie starych artykułów ze źródeł agenta, wersjonowanie każdej zmiany |
| Sprzeczne artykuły (dwie strony, dwie liczby) | Pyta kolegę, która jest właściwa | Wybiera jedną albo łączy obie | Jedno źródło prawdy na politykę, inne strony odsyłają do niego, zamiast je powtarzać |
| Wiedza plemienna (zasady żyjące na Slacku, w głowach liderów zespołów, w makrach) | Nauczył się ich w onboardingu albo od osoby obok | W ogóle nie ma do nich dostępu | Przenieść każdą zasadę, która zmienia wynik, na kartę, zanim agent zacznie obsługiwać daną intencję |
Przewodnik Intercom o bazach wiedzy dla chatbotów mówi o tym ryzyku wprost: agent AI wiernie pobierze nieaktualny artykuł i udzieli pewnej siebie, błędnej odpowiedzi. Koszt nie jest abstrakcyjny. W sprawie Moffatt v. Air Canada (2024 BCCRT 149) chatbot zasugerował klientowi w żałobie, że może ubiegać się o taryfę żałobną po podróży. Air Canada argumentowała, że poprawne informacje były na jej własnej stronie o taryfach żałobnych, podlinkowanej w tej samej odpowiedzi, i że chatbot był odrębnym podmiotem prawnym odpowiedzialnym za własne działania. Trybunał w Kolumbii Brytyjskiej odrzucił ten argument, co wyjaśnia omówienie kancelarii WeirFoulds. To firma odpowiadała za odpowiedź.
Wiele „halucynacji” w obsłudze klienta to w rzeczywistości problemy z treścią. Nasz poradnik o halucynacjach agentów AI pokazuje, jak odróżnić odpowiedź wymyśloną od wiernie powtórzonej błędnej, a artykuł dlaczego rozmowy z AI zawodzą rozkłada przyczyny na części.
Czym różni się wiedza od polityki w przypadku agenta AI?
Wiedza to to, co jest prawdą: ceny, terminy zwrotu, czasy dostawy, sposób działania funkcji. Polityka to to, co agent AI może z tym zrobić: jakie działania może podjąć, do jakiego limitu, z jakimi wyjątkami i kiedy musi przekazać rozmowę. Procedura to kolejność kroków. Mieszanie tych trzech rzeczy w jednym artykule to źródło większości dryfu.
| Wiedza | Polityka | Procedura | |
|---|---|---|---|
| Odpowiada na pytanie | Co jest prawdą? | Co wolno agentowi i gdzie się zatrzymuje? | W jakiej kolejności wykonuje się kroki? |
| Przykład | „Standardowe zamówienia można zwrócić w ciągu 30 dni.” | „Agent może zwrócić do 100 USD bez zatwierdzenia; powyżej tej kwoty przekazuje sprawę z ID zamówienia.” | „Zweryfikować zamówienie, sprawdzić datę dostawy, utworzyć etykietę zwrotu, potwierdzić e-mailem.” |
| Właściciel | Zespół treści lub wiedzy | Właściciel biznesowy (finanse, dział prawny, operacje) | Support operations |
| Jak zawodzi | Błędny lub nieaktualny fakt | Nieuprawnione działanie, pominięty wyjątek, pominięta eskalacja | Pominięty krok lub zła kolejność |
Platformy agentów AI już wyznaczają tę granicę. Intercom sprawdza wytyczne Fin zanim Fin przeszuka Państwa treści pomocy w poszukiwaniu odpowiedzi, a Fin Procedures dodają warunki i przekazania do zespołu. Decagon opisuje swoje Agent Operating Procedures jako instrukcje w języku naturalnym wsparte kodem, pisane podobnie jak przy szkoleniu pracowników z procedur SOP. Każda platforma daje miejsce na instrukcje. Żadna nie rozstrzyga, która zasada jest aktualna. To zadanie centrum polityk.
Jak przygotować bazę wiedzy dla agenta AI?
Przygotowanie bazy wiedzy dla agenta AI zaczyna się od intencji, które agent będzie obsługiwał, a nie od całego centrum pomocy. Dla każdej intencji trzeba znaleźć wszystkie artykuły, które jej dotyczą, usunąć duplikaty i sprzeczności, zapisać warunki wprost i wyciągnąć każdą zasadę zmieniającą wynik na kartę polityki, do której artykuł odsyła.
- Spisać najważniejsze intencje na pierwszy kwartał pracy agenta, uszeregowane według wolumenu i ryzyka (pieniądze, uprawnienia, sformułowania prawne).
- Zebrać wszystkie źródła, które odpowiadają na każdą intencję: artykuły pomocy, makra, strony wiki, zapisane odpowiedzi, przypięte wiadomości na Slacku.
- Oznaczyć każde zdanie jako wiedzę, politykę lub procedurę. Zdania polityki zawierają słowa takie jak „może”, „musi”, „do”, „tylko jeśli”, „z wyjątkiem” i „prosimy o kontakt”.
- Rozwiązać konflikty przed wdrożeniem. Jeśli dwa źródła się nie zgadzają, decyduje właściciel polityki, jedna karta zapisuje odpowiedź, a przegrana strona zostaje przepisana albo usunięta ze źródeł agenta.
- Zapisać warunki wprost. „Jeśli mają Państwo plan roczny” jest lepsze niż „w zależności od planu”. Przewodnik Intercom z tego samego powodu zaleca jedno pytanie na artykuł i jawne warunki.
- Rozdzielić warianty. Warianty regionu, planu i produktu dostają własną kartę albo grupę odbiorców.
- Linkować, nie kopiować. Artykuły pomocy i instrukcje agenta odwołują się do karty; nigdy nie powtarzają limitu własnymi słowami.
Strukturę i zasady pisania samego centrum pomocy dla ludzkich czytelników opisuje nasz poradnik o budowie bazy wiedzy w obsłudze klienta (po angielsku).
Co powinna zawierać karta polityki agenta AI?
Karta polityki agenta AI powinna zawierać politykę w jednym zdaniu, jej zakres, dozwolone działania i limity, wyjątki, zasadę eskalacji, właściciela, datę przeglądu, powiązane artykuły pomocy i przypadki testowe, które dowodzą, że agent jej przestrzega. Warto dodać wersję i datę wejścia w życie, żeby ludzie i agent zmieniali się jednocześnie.
Oto szablon wypełniony dla zwrotu za uszkodzony towar. Można go skopiować do arkusza lub wiki, jedna karta na politykę.
| Pole | Co wpisać | Przykład: towar uszkodzony przy dostawie |
|---|---|---|
| ID polityki i wersja | Stałe ID, numer wersji, data wejścia w życie | RF-DMG-02 · v3 · obowiązuje od 1 grudnia |
| Polityka | Jedno zdanie zrozumiałe dla klienta | Towary, które dotarły uszkodzone, są wymieniane lub zwracane, jeśli zgłoszenie nastąpi w ciągu 14 dni od dostawy |
| Zakres | Kanały, regiony, plany, produkty, intencje, których dotyczy | Czat i e-mail · USA i Kanada · wszystkie plany · intencje „uszkodzony towar”, „zepsute przy dostawie” |
| Dozwolone działania i limity | Co agent może zrobić sam, z limitami liczbowymi | Sprawdzenie zamówienia: tak. Prośba o zdjęcie: tak. Utworzenie wymiany: tak. Zwrot środków: do 100 USD na zamówienie. Kredyt w sklepie: nie |
| Wyjątki | Każdy wyjątek z warunkiem i własnym limitem | Zgłoszenie w dniach 15 do 30 ze zdjęciem: tylko wymiana, bez zwrotu środków. Towary łatwo psujące się: zwrot bez zdjęcia |
| Zasada eskalacji | Kiedy przekazać, komu i z jakim kontekstem | Zwrot powyżej 100 USD, trzecia reklamacja w ciągu 90 dni albo kwestia bezpieczeństwa: przekazać do zespołu reklamacji z ID zamówienia, zdjęciem i datą dostawy |
| Nigdy | Obietnice, których agent nie może składać | Brak rekompensaty powyżej wartości zamówienia; brak obietnic dotyczących reklamacji u przewoźnika |
| Właściciel | Jedna wskazana rola plus zastępca | Head of Customer Operations (zastępca: lider zespołu reklamacji) |
| Data przeglądu | Następny zaplanowany przegląd i wyzwalacz wcześniejszego | 1 marca albo każda zmiana warunków przewoźnika |
| Powiązane artykuły pomocy | Strony dla klientów, które podają tę politykę | „Uszkodzone lub brakujące produkty”, „Terminy zwrotu środków” |
| Instrukcja agenta | Gdzie w platformie agenta znajduje się instrukcja, przez odwołanie | Reguła wytycznych „Uszkodzone produkty” odsyła do RF-DMG-02 v3 |
| Makro dla konsultantów | Makro lub skrypt, którego używają Państwa ludzie | Makro „Uszkodzony produkt: wymiana lub zwrot” |
| Przypadki testowe | ID przypadków, które muszą przejść po każdej zmianie | RF-014 (dzień 15, bez zdjęcia), RF-015 (towar łatwo psujący się), RF-016 (trzecia reklamacja) |
| Historia zmian | Data, zmiana, zatwierdzający | 12 listopada: termin z 30 na 14 dni, zatwierdził Head of Customer Operations |
Dwie zasady pilnują uczciwości karty. Każdy limit występuje dokładnie w jednym miejscu, na karcie, a artykuł, makro i instrukcja agenta odsyłają do niej. A karta bez przypadków testowych nie jest skończona. Nasz poradnik o testowaniu agentów AI zawiera szablon przypadku testowego, który pasuje do ostatnich pól tej karty.
Jak utrzymać procedury dla konsultantów i instrukcje agenta AI w jednym źródle prawdy?
Karta polityki powinna być jedynym miejscem, w którym zasada jest zdefiniowana, a zarówno makro dla konsultantów, jak i instrukcja agenta AI odsyłają do niej. Gdy karta się zmienia, oba zmieniają się w tym samym wydaniu i nikt nie edytuje limitu bezpośrednio w prompcie ani w makrze.
Źródło prawdy to nie nowe narzędzie. To dyscyplina dotycząca tego, gdzie żyje tekst:
| Warstwa | Zawiera | Nie może zawierać |
|---|---|---|
| Karta polityki | Zasadę, limity, wyjątki, eskalację, właściciela, wersję | Sformułowań dla klienta, instrukcji klik po kliku |
| Artykuł pomocy | Wyjaśnienie dla klienta, powiązane z kartą | Limitu lub wyjątku, który różni się od karty |
| Makro i onboarding konsultantów | Skrypt i kroki dla Państwa ludzi | Własnej kopii limitu |
| Instrukcja agenta AI (wytyczne, procedura, AOP) | Jak agent stosuje kartę: ton, kroki, przekazanie | Wklejonej kopii tekstu polityki, której nikt nie aktualizuje |
Dwa nawyki sprawiają, że to działa. Instrukcje nazywa się według ID karty, tak żeby wyszukanie „RF-DMG-02” znalazło każde miejsce, które od niej zależy. I porównuje się wyniki, nie teksty: raz w miesiącu warto sprawdzić, czy konsultant i agent AI dochodzą do tego samego wyniku w tym samym typie sprawy. Jeśli nie, jedno z nich pracuje na starej wersji.
Same instrukcje nie wycofują źródła. Wytyczne Intercom zaznaczają, że Fin może nadal pokazywać treści, których według reguł wytycznych ma unikać, i zalecają usunięcie tych treści albo ograniczenie ich do określonej grupy odbiorców. Wycofanie starego artykułu ze źródeł agenta jest częścią każdej zmiany polityki.
Kto zatwierdza zmianę polityki i jak trafia ona do agenta AI?
Zmianę polityki zatwierdza jej właściciel biznesowy, a im wyższe ryzyko, tym więcej zatwierdzających. Do agenta AI trafia w tym samym wydaniu co makro dla konsultantów i artykuł pomocy: aktualizacja karty, wycofanie źródeł, aktualizacja instrukcji, ponowne uruchomienie przypadków testowych, ustawienie daty wejścia w życie, a potem tydzień dokładniejszego przeglądu.
Ścieżkę zatwierdzania wiąże się z tym, jak zmiana wpływa na wynik dla klienta:
| Poziom | Co się zmienia | Zatwierdzający | Przed wdrożeniem | Po wdrożeniu |
|---|---|---|---|---|
| A. Sformułowanie | Jaśniejszy tekst, ten sam wynik | Właściciel wiedzy | Ponowne uruchomienie przypadków testowych karty | Zwykły przegląd |
| B. Limity lub uprawnienia | Termin, kwota, kto się kwalifikuje | Właściciel polityki plus support operations | Pełne przypadki testowe karty, konsultanci poinformowani, data wejścia w życie ustawiona w agencie | Przegląd każdej rozmowy w danej intencji przez 7 dni |
| C. Nowe działanie lub uprawnienie | Agent może teraz zwracać środki, anulować, przyznawać kredyt lub zmieniać konto | Właściciel polityki, właściciel AI, dział ryzyka lub compliance | Testy plus okres nadzorowany, w którym człowiek zatwierdza działanie | Rozszerzenie dopiero wtedy, gdy przegląd pokaże, że to działa |
| D. Sytuacja awaryjna | Wycofanie produktu, awaria, nakaz prawny | Dyżurny właściciel | Szybka ścieżka: najpierw ograniczyć lub przekazywać, potem dopracować | Przegląd po fakcie w ciągu 48 godzin |
Na poziomie C polityka spotyka się z autonomią. O tym, jakie działania agent może podejmować sam, piszemy w poradniku o poziomach autonomii agentów AI, a o twardych limitach, które obowiązują niezależnie od instrukcji, w poradniku o zabezpieczeniach agentów AI.
To odzwierciedla ogólną praktykę zarządzania ryzykiem AI: NIST AI Risk Management Framework wymaga przejrzystych polityk i procedur, planowanych okresowych przeglądów i jasno określonych ról. Karta polityki z właścicielem, datą przeglądu i historią zmian stosuje to do jednej zasady zwrotów.
Krok, który większość zespołów pomija, to data wejścia w życie. Polityka, która zmienia się 1 grudnia, powinna trafić do agenta 1 grudnia, nie 20 listopada ani 5 grudnia, w tej samej chwili, w której przełącza się zespół konsultantów.
Jak nieudane rozmowy zamieniają się w poprawki polityk?
Nieudane rozmowy zamieniają się w poprawki polityk, gdy każdy błąd zostaje sklasyfikowany według przyczyny, przyczyny leżące w polityce trafiają do właściciela karty, a poprawkę sprawdza się przez ponowną ocenę tej samej intencji. Bez klasyfikacji każdy błąd wygląda na problem AI i zespół poprawia prompty, podczas gdy prawdziwa przyczyna tkwi w nieaktualnym artykule. Pętla wygląda tak:
- Ocenić rozmowy agenta AI według kryteriów, które rozdzielają typy błędów: poprawność względem Państwa treści, zgodność z polityką, zakres i eskalacja.
- Sklasyfikować przyczynę każdego błędu: nieaktualna wersja polityki, brakujący wyjątek, sprzeczne źródła, niezastosowana instrukcja, brak dostępu do narzędzia lub danych albo błąd produktu. Nasz poradnik o tym, czy to błąd konsultanta, czy błąd procesu (po angielsku), proponuje ten sam podział dla ludzi.
- Skierować każdą przyczynę do jej właściciela: przyczyny w polityce do właściciela karty, przyczyny w instrukcji do właściciela AI, przyczyny w dostępie do zespołu inżynierów.
- Poprawić najpierw kartę, potem artykuły, makro i instrukcję, które do niej odsyłają.
- Dodać przypadek testowy na podstawie rozmowy, która ujawniła lukę, i powiązać go z kartą.
- Ponownie ocenić intencję w kolejnym tygodniu i porównać odsetek błędów z tygodniem poprzednim.
Poprawianie agenta AI to nie to samo co coaching człowieka; więcej w artykule coaching ludzi a poprawianie agentów AI.
Przykład z obliczeniami (ilustracja, nie dane klienta)
Agent AI obsługuje 20 000 rozmów miesięcznie, z czego 3000 dotyczy zwrotów środków i zwrotów towarów. Ocena każdej z nich pokazuje 3% błędów w zgodności z polityką dla tej intencji: 90 rozmów. Lider QA klasyfikuje je:
| Przyczyna | Rozmowy | Udział | Właściciel |
|---|---|---|---|
| Nieaktualna wersja (stary 30-dniowy termin w wycofanym FAQ, które wciąż jest w źródłach agenta) | 38 | 42% | Właściciel wiedzy |
| Brakujący wyjątek (konsultanci zwracają środki za towary łatwo psujące się bez zdjęcia, nigdzie tego nie zapisano) | 27 | 30% | Właściciel polityki |
| Sprzeczne artykuły (dwie strony, dwa terminy zwrotu środków) | 14 | 16% | Właściciel wiedzy |
| Niezastosowana instrukcja (agent zaproponował kredyt w sklepie, którego karta zabrania) | 7 | 8% | Właściciel AI |
| Narzędzie lub dane (sprawdzenie zamówienia się nie udało, agent zgadywał) | 4 | 4% | Zespół inżynierów |
| Razem | 90 | 100% |
Dwie poprawki treści (wycofanie starego FAQ, dopisanie wyjątku dla towarów łatwo psujących się do karty) rozwiązują 65 z 90 błędów, czyli 72%. Dodanie poprawki sprzecznych artykułów daje 79 z 90, czyli 88%. Tylko 7 błędów, 8%, to problem promptu: zespół, który zacząłby od przepisania promptu, zająłby się najmniejszym kawałkiem. Oceny z kolejnego tygodnia pokażą, czy poprawki zadziałały.
Jak wychwycić dryf polityk, zanim zrobią to klienci?
Dryf polityk wychwytuje się, sprawdzając w stałym rytmie, czy każda polityka jest zdefiniowana raz, ma właściciela, jest aktualna i czy konsultanci i agent AI stosują ją tak samo. Dryf widać jako powolny wzrost eskalacji oznaczonych jako „niejasne” albo jako sytuację, w której ludzie i agent dochodzą do różnych wyników w tej samej sprawie.
Tę listę kontrolną dryfu można skopiować do comiesięcznego przeglądu polityk:
| # | Kontrola | Sygnał dryfu | Częstotliwość |
|---|---|---|---|
| 1 | Każda polityka, którą stosuje agent, ma kartę z właścicielem i przyszłą datą przeglądu | Karty po terminie przeglądu | Co miesiąc |
| 2 | Wersja w instrukcji agenta zgadza się z wersją karty | Instrukcja wskazuje starszą wersję | Przy każdej zmianie |
| 3 | Żadne dwa artykuły pomocy nie podają różnych wartości tego samego limitu | Wyszukanie liczby zwraca dwie wartości | Co miesiąc |
| 4 | Wycofane artykuły są usunięte także ze źródeł agenta | Wycofana strona wciąż cytowana w odpowiedziach AI | Przy każdej zmianie |
| 5 | Instrukcje agenta odwołują się do kart, zamiast wklejać tekst polityki | Limit pojawia się w prompcie | Co kwartał |
| 6 | Wyjątki, które przyznają ludzie, są zapisane na karcie | Gesty dobrej woli lub obejścia w intencji, dla której nie ma wyjątku | Co miesiąc |
| 7 | Liczba eskalacji oznaczonych „polityka niejasna” jest stabilna | Wzrost tydzień do tygodnia w jednej intencji | Co tydzień |
| 8 | Liczba błędów zgodności z polityką na kartę jest stabilna | Błędy jednej karty rosną po zmianie | Co tydzień |
| 9 | Ludzie i agent AI dochodzą do tego samego wyniku w tym samym typie sprawy | Różne wyniki na dopasowanej próbce | Co miesiąc |
| 10 | Przypadki testowe każdej karty przeszły po ostatniej zmianie | Zmiana wdrożona bez uruchomienia testów | Przy każdej zmianie |
| 11 | Przyszłe daty wejścia w życie są zaplanowane w agencie | Polityka obowiązuje ludzi, ale nie agenta, albo odwrotnie | Przy każdej zmianie |
| 12 | Warianty regionu, planu i produktu mają poprawny zakres | Agent odpowiada zasadą innego produktu lub regionu | Co kwartał |
Kontrole 7, 8 i 9 wymagają danych z rozmów, a nie przeglądu dokumentów: dryf, który dotyczy 2% jednej intencji, jest niewidoczny w próbce 50 rozmów i oczywisty w pełnym tygodniu ocen. Nasz audyt wskaźnika rozwiązań agentów AI pokazuje, jak sprawdzić, czy „rozwiązane” rozmowy rzeczywiście rozwiązano poprawnie.
Gdzie pasuje Kaizo
Kaizo obsługuje dowodową część pętli: ocenę, wzorce błędów i ponowną ocenę po poprawce. AutoPilot ocenia każdą rozwiązaną rozmowę według Państwa własnej karty oceny.
Dzięki kontroli jakości agentów AI dodają Państwo kryteria, w których bot zawodzi (poprawność faktów, zgodność z polityką, zakres i eskalacja), zapisane Państwa własnymi słowami, i podłączają bazę wiedzy, tak żeby AI oceniała według Państwa treści. Każdy wynik prowadzi do dowodu w rozmowie. Analiza przyczyn źródłowych grupuje błędy stojące za spadkiem, więc dziesięć złych odpowiedzi z jednego artykułu staje się jedną poprawką. Po każdej zmianie warto ocenić rozmowy ponownie, żeby potwierdzić, że poprawka zadziałała.
Proszę zobaczyć to na własnych rozmowach. Umów demo i proszę przynieść jedną intencję, w której Państwa agent AI i Państwa zespół się nie zgadzają.
Kiedy centrum polityk to więcej, niż Państwo potrzebują?
Pełne centrum polityk nie jest jeszcze dla Państwa, gdy agent AI tylko odpowiada na pytania z niewielkiego centrum pomocy, nie podejmuje żadnych działań i obsługuje kilkaset rozmów miesięcznie. Wtedy wystarczy jeden właściciel na artykuł, data przeglądu i comiesięczna lektura rozmów agenta. Sygnały, że ta lekka konfiguracja już nie wystarcza:
- Agent podejmuje działania (zwroty środków, anulowania, zmiany na koncie), a nie tylko odpowiada.
- Państwa polityki różnią się w zależności od regionu, planu lub produktu.
- Polityki zmieniają się częściej niż raz na kwartał albo w ustalonym dniu wejścia w życie.
- Konsultanci przyznają wyjątki, o które klienci potem proszą agenta AI.
- Tym samym klientom odpowiada więcej niż jeden agent AI. Każdy z nich musi odsyłać do tej samej karty, co jest częścią bezpiecznego przejścia na agentową obsługę klienta.
Jak zacząć w tym tygodniu
Warto zacząć od jednej intencji, a nie od całego centrum pomocy. Tydzień wystarczy, żeby napisać jedną kartę polityki, uporządkować źródła wokół niej i zacząć mierzyć, czy agent AI jej przestrzega.
- Wybrać jedną intencję, w której chodzi o pieniądze, zwykle zwroty środków albo anulowania.
- Zebrać wszystkie źródła, które na nią odpowiadają: artykuły, makra, strony wiki, przypięte wiadomości na Slacku, instrukcje agenta.
- Napisać jedną kartę polityki według powyższego szablonu i poprosić właściciela biznesowego o zatwierdzenie limitów i wyjątków.
- Wycofać lub przepisać każde źródło niezgodne z kartą i usunąć wycofane strony ze źródeł agenta.
- Zamienić trzy wcześniejsze nieudane rozmowy w przypadki testowe powiązane z kartą.
- Oceniać tę intencję przez dwa tygodnie, sklasyfikować każdy błąd według przyczyny i przejść przez listę kontrolną dryfu, zanim zacznie się drugą kartę.
Najczęściej zadawane pytania
Czym jest baza wiedzy w obsłudze klienta?
Baza wiedzy to biblioteka odpowiedzi, którą mogą przeszukiwać klienci i konsultanci, na przykład centrum pomocy z artykułami w rodzaju „Jak zwrócić produkt?”. Staje się bazą wiedzy agenta AI, gdy agent pobiera z niej artykuły, żeby odpowiadać klientom, i dlatego nieaktualne lub sprzeczne artykuły zamieniają się w błędne odpowiedzi na dużą skalę. Zasady stojące za nimi powinny znajdować się na kartach polityk, do których artykuły odsyłają.
Czy polityki agenta AI powinny być w prompcie, czy w bazie wiedzy?
Ani w jednym, ani w drugim samodzielnie. Fakty należą do bazy wiedzy, zasady na kartę polityki z właścicielem i wersją, a instrukcja agenta powinna odwoływać się do tej karty, zamiast wklejać jej tekst. Limit skopiowany do promptu jako pierwszy staje się nieaktualny.
Czy firma odpowiada za to, że jej chatbot źle podał politykę?
Może odpowiadać. W sprawie Moffatt v. Air Canada (2024 BCCRT 149) trybunał w Kolumbii Brytyjskiej uznał linię lotniczą za odpowiedzialną za to, co jej chatbot powiedział klientowi, i odrzucił argument, że chatbot był odrębnym podmiotem prawnym. Każdą odpowiedź agenta AI warto traktować jak własne oświadczenie o polityce firmy i zasięgnąć porady prawnej właściwej dla swojego rynku.
Jak często należy przeglądać polityki agenta AI?
Każdą kartę przegląda się w stałym terminie ustalonym według ryzyka (co miesiąc dla zasad dotyczących pieniędzy i uprawnień, co kwartał dla pozostałych) oraz natychmiast, gdy zmienia się zasada biznesowa. Co tydzień warto sprawdzać błędy zgodności z polityką i eskalacje „polityka niejasna” w podziale na karty.
Czym różni się chatbot od agenta AI, który podejmuje działania?
Chatbot odpowiada na pytania na podstawie swoich treści. Agent AI także działa: sprawdza zamówienie, stosuje politykę, zleca zwrot środków. Dlatego agent potrzebuje polityk z limitami, wyjątkami i zasadami eskalacji, a nie tylko poprawnych artykułów.
