Human in the loop i poziomy autonomii agentów AI

Agent AI działający w modelu human in the loop prosi człowieka o zgodę, zanim wykona działanie, ale tylko wtedy, gdy błąd jest kosztowny, trudny do cofnięcia albo prawnie wrażliwy. W obsłudze klienta odpowiedź na pytanie z FAQ albo zmiana adresu może odbyć się bez udziału człowieka, zwrot powyżej Państwa limitu wymaga zgody, a usunięcie danych klienta nigdy nie powinno być decyzją agenta.

W skrócie

• Autonomię ustala się dla każdego działania, a nie dla całego agenta: ten sam agent AI może sam odpowiadać, zwracać pieniądze do limitu i przekazywać człowiekowi zamknięcie konta.
• Każde działanie ocenia się w czterech wymiarach skutków (odwracalność, pieniądze, prawo lub zgodność, szkoda dla klienta) w skali od 0 do 3, a poziom wyznacza najwyższy wynik.
• Pięć poziomów obejmuje pracę obsługi klienta: informowanie (tylko odpowiedź), działanie samodzielne, działanie w limicie, działanie za zgodą, nigdy.
• Zatwierdzenie jest kontrolą tylko wtedy, gdy osoba zatwierdzająca widzi właściwe fakty, odpowiada na czas i czasem mówi „nie”.
• Autonomię rozszerza się lub zawęża po jednej intencji naraz, na podstawie dowodów: ocenionych rozmów, cofniętych działań i audytu zatwierdzeń.

Co oznacza human in the loop w przypadku agenta AI?

Human in the loop (człowiek w pętli) oznacza, że człowiek musi zatwierdzić, poprawić albo odrzucić działanie zaproponowane przez agenta AI, zanim zostanie ono wykonane. Human on the loop (człowiek nad pętlą) oznacza, że agent działa, a człowiek go monitoruje i może zareagować po fakcie. Obsługa klienta potrzebuje obu: człowieka w pętli przy kilku ryzykownych działaniach, człowieka nad pętlą przy całej reszcie.

Większość poradników traktuje człowieka jako jeden punkt kontrolny dla całego agenta. W obsłudze klienta to zawodzi w obie strony: pętla przy każdym działaniu zasypuje liderów zespołów wnioskami o zgodę, a brak pętli pozwala agentowi natychmiast anulować subskrypcję, gdy klient chciał tylko wyłączyć automatyczne odnawianie.

Mechanizm budują za Państwa platformy agentowe. Microsoft Agent Framework na przykład wstrzymuje workflow i wysyła wniosek o zgodę, gdy agent próbuje wywołać narzędzie oznaczone jako wymagające zatwierdzenia, a potem wznawia pracę po otrzymaniu odpowiedzi (Microsoft Learn). Platforma nie decyduje jednak, które działania dostają takie oznaczenie. Ta decyzja należy do Szefa CX, właściciela agenta AI i właścicieli zasad.

OWASP nazywa błąd, któremu to zapobiega, „excessive agency” (nadmierną sprawczością) i wśród środków zaradczych wymienia kontrolę human in the loop, „to require a human to approve high-impact actions before they are taken” (aby człowiek zatwierdzał działania o dużym wpływie, zanim zostaną podjęte) (OWASP LLM06:2025). Najtrudniej jest określić, co „duży wpływ” oznacza w przypadku Państwa własnych działań w obsłudze klienta. Nasz przewodnik po zarządzaniu agentami AI opisuje 15 kontroli; ten artykuł wchodzi głębiej w kontrolę 5 (poziomy działań) oraz kontrole 6 i 7 (zatwierdzenia i nadzór nad osobami zatwierdzającymi).

Jakie jest pięć poziomów autonomii dla działań agenta AI?

Pięć poziomów to: 0, informowanie (odpowiedź wyłącznie na podstawie zatwierdzonych treści); 1, działanie samodzielne przy działaniach odwracalnych, bez pieniędzy; 2, działanie w limicie przy pieniądzach lub zobowiązaniach; 3, działanie za zgodą człowieka; 4, nigdy, czyli przekazanie sprawy. Każde działanie należy do dokładnie jednego poziomu.

To te same poziomy co w przewodniku po zarządzaniu agentami AI, więc jedna macierz służy zarówno dokumentacji zarządczej, jak i konfiguracji platformy. Limity wewnątrz każdego poziomu egzekwują potem zabezpieczenia agentów AI.

Jak zdecydować, które działania agenta AI wymagają zgody człowieka?

Każde działanie ocenia się w czterech wymiarach skutków, od 0 (brak) do 3 (poważne): odwracalność, pieniądze, ryzyko prawne lub regulacyjne oraz szkoda dla klienta, jeśli działanie okaże się błędne. Poziom wyznacza najwyższy pojedynczy wynik, a nie suma, bo tanie działanie, którego nie da się cofnąć, nadal jest działaniem, którego nie da się cofnąć.

Wynika to z logiki singapurskich ram Model AI Governance Framework for Agentic AI, według których organizacje powinny określić punkty kontrolne wymagające zgody człowieka przy działaniach o wysokiej stawce, działaniach nieodwracalnych (wśród przykładów jest trwałe usuwanie danych i realizacja płatności), zachowaniach odstających od normy i limitach ustawionych przez samych użytkowników (IMDA, wersja 1.5, sekcja 2.2.2; zob. nasze omówienie tych ram). Liderzy obsługi klienta ujmują to prosto: automatyzować według skutków, a nie według tego, jak złożona wydaje się rozmowa. Poniższa skala czyni to powtarzalnym, więc dwie osoby oceniające to samo działanie dochodzą do tego samego wyniku.

Skala skutków

Reguła punktacji

Reguły stosuje się w tej kolejności i zatrzymuje na pierwszej, która pasuje:

1. Działanie niczego nie zmienia (to tylko odpowiedź): poziom 0, informowanie.
2. Prawo lub szkoda dla klienta mają wynik 3: poziom 4, nigdy. Sprawę przejmuje osoba odpowiedzialna za ten proces.
3. Dowolny wymiar ma wynik 2 lub 3: poziom 3, działanie za zgodą.
4. Pieniądze mają wynik 1: poziom 2, działanie w limicie.
5. Wszystko inne (same wyniki 0 lub 1, bez pieniędzy): poziom 1, działanie samodzielne.

Potem stosuje się trzy wyjątki zależne od kontekstu, niezależnie od poziomu działania. Jeśli tożsamość nie jest zweryfikowana, agent w ogóle nie może działać na koncie. Jeśli klient wykazuje oznaki trudnej sytuacji, wspomina o krokach prawnych albo składa formalną reklamację, rozmowa trafia do człowieka (poziom 4). Jeśli prośba jest nietypowa dla tego klienta, na przykład trzeci zwrot w miesiącu, działanie przesuwa się o jeden poziom wyżej. Ten ostatni wyjątek to punkt kontrolny IMDA dla zachowań odstających, przełożony na język obsługi klienta.

Które działania w obsłudze klienta wymagają zgody człowieka? Macierz autonomii

Zmiana adresu i wyłączenie automatycznego odnawiania mogą odbywać się samodzielnie; drobne zwroty, anulowanie opłat i gesty dobrej woli w limicie; większe zwroty, natychmiastowe anulowanie i zamknięcie konta wymagają zgody; usunięcie danych i zmiana danych bankowych zostają u człowieka.

Poniższe limity (L1 = 50 USD, L2 = 250 USD) i wyniki to ilustracja dla zespołu obsługującego subskrypcje i e-commerce. Warto skopiować kolumny, a nie liczby.

Działanie trzeba zdefiniować precyzyjnie. „Anuluj subskrypcję” to dwa działania na różnych poziomach. Agent, który anuluje natychmiast, gdy klient prosił o zatrzymanie następnego odnowienia, poprawnie wykonał niewłaściwe działanie.

Warto oddzielić przyjęcie prośby od jej realizacji. Agent może przyjąć i zarejestrować żądanie usunięcia danych (poziom 1), a samo usunięcie zostaje w zespole ochrony danych (poziom 4). Zgodnie z RODO firma musi poinformować klienta o działaniach podjętych w związku z takim żądaniem „bez zbędnej zwłoki”, „w każdym razie w terminie miesiąca od otrzymania żądania” (art. 12 ust. 3 RODO), więc zadaniem agenta jest czyste przekazanie ze zgłoszeniem i terminem.

Kolumnę prawną warto sprawdzić z własnym prawnikiem. Art. 22 RODO daje ludziom prawo do tego, by nie podlegać decyzji opartej wyłącznie na zautomatyzowanym przetwarzaniu, która wywołuje skutki prawne lub w podobny sposób istotnie na nich wpływa, z pewnymi wyjątkami; gdy wyjątek ma zastosowanie, firma musi zapewnić co najmniej prawo do uzyskania interwencji ludzkiej. To, czy zamknięcie konta albo odmowa się pod to podpada, zależy od konkretnej sytuacji, dlatego macierz kieruje takie działania do człowieka. Obowiązki specyficzne dla UE opisuje nasz przewodnik po AI Act w obsłudze klienta.

Jak w praktyce działa proces zatwierdzania działań agenta AI?

Agent proponuje działanie, platforma je wstrzymuje i wysyła kartę zatwierdzenia do właściwej osoby, która w ustalonym czasie zatwierdza, poprawia albo odrzuca działanie, a agent mówi klientowi, co będzie dalej. Jeśli nikt nie odpowie na czas, działanie zostaje odrzucone, a sprawa trafia do człowieka.

Kto zatwierdza

Każde działanie z poziomu 3 warto kierować do roli, która już podejmuje tę decyzję w przypadku konsultantów, a nie do nowej roli.

Jak szybko muszą zapadać zatwierdzenia

Czas zatwierdzenia powinien pasować do kanału. Na czacie na żywo klient czeka, więc odpowiedź jest potrzebna w ciągu minut albo jasna informacja, że działanie nastąpi drogą mailową. W mailach i zgłoszeniach kilka godzin często wystarcza. Warto ustalić cel dla każdego kanału i go mierzyć.

Po upływie terminu domyślną decyzją jest odmowa. IMDA wśród środków monitorowania wymienia „denying action by default when approval infrastructures fail” (domyślną odmowę działania, gdy zawodzi infrastruktura zatwierdzeń), na przykład gdy przełożeni są nieosiągalni (sekcja 2.2.2). Klient powinien wtedy usłyszeć, że skontaktuje się z nim człowiek, a nigdy nie powinien zostać bez odpowiedzi.

Co widzi osoba zatwierdzająca

IMDA radzi, by wnioski o zgodę były „contextual and digestible” (osadzone w kontekście i łatwe do przyswojenia), krótkie i jasne zamiast długich logów, a jednocześnie jasno pokazywały ryzyko i zawierały przydatne dane, takie jak ryzyko danego działania (sekcja 2.2.2). Przy zwrocie w obsłudze klienta oznacza to jedną kartę:

• Działanie, kwota i reguła, która je uruchomiła („zwrot 120 USD, powyżej limitu 50 USD”).
• Status tożsamości i istotna historia, na przykład zwroty w ostatnich 12 miesiącach.
• Zasada, na którą powołuje się agent, z linkiem i numerem wersji.
• Uzasadnienie agenta w jednym zdaniu, dwuwierszowe podsumowanie i link do transkrypcji.
• Wyniki skutków, żeby osoba zatwierdzająca wiedziała, o jaką stawkę chodzi.
• Zatwierdź, popraw lub odrzuć, z obowiązkowym powodem przy poprawce i odrzuceniu oraz pisemnym uzasadnieniem przy zatwierdzeniach powyżej L2.

Przykład z obliczeniami: ile zatwierdzeń udźwignie Państwa zespół?

Ilustracja, z liczbami dobranymi na potrzeby przykładu. Agent AI obsługuje 40 000 rozmów miesięcznie, a 6% z nich kończy się działaniem z poziomu 3. To 2 400 zatwierdzeń miesięcznie, czyli około 109 dziennie przy 22 dniach roboczych. Przy 90 sekundach na zatwierdzenie daje to około 2,7 godziny pracy liderów zespołów dziennie, zanim ktokolwiek dokładnie przeczyta jakąkolwiek transkrypcję.

Zatwierdzenia to pozycja w planie obsady, więc warto je tak planować. Jeśli udział poziomu 3 wzrośnie do 15%, ten sam zespół będzie miał około 273 zatwierdzeń dziennie, a jakość przeglądu spadnie. To moment, żeby na podstawie dowodów przenieść część działań na poziom 2 z limitem, zamiast prosić ludzi, żeby klikali szybciej.

Jak uniknąć zmęczenia zatwierdzeniami i zatwierdzania bez czytania?

Mierzyć trzeba osoby zatwierdzające, a nie tylko agenta. Warto śledzić u każdej z nich odsetek zmienionych decyzji (jak często poprawia lub odrzuca) i czas przeglądu. IMDA zauważa, że niski odsetek zmian może oznaczać zatwierdzanie bez czytania, a krótszy czas przeglądu nadmierne zaufanie do automatyzacji lub zmęczenie przeglądami (sekcja 2.2.2). Następnie warto przeprowadzać audyt próbki zatwierdzonych działań.

Nadmierne zaufanie do automatyzacji, czyli przyjmowanie sugestii systemu bez sprawdzania, rośnie, gdy wnioski są prawie zawsze poprawne. Problem narasta więc w miarę, jak agent staje się lepszy.

Ilustracja tego, co może pokazać raport, z wymyślonymi liczbami:

Lider zespołu A to przypadek „odstający”, który opisuje IMDA: osoba zatwierdzająca, której wzorzec decyzji odbiega od normy. Cztery sekundy nie wystarczą, żeby przeczytać kartę. To nie jest ustalenie dyscyplinarne: zwykle oznacza, że A obsługuje najbardziej obciążoną zmianę.

Cztery nawyki sprawiają, że zatwierdzenia mają znaczenie:

1. Poziom 3 powinien pozostać mały. Jeśli osoba zatwierdzająca obsługuje więcej niż ustaloną liczbę wniosków na godzinę, wyraźnie bezpieczne działania warto przenieść poziom niżej, z limitem.
2. Audyt zatwierdzonych działań. Co tydzień zespół QA przegląda próbkę zatwierdzonych działań pod kątem zgodności z zasadami. Odsetek zatwierdzeń nic nie mówi; odsetek poprawnych zatwierdzeń mówi.
3. Szkolenie osób zatwierdzających z typowych błędów agentów, takich jak powoływanie się na nieaktualną zasadę, co IMDA podaje jako przykład. Nasz artykuł o tym, dlaczego rozmowy AI zawodzą, wymienia najczęstsze z nich.
4. Rotacja i limity. Zatwierdzenia warto rozłożyć między liderów i ustalić limit na zmianę, tak aby nikt nie zatwierdzał setek wniosków pod rząd.

Jakie dowody powinny rozszerzać lub zawężać uprawnienia agenta AI?

Autonomię dla jednej intencji warto rozszerzyć, gdy jej ocenione rozmowy przechodzą kontrolę, zatwierdzenia w audycie są w większości poprawne, a działania rzadko są cofane lub kwestionowane. Zawęża się ją, gdy którykolwiek z tych sygnałów się pogarsza. Zmienia się jeden krok naraz: podnosi limit albo przenosi jedno działanie poziom niżej, a potem obserwuje kolejne tygodnie.

Dowody dla każdej intencji:

Niski odsetek zmienionych decyzji może oznaczać, że agent ma rację, albo że osoby zatwierdzające przestały czytać. Odróżniają to tylko audyt i czas przeglądu, więc przed rozszerzeniem warto uwzględnić wszystkie trzy. Potem rozszerza się stopniowo: podnosi L1 z 50 do 75 USD dla zwrotów w jednej intencji, resztę zostawia bez zmian i porównuje kolejne cztery tygodnie z poprzednimi czterema. Przewodnik po zarządzaniu agentami AI zawiera przykładowe kryteria przejścia intencji poziom wyżej i regułę cofania. Żeby sprawdzić, czy działania dały klientowi to, czego potrzebował, warto przeprowadzić audyt wskaźnika rozwiązań agentów AI, a zasady stojące za każdym limitem utrzymywać aktualne dzięki politykom dla agentów AI.

Kiedy ta macierz nie jest dla Państwa

Jeśli Państwa agent AI tylko odpowiada na pytania, cały mieści się na poziomie 0: potrzebna jest dobra baza wiedzy, zasada przekazania i ocena rozmów, a nie proces zatwierdzania. Macierz warto zbudować w tygodniu poprzedzającym podłączenie agenta do zwrotów albo zmian na koncie. A przy kilkudziesięciu działaniach tygodniowo lider zespołu może przeczytać każde z nich po fakcie, więc raporty o zmienionych decyzjach niewiele wnoszą.

Gdzie pasuje Kaizo

Kaizo zapewnia kontrolę jakości i nadzór (QA and governance oversight) zespołom obsługi klienta, w których pracę dzielą ludzie i agenci AI. AutoPilot ocenia każdą rozwiązaną rozmowę według Państwa własnej karty oceny, więc wyniki rozmów w tabeli dowodów pochodzą ze wszystkich Państwa rozmów, a nie z próbki, a każdy wynik prowadzi do fragmentów, które go uzasadniają. Warto zobaczyć, jak działa kontrola jakości agentów AI.

Proszę zobaczyć to na własnych rozmowach. Kaizo ocenia 100% Państwa rozmów z klientami, zarówno zespołu, jak i agentów AI, i pokazuje, gdzie jakość się psuje. Umów demo.

Jak zacząć w tym tygodniu

Pierwszą macierz autonomii można zbudować w jedno popołudnie z właścicielem agenta AI i jednym liderem zespołu, na podstawie konfiguracji platformy, logu zatwierdzeń z ostatniego miesiąca i powyższej reguły punktacji. Nie potrzeba do tego nowego narzędzia, tylko listy działań, skali skutków i jednej decyzji na każde działanie.

1. Spisać każde działanie, które Państwa agent AI może dziś podjąć, na podstawie konfiguracji platformy, a nie z pamięci.
2. Ocenić każde działanie, a potem zastosować regułę punktacji i trzy wyjątki zależne od kontekstu.
3. Porównać z platformą. Sprawdzić, czy każdy limit z poziomu 2 i każde oznaczenie zatwierdzenia z poziomu 3 egzekwuje platforma, a nie tylko prompt.
4. Wskazać osobę zatwierdzającą i termin dla każdego działania z poziomu 3 oraz ustawić domyślną odmowę po upływie czasu.
5. Zebrać liczby z ostatniego miesiąca: zatwierdzenia dziennie, odsetek zmienionych decyzji i medianę czasu przeglądu dla każdej osoby zatwierdzającej. To punkt odniesienia dla pierwszego przeglądu autonomii.

Nasz przewodnik po agentowej obsłudze klienta pokazuje, gdzie te poziomy mieszczą się w szerszym wdrożeniu.

Najczęściej zadawane pytania

Czym jest autoryzacja human in the loop dla agentów AI?

To zasada, zgodnie z którą agent AI nie może wykonać określonych działań, dopóki nie zatwierdzi ich wskazana osoba. Agent proponuje działanie, platforma je wstrzymuje, a osoba zatwierdzająca je akceptuje, poprawia albo odrzuca. Autoryzacja dotyczy konkretnego działania i kwoty, a nie ogólnego pozwolenia dla agenta.

Czy ChatGPT działa w modelu human in the loop?

Sam asystent czatowy działa w modelu human in the loop w prostym sensie: tworzy tekst, a człowiek decyduje, co z nim zrobić. Gdy zostaje podłączony do narzędzi, które wykonują działania, na przykład zwroty, trzeba zdecydować, które działania odbywają się samodzielnie, a które czekają na człowieka.

Do czego służy wyłącznik awaryjny (kill switch) agenta AI?

Wyłącznik awaryjny szybko zatrzymuje agenta AI albo jedno z jego działań, gdy coś pójdzie nie tak, na przykład po wadliwym wydaniu albo gdy błąd w zasadach powtarza się na dużą skalę. Uzupełnia zatwierdzenia: zatwierdzenia zatrzymują pojedyncze ryzykowne działania, zanim do nich dojdzie, a mechanizm zatrzymania ogranicza szkody, gdy przejdzie jakiś wzorzec. Warto sprawdzić, co Państwa platforma agentowa oferuje do wstrzymania agenta lub pojedynczego działania i kto może z tego korzystać.

Czy limity zwrotów powinny być takie same dla każdego klienta?

Niekoniecznie. Warto ustalić jeden limit na działanie, a potem obniżać go albo wymagać zgody przy niedawnych zwrotach, niezweryfikowanej tożsamości lub nietypowych prośbach. IMDA wspomina też o limitach ustawianych przez samych użytkowników, takich jak zgoda na zakupy powyżej określonej kwoty.

Co agent AI mówi klientowi, czekając na zgodę?

Powinien jasno powiedzieć, że współpracownik musi potwierdzić działanie, ile to zwykle trwa i jak klient otrzyma odpowiedź. Nigdy nie powinien obiecywać wyniku przed zatwierdzeniem: odrzucona obietnica jest gorsza niż krótkie oczekiwanie.

Czy human in the loop zmniejsza odpowiedzialność firmy za błędy agenta AI?

Nie. Zatwierdzenie pokazuje, że człowiek sprawdził działanie, ale odpowiedzialność pozostaje po stronie firmy, a log zatwierdzeń udzielanych bez czytania może pokazać, że nadzór nie był rzeczywisty. Warto przechowywać log zatwierdzeń, odsetki zmienionych decyzji i audyty, żeby móc wykazać, że kontrole działały.