Odpowiedzialność za chatbota AI: kto odpowiada za agenta?

W większości przypadków tak: firma, która udostępnia klientom agenta AI, odpowiada za to, co ten agent im mówi. W sprawie Moffatt przeciwko Air Canada kanadyjski trybunał uznał linię lotniczą za odpowiedzialną za błędną odpowiedź jej chatbota, tak jak odpowiadałaby za błędną stronę internetową. Zastrzeżenie nie przenosi tej odpowiedzialności na bota ani na jego dostawcę.

Ten artykuł omawia sprawy, przepisy i praktyczne kontrole dla liderów obsługi klienta. To informacja ogólna, a nie porada prawna: w sprawie własnego rynku i umów warto zapytać prawnika.

W skrócie

• Odpowiedzialność za chatbota AI zaczyna się od starej zasady: firma odpowiada za informacje, które przekazuje klientom, bez względu na to, jaki kanał lub system je przekazuje.
• W sprawie Moffatt przeciwko Air Canada (2024) trybunał nazwał twierdzenie, że chatbot odpowiada za własne działania, „a remarkable submission” (zadziwiającym argumentem) i nakazał linii lotniczej zapłatę.
• Zastrzeżenie „AI może popełniać błędy” nie jest tarczą: przepisy o nieuczciwych warunkach umownych, o odpowiedzialności za produkty i organy nadzoru ograniczają to, co może dać.
• Gdy klient kwestionuje obietnicę AI, silniejszą pozycję ma strona, która ma transkrypcję, wersję zasad i wersję agenta obowiązujące tego dnia.
• Najbezpieczniejsza zasada operacyjna to: honorować, korygować, przeglądać. Dotrzymać rozsądnych obietnic, skontaktować się z każdym, kto dostał tę samą błędną odpowiedź, i usunąć przyczynę przed kolejną rozmową.

Czy firma odpowiada za to, co jej chatbot AI mówi klientom?

Tak, w rozstrzygniętej sprawie, którą przywołuje się najczęściej. W sprawie Moffatt przeciwko Air Canada trybunał Civil Resolution Tribunal w Kolumbii Brytyjskiej uznał chatbota za część strony internetowej linii lotniczej i przypisał jej odpowiedzialność za zaniedbanie przy wprowadzeniu w błąd (negligent misrepresentation), gdy klient zaufał błędnej odpowiedzi.

Fakty są proste (orzeczenie 2024 BCCRT 149, wydane 14 lutego 2024, po angielsku). W listopadzie 2022 roku, po śmierci członka rodziny, klient zapytał chatbota na stronie Air Canada o taryfy żałobne. Chatbot odpowiedział, że może zarezerwować bilet teraz i złożyć wniosek o obniżoną stawkę w ciągu 90 dni od wystawienia biletu, nawet po podróży. Podlinkowana strona o taryfach żałobnych mówiła coś przeciwnego. Przedstawiciel Air Canada przyznał później w e-mailu, że chatbot użył „misleading words” (wprowadzających w błąd słów) (pkt 22).

Trybunał sprawdził roszczenie pod kątem pięciu elementów zaniedbania przy wprowadzeniu w błąd (pkt 25). Każdy z nich odpowiada sytuacji z rozmowy w obsłudze klienta:

Air Canada argumentowała, że nie może odpowiadać za swojego chatbota. Trybunał odpowiedział: „It should be obvious to Air Canada that it is responsible for all the information on its website. It makes no difference whether the information comes from a static page or a chatbot” (Dla Air Canada powinno być oczywiste, że odpowiada za wszystkie informacje na swojej stronie. Nie ma znaczenia, czy informacja pochodzi ze statycznej strony, czy od chatbota) (pkt 27). Zasądzona kwota wyniosła 812,02 CA$ z odsetkami i opłatami (pkt 44).

Warto zachować proporcje. To orzeczenie w sprawie drobnych roszczeń w jednej kanadyjskiej prowincji, nie wiąże sądów gdzie indziej i nie rozważało, czy dostawca chatbota był cokolwiek winien linii lotniczej. Jego wartością jest rozumowanie, które stosuje zwykłe zasady, według których każda firma już działa. Model operacyjny wokół tego opisujemy w przewodniku o zarządzaniu agentami AI.

Kto odpowiada, gdy AI się myli: firma, dostawca czy AI?

Wobec klienta w większości sytuacji odpowiada firma, która wdraża agenta AI, bo agent przemawia w jej imieniu. Sama AI nie jest osobą prawną. Udział dostawcy rozstrzyga głównie Państwa umowa, a w UE także przepisy o odpowiedzialności za produkty, które obejmują szkody na osobie, szkody w mieniu i utratę danych, a nie błędną odpowiedź w sprawie zwrotu.

O tym, kto płaci, decydują trzy warstwy:

1. Państwo i klient. Do tego, co mówią Państwa kanały, stosuje się prawo konsumenckie, prawo umów i przepisy o wprowadzaniu w błąd. Klient nie musi wiedzieć, który dostawca zbudował model.
2. Państwo i dostawca. Gwarancje, zobowiązania do zwolnienia z odpowiedzialności (indemnity) i limity odpowiedzialności w umowie z dostawcą decydują, czy da się odzyskać stratę. Warunki wielu dostawców ograniczają lub wyłączają odpowiedzialność za dokładność wyników, więc trzeba je przeczytać przed uruchomieniem, a nie po incydencie.
3. Unijna warstwa odpowiedzialności za produkty. Nowa dyrektywa w sprawie odpowiedzialności za produkty wadliwe, (UE) 2024/2853, stanowi, że oprogramowanie jest produktem (art. 4 pkt 1), niezależnie od tego, czy działa na urządzeniu, w chmurze, czy jako usługa (motyw 13). Ma zastosowanie do produktów wprowadzonych do obrotu lub oddanych do użytku po 9 grudnia 2026 (art. 2 ust. 1), czyli w dniu, do którego państwa członkowskie muszą ją wdrożyć do prawa krajowego (art. 22 ust. 1).

Dla obsługi klienta dyrektywa ma mniejsze znaczenie, niż sugerują nagłówki. Obejmuje śmierć, szkody na osobie, w tym szkody dla zdrowia psychicznego, szkody w mieniu oraz zniszczenie lub uszkodzenie danych niewykorzystywanych do celów zawodowych (art. 6). Motyw 24 mówi, że czysta strata ekonomiczna sama w sobie nie uruchamia odpowiedzialności na jej podstawie. Błędna obietnica zwrotu lub opłaty to czysta strata ekonomiczna, więc pozostaje w gestii prawa konsumenckiego i prawa umów. Tam, gdzie dyrektywa ma zastosowanie, odpowiedzialności wobec poszkodowanego nie można ograniczyć ani wyłączyć postanowieniem umownym (art. 15).

Tu ma znaczenie różnica między chatbotem a agentem AI. Chatbot, który tylko odpowiada, składa wyłącznie oświadczenia. Agent, który wystawia zwroty, anuluje zamówienia lub zmienia konta, tworzy też transakcje, więc błąd nie jest już tylko wprowadzającą w błąd odpowiedzią: to działanie wykonane przez Państwa systemy. Dlatego działania, które agent może podejmować samodzielnie, powinny być określone w macierzy poziomów autonomii, a nie tylko w prompcie.

Czy zastrzeżenie „AI może popełniać błędy” chroni firmę?

W niewielkim stopniu i nie samo w sobie. Zastrzeżenie może pomóc klientom ocenić odpowiedź i wspiera obowiązki przejrzystości, ale nie sprawia, że wprowadzająca w błąd odpowiedź staje się dokładna. Sądy i organy nadzoru patrzą na to, co klientowi powiedziano i czy zaufanie do tego było rozsądne, a prawo konsumenckie ogranicza postanowienia przerzucające to ryzyko na klienta.

Cztery ograniczenia pojawiają się wciąż na nowo:

• Uzasadnione zaufanie przetrwa link. Odpowiedź chatbota Air Canada zawierała link do właściwej strony z zasadami. Trybunał i tak zapytał, dlaczego klienci „should have to double-check information found in one part of its website on another part” (mieliby sprawdzać informacje z jednej części strony w innej jej części) (pkt 28).
• Warunki trzeba udowodnić i muszą być uczciwe. Air Canada powołała się na swoją taryfę, ale nie przedstawiła odpowiedniego tekstu, więc „has not proven a contractual defence” (nie udowodniła obrony opartej na umowie) (pkt 31). W Wielkiej Brytanii nieuczciwe postanowienie umowy konsumenckiej „is not binding on the consumer” (nie wiąże konsumenta) (Consumer Rights Act 2015, sekcja 62, po angielsku).
• Części odpowiedzialności w ogóle nie można wyłączyć. Na podstawie unijnej dyrektywy w sprawie odpowiedzialności za produkty wadliwe postanowienie umowne nie może ograniczyć ani wyłączyć odpowiedzialności wobec poszkodowanego (art. 15).
• Organy nadzoru patrzą głębiej niż etykiety. Gdy FTC ogłosiła 25 września 2024 akcję Operation AI Comply, jej ówczesna przewodnicząca Lina Khan powiedziała: „there is no AI exemption from the laws on the books” (nie ma wyjątku dla AI od obowiązujących przepisów).

Zastrzeżenie informujące klientów, że rozmawiają z AI, to coś innego, a w UE jest dziś obowiązkowe. Warto je zachować i dbać, by było uczciwe. Nie należy go jednak traktować jako kontroli, która chroni przed kłopotami. Tą kontrolą jest agent, który nie składa błędnych obietnic.

Czego przepisy w USA, UE i Wielkiej Brytanii wymagają od agentów AI w obsłudze klienta?

Wszystkie trzy porządki oczekują tego samego podstawowego zachowania: mówić klientom prawdę, nie wprowadzać ich w błąd i pozostać odpowiedzialnym za systemy, które z nimi rozmawiają. UE dodaje wyraźny obowiązek informowania o AI, brytyjski FCA stosuje Consumer Duty wobec firm finansowych korzystających z AI, a amerykańskie organy egzekwują obowiązujące prawo ochrony konsumentów wobec twierdzeń o AI i błędów chatbotów.

Oczekiwania brytyjskie są najbardziej konkretne dla zespołów obsługi w firmach regulowanych. W AI Update z kwietnia 2024 FCA napisał, że chatboty AI mogą pomagać klientom zrozumieć produkty, ale „firms should consider their obligations under the Consumer Duty” (firmy powinny uwzględnić swoje obowiązki wynikające z Consumer Duty) (pkt 3.25). Wskazuje na zasady dotyczące zrozumienia przez konsumenta, czyli zaspokajania potrzeb informacyjnych klientów (pkt 3.36), i stwierdza, że w bankach, ubezpieczycielach i firmach objętych rozszerzonym reżimem SM&CR każde wykorzystanie AI w danym obszarze działalności należy do zakresu odpowiedzialności członka wyższej kadry zarządzającej (Senior Manager) (pkt 3.40). W praktyce: jeden wskazany właściciel każdego agenta, dane o wynikach jego rozmów i zapis, że zarząd się z nimi zapoznał.

Raport CFPB zaznacza, że nie jest wykładnią żadnego przepisu. Szczegóły unijne, w tym klasy ryzyka i terminy, opisujemy w artykule o AI Act w obsłudze klienta.

Jakie zobowiązania agent AI może składać klientom?

Agent AI może wyjaśniać zasady słowami zatwierdzonego tekstu zasad, potwierdzać fakty, które system właśnie zwrócił, i zobowiązywać się do wyniku tylko wtedy, gdy narzędzie wykonało działanie w ramach swoich limitów. Nigdy nie powinien przyznawać wyjątków, obiecywać rekompensat, udzielać porad prawnych lub finansowych ani podawać daty lub kwoty, której nie otrzymał z systemu.

Tabela działa, bo zamienia ogólne „bądź dokładny” w zasady, które osoba oceniająca może sprawdzić w transkrypcji. Pełny zestaw limitów, z wartościami dla każdego działania, zawiera przewodnik o zabezpieczeniach agentów AI, a rodzaje wymyślonych odpowiedzi, na które trzeba uważać, opisuje artykuł o halucynacjach agentów AI.

Jakich dowodów potrzeba, gdy klient kwestionuje obietnicę AI?

Trzeba pokazać, co agent powiedział, słowo w słowo i ze znacznikiem czasu, z jakiej zasady i treści powinien był skorzystać tego dnia, która wersja agenta działała, co faktycznie zrobiło każde narzędzie i jak rozmowa została sprawdzona. Bez takiego zapisu jedynym dowodem jest zrzut ekranu klienta, który zwykle wygrywa.

Orzeczenie w sprawie Air Canada pokazuje, ile kosztują puste akta. Klient przedstawił zrzut ekranu odpowiedzi chatbota. Linia lotnicza „did not provide any information about the nature of its chatbot” (nie przedstawiła żadnych informacji o charakterze swojego chatbota) (pkt 14), nie złożyła taryfy, na którą się powoływała (pkt 31), i nie przedstawiła dowodu na rzeczywistą taryfę żałobną, więc trybunał wyciągnął wniosek na jej niekorzyść i przyjął kwotę podaną przez klienta (pkt 36).

Dla każdej rozmowy agenta AI warto przechowywać te siedem zapisów, tak długo, jak wymagają tego Państwa zespoły ds. reklamacji i prawny:

1. Pełna transkrypcja, nieedytowana, ze znacznikami czasu i kanałem.
2. Wersja agenta: model, prompt lub instrukcje i obowiązująca konfiguracja.
3. Wersja treści: z jakich artykułów pomocy i tekstów zasad agent mógł tego dnia korzystać.
4. Wywołania narzędzi i ich wyniki: o co agent poprosił system i co system zwrócił.
5. Informacja o AI, którą zobaczył klient, i to, czy zaproponowano przekazanie rozmowy człowiekowi.
6. Zapis oceny: wynik, osoba oceniająca lub automatyczna kontrola i każde zgłoszone zastrzeżenie.
7. Log poprawek: co zmieniono po zastrzeżeniu, kiedy i kto to zatwierdził.

Najtrudniej odtworzyć później powiązanie dat z wersjami: „jaki termin zwrotu stosował agent 3 marca?” Trzeba je zapisywać przy każdym wydaniu. Artykuł o politykach dla agentów AI opisuje, jak utrzymać spójność wersji zasad i treści agenta.

Jak postąpić z błędną obietnicą agenta AI?

Honorować, korygować, przeglądać. Honorować obietnicę, gdy klient rozsądnie na niej polegał, a koszt jest proporcjonalny. Skorygować ją u każdego innego klienta, który dostał tę samą odpowiedź, zanim podejmie działanie. Przejrzeć przyczynę i potwierdzić poprawkę na nowych rozmowach. Walka z pojedynczym drobnym roszczeniem zwykle kosztuje więcej, niż pozwala zaoszczędzić.

Honorować. Zasadę warto ustalić z góry na piśmie, z szefem obsługi klienta jako właścicielem, razem z działem prawnym: na przykład honorować każdą obietnicę agenta AI do ustalonej kwoty, jeśli klient na jej podstawie działał, a większe kierować do wskazanej osoby zatwierdzającej w ciągu jednego dnia roboczego. Air Canada zaproponowała kupon o wartości 200 dolarów, którego klient nie przyjął, a trybunał odmówił jego zaliczenia (pkt 41). Gest dobrej woli nie jest ugodą, dopóki klient się na niego nie zgodzi.

Korygować. Proszę przeszukać lub ocenić każdą rozmowę na ten sam temat od początku błędu, sporządzić listę klientów, którzy dostali błędną odpowiedź, i skontaktować się z tymi, którzy jeszcze nie podjęli działania. Artykuł o audycie wskaźnika rozwiązań agentów AI wyjaśnia, jak sprawdzić, czy „rozwiązane” rozmowy naprawdę zostały rozwiązane.

Przeglądać. Proszę znaleźć przyczynę (nieaktualny artykuł, brakująca reguła, zmiana promptu), usunąć ją, ponownie przetestować, a potem sprawdzić kolejne rozmowy na ten temat, aby potwierdzić, że poprawka działa.

Przykład liczbowy pokazuje, dlaczego korekta się opłaca. Liczby są ilustracją, a nie danymi prawdziwej firmy.

• Agent AI prowadzi 300 rozmów o rezygnacji dziennie. Aktualizacja treści błędnie podaje 60-dniowy termin pełnego zwrotu; zasada mówi o 30 dniach.
• Błąd działa przez 12 dni: 3 600 rozmów o rezygnacji. W 15% z nich klient jest między 31. a 60. dniem, a agent mówi, że pełny zwrot jest nadal możliwy: to 540 klientów.
• Jeśli 40% z nich podejmie działanie, zanim ktokolwiek to zauważy, wpływa 216 roszczeń o zwrot. Przy średniej 90 EUR ich uznanie kosztuje 19 440 EUR.
• Pozostałych 324 klientów jeszcze nie podjęło działania. Kontakt z nimi w dniu wykrycia błędu, z prawidłową zasadą i przeprosinami, zatrzymuje większość pozostałego kosztu i sprawia, że nie mogą już rozsądnie polegać na błędnej odpowiedzi.

Losowa próbka 2% objęłaby około 72 z tych 3 600 rozmów, a błąd zawierałoby około 11 z nich. To wystarczy, by dostrzec problem. Nie da jednak listy 540 nazwisk, a właśnie tej listy potrzebuje krok korekty.

Lista kontrolna ryzyka odpowiedzialności za agenta AI

Poniższa lista służy do przeglądu agenta AI przed uruchomieniem i co kwartał po nim. Każdy wiersz zawiera ryzyko, przykład z obsługi klienta, kontrolę, która mu zapobiega, i dowód, który powinni Państwo móc przedstawić, gdy zapyta klient, audytor lub organ nadzoru. Proszę usunąć wiersze, które nie dotyczą Państwa agenta, i przypisać każdemu wierszowi właściciela.

Wiersze 1, 2, 3, 11 i 12 to miejsca, w których zaczyna się większość odpowiedzialności w obsłudze klienta: błędna odpowiedź dotycząca pieniędzy, powtarzana, bez zapisu, który by ją wyjaśnił.

Kiedy ta lista kontrolna nie jest dla Państwa

Jeśli agent AI odpowiada wyłącznie na podstawie publicznych artykułów pomocy, nie wykonuje działań i przekazuje ludziom każde pytanie dotyczące pieniędzy, konta lub reklamacji, wiersze 1, 4, 5 i 11 pokrywają większość ryzyka. Resztę warto dodać w dniu, w którym agent dostanie narzędzie do zwrotów, uznań lub rezygnacji albo zacznie obsługiwać produkt regulowany.

Lista kontrolna nie zastępuje też przeglądu prawnego. Prawo konsumenckie, przepisy finansowe i regulatorzy sektorowi różnią się w zależności od kraju, a informację o AI, regulamin i umowę z dostawcą powinien przeczytać prawnik znający Państwa rynek.

Gdzie pasuje Kaizo

Kaizo sprawdza każdą rozmowę w obsłudze klienta, prowadzoną przez człowieka lub AI, według Państwa własnych kryteriów i pokazuje, co poprawić. Dostarcza dowodów dla wierszy 2 i 12: AutoPilot ocenia każdą rozwiązaną rozmowę według Państwa własnej karty oceny, a każdy wynik prowadzi do konkretnych linijek rozmowy. Proszę zobaczyć, jak działa kontrola jakości agentów AI, albo umówić demo, aby zobaczyć to na własnych rozmowach.

Jak zacząć w tym tygodniu

Można zacząć w tym tygodniu bez nowego narzędzia: pięć kroków pokazuje, gdzie Państwa agent AI może dziś rodzić odpowiedzialność i których zapisów nie dałoby się przedstawić, gdyby klient jutro zakwestionował odpowiedź.

1. Proszę wybrać 50 rozmów z ostatniego tygodnia o zwrotach, opłatach, rezygnacjach i reklamacjach i zaznaczyć każdą wypowiedź, która jest zobowiązaniem.
2. Proszę sprawdzić każde zobowiązanie według powyższej tabeli: wyjaśnienie, potwierdzenie, zobowiązanie, wyjątek, porada.
3. Proszę przeprowadzić test odtworzenia: wybrać jedną rozmowę sprzed miesiąca i w ciągu godziny przedstawić transkrypcję, wersję agenta i wersję zasad.
4. Proszę spisać zasadę honorowania: kwotę, do której błędna obietnica AI jest honorowana bez dyskusji, i osobę, która zatwierdza powyżej niej.
5. Proszę skopiować 14 wierszy, przypisać każdemu właściciela i przedstawić luki na najbliższym przeglądzie zarządzania agentami AI.

Najczęściej zadawane pytania

Czym jest rozliczalność w sztucznej inteligencji?

Rozliczalność w AI oznacza, że wskazana osoba lub organizacja odpowiada za to, co robi system AI, potrafi to wyjaśnić i musi to naprawić, gdy coś pójdzie źle. W obsłudze klienta jest to firma wdrażająca agenta, z jednym właścicielem każdego agenta, zapisami tego, co powiedział i zrobił, oraz procesem korygowania błędów.

Czy agenci AI są traktowani inaczej niż chatboty pod względem odpowiedzialności?

Zasada jest ta sama: firma odpowiada za jedne i drugie. Różni się ekspozycja na ryzyko. Chatbot, który tylko odpowiada, składa oświadczenia, na których klient może polegać. Agent AI, który zwraca pieniądze, anuluje lub zmienia konta, podejmuje też działania, więc błąd może bezpośrednio przesunąć pieniądze lub dane. Dlatego działania wymagają limitów egzekwowanych w samych narzędziach.

Czy koszt błędu agenta AI można odzyskać od dostawcy?

Tylko jeśli pozwala na to umowa. Gwarancje, zobowiązania do zwolnienia z odpowiedzialności i limit odpowiedzialności dostawcy trzeba sprawdzić przed uruchomieniem, bo wiele warunków ogranicza odpowiedzialność za dokładność wyników. W UE nowa dyrektywa w sprawie odpowiedzialności za produkty wadliwe dodaje roszczenia niezależne od winy wobec producentów wadliwego oprogramowania za szkody na osobie, w mieniu i w danych, ale nie za błędną odpowiedź w sprawie zwrotu.

Czy ocenianie rozmów AI zmniejsza naszą odpowiedzialność?

Ocena nie przenosi odpowiedzialności, ale zmienia dwie rzeczy. Wcześnie wykrywa błędne odpowiedzi, więc mniej klientów na nich polega. Daje też dowód należytej staranności: w sprawie Air Canada brak staranności w zapewnieniu dokładności chatbota był częścią ustaleń na niekorzyść linii lotniczej.

Czy musimy informować klientów, że rozmawiają z AI?

W UE tak: od 2 sierpnia 2026 ludzie muszą być o tym informowani od pierwszej interakcji, chyba że jest to oczywiste. Gdzie indziej to dobra praktyka, która wspiera obowiązki uczciwości stosowane już przez organy ochrony konsumentów i nadzoru finansowego. Informacja o AI informuje klienta. Nie usprawiedliwia błędnej odpowiedzi.