Przejdź do treści

Szablon

Zapytanie ofertowe na agenta AI: pytania o jakość i nadzór

38 pytań do zapytania ofertowego (RFP) na agenta AI: rozliczanie rozwiązań, transkrypcje, testy, zatwierdzenia, incydenty, dane i AI Act, z dobrą odpowiedzią.

· 17 min czytania

Zapytanie ofertowe (RFP) na agenta AI powinno sprawdzać, czy agentowi można zaufać na dużą skalę, a nie tylko, co potrafi. Warto dodać pytania o to, jak definiuje się i rozlicza „rozwiązanie”, o dostęp do pełnych transkrypcji i logów działań, eksport do niezależnej kontroli jakości, testy regresji, mechanizmy zatwierdzania, logi audytowe, incydenty, uprzedzenie o zmianie modelu, warunki dotyczące danych i wsparcie w zakresie AI Act.

W skrócie

  • Szablony RFP od dostawców są mocne w funkcjach, kanałach i integracjach, a słabe w tym, jak sprawdzą Państwo pracę agenta po uruchomieniu.
  • Poniższy zestaw ma 38 pytań w 8 blokach, a przy każdym opis dobrej odpowiedzi i sygnał ostrzegawczy, który powinien obniżyć ocenę albo zakończyć rozmowę.
  • Definicję rozliczanego „rozwiązania”, dostęp do transkrypcji i logów oraz prawo do eksportu rozmów do własnej kontroli jakości warto traktować jako kryteria wykluczające, a nie jako punktowane funkcje.
  • Przykład z obliczeniami pokazuje, jak 18% błędów wykrytych w audycie rozliczonych rozwiązań zmienia rozwiązanie za 1,00 USD w 1,22 USD za jedno poprawne rozwiązanie.
  • Na koniec warto przeprowadzić demo według scenariusza na własnych rozmowach: osiem zadań, ta sama kolejność dla każdego finalisty, ocena w tej samej skali co odpowiedzi pisemne.

Ten artykuł jest dla zespołów, które kupują platformę agenta AI do obsługi klienta, niezależnie od tego, czy na krótkiej liście są Sierra, Decagon, Intercom Fin, Salesforce Agentforce, agenci AI Zendesk, Ada czy rozwiązanie budowane wewnętrznie. Nie tworzy rankingu dostawców. Daje pytania, które ich własne szablony pomijają. Jeśli kupują Państwo oprogramowanie do kontroli jakości, a nie agenta AI, lepiej skorzystać z naszego zapytania ofertowego na oprogramowanie QA z 40 pytaniami i arkuszem oceny; ta strona ma ten sam format.

Co powinno zawierać zapytanie ofertowe na agenta AI poza funkcjami?

Zapytanie ofertowe na agenta AI powinno zawierać, poza funkcjami, warunki, które decydują o tym, czy da się sprawdzać i kontrolować agenta: jak definiuje się rozliczane rozwiązanie, jakie dowody można zobaczyć i wyeksportować, jak zmiany są testowane i zapowiadane, które działania wymagają zatwierdzenia, jak obsługuje się incydenty i dokąd trafiają Państwa dane. Funkcje decydują o demo; te warunki decydują o drugim roku.

Większość opublikowanych szablonów, w dużej części pisanych przez dostawców agentów AI, dobrze obejmuje kanały, języki, integracje, źródła wiedzy, przekazanie rozmowy, bezpieczeństwo i cenę, a mniej szczegółowo pytania, które kupujący zadają, gdy agent już działa. Tabela porównuje typowy szablon (kilka opublikowanych na stronach dostawców, przeczytanych 13 listopada 2026) z tym zestawem pytań.

TematTypowy szablon dostawcyTen zestaw pytań
Kanały, integracje, źródła wiedzyOmówione szczegółowoPozostawione w Państwa części o funkcjach
Jak definiuje się „rozwiązane”Często pytanePytane, z wyzwalaczem, oknem czasowym i weryfikacją
Kwestionowanie rozliczonych rozwiązańRzadko i bez procesuOkno na reklamację, zasady dotyczące dowodów i korekty faktur
Pełne transkrypcje i logi działańCzęściowo (podsumowania, część logów)Surowe transkrypcje, wywołania narzędzi i użyta wiedza, dla każdej rozmowy
Eksport do niezależnej kontroli jakości w trakcie umowyZwykle tylko przy zakończeniu umowyCiągły eksport w udokumentowanym formacie
Testy regresji po uruchomieniuJeden test przed podpisaniemZestaw testów uruchamiany ponownie przed każdą zmianą
Uprzedzenie o zmianie modeluCzasem, bez punktacjiPisemne uprzedzenie, okno na testy i opcja powrotu
Proces incydentów specyficzny dla AIRzadkoPoziom istotności, termin powiadomienia, mechanizm zatrzymania i pisemny raport
Wsparcie podmiotu stosującego według AI ActNie znalezionoRole, informowanie klienta, dokumentacja i logi

Ta luka nie jest przypadkowa: zespół sprzedaży może odpowiedzieć na pytanie o funkcję podczas demo, ale reklamacje rozliczeń czy uprzedzenie o zmianie modelu wymagają pisemnej odpowiedzi działu prawnego i produktowego, która staje się zapisem w umowie.

Dlaczego definicja „rozwiązania” należy do zapytania ofertowego?

Definicja „rozwiązania” należy do zapytania ofertowego, bo zwykle jest jednocześnie głównym wskaźnikiem sukcesu i jednostką rozliczeniową, a dostawcy definiują ją różnie. Rozwiązanie liczone wtedy, gdy klient po prostu przestaje odpisywać, to nie to samo co rozwiązanie sprawdzone pod kątem odpowiedzi, działania i ponownego kontaktu. Różnicę widać na fakturze.

Dwa publiczne przykłady pokazują rozpiętość. Intercom liczy rozwiązanie Fin, gdy po ostatniej odpowiedzi Fin klient potwierdza, że pomogła, albo „exits the conversation without requesting further assistance” (opuszcza rozmowę, nie prosząc o dalszą pomoc), i odlicza opłatę, jeśli klient wróci do tej rozmowy po dalszą pomoc (centrum pomocy Intercom). Zendesk rozlicza automatyczne rozwiązania, a na poziomie „verified” duży model językowy sprawdza rozmowę po jej zakończeniu, co w kanale wiadomości następuje domyślnie 2 godziny po pierwszej wiadomości, a w e-mailu po 72 godzinach (centrum pomocy Zendesk).

Żadna z tych definicji, tak jak jest udokumentowana, nie sprawdza, czy odpowiedź była poprawna względem Państwa polityki ani czy obiecany zwrot został zrealizowany. To Państwa zadanie, a zapytanie ofertowe powinno pytać, jak dostawca pomaga je wykonać. Nasz poradnik o audycie wskaźnika rozwiązań agentów AI opisuje metodę próbkowania, a wskaźnik poprawnych rozwiązań to liczba, którą warto raportować obok liczby dostawcy.

Przykład z obliczeniami: co audyt robi z ceną rozwiązania

To ilustracja z wymyślonymi liczbami, a nie dane żadnego dostawcy.

PozycjaWartość
Rozmowy obsłużone przez agenta AI w miesiącu40 000
Rozliczone rozwiązania raportowane przez dostawcę24 000 (60%)
Cena za rozwiązanie (ilustracja)1,00 USD
Miesięczna faktura24 000 USD
Rozliczone rozwiązania poddane audytowi (losowa próbka)400
Niezaliczone w audycie (błędna odpowiedź, działanie niewykonane, naruszenie polityki lub ponowny kontakt w ciągu 7 dni)72 (18%)
Szacowana liczba poprawnych rozwiązań24 000 × 0,82 = 19 680
Koszt jednego poprawnego rozwiązania24 000 USD ÷ 19 680 = 1,22 USD
Margines błędu dla 18% przy 400 rozmowach w audycie (95%)około ±3,8 punktu
Korekta, jeśli niepoprawne rozwiązania są zwracane24 000 × 0,18 × 1,00 USD = 4320 USD miesięcznie

Margines błędu wynika ze wzoru 1,96 × √(0,18 × 0,82 ÷ 400) = 0,038. Rzeczywisty odsetek błędów leży więc najpewniej między około 14% a 22%, co jest wystarczająco precyzyjne do negocjacji. Bez klauzuli reklamacyjnej w umowie (pytania H2 i H3 poniżej) 4320 USD co miesiąc zostaje na fakturze.

Zestaw pytań do zapytania ofertowego na agenta AI (38 pytań do skopiowania)

Tych 38 pytań obejmuje osiem obszarów, w których platformy agentów AI najbardziej różnią się pod względem jakości i nadzoru. Warto skopiować je obok pytań o funkcje, zachować numerację i przy każdej odpowiedzi prosić o dowód: zrzut ekranu, dokument, zapis w umowie albo pokaz na żywo. „Tak” bez dowodu liczy się jak brak odpowiedzi.

Blok A: definicja i rozliczanie rozwiązań (5 pytań)

#PytanieJak wygląda dobra odpowiedźSygnał ostrzegawczy
A1Co dokładnie uruchamia rozliczane rozwiązanie, w każdym kanale?Pisemna zasada dla każdego kanału: wyzwalacz, okno czasowe i wyłączenia„Decyduje nasza AI”, bez pisemnej zasady
A2Jak rozwiązanie jest weryfikowane przed rozliczeniem?Opisana kontrola (potwierdzenie klienta, ocena przez LLM, okno ponownego kontaktu), widoczna dla każdej rozmowyMilczenie klienta liczone jako sukces, bez żadnego okna
A3Co się dzieje, gdy klient wraca w tej samej sprawie?Rozwiązanie zostaje cofnięte albo nierozliczone w określonym oknie, na przykład 7 dniPonowny kontakt rozliczany jako nowe rozwiązanie
A4Czy dla każdej rozliczonej rozmowy widać, dlaczego została uznana za rozwiązaną?Pole lub wpis w logu dla każdej rozmowy, z możliwością eksportuTylko miesięczna suma na fakturze
A5Czy raportują Państwo rozwiązania osobno od containment i deflection?Osobne definicje i osobne liczbyJeden „wskaźnik automatyzacji”, który je miesza

Blok B: transkrypcje, logi działań i eksport (5 pytań)

#PytanieJak wygląda dobra odpowiedźSygnał ostrzegawczy
B1Czy mamy dostęp do pełnej transkrypcji każdej rozmowy agenta AI, łącznie z krokami wewnętrznymi?Każda wiadomość oraz artykuły bazy wiedzy i instrukcje użyte przy każdej odpowiedziTylko podsumowania albo próbka
B2Czy logują Państwo każde działanie i wywołanie narzędzia przez agenta, z danymi wejściowymi i wynikami?Log dla każdej rozmowy: który system, które wywołanie, jakie parametry, sukces czy błąd„Działania są logowane w systemie docelowym”, a po Państwa stronie nic
B3Czy możemy w trakcie umowy na bieżąco eksportować wszystkie rozmowy i logi do własnej kontroli jakości?API lub zaplanowany eksport w udokumentowanym formacie, bez dodatkowych kosztów, do wybranego przez Państwa narzędziaEksport tylko przy rozwiązaniu umowy albo tylko do analityki samego dostawcy
B4Jak długo przechowują Państwo transkrypcje i logi i czy możemy ustawić ten okres?Domyślny okres przechowywania i możliwość jego ustawienia dla każdego typu danychBrak określonego okresu albo usuwanie, nad którym nie mają Państwo kontroli
B5Czy niezależny oceniający widzi te same dowody, z których korzystają Państwa dashboardy?Ta sama rozmowa, kroki i pola wyniku, z możliwością eksportuWynik lub etykieta bez dostępu do samej rozmowy

Pytanie B3 większość szablonów pomija, a to ono jest najważniejsze, jeśli chcą Państwo oceniać rozmowy agenta AI według własnej karty oceny, jak opisujemy w poradniku o ewaluacji agentów AI.

Blok C: testy i regresja (5 pytań)

#PytanieJak wygląda dobra odpowiedźSygnał ostrzegawczy
C1Czy przed podpisaniem umowy uruchomią Państwo agenta na zestawie naszych historycznych rozmów i udostępnią każdy wynik?Test na kilkuset Państwa prawdziwych rozmowach, z widoczną każdą odpowiedziąDemo wyłącznie na przykładowych danych dostawcy
C2Czy możemy tworzyć i zapisywać własne przypadki testowe, z oczekiwanymi odpowiedziami i oczekiwanymi działaniami?Biblioteka testów, która należy do Państwa i którą można wyeksportowaćTesty, które może tworzyć tylko zespół dostawcy
C3Czy możemy ponownie uruchomić pełny zestaw testów przed każdą zmianą promptów, wiedzy, polityk lub modelu?Testy regresji jednym kliknięciem lub według harmonogramu, z porównaniem do poprzedniego przebieguTesty jednorazowo przy wdrożeniu
C4Czy możemy symulować trudnych klientów: pytania nie na temat, zdenerwowanych klientów, próby uzyskania zwrotu poza polityką?Symulowane rozmowy na podstawie scenariuszy lub person, z wynikami do przejrzenia„Model sobie z tym radzi”, bez możliwości sprawdzenia
C5Czy możemy zablokować wdrożenie, gdy testy nie przechodzą?Bramka wdrożeniowa z ustalanym przez Państwa progiem zaliczeniaZmiany działają na produkcji od razu po zapisaniu

Nasz poradnik o testowaniu agentów AI wyjaśnia, jak zbudować wzorcowy zestaw testów z prawdziwych rozmów i co powinna sprawdzać bramka wdrożeniowa.

Blok D: polityki i mechanizmy zatwierdzania (5 pytań)

#PytanieJak wygląda dobra odpowiedźSygnał ostrzegawczy
D1Które działania agent może wykonywać samodzielnie i czy możemy wymagać zatwierdzenia dla każdego typu działania?Lista działań z ustawieniem dla każdego: dozwolone, wymaga zatwierdzenia, zablokowaneWszystkie działania włączone albo wszystkie wyłączone
D2Jak egzekwowane są limity, na przykład maksymalna kwota zwrotu?Limity sprawdzane przez system przed wykonaniem działania, a nie tylko zapisane w prompcieLimity zapisane wyłącznie jako instrukcje dla modelu
D3Kto może zmieniać prompty, polityki i wiedzę i czy każda zmiana jest zatwierdzana i wersjonowana?Role, etap zatwierdzenia, historia wersji i możliwość wycofaniaKażdy administrator edytuje na żywo, bez historii
D4Czy możemy ograniczyć agenta do określonych tematów, klientów lub kanałów?Zakres według intencji, segmentu i kanałuJeden globalny przełącznik
D5Czy możemy szybko zatrzymać agenta, dla jednego tematu albo całkowicie, i skierować rozmowy do ludzi?Udokumentowany mechanizm zatrzymania dla tematu i globalnie, z trasą awaryjnąZatrzymanie wymaga zgłoszenia do dostawcy

Blok E: przekazanie i eskalacja (4 pytania)

#PytanieJak wygląda dobra odpowiedźSygnał ostrzegawczy
E1Jakie wyzwalacze kierują rozmowę do człowieka i czy możemy je zmieniać?Konfigurowalne wyzwalacze: prośba o człowieka, frustracja, tematy ryzykowne, powtarzające się niepowodzeniaStały zestaw, którego nie widać
E2Czy klient zawsze może dotrzeć do człowieka i jak szybko?Określona ścieżka i czas dla każdego kanałuAgent zatrzymuje klienta, który prosi o człowieka
E3Co dostaje konsultant przy przekazaniu?Pełną transkrypcję, wykonane działania i powód przekazaniaJednozdaniowe podsumowanie
E4Jak raportują Państwo przekazania, które nastąpiły za późno?Raport rozmów z kilkoma nieudanymi próbami przed przekazaniemPrzekazanie liczone wyłącznie jako porażka AI

Agent, który zatrzymuje klienta proszącego o człowieka, zamienia jedną złą odpowiedź w reklamację. Co oceniać, pokazuje nasza karta oceny przekazania rozmowy z bota do konsultanta.

Blok F: zarządzanie zmianą i incydenty (5 pytań)

#PytanieJak wygląda dobra odpowiedźSygnał ostrzegawczy
F1Czy uprzedzą nas Państwo przed zmianą modelu bazowego lub jego wersji i z jakim wyprzedzeniem?Pisemne powiadomienie z określoną liczbą dni wyprzedzenia, z informacjami o wydaniu„Stale ulepszamy model”
F2Czy możemy przetestować zmianę modelu na naszym zestawie testów, zanim dotrze do naszych klientów?Środowisko podglądu lub testowe dla nowego modeluZmiany trafiają najpierw na produkcję
F3Czy możemy przez pewien czas pozostać przy poprzednim modelu, jeśli nasze testy nie przejdą?Możliwość wycofania lub przypięcia wersji na określony okresBrak możliwości odroczenia
F4Jaki jest Państwa proces incydentów przy szkodliwych lub błędnych odpowiedziach na dużą skalę?Poziomy istotności, terminy powiadomień, wskazana osoba kontaktowa i pisemny raport po każdym incydencieTylko SLA dostępności
F5Jak wykrywają Państwo pogorszenie jakości, gdy w naszej konfiguracji nic się nie zmieniło?Monitoring jakości odpowiedzi z alertami, które można ustawićPogorszenie wykrywają Państwa klienci

Pogorszenie bez zmiany konfiguracji to realna obawa kupujących: w jednym wątku społeczności Intercom (listopad 2025) klient zgłosił, że Fin zaczął udzielać błędnych odpowiedzi, choć „All the Content stayed the same” (cała treść pozostała bez zmian) (społeczność Intercom). F1 i F5 są właśnie na taki moment; nasz poradnik o monitorowaniu agentów AI opisuje, jakie alerty ustawić.

Blok G: dane, prywatność i regulacje (5 pytań)

#PytanieJak wygląda dobra odpowiedźSygnał ostrzegawczy
G1Gdzie są przechowywane i przetwarzane nasze dane, także przez dostawcę modelu?Wskazane regiony i możliwość wyboru regionu tam, gdzie jest potrzebna„W chmurze”
G2Kim są Państwa podmioty przetwarzające, w tym dostawcy modeli, i jak informują nas Państwo o zmianach?Opublikowana lista i wcześniejsze powiadomienie z prawem do sprzeciwuLista dostępna „na życzenie”, bez powiadomień
G3Czy Państwo lub dostawcy modeli wykorzystują nasze rozmowy do trenowania lub ulepszania modeli?Jasne pisemne „nie” albo zgoda na zasadzie opt-in, zapisane w umowieOpt-out ukryty w regulaminie
G4Jaką rolę przyjmują Państwo według AI Act i jak wspierają nas jako podmiot stosujący?Określona rola, informowanie klienta, że rozmawia z AI, dokumentacja i logi, które można przechowywać„AI Act nas nie dotyczy”
G5Czy możemy przeprowadzić u Państwa audyt albo otrzymać niezależne raporty z audytu?Aktualne raporty w ramach NDA i klauzula audytowaBrak raportów albo raporty dla innego produktu

Część z tych pytań opiera się na prawie. Zgodnie z RODO podmiot przetwarzający nie może korzystać z usług innego podmiotu przetwarzającego bez Państwa pisemnej zgody, a przy zgodzie ogólnej musi informować o zamierzonych zmianach, żeby mogli Państwo wyrazić sprzeciw; musi też umożliwiać audyty (art. 28 RODO). Gdy dostawca modelu jest podmiotem przetwarzającym dla dostawcy agenta, zmiana dostawcy modelu powinna dotrzeć do Państwa w ramach tego powiadomienia. Nowa wersja modelu od tego samego dostawcy zwykle nie dotrze, i dlatego F1 pyta o nią osobno.

AI Act (akt w sprawie sztucznej inteligencji) wymaga od dostawców, aby ludzie wiedzieli, że prowadzą interakcję z systemem AI, od 2 sierpnia 2026 (FAQ Komisji Europejskiej do art. 50). Obowiązki w zakresie kompetencji w dziedzinie AI dla dostawców i podmiotów stosujących obowiązują od 2 lutego 2025 (Komisja Europejska). Jeśli zastosowanie jest uznane za wysokiego ryzyka, podmioty stosujące muszą też monitorować system i przechowywać jego logi przez co najmniej sześć miesięcy (rozporządzenie (UE) 2024/1689, art. 26). Większość agentów w obsłudze klienta nie jest systemami wysokiego ryzyka, ale decyduje o tym Państwa dział prawny, a nie dostawca. Nasz artykuł o AI Act w obsłudze klienta wyjaśnia kategorie ryzyka.

Blok H: warunki handlowe i reklamacje (4 pytania)

#PytanieJak wygląda dobra odpowiedźSygnał ostrzegawczy
H1Ile płacimy za rozmowę, która nie została rozwiązana, została przekazana albo porzucona?Tabela cen dla każdego typu wynikuOpłaty za wyniki, których nie ma w tabeli
H2Jak możemy zakwestionować rozliczone rozwiązanie i w jakim terminie?Proces reklamacji z terminem, akceptowanymi dowodami (na przykład Państwa audytem) i harmonogramemReklamacje „rozpatrywane indywidualnie”
H3Czy korygują Państwo faktury za rozwiązania, które nasz audyt uznał za błędne?Korekty albo zmiana ceny, gdy odsetek błędów w audycie przekroczy uzgodniony prógRozliczenie wyłącznie na podstawie liczenia dostawcy
H4Co dzieje się z ceną i zobowiązaniami wolumenowymi, gdy jakość rozwiązań spadnie poniżej uzgodnionego poziomu?Środek zaradczy: korekty, prawo do wstrzymania albo prawo do odstąpieniaMinimalne zobowiązania bez warunku jakościowego

Zapisy w umowie, które pozwalają kwestionować i korygować rozwiązania, sprawiają, że audyt z przykładu z obliczeniami sam się spłaca.

Jak oceniać odpowiedzi na zapytanie ofertowe na agenta AI?

Odpowiedzi na zapytanie ofertowe na agenta AI ocenia się w dwóch przebiegach. Najpierw kryteria wykluczające: dostawca, który nie spełni któregokolwiek, odpada, niezależnie od oceny funkcji. Potem każdą pozostałą odpowiedź ocenia się od 0 do 3 według spisanych definicji, nadaje wagi blokom, a wyrównane wyniki rozstrzyga demo według scenariusza, a nie dłuższy arkusz.

Warto użyć tej samej skali od 0 do 3 co w naszym zapytaniu ofertowym na oprogramowanie QA: 0 za brak odpowiedzi, 1 za poważne ograniczenia albo „w planach”, 2 za spełnienie wymagania z częściowym dowodem, 3 za spełnienie wymagania z pokazanym dowodem. „Tak” bez dowodu dostaje 0.

Kryterium wykluczającePytaniaDlaczego wyklucza
Pisemna definicja rozliczanego rozwiązaniaA1, A2Bez niej nie da się sprawdzić faktury
Pełne transkrypcje i logi działań dla każdej rozmowyB1, B2Bez dowodów nie ma kontroli jakości ani analizy incydentów
Ciągły eksport do własnej kontroli jakościB3Państwa wskaźniki jakości zależałyby wyłącznie od dostawcy
Mechanizm zatrzymania i zawsze dostępna ścieżka do człowiekaD5, E2Szkoda dla klientów, gdy czekają Państwo na obsłużenie zgłoszenia
Pisemne warunki dotyczące danych: lokalizacja, podmioty przetwarzające, trenowanieG1 do G3Dział prawny i tak zablokuje umowę później

Wagi na start dla zespołów, które mają już krótką listę po ocenie funkcji; warto uzgodnić je z obsługą klienta, IT, działem prawnym i zakupami, zanim przyjdą odpowiedzi, i nie zmieniać ich potem.

BlokWaga
A. Definicja i rozliczanie rozwiązań15
B. Transkrypcje, logi i eksport15
C. Testy i regresja20
D. Polityki i mechanizmy zatwierdzania15
E. Przekazanie i eskalacja10
F. Zarządzanie zmianą i incydenty15
G. Dane, prywatność i regulacje5 (po kryterium wykluczającym)
H. Warunki handlowe i reklamacje5
Razem100

Wynik ważony to suma wag bloków pomnożonych przez średnią ocenę w bloku, podzielona przez 3, więc dostawca z oceną 3 wszędzie dostaje 100. Warto, żeby dwie osoby oceniały niezależnie i omówiły każde pytanie, w którym różnią się o więcej niż jeden punkt. Nasz artykuł o zarządzaniu agentami AI pomaga zdecydować, które elementy bloków D i F są najważniejsze dla Państwa organizacji.

Co powinno zawierać demo agenta AI według scenariusza?

Demo agenta AI według scenariusza powinno pokazać, jak każdy finalista przeprowadza Państwa własne rozmowy przez te same zadania, w tej samej kolejności i w tym samym czasie. Scenariusz wysyła się tydzień wcześniej, prosi o załadowanie Państwa zestawu testów, a każde zadanie ocenia w skali od 0 do 3. Testują Państwo mechanizmy produktu, a nie prezentera.

Warto zaplanować 90 minut na dostawcę. Należy przynieść od 30 do 50 prawdziwych rozmów z kolejki, bez danych osobowych, w tym takie, które Państwa zespół obsłużył źle.

KrokZadanie dla dostawcyCo sprawdzają PaństwoPowiązane pytania
1 (10 min)Odpowiedzieć na żywo na 10 Państwa rozmów, wybranych przez Państwa w dniu demoWłaściwa odpowiedź, właściwy ton, pokazane źródłaC1
2 (10 min)Otworzyć jedno rozliczone rozwiązanie i pokazać, dlaczego zostało policzoneWyzwalacz, okno i weryfikacja dla tej rozmowyA1, A2, A4
3 (10 min)Pokazać pełną transkrypcję i log działań rozmowy, w której zlecono zwrot lub zmieniono zamówienieKażde wywołanie narzędzia, jego parametry i wynikB1, B2
4 (10 min)Wyeksportować rozmowy z ostatniego tygodnia w formacie, który Państwo otrzymająPola, format, kompletnośćB3
5 (15 min)Zmienić jedną politykę (na przykład obniżyć maksymalną kwotę zwrotu), ponownie uruchomić zestaw testów, porównać wynikiWersjonowanie, zatwierdzanie, raport regresji, bramka wdrożeniowaC3, C5, D2, D3
6 (10 min)Przeprowadzić trzy trudne scenariusze: prośba nie na temat, zwrot poza polityką, klient proszący o człowiekaOdmowy, utrzymane limity, przekazanie z kontekstemC4, E1, E3
7 (10 min)Zatrzymać agenta dla jednego tematu i pokazać, dokąd trafiają rozmowyCzas zatrzymania, trasa awaryjnaD5, E2
8 (15 min)Omówić ostatnią zmianę modelu: powiadomienie, okno na testy, opcję wycofaniaInformacje o wydaniu, środowisko testowe, przypięcie wersjiF1 do F3

Po demo warto zadać dwóm klientom referencyjnym o podobnym wolumenie i strukturze kanałów trzy pytania: co poszło źle w pierwszych trzech miesiącach, jak dostawca sobie z tym poradził i jak została zapowiedziana zmiana modelu. Odpowiedź na ostatnie pytanie pokazuje, czy F1 to polityka, czy obietnica.

Jak to łączy się z kontrolą jakości po uruchomieniu agenta?

Odpowiedzi z zapytania ofertowego stają się Państwa modelem operacyjnym, gdy agent zacznie działać: eksport z B3 zasila przeglądy jakości, zestaw testów z C2 staje się zestawem regresji, a proces reklamacji z H2 działa na wynikach Państwa audytu. Dostawca, który dobrze wypada w blokach B, C i H, sprawia, że niezależna kontrola jakości jest tania.

W praktyce wiele zespołów ocenia próbkę albo wszystkie rozmowy agenta AI według tej samej karty oceny, której używa dla konsultantów, dodaje kontrole wymyślonych faktów i zgodności z polityką i raportuje skorygowany wskaźnik rozwiązań obok liczby dostawcy. Jeśli ta ocena ma być zautomatyzowana, Kaizo ocenia 100% rozmów agentów AI według Państwa własnej karty oceny, w helpdesku, w którym te rozmowy już są, i łączy każdą ocenę z dowodem w rozmowie. Jak to działa, pokazuje strona o kontroli jakości agentów AI.

Kiedy to zapytanie ofertowe to więcej, niż potrzeba?

Ten zestaw pytań to więcej, niż potrzeba, gdy agent AI ma odpowiadać tylko na wąski zakres pytań informacyjnych, nie wykonuje działań w Państwa systemach i obsługuje kilkaset rozmów miesięcznie. Wtedy wystarczą kryteria wykluczające oraz bloki A, B i E. Resztę warto dodać, gdy agent zacznie zlecać zwroty, zmieniać zamówienia albo obsługiwać tematy regulowane.

To także złe narzędzie do pierwszego rozeznania rynku: najpierw lepiej wysłać krótkie zapytanie o informacje (RFI) albo przeprowadzić kilka rozmów rozpoznawczych, a potem wysłać to zapytanie ofertowe do trzech do pięciu finalistów.

Jak zacząć zapytanie ofertowe na agenta AI w tym tygodniu

Trzeba wybrać od 30 do 50 prawdziwych rozmów do demo i testu przed podpisaniem umowy, spisać kryteria wykluczające, skopiować 38 pytań obok pytań o funkcje, ustalić wagi na jednym spotkaniu i wysłać zapytanie z dwutygodniowym terminem.

  1. Wybrać od 30 do 50 rozmów, w tym pięć najtrudniejszych przypadków.
  2. Spisać kryteria wykluczające na podstawie tabeli powyżej i usunąć te, których Państwo nie potrzebują.
  3. Zapytać dział prawny, na które pytania o AI Act i RODO z bloku G chce dostać pisemne odpowiedzi.
  4. Poprosić dział finansów o wyliczenie miesięcznej faktury według definicji rozwiązania każdego dostawcy, na podstawie wolumenu z poprzedniego miesiąca.
  5. Zarezerwować dema według scenariusza na tydzień po otrzymaniu odpowiedzi.

Jeśli chcą Państwo zobaczyć, jak ocena każdej rozmowy agenta AI według własnej karty oceny działałaby obok wybranej platformy, warto umówić demo i przynieść swoją krótką listę.

Najczęściej zadawane pytania

Czym jest zapytanie ofertowe (RFP) na agenta AI?

Zapytanie ofertowe na agenta AI to prośba o ofertę wysyłana do dostawców agentów AI do obsługi klienta, tak aby ich odpowiedzi można było porównać na tych samych pytaniach. Opisuje Państwa wolumen, kanały i systemy, wymienia wymagania i kryteria wykluczające i prosi każdego dostawcę o odpowiedź z dowodem. Kompletne zapytanie obejmuje funkcje oraz warunki dotyczące jakości, nadzoru, danych i rozliczeń, które decydują, czy agent może działać na dużą skalę.

Do ilu dostawców wysłać zapytanie ofertowe na agenta AI?

Zwykle wystarczy od trzech do pięciu dostawców. Mniej daje niewiele do porównania, a więcej tworzy pracę przy ocenie i demach, która rzadko zmienia wynik. Listę warto najpierw zawęzić rozmowami rozpoznawczymi i odrzucić każdego dostawcę, który nie spełnia kryterium wykluczającego już w tej rozmowie, na przykład takiego, który nie umożliwia eksportu rozmów w trakcie umowy.

Płacić za rozwiązanie czy za rozmowę?

Płatność za rozwiązanie wiąże cenę dostawcy z wynikami, ale tylko wtedy, gdy „rozwiązane” jest zdefiniowane na piśmie, sprawdzane i można je zakwestionować. Płatność za rozmowę łatwiej przewidzieć i skontrolować. Niezależnie od jednostki warto przeliczyć wolumen z poprzedniego miesiąca według definicji każdego dostawcy i prosić o korekty, gdy audyt znajdzie rozliczone rozwiązania, które były błędne.

Jak długo powinien trwać pilotaż agenta AI przed podpisaniem umowy?

Pilotaż powinien trwać na tyle długo, żeby zobaczyć ponowne kontakty i kilka zmian polityk, co zwykle oznacza od czterech do ośmiu tygodni na określonym zestawie tematów. Kryteria sukcesu, metodę audytu i warunki wyjścia uzgadnia się przed startem, a zestaw testów uruchamia przed każdą zmianą wprowadzoną przez dostawcę w trakcie pilotażu i po niej.

Kto powinien brać udział w ocenie dostawcy agenta AI?

Support operations odpowiada za wymagania i demo. Dział jakości odpowiada za zestaw testów i ocenę rozmów, IT za integracje i działania, dział prawny i ochrony danych za blok G i umowę, a finanse za model rozliczeń. Przed wysłaniem zapytania warto wskazać jedną osobę decyzyjną, żeby wagi były ustalone z góry.

Na tej stronie

Powiązane artykuły

Zobacz to podczas demo na żywo

Zaprezentujemy Państwu Kaizo na realistycznych przykładowych rozmowach, aby zobaczyli Państwo, jak taki przykład jest oceniany, wyjaśniany i przekładany na coaching.

Zaufały nam zespoły obsługi klienta na całym świecie

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath