Zapytanie ofertowe (RFP) na agenta AI powinno sprawdzać, czy agentowi można zaufać na dużą skalę, a nie tylko, co potrafi. Warto dodać pytania o to, jak definiuje się i rozlicza „rozwiązanie”, o dostęp do pełnych transkrypcji i logów działań, eksport do niezależnej kontroli jakości, testy regresji, mechanizmy zatwierdzania, logi audytowe, incydenty, uprzedzenie o zmianie modelu, warunki dotyczące danych i wsparcie w zakresie AI Act.
W skrócie
- Szablony RFP od dostawców są mocne w funkcjach, kanałach i integracjach, a słabe w tym, jak sprawdzą Państwo pracę agenta po uruchomieniu.
- Poniższy zestaw ma 38 pytań w 8 blokach, a przy każdym opis dobrej odpowiedzi i sygnał ostrzegawczy, który powinien obniżyć ocenę albo zakończyć rozmowę.
- Definicję rozliczanego „rozwiązania”, dostęp do transkrypcji i logów oraz prawo do eksportu rozmów do własnej kontroli jakości warto traktować jako kryteria wykluczające, a nie jako punktowane funkcje.
- Przykład z obliczeniami pokazuje, jak 18% błędów wykrytych w audycie rozliczonych rozwiązań zmienia rozwiązanie za 1,00 USD w 1,22 USD za jedno poprawne rozwiązanie.
- Na koniec warto przeprowadzić demo według scenariusza na własnych rozmowach: osiem zadań, ta sama kolejność dla każdego finalisty, ocena w tej samej skali co odpowiedzi pisemne.
Ten artykuł jest dla zespołów, które kupują platformę agenta AI do obsługi klienta, niezależnie od tego, czy na krótkiej liście są Sierra, Decagon, Intercom Fin, Salesforce Agentforce, agenci AI Zendesk, Ada czy rozwiązanie budowane wewnętrznie. Nie tworzy rankingu dostawców. Daje pytania, które ich własne szablony pomijają. Jeśli kupują Państwo oprogramowanie do kontroli jakości, a nie agenta AI, lepiej skorzystać z naszego zapytania ofertowego na oprogramowanie QA z 40 pytaniami i arkuszem oceny; ta strona ma ten sam format.
Co powinno zawierać zapytanie ofertowe na agenta AI poza funkcjami?
Zapytanie ofertowe na agenta AI powinno zawierać, poza funkcjami, warunki, które decydują o tym, czy da się sprawdzać i kontrolować agenta: jak definiuje się rozliczane rozwiązanie, jakie dowody można zobaczyć i wyeksportować, jak zmiany są testowane i zapowiadane, które działania wymagają zatwierdzenia, jak obsługuje się incydenty i dokąd trafiają Państwa dane. Funkcje decydują o demo; te warunki decydują o drugim roku.
Większość opublikowanych szablonów, w dużej części pisanych przez dostawców agentów AI, dobrze obejmuje kanały, języki, integracje, źródła wiedzy, przekazanie rozmowy, bezpieczeństwo i cenę, a mniej szczegółowo pytania, które kupujący zadają, gdy agent już działa. Tabela porównuje typowy szablon (kilka opublikowanych na stronach dostawców, przeczytanych 13 listopada 2026) z tym zestawem pytań.
| Temat | Typowy szablon dostawcy | Ten zestaw pytań |
|---|---|---|
| Kanały, integracje, źródła wiedzy | Omówione szczegółowo | Pozostawione w Państwa części o funkcjach |
| Jak definiuje się „rozwiązane” | Często pytane | Pytane, z wyzwalaczem, oknem czasowym i weryfikacją |
| Kwestionowanie rozliczonych rozwiązań | Rzadko i bez procesu | Okno na reklamację, zasady dotyczące dowodów i korekty faktur |
| Pełne transkrypcje i logi działań | Częściowo (podsumowania, część logów) | Surowe transkrypcje, wywołania narzędzi i użyta wiedza, dla każdej rozmowy |
| Eksport do niezależnej kontroli jakości w trakcie umowy | Zwykle tylko przy zakończeniu umowy | Ciągły eksport w udokumentowanym formacie |
| Testy regresji po uruchomieniu | Jeden test przed podpisaniem | Zestaw testów uruchamiany ponownie przed każdą zmianą |
| Uprzedzenie o zmianie modelu | Czasem, bez punktacji | Pisemne uprzedzenie, okno na testy i opcja powrotu |
| Proces incydentów specyficzny dla AI | Rzadko | Poziom istotności, termin powiadomienia, mechanizm zatrzymania i pisemny raport |
| Wsparcie podmiotu stosującego według AI Act | Nie znaleziono | Role, informowanie klienta, dokumentacja i logi |
Ta luka nie jest przypadkowa: zespół sprzedaży może odpowiedzieć na pytanie o funkcję podczas demo, ale reklamacje rozliczeń czy uprzedzenie o zmianie modelu wymagają pisemnej odpowiedzi działu prawnego i produktowego, która staje się zapisem w umowie.
Dlaczego definicja „rozwiązania” należy do zapytania ofertowego?
Definicja „rozwiązania” należy do zapytania ofertowego, bo zwykle jest jednocześnie głównym wskaźnikiem sukcesu i jednostką rozliczeniową, a dostawcy definiują ją różnie. Rozwiązanie liczone wtedy, gdy klient po prostu przestaje odpisywać, to nie to samo co rozwiązanie sprawdzone pod kątem odpowiedzi, działania i ponownego kontaktu. Różnicę widać na fakturze.
Dwa publiczne przykłady pokazują rozpiętość. Intercom liczy rozwiązanie Fin, gdy po ostatniej odpowiedzi Fin klient potwierdza, że pomogła, albo „exits the conversation without requesting further assistance” (opuszcza rozmowę, nie prosząc o dalszą pomoc), i odlicza opłatę, jeśli klient wróci do tej rozmowy po dalszą pomoc (centrum pomocy Intercom). Zendesk rozlicza automatyczne rozwiązania, a na poziomie „verified” duży model językowy sprawdza rozmowę po jej zakończeniu, co w kanale wiadomości następuje domyślnie 2 godziny po pierwszej wiadomości, a w e-mailu po 72 godzinach (centrum pomocy Zendesk).
Żadna z tych definicji, tak jak jest udokumentowana, nie sprawdza, czy odpowiedź była poprawna względem Państwa polityki ani czy obiecany zwrot został zrealizowany. To Państwa zadanie, a zapytanie ofertowe powinno pytać, jak dostawca pomaga je wykonać. Nasz poradnik o audycie wskaźnika rozwiązań agentów AI opisuje metodę próbkowania, a wskaźnik poprawnych rozwiązań to liczba, którą warto raportować obok liczby dostawcy.
Przykład z obliczeniami: co audyt robi z ceną rozwiązania
To ilustracja z wymyślonymi liczbami, a nie dane żadnego dostawcy.
| Pozycja | Wartość |
|---|---|
| Rozmowy obsłużone przez agenta AI w miesiącu | 40 000 |
| Rozliczone rozwiązania raportowane przez dostawcę | 24 000 (60%) |
| Cena za rozwiązanie (ilustracja) | 1,00 USD |
| Miesięczna faktura | 24 000 USD |
| Rozliczone rozwiązania poddane audytowi (losowa próbka) | 400 |
| Niezaliczone w audycie (błędna odpowiedź, działanie niewykonane, naruszenie polityki lub ponowny kontakt w ciągu 7 dni) | 72 (18%) |
| Szacowana liczba poprawnych rozwiązań | 24 000 × 0,82 = 19 680 |
| Koszt jednego poprawnego rozwiązania | 24 000 USD ÷ 19 680 = 1,22 USD |
| Margines błędu dla 18% przy 400 rozmowach w audycie (95%) | około ±3,8 punktu |
| Korekta, jeśli niepoprawne rozwiązania są zwracane | 24 000 × 0,18 × 1,00 USD = 4320 USD miesięcznie |
Margines błędu wynika ze wzoru 1,96 × √(0,18 × 0,82 ÷ 400) = 0,038. Rzeczywisty odsetek błędów leży więc najpewniej między około 14% a 22%, co jest wystarczająco precyzyjne do negocjacji. Bez klauzuli reklamacyjnej w umowie (pytania H2 i H3 poniżej) 4320 USD co miesiąc zostaje na fakturze.
Zestaw pytań do zapytania ofertowego na agenta AI (38 pytań do skopiowania)
Tych 38 pytań obejmuje osiem obszarów, w których platformy agentów AI najbardziej różnią się pod względem jakości i nadzoru. Warto skopiować je obok pytań o funkcje, zachować numerację i przy każdej odpowiedzi prosić o dowód: zrzut ekranu, dokument, zapis w umowie albo pokaz na żywo. „Tak” bez dowodu liczy się jak brak odpowiedzi.
Blok A: definicja i rozliczanie rozwiązań (5 pytań)
| # | Pytanie | Jak wygląda dobra odpowiedź | Sygnał ostrzegawczy |
|---|---|---|---|
| A1 | Co dokładnie uruchamia rozliczane rozwiązanie, w każdym kanale? | Pisemna zasada dla każdego kanału: wyzwalacz, okno czasowe i wyłączenia | „Decyduje nasza AI”, bez pisemnej zasady |
| A2 | Jak rozwiązanie jest weryfikowane przed rozliczeniem? | Opisana kontrola (potwierdzenie klienta, ocena przez LLM, okno ponownego kontaktu), widoczna dla każdej rozmowy | Milczenie klienta liczone jako sukces, bez żadnego okna |
| A3 | Co się dzieje, gdy klient wraca w tej samej sprawie? | Rozwiązanie zostaje cofnięte albo nierozliczone w określonym oknie, na przykład 7 dni | Ponowny kontakt rozliczany jako nowe rozwiązanie |
| A4 | Czy dla każdej rozliczonej rozmowy widać, dlaczego została uznana za rozwiązaną? | Pole lub wpis w logu dla każdej rozmowy, z możliwością eksportu | Tylko miesięczna suma na fakturze |
| A5 | Czy raportują Państwo rozwiązania osobno od containment i deflection? | Osobne definicje i osobne liczby | Jeden „wskaźnik automatyzacji”, który je miesza |
Blok B: transkrypcje, logi działań i eksport (5 pytań)
| # | Pytanie | Jak wygląda dobra odpowiedź | Sygnał ostrzegawczy |
|---|---|---|---|
| B1 | Czy mamy dostęp do pełnej transkrypcji każdej rozmowy agenta AI, łącznie z krokami wewnętrznymi? | Każda wiadomość oraz artykuły bazy wiedzy i instrukcje użyte przy każdej odpowiedzi | Tylko podsumowania albo próbka |
| B2 | Czy logują Państwo każde działanie i wywołanie narzędzia przez agenta, z danymi wejściowymi i wynikami? | Log dla każdej rozmowy: który system, które wywołanie, jakie parametry, sukces czy błąd | „Działania są logowane w systemie docelowym”, a po Państwa stronie nic |
| B3 | Czy możemy w trakcie umowy na bieżąco eksportować wszystkie rozmowy i logi do własnej kontroli jakości? | API lub zaplanowany eksport w udokumentowanym formacie, bez dodatkowych kosztów, do wybranego przez Państwa narzędzia | Eksport tylko przy rozwiązaniu umowy albo tylko do analityki samego dostawcy |
| B4 | Jak długo przechowują Państwo transkrypcje i logi i czy możemy ustawić ten okres? | Domyślny okres przechowywania i możliwość jego ustawienia dla każdego typu danych | Brak określonego okresu albo usuwanie, nad którym nie mają Państwo kontroli |
| B5 | Czy niezależny oceniający widzi te same dowody, z których korzystają Państwa dashboardy? | Ta sama rozmowa, kroki i pola wyniku, z możliwością eksportu | Wynik lub etykieta bez dostępu do samej rozmowy |
Pytanie B3 większość szablonów pomija, a to ono jest najważniejsze, jeśli chcą Państwo oceniać rozmowy agenta AI według własnej karty oceny, jak opisujemy w poradniku o ewaluacji agentów AI.
Blok C: testy i regresja (5 pytań)
| # | Pytanie | Jak wygląda dobra odpowiedź | Sygnał ostrzegawczy |
|---|---|---|---|
| C1 | Czy przed podpisaniem umowy uruchomią Państwo agenta na zestawie naszych historycznych rozmów i udostępnią każdy wynik? | Test na kilkuset Państwa prawdziwych rozmowach, z widoczną każdą odpowiedzią | Demo wyłącznie na przykładowych danych dostawcy |
| C2 | Czy możemy tworzyć i zapisywać własne przypadki testowe, z oczekiwanymi odpowiedziami i oczekiwanymi działaniami? | Biblioteka testów, która należy do Państwa i którą można wyeksportować | Testy, które może tworzyć tylko zespół dostawcy |
| C3 | Czy możemy ponownie uruchomić pełny zestaw testów przed każdą zmianą promptów, wiedzy, polityk lub modelu? | Testy regresji jednym kliknięciem lub według harmonogramu, z porównaniem do poprzedniego przebiegu | Testy jednorazowo przy wdrożeniu |
| C4 | Czy możemy symulować trudnych klientów: pytania nie na temat, zdenerwowanych klientów, próby uzyskania zwrotu poza polityką? | Symulowane rozmowy na podstawie scenariuszy lub person, z wynikami do przejrzenia | „Model sobie z tym radzi”, bez możliwości sprawdzenia |
| C5 | Czy możemy zablokować wdrożenie, gdy testy nie przechodzą? | Bramka wdrożeniowa z ustalanym przez Państwa progiem zaliczenia | Zmiany działają na produkcji od razu po zapisaniu |
Nasz poradnik o testowaniu agentów AI wyjaśnia, jak zbudować wzorcowy zestaw testów z prawdziwych rozmów i co powinna sprawdzać bramka wdrożeniowa.
Blok D: polityki i mechanizmy zatwierdzania (5 pytań)
| # | Pytanie | Jak wygląda dobra odpowiedź | Sygnał ostrzegawczy |
|---|---|---|---|
| D1 | Które działania agent może wykonywać samodzielnie i czy możemy wymagać zatwierdzenia dla każdego typu działania? | Lista działań z ustawieniem dla każdego: dozwolone, wymaga zatwierdzenia, zablokowane | Wszystkie działania włączone albo wszystkie wyłączone |
| D2 | Jak egzekwowane są limity, na przykład maksymalna kwota zwrotu? | Limity sprawdzane przez system przed wykonaniem działania, a nie tylko zapisane w prompcie | Limity zapisane wyłącznie jako instrukcje dla modelu |
| D3 | Kto może zmieniać prompty, polityki i wiedzę i czy każda zmiana jest zatwierdzana i wersjonowana? | Role, etap zatwierdzenia, historia wersji i możliwość wycofania | Każdy administrator edytuje na żywo, bez historii |
| D4 | Czy możemy ograniczyć agenta do określonych tematów, klientów lub kanałów? | Zakres według intencji, segmentu i kanału | Jeden globalny przełącznik |
| D5 | Czy możemy szybko zatrzymać agenta, dla jednego tematu albo całkowicie, i skierować rozmowy do ludzi? | Udokumentowany mechanizm zatrzymania dla tematu i globalnie, z trasą awaryjną | Zatrzymanie wymaga zgłoszenia do dostawcy |
Blok E: przekazanie i eskalacja (4 pytania)
| # | Pytanie | Jak wygląda dobra odpowiedź | Sygnał ostrzegawczy |
|---|---|---|---|
| E1 | Jakie wyzwalacze kierują rozmowę do człowieka i czy możemy je zmieniać? | Konfigurowalne wyzwalacze: prośba o człowieka, frustracja, tematy ryzykowne, powtarzające się niepowodzenia | Stały zestaw, którego nie widać |
| E2 | Czy klient zawsze może dotrzeć do człowieka i jak szybko? | Określona ścieżka i czas dla każdego kanału | Agent zatrzymuje klienta, który prosi o człowieka |
| E3 | Co dostaje konsultant przy przekazaniu? | Pełną transkrypcję, wykonane działania i powód przekazania | Jednozdaniowe podsumowanie |
| E4 | Jak raportują Państwo przekazania, które nastąpiły za późno? | Raport rozmów z kilkoma nieudanymi próbami przed przekazaniem | Przekazanie liczone wyłącznie jako porażka AI |
Agent, który zatrzymuje klienta proszącego o człowieka, zamienia jedną złą odpowiedź w reklamację. Co oceniać, pokazuje nasza karta oceny przekazania rozmowy z bota do konsultanta.
Blok F: zarządzanie zmianą i incydenty (5 pytań)
| # | Pytanie | Jak wygląda dobra odpowiedź | Sygnał ostrzegawczy |
|---|---|---|---|
| F1 | Czy uprzedzą nas Państwo przed zmianą modelu bazowego lub jego wersji i z jakim wyprzedzeniem? | Pisemne powiadomienie z określoną liczbą dni wyprzedzenia, z informacjami o wydaniu | „Stale ulepszamy model” |
| F2 | Czy możemy przetestować zmianę modelu na naszym zestawie testów, zanim dotrze do naszych klientów? | Środowisko podglądu lub testowe dla nowego modelu | Zmiany trafiają najpierw na produkcję |
| F3 | Czy możemy przez pewien czas pozostać przy poprzednim modelu, jeśli nasze testy nie przejdą? | Możliwość wycofania lub przypięcia wersji na określony okres | Brak możliwości odroczenia |
| F4 | Jaki jest Państwa proces incydentów przy szkodliwych lub błędnych odpowiedziach na dużą skalę? | Poziomy istotności, terminy powiadomień, wskazana osoba kontaktowa i pisemny raport po każdym incydencie | Tylko SLA dostępności |
| F5 | Jak wykrywają Państwo pogorszenie jakości, gdy w naszej konfiguracji nic się nie zmieniło? | Monitoring jakości odpowiedzi z alertami, które można ustawić | Pogorszenie wykrywają Państwa klienci |
Pogorszenie bez zmiany konfiguracji to realna obawa kupujących: w jednym wątku społeczności Intercom (listopad 2025) klient zgłosił, że Fin zaczął udzielać błędnych odpowiedzi, choć „All the Content stayed the same” (cała treść pozostała bez zmian) (społeczność Intercom). F1 i F5 są właśnie na taki moment; nasz poradnik o monitorowaniu agentów AI opisuje, jakie alerty ustawić.
Blok G: dane, prywatność i regulacje (5 pytań)
| # | Pytanie | Jak wygląda dobra odpowiedź | Sygnał ostrzegawczy |
|---|---|---|---|
| G1 | Gdzie są przechowywane i przetwarzane nasze dane, także przez dostawcę modelu? | Wskazane regiony i możliwość wyboru regionu tam, gdzie jest potrzebna | „W chmurze” |
| G2 | Kim są Państwa podmioty przetwarzające, w tym dostawcy modeli, i jak informują nas Państwo o zmianach? | Opublikowana lista i wcześniejsze powiadomienie z prawem do sprzeciwu | Lista dostępna „na życzenie”, bez powiadomień |
| G3 | Czy Państwo lub dostawcy modeli wykorzystują nasze rozmowy do trenowania lub ulepszania modeli? | Jasne pisemne „nie” albo zgoda na zasadzie opt-in, zapisane w umowie | Opt-out ukryty w regulaminie |
| G4 | Jaką rolę przyjmują Państwo według AI Act i jak wspierają nas jako podmiot stosujący? | Określona rola, informowanie klienta, że rozmawia z AI, dokumentacja i logi, które można przechowywać | „AI Act nas nie dotyczy” |
| G5 | Czy możemy przeprowadzić u Państwa audyt albo otrzymać niezależne raporty z audytu? | Aktualne raporty w ramach NDA i klauzula audytowa | Brak raportów albo raporty dla innego produktu |
Część z tych pytań opiera się na prawie. Zgodnie z RODO podmiot przetwarzający nie może korzystać z usług innego podmiotu przetwarzającego bez Państwa pisemnej zgody, a przy zgodzie ogólnej musi informować o zamierzonych zmianach, żeby mogli Państwo wyrazić sprzeciw; musi też umożliwiać audyty (art. 28 RODO). Gdy dostawca modelu jest podmiotem przetwarzającym dla dostawcy agenta, zmiana dostawcy modelu powinna dotrzeć do Państwa w ramach tego powiadomienia. Nowa wersja modelu od tego samego dostawcy zwykle nie dotrze, i dlatego F1 pyta o nią osobno.
AI Act (akt w sprawie sztucznej inteligencji) wymaga od dostawców, aby ludzie wiedzieli, że prowadzą interakcję z systemem AI, od 2 sierpnia 2026 (FAQ Komisji Europejskiej do art. 50). Obowiązki w zakresie kompetencji w dziedzinie AI dla dostawców i podmiotów stosujących obowiązują od 2 lutego 2025 (Komisja Europejska). Jeśli zastosowanie jest uznane za wysokiego ryzyka, podmioty stosujące muszą też monitorować system i przechowywać jego logi przez co najmniej sześć miesięcy (rozporządzenie (UE) 2024/1689, art. 26). Większość agentów w obsłudze klienta nie jest systemami wysokiego ryzyka, ale decyduje o tym Państwa dział prawny, a nie dostawca. Nasz artykuł o AI Act w obsłudze klienta wyjaśnia kategorie ryzyka.
Blok H: warunki handlowe i reklamacje (4 pytania)
| # | Pytanie | Jak wygląda dobra odpowiedź | Sygnał ostrzegawczy |
|---|---|---|---|
| H1 | Ile płacimy za rozmowę, która nie została rozwiązana, została przekazana albo porzucona? | Tabela cen dla każdego typu wyniku | Opłaty za wyniki, których nie ma w tabeli |
| H2 | Jak możemy zakwestionować rozliczone rozwiązanie i w jakim terminie? | Proces reklamacji z terminem, akceptowanymi dowodami (na przykład Państwa audytem) i harmonogramem | Reklamacje „rozpatrywane indywidualnie” |
| H3 | Czy korygują Państwo faktury za rozwiązania, które nasz audyt uznał za błędne? | Korekty albo zmiana ceny, gdy odsetek błędów w audycie przekroczy uzgodniony próg | Rozliczenie wyłącznie na podstawie liczenia dostawcy |
| H4 | Co dzieje się z ceną i zobowiązaniami wolumenowymi, gdy jakość rozwiązań spadnie poniżej uzgodnionego poziomu? | Środek zaradczy: korekty, prawo do wstrzymania albo prawo do odstąpienia | Minimalne zobowiązania bez warunku jakościowego |
Zapisy w umowie, które pozwalają kwestionować i korygować rozwiązania, sprawiają, że audyt z przykładu z obliczeniami sam się spłaca.
Jak oceniać odpowiedzi na zapytanie ofertowe na agenta AI?
Odpowiedzi na zapytanie ofertowe na agenta AI ocenia się w dwóch przebiegach. Najpierw kryteria wykluczające: dostawca, który nie spełni któregokolwiek, odpada, niezależnie od oceny funkcji. Potem każdą pozostałą odpowiedź ocenia się od 0 do 3 według spisanych definicji, nadaje wagi blokom, a wyrównane wyniki rozstrzyga demo według scenariusza, a nie dłuższy arkusz.
Warto użyć tej samej skali od 0 do 3 co w naszym zapytaniu ofertowym na oprogramowanie QA: 0 za brak odpowiedzi, 1 za poważne ograniczenia albo „w planach”, 2 za spełnienie wymagania z częściowym dowodem, 3 za spełnienie wymagania z pokazanym dowodem. „Tak” bez dowodu dostaje 0.
| Kryterium wykluczające | Pytania | Dlaczego wyklucza |
|---|---|---|
| Pisemna definicja rozliczanego rozwiązania | A1, A2 | Bez niej nie da się sprawdzić faktury |
| Pełne transkrypcje i logi działań dla każdej rozmowy | B1, B2 | Bez dowodów nie ma kontroli jakości ani analizy incydentów |
| Ciągły eksport do własnej kontroli jakości | B3 | Państwa wskaźniki jakości zależałyby wyłącznie od dostawcy |
| Mechanizm zatrzymania i zawsze dostępna ścieżka do człowieka | D5, E2 | Szkoda dla klientów, gdy czekają Państwo na obsłużenie zgłoszenia |
| Pisemne warunki dotyczące danych: lokalizacja, podmioty przetwarzające, trenowanie | G1 do G3 | Dział prawny i tak zablokuje umowę później |
Wagi na start dla zespołów, które mają już krótką listę po ocenie funkcji; warto uzgodnić je z obsługą klienta, IT, działem prawnym i zakupami, zanim przyjdą odpowiedzi, i nie zmieniać ich potem.
| Blok | Waga |
|---|---|
| A. Definicja i rozliczanie rozwiązań | 15 |
| B. Transkrypcje, logi i eksport | 15 |
| C. Testy i regresja | 20 |
| D. Polityki i mechanizmy zatwierdzania | 15 |
| E. Przekazanie i eskalacja | 10 |
| F. Zarządzanie zmianą i incydenty | 15 |
| G. Dane, prywatność i regulacje | 5 (po kryterium wykluczającym) |
| H. Warunki handlowe i reklamacje | 5 |
| Razem | 100 |
Wynik ważony to suma wag bloków pomnożonych przez średnią ocenę w bloku, podzielona przez 3, więc dostawca z oceną 3 wszędzie dostaje 100. Warto, żeby dwie osoby oceniały niezależnie i omówiły każde pytanie, w którym różnią się o więcej niż jeden punkt. Nasz artykuł o zarządzaniu agentami AI pomaga zdecydować, które elementy bloków D i F są najważniejsze dla Państwa organizacji.
Co powinno zawierać demo agenta AI według scenariusza?
Demo agenta AI według scenariusza powinno pokazać, jak każdy finalista przeprowadza Państwa własne rozmowy przez te same zadania, w tej samej kolejności i w tym samym czasie. Scenariusz wysyła się tydzień wcześniej, prosi o załadowanie Państwa zestawu testów, a każde zadanie ocenia w skali od 0 do 3. Testują Państwo mechanizmy produktu, a nie prezentera.
Warto zaplanować 90 minut na dostawcę. Należy przynieść od 30 do 50 prawdziwych rozmów z kolejki, bez danych osobowych, w tym takie, które Państwa zespół obsłużył źle.
| Krok | Zadanie dla dostawcy | Co sprawdzają Państwo | Powiązane pytania |
|---|---|---|---|
| 1 (10 min) | Odpowiedzieć na żywo na 10 Państwa rozmów, wybranych przez Państwa w dniu demo | Właściwa odpowiedź, właściwy ton, pokazane źródła | C1 |
| 2 (10 min) | Otworzyć jedno rozliczone rozwiązanie i pokazać, dlaczego zostało policzone | Wyzwalacz, okno i weryfikacja dla tej rozmowy | A1, A2, A4 |
| 3 (10 min) | Pokazać pełną transkrypcję i log działań rozmowy, w której zlecono zwrot lub zmieniono zamówienie | Każde wywołanie narzędzia, jego parametry i wynik | B1, B2 |
| 4 (10 min) | Wyeksportować rozmowy z ostatniego tygodnia w formacie, który Państwo otrzymają | Pola, format, kompletność | B3 |
| 5 (15 min) | Zmienić jedną politykę (na przykład obniżyć maksymalną kwotę zwrotu), ponownie uruchomić zestaw testów, porównać wyniki | Wersjonowanie, zatwierdzanie, raport regresji, bramka wdrożeniowa | C3, C5, D2, D3 |
| 6 (10 min) | Przeprowadzić trzy trudne scenariusze: prośba nie na temat, zwrot poza polityką, klient proszący o człowieka | Odmowy, utrzymane limity, przekazanie z kontekstem | C4, E1, E3 |
| 7 (10 min) | Zatrzymać agenta dla jednego tematu i pokazać, dokąd trafiają rozmowy | Czas zatrzymania, trasa awaryjna | D5, E2 |
| 8 (15 min) | Omówić ostatnią zmianę modelu: powiadomienie, okno na testy, opcję wycofania | Informacje o wydaniu, środowisko testowe, przypięcie wersji | F1 do F3 |
Po demo warto zadać dwóm klientom referencyjnym o podobnym wolumenie i strukturze kanałów trzy pytania: co poszło źle w pierwszych trzech miesiącach, jak dostawca sobie z tym poradził i jak została zapowiedziana zmiana modelu. Odpowiedź na ostatnie pytanie pokazuje, czy F1 to polityka, czy obietnica.
Jak to łączy się z kontrolą jakości po uruchomieniu agenta?
Odpowiedzi z zapytania ofertowego stają się Państwa modelem operacyjnym, gdy agent zacznie działać: eksport z B3 zasila przeglądy jakości, zestaw testów z C2 staje się zestawem regresji, a proces reklamacji z H2 działa na wynikach Państwa audytu. Dostawca, który dobrze wypada w blokach B, C i H, sprawia, że niezależna kontrola jakości jest tania.
W praktyce wiele zespołów ocenia próbkę albo wszystkie rozmowy agenta AI według tej samej karty oceny, której używa dla konsultantów, dodaje kontrole wymyślonych faktów i zgodności z polityką i raportuje skorygowany wskaźnik rozwiązań obok liczby dostawcy. Jeśli ta ocena ma być zautomatyzowana, Kaizo ocenia 100% rozmów agentów AI według Państwa własnej karty oceny, w helpdesku, w którym te rozmowy już są, i łączy każdą ocenę z dowodem w rozmowie. Jak to działa, pokazuje strona o kontroli jakości agentów AI.
Kiedy to zapytanie ofertowe to więcej, niż potrzeba?
Ten zestaw pytań to więcej, niż potrzeba, gdy agent AI ma odpowiadać tylko na wąski zakres pytań informacyjnych, nie wykonuje działań w Państwa systemach i obsługuje kilkaset rozmów miesięcznie. Wtedy wystarczą kryteria wykluczające oraz bloki A, B i E. Resztę warto dodać, gdy agent zacznie zlecać zwroty, zmieniać zamówienia albo obsługiwać tematy regulowane.
To także złe narzędzie do pierwszego rozeznania rynku: najpierw lepiej wysłać krótkie zapytanie o informacje (RFI) albo przeprowadzić kilka rozmów rozpoznawczych, a potem wysłać to zapytanie ofertowe do trzech do pięciu finalistów.
Jak zacząć zapytanie ofertowe na agenta AI w tym tygodniu
Trzeba wybrać od 30 do 50 prawdziwych rozmów do demo i testu przed podpisaniem umowy, spisać kryteria wykluczające, skopiować 38 pytań obok pytań o funkcje, ustalić wagi na jednym spotkaniu i wysłać zapytanie z dwutygodniowym terminem.
- Wybrać od 30 do 50 rozmów, w tym pięć najtrudniejszych przypadków.
- Spisać kryteria wykluczające na podstawie tabeli powyżej i usunąć te, których Państwo nie potrzebują.
- Zapytać dział prawny, na które pytania o AI Act i RODO z bloku G chce dostać pisemne odpowiedzi.
- Poprosić dział finansów o wyliczenie miesięcznej faktury według definicji rozwiązania każdego dostawcy, na podstawie wolumenu z poprzedniego miesiąca.
- Zarezerwować dema według scenariusza na tydzień po otrzymaniu odpowiedzi.
Jeśli chcą Państwo zobaczyć, jak ocena każdej rozmowy agenta AI według własnej karty oceny działałaby obok wybranej platformy, warto umówić demo i przynieść swoją krótką listę.
Najczęściej zadawane pytania
Czym jest zapytanie ofertowe (RFP) na agenta AI?
Zapytanie ofertowe na agenta AI to prośba o ofertę wysyłana do dostawców agentów AI do obsługi klienta, tak aby ich odpowiedzi można było porównać na tych samych pytaniach. Opisuje Państwa wolumen, kanały i systemy, wymienia wymagania i kryteria wykluczające i prosi każdego dostawcę o odpowiedź z dowodem. Kompletne zapytanie obejmuje funkcje oraz warunki dotyczące jakości, nadzoru, danych i rozliczeń, które decydują, czy agent może działać na dużą skalę.
Do ilu dostawców wysłać zapytanie ofertowe na agenta AI?
Zwykle wystarczy od trzech do pięciu dostawców. Mniej daje niewiele do porównania, a więcej tworzy pracę przy ocenie i demach, która rzadko zmienia wynik. Listę warto najpierw zawęzić rozmowami rozpoznawczymi i odrzucić każdego dostawcę, który nie spełnia kryterium wykluczającego już w tej rozmowie, na przykład takiego, który nie umożliwia eksportu rozmów w trakcie umowy.
Płacić za rozwiązanie czy za rozmowę?
Płatność za rozwiązanie wiąże cenę dostawcy z wynikami, ale tylko wtedy, gdy „rozwiązane” jest zdefiniowane na piśmie, sprawdzane i można je zakwestionować. Płatność za rozmowę łatwiej przewidzieć i skontrolować. Niezależnie od jednostki warto przeliczyć wolumen z poprzedniego miesiąca według definicji każdego dostawcy i prosić o korekty, gdy audyt znajdzie rozliczone rozwiązania, które były błędne.
Jak długo powinien trwać pilotaż agenta AI przed podpisaniem umowy?
Pilotaż powinien trwać na tyle długo, żeby zobaczyć ponowne kontakty i kilka zmian polityk, co zwykle oznacza od czterech do ośmiu tygodni na określonym zestawie tematów. Kryteria sukcesu, metodę audytu i warunki wyjścia uzgadnia się przed startem, a zestaw testów uruchamia przed każdą zmianą wprowadzoną przez dostawcę w trakcie pilotażu i po niej.
Kto powinien brać udział w ocenie dostawcy agenta AI?
Support operations odpowiada za wymagania i demo. Dział jakości odpowiada za zestaw testów i ocenę rozmów, IT za integracje i działania, dział prawny i ochrony danych za blok G i umowę, a finanse za model rozliczeń. Przed wysłaniem zapytania warto wskazać jedną osobę decyzyjną, żeby wagi były ustalone z góry.






