Una RFP per un agente AI deve verificare se ci si può fidare dell’agente su larga scala, non solo che cosa sa fare. Aggiunga domande su come viene definita e fatturata una “risoluzione”, sull’accesso alle trascrizioni complete e ai log delle azioni, sull’esportazione per un QA indipendente, sui test di regressione, sui controlli di approvazione, sui log di audit, sugli incidenti, sul preavviso per i cambi di modello, sulle condizioni sui dati e sul supporto per l’AI Act.
In breve
- I modelli di RFP dei fornitori sono forti su funzionalità, canali e integrazioni, e deboli su come verificherà il lavoro dell’agente dopo la messa in produzione.
- La banca di domande qui sotto contiene 38 domande in 8 sezioni, ciascuna con com’è una buona risposta e un segnale d’allarme che dovrebbe abbassare il punteggio o chiudere la trattativa.
- Tratti la definizione di “risolto” ai fini della fatturazione, l’accesso a trascrizioni e log e il diritto di esportare le conversazioni per il suo QA come criteri di esclusione, non come funzionalità a punteggio.
- Un esempio pratico mostra come un tasso di errore del 18%, rilevato da un audit sulle risoluzioni fatturate, trasforma una risoluzione da 1,00 USD in 1,22 USD per risoluzione corretta.
- Chiuda con una demo con copione sulle sue conversazioni: otto compiti, nello stesso ordine per ogni finalista, valutati sulla stessa scala delle risposte scritte.
Questo articolo è per i team che acquistano una piattaforma di agenti AI per l’assistenza clienti, che la rosa comprenda Sierra, Decagon, Intercom Fin, Salesforce Agentforce, gli agenti AI di Zendesk, Ada o una soluzione interna. Non stila classifiche di fornitori. Le dà le domande che i loro modelli lasciano fuori. Se sta acquistando un software di controllo qualità e non un agente AI, usi invece la nostra RFP per software di controllo qualità con 40 domande e griglia di punteggio; questa pagina segue lo stesso formato.
Che cosa deve contenere una RFP per agenti AI oltre alle funzionalità?
Oltre alle funzionalità, una RFP per agenti AI deve contenere le condizioni che decidono se potrà verificare e controllare l’agente: come è definita una risoluzione fatturata, quali prove può vedere ed esportare, come le modifiche vengono testate e annunciate, quali azioni richiedono un’approvazione, come vengono gestiti gli incidenti e dove vanno i suoi dati. Le funzionalità decidono la demo; queste decidono il secondo anno.
La maggior parte dei modelli pubblicati, molti scritti dai fornitori di agenti AI, copre bene canali, lingue, integrazioni, fonti di conoscenza, passaggio a un operatore, sicurezza e prezzo, e va meno a fondo sulle domande che gli acquirenti sollevano quando l’agente è in produzione. La tabella confronta un modello tipico (diversi sono pubblicati sui siti dei fornitori, letti il 13 novembre 2026) con questa banca di domande.
| Tema | Modello tipico del fornitore | Questa banca di domande |
|---|---|---|
| Canali, integrazioni, fonti di conoscenza | Trattati a fondo | Lasciati alla sua sezione sulle funzionalità |
| Come è definito “risolto” | Chiesto spesso | Chiesto, con il trigger, la finestra temporale e la verifica |
| Contestare le risoluzioni fatturate | Raramente, e senza un processo | Una finestra di contestazione, regole sulle prove e note di credito |
| Trascrizioni complete e log delle azioni | In parte (riepiloghi, alcuni log) | Trascrizioni grezze, chiamate agli strumenti e conoscenza usata, per conversazione |
| Esportazione per un QA indipendente durante il contratto | Per lo più solo alla fine del contratto | Esportazione continua, in un formato documentato |
| Test di regressione dopo la messa in produzione | Un test prima della firma | Una suite di test rieseguita prima di ogni modifica |
| Preavviso per i cambi di modello | A volte, senza punteggio | Preavviso scritto, una finestra di test e un’alternativa di ripiego |
| Processo per gli incidenti specifico per l’AI | Raramente | Gravità, tempi di notifica, comando di arresto e un report scritto |
| Supporto ai deployer per l’AI Act | Non trovato | Ruoli, informativa, documentazione e log |
La lacuna non è un caso: un team commerciale può rispondere a una domanda sulle funzionalità durante una demo, ma le contestazioni di fatturazione o il preavviso per i cambi di modello richiedono una risposta scritta di ufficio legale e prodotto che diventa una clausola del contratto.
Perché la definizione di “risolto” deve stare nella RFP?
La definizione di “risolto” deve stare nella RFP perché di solito è sia la metrica di successo principale sia l’unità di fatturazione, e i fornitori la definiscono in modo diverso. Una risoluzione contata quando il cliente smette semplicemente di rispondere non equivale a una verificata rispetto alla risposta, all’azione e ai ricontatti. La differenza si vede in fattura.
Due esempi pubblici mostrano la varietà. Intercom conta una risoluzione di Fin quando, dopo l’ultima risposta di Fin, il cliente conferma che è stata utile oppure “esce dalla conversazione senza chiedere ulteriore assistenza”, e storna l’addebito se il cliente torna in quella conversazione per avere altro aiuto (centro assistenza Intercom, in inglese). Zendesk fattura le risoluzioni automatizzate e, per il livello verificato, fa rileggere la conversazione a un modello linguistico di grandi dimensioni quando si chiude, cioè per impostazione predefinita 2 ore dopo il primo messaggio per la messaggistica e 72 ore per l’email (centro assistenza Zendesk, in inglese).
Nessuna delle due definizioni, così come è documentata, verifica se la risposta era corretta rispetto alla sua policy o se il rimborso promesso è stato elaborato. Quello è compito suo, e la sua RFP deve chiedere come il fornitore la aiuta a farlo. La nostra guida all’audit del tasso di risoluzione degli agenti AI descrive il metodo di campionamento, e il tasso di risoluzione corretta è la metrica da riportare accanto al numero del fornitore.
Esempio pratico: che cosa fa un audit al prezzo di una risoluzione
È un’illustrazione con numeri inventati, non dati di un fornitore.
| Voce | Valore |
|---|---|
| Conversazioni gestite dall’agente AI in un mese | 40.000 |
| Risoluzioni fatturate riportate dal fornitore | 24.000 (60%) |
| Prezzo per risoluzione (illustrativo) | 1,00 USD |
| Fattura mensile | 24.000 USD |
| Risoluzioni fatturate verificate (campione casuale) | 400 |
| Non hanno superato l’audit (risposta sbagliata, azione non eseguita, violazione di policy o ricontatto entro 7 giorni) | 72 (18%) |
| Risoluzioni corrette stimate | 24.000 × 0,82 = 19.680 |
| Costo per risoluzione corretta | 24.000 USD ÷ 19.680 = 1,22 USD |
| Margine di errore sul 18% con 400 verificate (95%) | circa ±3,8 punti |
| Nota di credito se le risoluzioni fallite vengono rimborsate | 24.000 × 0,18 × 1,00 USD = 4.320 USD al mese |
Il margine di errore viene da 1,96 × √(0,18 × 0,82 ÷ 400) = 0,038. Il tasso di errore reale sta quindi probabilmente tra circa il 14% e il 22%, un dato abbastanza preciso per negoziare. Senza una clausola di contestazione nel contratto (domande H2 e H3 qui sotto), i 4.320 USD restano in fattura ogni mese.
La banca di domande per la RFP di un agente AI (38 domande da copiare)
Queste 38 domande coprono le otto aree in cui le piattaforme di agenti AI differiscono di più su qualità e governance. Le copi accanto alle sue domande sulle funzionalità, mantenga la numerazione e chieda una prova per ogni risposta: uno screenshot, un documento, una clausola contrattuale o una dimostrazione dal vivo. Un “sì” senza prova vale come nessuna risposta.
Sezione A: definizione e fatturazione delle risoluzioni (5 domande)
| # | Domanda | Com’è una buona risposta | Segnale d’allarme |
|---|---|---|---|
| A1 | Che cosa fa scattare esattamente una risoluzione fatturata, per ogni canale? | Una regola scritta per canale: il trigger, la finestra temporale e che cosa è escluso | “Lo decide la nostra AI”, senza regola scritta |
| A2 | Come viene verificata una risoluzione prima di essere fatturata? | Un controllo descritto (conferma del cliente, revisione con LLM, finestra di ricontatto) che può vedere per ogni conversazione | Il silenzio del cliente contato come successo, senza finestra |
| A3 | Che cosa succede quando il cliente torna sullo stesso problema? | La risoluzione viene stornata o non fatturata entro una finestra dichiarata, per esempio 7 giorni | Il ricontatto fatturato come una nuova risoluzione |
| A4 | Possiamo vedere, per ogni conversazione fatturata, perché è stata contata come risolta? | Un campo o una voce di log per conversazione, esportabile | Solo un totale mensile in fattura |
| A5 | Riportate le risoluzioni separatamente da contenimento e deflessione? | Definizioni separate e numeri separati | Un unico “tasso di automazione” che li mescola |
Sezione B: trascrizioni, log delle azioni ed esportazione (5 domande)
| # | Domanda | Com’è una buona risposta | Segnale d’allarme |
|---|---|---|---|
| B1 | Possiamo accedere alla trascrizione completa di ogni conversazione dell’agente AI, compresi i passaggi interni? | Ogni messaggio, più gli articoli della knowledge base e le istruzioni usate per ogni risposta | Solo riepiloghi, o un campione |
| B2 | Registrate ogni azione e chiamata a strumenti dell’agente, con input e risultati? | Un log per conversazione: quale sistema, quale chiamata, quali parametri, esito positivo o negativo | “Le azioni sono registrate nel sistema di destinazione”, senza nulla dalla sua parte |
| B3 | Possiamo esportare in modo continuo tutte le conversazioni e i log durante il contratto, per il nostro QA? | Un’API o un’esportazione programmata in un formato documentato, senza costi aggiuntivi, verso uno strumento di sua scelta | Esportazione solo alla risoluzione del contratto, o solo verso gli analytics del fornitore |
| B4 | Per quanto tempo conservate trascrizioni e log, e possiamo impostare il periodo? | Un periodo di conservazione predefinito e uno configurabile, per tipo di dato | Nessun periodo dichiarato, o cancellazioni che non può controllare |
| B5 | Un revisore indipendente può vedere le stesse prove usate dalle vostre dashboard? | La stessa conversazione, gli stessi passaggi e campi di esito, esportabili | Un punteggio o un’etichetta senza accesso alla conversazione sottostante |
La domanda B3 è quella che la maggior parte dei modelli salta, ed è quella che conta di più se vuole valutare le conversazioni dell’agente AI con la sua scheda di valutazione, come descriviamo nella nostra guida alla valutazione degli agenti AI.
Sezione C: test e regressione (5 domande)
| # | Domanda | Com’è una buona risposta | Segnale d’allarme |
|---|---|---|---|
| C1 | Prima della firma farete girare l’agente su un insieme delle nostre conversazioni storiche e ci condividerete ogni risultato? | Un test su diverse centinaia di sue conversazioni reali, con ogni risposta visibile | Una demo solo sui dati di esempio del fornitore |
| C2 | Possiamo creare e salvare i nostri casi di test, comprese le risposte e le azioni attese? | Una libreria di test che le appartiene e che può esportare | Test che solo il team del fornitore può creare |
| C3 | Possiamo rieseguire l’intero set di test prima di ogni modifica a prompt, knowledge base, policy o modello? | Esecuzioni di regressione con un clic o programmate, con un confronto con l’esecuzione precedente | I test sono un’attività una tantum all’onboarding |
| C4 | Possiamo simulare clienti difficili: domande fuori tema, clienti arrabbiati, tentativi di ottenere un rimborso fuori policy? | Conversazioni simulate da copioni o personas, con risultati che può rivedere | “Il modello lo gestisce”, senza modo di verificarlo |
| C5 | Possiamo bloccare un rilascio quando i test falliscono? | Un controllo di rilascio con una soglia di superamento che fissa lei | Le modifiche vanno in produzione appena salvate |
La nostra guida ai test degli agenti AI spiega come costruire un set di test di riferimento a partire da conversazioni reali e che cosa deve verificare un controllo di rilascio.
Sezione D: policy e controlli di approvazione (5 domande)
| # | Domanda | Com’è una buona risposta | Segnale d’allarme |
|---|---|---|---|
| D1 | Quali azioni può eseguire l’agente da solo, e possiamo richiedere un’approvazione per tipo di azione? | Un elenco di azioni con un’impostazione per ciascuna: consentita, soggetta ad approvazione, bloccata | Tutte le azioni attive o tutte disattivate |
| D2 | Come vengono fatti rispettare i limiti, per esempio un tetto ai rimborsi? | Limiti verificati dal sistema prima che l’azione venga eseguita, non solo scritti nel prompt | Limiti scritti solo come istruzioni al modello |
| D3 | Chi può modificare prompt, policy e knowledge base, e ogni modifica è approvata e versionata? | Ruoli, un passaggio di approvazione, cronologia delle versioni e rollback | Qualsiasi amministratore modifica in produzione, senza cronologia |
| D4 | Possiamo limitare l’agente a determinati temi, clienti o canali? | Perimetro per intento, segmento e canale | Un unico interruttore globale |
| D5 | Possiamo fermare rapidamente l’agente, per un tema o del tutto, e indirizzare le conversazioni alle persone? | Un comando di arresto documentato per tema e globale, con un percorso di ripiego | Per fermarlo serve un ticket al fornitore |
Sezione E: passaggio a un operatore ed escalation (4 domande)
| # | Domanda | Com’è una buona risposta | Segnale d’allarme |
|---|---|---|---|
| E1 | Quali trigger passano una conversazione a una persona, e possiamo modificarli? | Trigger configurabili: richiesta di un operatore, frustrazione, temi a rischio, errori ripetuti | Un insieme fisso che non può vedere |
| E2 | Un cliente può sempre raggiungere una persona, e in quanto tempo? | Un percorso e un tempo dichiarati per canale | L’agente trattiene il cliente quando chiede un operatore |
| E3 | Che cosa riceve l’operatore al momento del passaggio? | La trascrizione completa, le azioni eseguite e il motivo del passaggio | Un riepilogo di una riga |
| E4 | Come riportate i passaggi avvenuti troppo tardi? | Un report delle conversazioni con diversi tentativi falliti prima del passaggio | Il passaggio contato solo come un fallimento dell’AI |
Un agente che trattiene un cliente che ha chiesto una persona trasforma una risposta sbagliata in un reclamo. Veda la nostra scheda di valutazione per il passaggio dal chatbot all’operatore per sapere che cosa valutare.
Sezione F: gestione delle modifiche e incidenti (5 domande)
| # | Domanda | Com’è una buona risposta | Segnale d’allarme |
|---|---|---|---|
| F1 | Ci avviserete prima di cambiare il modello sottostante o la sua versione, e con quanto anticipo? | Preavviso scritto con un numero di giorni stabilito, con note di rilascio | “Miglioriamo continuamente il modello” |
| F2 | Possiamo testare un cambio di modello sul nostro set di test prima che raggiunga i nostri clienti? | Un ambiente di anteprima o di staging per il nuovo modello | Le modifiche arrivano prima in produzione |
| F3 | Possiamo restare sul modello precedente per un periodo se i nostri test falliscono? | Un’opzione di rollback o di blocco della versione per un periodo dichiarato | Nessuna possibilità di rinvio |
| F4 | Qual è il vostro processo per gli incidenti in caso di risposte dannose o sbagliate su larga scala? | Livelli di gravità, tempi di notifica, un referente nominato e un report scritto dopo ogni incidente | Solo uno SLA sull’uptime |
| F5 | Come rilevate un calo di qualità quando nella nostra configurazione non è cambiato nulla? | Monitoraggio della qualità delle risposte, con allarmi che può impostare | Il calo lo scoprono i suoi clienti |
Un calo di qualità senza modifiche di configurazione è un timore reale per chi acquista: in una discussione della community di Intercom (novembre 2025), un cliente ha riferito che Fin aveva iniziato a dare risposte sbagliate anche se “tutti i contenuti erano rimasti gli stessi” (community Intercom, in inglese). F1 e F5 esistono per quel momento; la nostra guida al monitoraggio degli agenti AI descrive gli allarmi da impostare.
Sezione G: dati, privacy e regolamentazione (5 domande)
| # | Domanda | Com’è una buona risposta | Segnale d’allarme |
|---|---|---|---|
| G1 | Dove vengono conservati e trattati i nostri dati, anche da parte del fornitore del modello? | Regioni indicate per nome, e la scelta della regione dove le serve | “Nel cloud” |
| G2 | Chi sono i vostri sub-responsabili del trattamento, compresi i fornitori del modello, e come ci avvisate dei cambiamenti? | Un elenco pubblicato e un preavviso con diritto di opposizione | Un elenco disponibile “su richiesta”, senza preavviso |
| G3 | Voi o i fornitori del modello usate le nostre conversazioni per addestrare o migliorare i modelli? | Un no chiaro e scritto, oppure un consenso esplicito, nel contratto | Una possibilità di rinuncia nascosta nelle condizioni |
| G4 | Ai sensi dell’AI Act, quale ruolo assumete, e come ci supportate in quanto deployer? | Un ruolo dichiarato, l’informativa che il cliente sta parlando con un’IA, documentazione e log che può conservare | “L’AI Act non ci riguarda” |
| G5 | Possiamo sottoporvi ad audit, o ricevere report di audit indipendenti? | Report aggiornati sotto NDA e una clausola di audit | Nessun report, o report su un prodotto diverso |
Alcune di queste domande poggiano sulla legge. Ai sensi del GDPR, un responsabile del trattamento non può ricorrere a un altro responsabile senza la sua autorizzazione scritta e, in caso di autorizzazione generale, deve informarla delle modifiche previste perché lei possa opporsi; deve inoltre consentire le attività di audit (articolo 28 del GDPR). Quando il fornitore del modello è un sub-responsabile del fornitore, un cambio di fornitore del modello dovrebbe raggiungerla attraverso quella comunicazione. Una nuova versione del modello dello stesso fornitore di solito no, ed è per questo che la domanda F1 la chiede separatamente.
L’AI Act (il regolamento europeo sull’IA) chiede ai fornitori di garantire che le persone sappiano di interagire con un sistema di IA, dal 2 agosto 2026 (FAQ della Commissione europea sull’articolo 50). Gli obblighi di alfabetizzazione in materia di IA per fornitori e deployer si applicano dal 2 febbraio 2025 (Commissione europea). Se un utilizzo è considerato ad alto rischio, i deployer devono anche monitorare il sistema e conservarne i log per almeno sei mesi (regolamento (UE) 2024/1689, articolo 26). La maggior parte degli agenti di assistenza non è ad alto rischio, ma a deciderlo è il suo ufficio legale, non il fornitore. Il nostro articolo sull’AI Act nel servizio clienti spiega le classi di rischio.
Sezione H: condizioni commerciali e contestazioni (4 domande)
| # | Domanda | Com’è una buona risposta | Segnale d’allarme |
|---|---|---|---|
| H1 | Quanto paghiamo per una conversazione non risolta, passata a un operatore o abbandonata? | Una tabella prezzi per tipo di esito | Addebiti per esiti che non sono nella tabella |
| H2 | Come contestiamo una risoluzione fatturata, ed entro quale finestra? | Un processo di contestazione con una finestra, le prove accettate (per esempio il suo audit) e i tempi | Contestazioni “gestite caso per caso” |
| H3 | Emettete note di credito per le risoluzioni che il nostro audit dimostra sbagliate? | Note di credito, o un adeguamento del prezzo, quando il tasso di errore verificato supera una soglia concordata | Fatturazione basata solo sul conteggio del fornitore |
| H4 | Che cosa succede a prezzi e impegni di volume quando la qualità delle risoluzioni scende sotto un livello concordato? | Un rimedio: note di credito, diritto di sospensione o diritto di recesso | Impegni minimi senza alcuna condizione di qualità |
Le clausole contrattuali che le permettono di contestare le risoluzioni e di ottenere note di credito fanno sì che l’audit dell’esempio pratico si ripaghi da solo.
Come si assegna un punteggio alle risposte di una RFP per agenti AI?
Assegni il punteggio alle risposte in due passaggi. Prima applichi i criteri di esclusione: qualsiasi fornitore che ne fallisce uno è fuori, qualunque sia il suo punteggio sulle funzionalità. Poi valuti ogni risposta rimanente da 0 a 3 secondo definizioni scritte, pesi le sezioni e risolva i totali ravvicinati con la demo con copione invece che con un foglio di calcolo più lungo.
Usi la stessa scala da 0 a 3 della nostra RFP per software di controllo qualità: 0 per nessuna risposta, 1 per limiti importanti o “in roadmap”, 2 per requisito soddisfatto con prove parziali, 3 per requisito soddisfatto con prove mostrate. Un “sì” senza prove vale 0.
| Criterio di esclusione | Domande | Perché è un criterio di esclusione |
|---|---|---|
| Una definizione scritta di risoluzione fatturata | A1, A2 | Senza, non può verificare una fattura |
| Trascrizioni complete e log delle azioni per conversazione | B1, B2 | Senza prove, niente QA e niente analisi degli incidenti |
| Esportazione continua per il suo QA | B3 | I suoi numeri di qualità dipenderebbero solo da quelli del fornitore |
| Un comando di arresto e un percorso sempre disponibile verso una persona | D5, E2 | Danni ai clienti mentre aspetta la risposta a un ticket |
| Condizioni scritte sui dati: localizzazione, sub-responsabili, addestramento | Da G1 a G3 | L’ufficio legale bloccherà comunque il contratto più avanti |
Una ponderazione di partenza per i team che hanno già la rosa basata sulle funzionalità; la concordi con assistenza, IT, ufficio legale e ufficio acquisti prima che arrivino le risposte, e non la cambi dopo.
| Sezione | Peso |
|---|---|
| A. Definizione e fatturazione delle risoluzioni | 15 |
| B. Trascrizioni, log ed esportazione | 15 |
| C. Test e regressione | 20 |
| D. Policy e controlli di approvazione | 15 |
| E. Passaggio a un operatore ed escalation | 10 |
| F. Gestione delle modifiche e incidenti | 15 |
| G. Dati, privacy e regolamentazione | 5 (dopo il criterio di esclusione) |
| H. Condizioni commerciali e contestazioni | 5 |
| Totale | 100 |
Il punteggio ponderato è la somma, per ogni sezione, del peso per il punteggio medio, divisa per 3: un fornitore che ottiene 3 ovunque arriva a 100. Faccia valutare due persone separatamente e discuta ogni domanda su cui differiscono di più di un punto. I nostri controlli di governance per gli agenti AI la aiutano a decidere quali parti delle sezioni D e F servono di più alla sua organizzazione.
Che cosa deve includere una demo con copione di un agente AI?
Una demo con copione di un agente AI deve mostrare ogni finalista mentre fa passare le sue conversazioni attraverso gli stessi compiti, nello stesso ordine, nello stesso tempo. Invii il copione una settimana prima, chieda di caricare il suo set di test e valuti ogni compito sulla scala da 0 a 3. Sta testando i controlli del prodotto, non chi presenta.
Preveda 90 minuti per fornitore. Porti da 30 a 50 conversazioni reali della sua coda, senza dati personali, comprese alcune che il suo team ha gestito male.
| Passo | Compito per il fornitore | Che cosa verifica | Domande collegate |
|---|---|---|---|
| 1 (10 min) | Rispondere dal vivo a 10 delle sue conversazioni, scelte da lei il giorno stesso | Risposta giusta, tono giusto, fonti mostrate | C1 |
| 2 (10 min) | Aprire una risoluzione fatturata e mostrare perché è stata contata | Il trigger, la finestra e la verifica per quella conversazione | A1, A2, A4 |
| 3 (10 min) | Mostrare la trascrizione completa e il log delle azioni di una conversazione che ha emesso un rimborso o modificato un ordine | Ogni chiamata a strumenti, i suoi parametri e il suo risultato | B1, B2 |
| 4 (10 min) | Esportare le conversazioni della settimana scorsa nel formato che riceverebbe | Campi, formato, completezza | B3 |
| 5 (15 min) | Modificare una policy (per esempio abbassare il tetto ai rimborsi), rieseguire il set di test, confrontare i risultati | Versionamento, approvazione, report di regressione, controllo di rilascio | C3, C5, D2, D3 |
| 6 (10 min) | Eseguire tre scenari ostili: una richiesta fuori tema, un rimborso fuori policy, un cliente che chiede un operatore | Rifiuti, limiti rispettati, passaggio con contesto | C4, E1, E3 |
| 7 (10 min) | Fermare l’agente per un tema e mostrare dove vanno le conversazioni | Tempo di arresto, percorso di ripiego | D5, E2 |
| 8 (15 min) | Ripercorrere l’ultimo cambio di modello: il preavviso, la finestra di test, l’opzione di rollback | Note di rilascio, staging, blocco della versione | Da F1 a F3 |
Dopo la demo, faccia tre domande a due referenze con un volume e un mix di canali simili: che cosa è andato storto nei primi tre mesi, come l’ha gestito il fornitore e come è stato annunciato un cambio di modello. La risposta all’ultima le dice se F1 è una policy o una promessa.
Come si collega tutto questo al QA quando l’agente è in produzione?
Quando l’agente è in produzione, le risposte alla RFP diventano il suo modello operativo: l’esportazione della domanda B3 alimenta le revisioni di qualità, il set di test della C2 diventa la sua suite di regressione e il processo di contestazione della H2 si basa sui risultati del suo audit. Un fornitore con buoni punteggi su B, C e H rende economico un QA indipendente.
In pratica, molti team valutano un campione o tutte le conversazioni dell’agente AI con la stessa scheda di valutazione che usano per gli operatori, aggiungono controlli su fatti inventati e policy, e riportano un tasso di risoluzione corretto accanto a quello del fornitore. Se vuole automatizzare questa valutazione, Kaizo valuta il 100% delle conversazioni degli agenti AI con la sua scheda di valutazione, dentro l’helpdesk in cui già si trovano, e collega ogni punteggio alle prove nella conversazione. Veda il controllo qualità degli agenti AI per capire come funziona.
Quando questa RFP è più di quanto le serve?
Questa banca di domande è più di quanto le serve quando l’agente AI risponderà solo a un insieme ristretto di domande informative, non eseguirà azioni nei suoi sistemi e gestirà qualche centinaio di conversazioni al mese. In quel caso bastano i criteri di esclusione e le sezioni A, B ed E. Aggiunga il resto quando l’agente inizia a emettere rimborsi, modificare ordini o trattare temi regolamentati.
È anche lo strumento sbagliato per una prima esplorazione del mercato: faccia prima una breve richiesta di informazioni o qualche call conoscitiva, poi invii questa RFP a un numero di finalisti da tre a cinque.
Come avviare la sua RFP per agenti AI questa settimana
Selezioni da 30 a 50 conversazioni reali per la demo e per il test prima della firma, scriva i suoi criteri di esclusione, copi le 38 domande accanto a quelle sulle funzionalità, fissi i pesi in una sola riunione e invii la RFP con una scadenza di due settimane.
- Scelga le 30 a 50 conversazioni, compresi i suoi cinque casi più difficili.
- Scriva i suoi criteri di esclusione partendo dalla tabella qui sopra, ed elimini quelli che non le servono.
- Chieda all’ufficio legale a quali domande su AI Act e GDPR della sezione G vuole una risposta scritta.
- Chieda alla finanza di stimare la sua fattura mensile secondo la definizione di risoluzione di ogni fornitore, usando il volume del mese scorso.
- Fissi le demo con copione per la settimana successiva all’arrivo delle risposte.
Se vuole vedere come funzionerebbe la valutazione di ogni conversazione dell’agente AI con la sua scheda di valutazione accanto alla piattaforma che sceglierà, prenoti una demo e porti la sua rosa di fornitori.
Domande frequenti
Che cos’è una RFP per agenti AI?
Una RFP per agenti AI è una richiesta di proposta inviata ai fornitori di agenti AI per il servizio clienti, così da poter confrontare le loro risposte sulle stesse domande. Descrive volumi, canali e sistemi, elenca requisiti e criteri di esclusione e chiede a ogni fornitore di rispondere con prove. Una RFP completa copre le funzionalità e le condizioni su qualità, governance, dati e fatturazione che decidono se l’agente può funzionare su larga scala.
A quanti fornitori inviare una RFP per agenti AI?
Di solito bastano da tre a cinque fornitori. Meno danno poco da confrontare, e di più generano un lavoro di valutazione e di demo che raramente cambia il risultato. Restringa prima la lista con alcune call conoscitive ed escluda qualsiasi fornitore che fallisce un criterio di esclusione già in quella call, per esempio uno che non può esportare le conversazioni durante il contratto.
Meglio pagare per risoluzione o per conversazione?
Pagare per risoluzione allinea il prezzo del fornitore ai risultati, ma solo se “risolto” è definito per iscritto, verificato e contestabile. Pagare per conversazione è più semplice da prevedere e da verificare. Qualunque unità scelga, simuli il volume del mese scorso con la definizione di ogni fornitore e chieda note di credito quando il suo audit trova risoluzioni fatturate che erano sbagliate.
Quanto deve durare un progetto pilota di un agente AI prima della firma?
Un progetto pilota deve durare abbastanza da vedere i ricontatti e qualche modifica di policy, il che di solito significa da quattro a otto settimane su un insieme definito di temi. Concordi i criteri di successo, il metodo di audit e le condizioni di uscita prima di iniziare, e faccia girare il suo set di test prima e dopo ogni modifica che il fornitore apporta durante il pilota.
Chi deve partecipare alla valutazione di un fornitore di agenti AI?
Le support operations sono responsabili dei requisiti e della demo. Il QA è responsabile del set di test e della valutazione delle conversazioni, l’IT delle integrazioni e delle azioni, l’ufficio legale e privacy della sezione G e del contratto, e la finanza del modello di fatturazione. Nomini un unico responsabile della decisione prima di inviare la RFP, così i pesi sono fissati in anticipo.
