Gli strumenti di valutazione degli agenti AI verificano se le risposte di un agente AI sono corrette, consentite e gestite bene; gli strumenti di monitoraggio continuano a osservarlo quando parla con i clienti. I team di assistenza ne usano quattro tipi: strumenti di eval e osservabilità per sviluppatori come LangSmith e Langfuse, i test integrati in Zendesk, Salesforce e Intercom, gli strumenti di test per chatbot e gli strumenti di QA delle conversazioni, che valutano le conversazioni reali con i clienti secondo il suo standard.
In breve
- La maggior parte degli elenchi di strumenti di valutazione degli agenti AI è scritta per ingegneri: LangSmith, Langfuse, Arize Phoenix, Braintrust e DeepEval tracciano e testano l’agente, ma i loro punteggi raramente coincidono con una scorecard di assistenza.
- Zendesk, Salesforce Agentforce e Intercom Fin offrono test per il proprio agente AI. Sono utili prima di un rilascio e si fermano a quella piattaforma.
- Gli strumenti di test per chatbot come Botium e Promptfoo eseguono su larga scala set di test con copione e test avversari. Verificano ciò che lei ha previsto, non ciò che hanno fatto i clienti.
- Gli strumenti di QA delle conversazioni valutano le conversazioni reali già risolte con la sua scorecard, con una prova per ogni punteggio. È il livello di cui è responsabile il QA lead.
- Quasi tutti i team con un agente AI in produzione hanno bisogno di uno strumento prima del rilascio e di uno dopo. Scelga in base alla domanda a cui oggi non sa rispondere.
Questa guida è per responsabili dell’assistenza, QA lead e support operations, non per gli ingegneri che costruiscono l’agente. Se prima le serve il metodo, legga la nostra guida alla valutazione degli agenti AI. Se sa già di voler valutare ogni conversazione del suo agente AI, veda come funziona il controllo qualità degli agenti AI in Kaizo.
A cosa servono gli strumenti di valutazione degli agenti AI per un team di assistenza?
Gli strumenti di valutazione degli agenti AI danno a un team di assistenza la prova che il suo agente AI risponde correttamente, rispetta le policy e passa la conversazione quando deve. Lavorano in due momenti: su conversazioni di test prima di pubblicare una modifica e sulle conversazioni reali dei clienti dopo il lancio. Uno strumento che conta solo le risoluzioni automatiche misura il volume, non la qualità.
I nomi degli strumenti che si cercano si sovrappongono. Ecco cosa indicano di solito:
| Cosa si cerca | Cosa fa lo strumento | La domanda a cui risponde |
|---|---|---|
| Strumenti di valutazione degli agenti AI | Valuta le risposte con criteri scritti, nei test o in produzione | La risposta era corretta e consentita? |
| Strumenti di monitoraggio degli agenti AI | Osserva le conversazioni dal vivo e genera avvisi | Qualcosa sta andando storto adesso? |
| Strumenti di osservabilità degli agenti AI | Registra ogni passaggio di un’esecuzione: chiamate al modello, chiamate agli strumenti, costo, latenza | Perché questa esecuzione è fallita? |
| Strumenti di test per agenti AI e chatbot | Esegue conversazioni con copione o simulate prima di un rilascio | Questa modifica rompe qualcosa? |
Gli elenchi di strumenti che oggi si posizionano confrontano profondità delle tracce, pipeline CI e controllo dei costi. Nei tre che abbiamo letto il 19 novembre 2026 (di MLflow, Amplitude e Sematext), nessuno cita la CSAT, l’escalation o il passaggio a una persona. Proprio ciò di cui risponde un responsabile dell’assistenza.
Quali strumenti di valutazione e monitoraggio degli agenti AI esistono?
Esistono quattro categorie di strumenti di valutazione e monitoraggio degli agenti AI: piattaforme di eval e osservabilità per sviluppatori, i test e le analisi della piattaforma dell’agente, strumenti di test per chatbot e strumenti di QA delle conversazioni. Si differenziano per chi li usa, per le conversazioni che guardano (di test o reali) e per la definizione di “buono” che applicano.
| Categoria | Esempi | Utente principale | Cosa guarda | Dove si ferma per l’assistenza |
|---|---|---|---|---|
| Eval e osservabilità per sviluppatori | LangSmith, Langfuse, Arize Phoenix, Braintrust, DeepEval | Ingegneri AI | Tracce, dataset di test, parte del traffico reale | I criteri stanno nel codice; nessun legame con la sua scorecard o la CSAT |
| Test della piattaforma | Agenti AI di Zendesk, Salesforce Agentforce Testing Center, Intercom Fin Evals | Responsabile dell’agente AI | Conversazioni di test e simulate | Una sola piattaforma, e solo i casi che qualcuno ha scritto |
| Test per chatbot | Cyara Botium, Promptfoo | Ingegneri QA, team AI | Set di test con copione e avversari | Verifica ciò che era previsto, non ciò che hanno chiesto i clienti |
| QA delle conversazioni | Zendesk QA, Kaizo | QA lead, support operations | Conversazioni reali risolte | Interviene dopo la conversazione, non prima di un rilascio |
La maggior parte dei team enterprise finisce con uno strumento della prima o seconda riga per il team AI e uno dell’ultima riga per l’assistenza.
Cosa mostrano gli strumenti di osservabilità degli agenti AI come LangSmith e Langfuse?
Gli strumenti di osservabilità degli agenti AI come LangSmith e Langfuse mostrano cosa è successo in ogni esecuzione: quale modello e quali strumenti ha chiamato l’agente, in che ordine, quanto è costato e dove è fallito. La maggior parte ora aggiunge anche eval, con dataset di test, giudici LLM e revisione umana. La sua scorecard di assistenza non è inclusa.
Cosa dice la documentazione di ciascun fornitore, verificata il 19 novembre 2026:
| Strumento | Cosa fa secondo la sua documentazione | Da sapere |
|---|---|---|
| LangSmith (LangChain) | Valutazione offline su dataset selezionati prima del rilascio, valutazione online delle interazioni reali, LLM-as-judge e revisione umana | Le tracce di produzione fallite si possono aggiungere a un dataset, così gli errori reali diventano test |
| Langfuse | Tracce, LLM-as-a-judge su tracce di produzione o sviluppo, code di annotazione per la revisione umana, dataset, gestione dei prompt | Open source e installabile sui propri server |
| Arize Phoenix | Tracce, valutazioni, dataset ed esperimenti | Basato su OpenTelemetry, sviluppato da Arize AI e dalla community open source |
| Braintrust | Si definisce piattaforma di osservabilità per agenti: esperimenti, monitoraggio in produzione, feedback umano per creare dataset | Forte nel confronto tra prompt e modelli |
| DeepEval | Pacchetto di eval open source che si integra con Pytest e gira in locale | Confident AI, del team dietro DeepEval, aggiunge in opzione le tracce di produzione |
Per un responsabile dell’assistenza questi strumenti contano perché il suo team AI ne usa già uno. Si fermano in tre punti. I criteri li scrivono gli ingegneri nel codice, quindi “violazione della policy” significa ciò che controlla il valutatore. Vedono tracce, non ticket, quindi CSAT, riaperture e reclami stanno in un altro sistema. E sono fatti per fare il debug di un’esecuzione, non per dirle quanti clienti hanno ricevuto una risposta sbagliata la settimana scorsa.
Chieda tre cose al suo team AI: l’elenco dei valutatori con una definizione di una riga ciascuno, il tasso di errore per criterio e un campione settimanale di conversazioni fallite collegate alla sua scorecard.
Quali strumenti di test per agenti AI sono integrati in Zendesk, Salesforce e Intercom?
Zendesk, Salesforce e Intercom includono strumenti di test per il proprio agente AI. Zendesk ha un widget di test, Salesforce l’Agentforce Testing Center, Intercom gli Evals e il Batch test per Fin. Sono il modo più rapido per testare una modifica prima del rilascio e coprono solo gli agenti creati su quella piattaforma.
| Piattaforma | Test integrati secondo la documentazione del fornitore | Dove si ferma |
|---|---|---|
| Agenti AI di Zendesk | Un widget di test simula l’esperienza del cliente e testa i flussi di dialogo. Le conversazioni di test vengono registrate nei log delle conversazioni e non contano come risoluzioni automatiche. | Il widget non è integrato con il CRM; Zendesk indica di testare gli eventi CRM nel Web Widget |
| Salesforce Agentforce | Il Testing Center esegue set di test e segna ogni test come superato o no in base al subagent scelto, alle azioni eseguite e alla risposta, con una percentuale di superamento per ciascuno | Confronta con il risultato atteso che lei ha scritto per ogni test |
| Intercom Fin | Gli Evals raggruppano simulazioni a più turni di un cliente che parla con Fin; un giudice LLM valuta ciascuna con i controlli che lei definisce, compreso il passaggio a un operatore. Fino a 50 simulazioni per Eval, con un limite mensile legato al volume di conversazioni. Il Batch test verifica domande a turno singolo che lei valuta a mano; dal 5 novembre 2026 i nuovi workspace usano invece gli Evals. | Clienti simulati, non reali |
Se il suo agente AI vive su una di queste piattaforme, parta da qui prima di acquistare qualcosa. Il limite è lo stesso per tutte e tre: testano i casi che qualcuno ha scritto. La conversazione che fa danni di solito è quella che nessuno aveva previsto.
Quali strumenti di test per chatbot servono ancora con gli agenti AI?
Gli strumenti di test per chatbot servono ancora quando modifica spesso un agente AI e deve eseguire centinaia di casi di regressione sempre allo stesso modo. Cyara Botium copre test funzionali e di regressione per chatbot, voicebot e IVR. Promptfoo è uno strumento open source a riga di comando per valutare e sottoporre a red teaming applicazioni LLM in una pipeline CI/CD.
- Cyara Botium è pensato per team di contact center che testano insieme chatbot e flussi IVR, con regressioni dopo ogni aggiornamento.
- Promptfoo è adatto a un team AI che vuole i casi di test in un file accanto al codice, più il red teaming contro prompt injection e altri attacchi.
- Un foglio di calcolo con 50 conversazioni reali e un risultato atteso per riga resta il punto di partenza giusto per la maggior parte dei team di assistenza.
Cosa entra nel set di test conta più dello strumento. Le nostre guide al test chatbot e al test degli agenti AI mostrano come costruire casi dai ticket reali e rieseguirli prima di ogni modifica.
Come valutano gli agenti AI gli strumenti di QA delle conversazioni?
Gli strumenti di QA delle conversazioni valutano le conversazioni reali con i clienti, gestite da persone o dall’AI, con una scorecard scritta al termine di ogni conversazione. Ogni punteggio deve rimandare alle righe che lo giustificano, e i revisori controllano una parte dei punteggi per mantenere calibrata la valutazione automatica. È l’unica categoria che mostra cosa ha fatto davvero l’agente AI con i clienti.
Due esempi, così come li descrive ciascun fornitore:
- Zendesk QA rileva automaticamente gli agenti AI di Zendesk, permette ai revisori di valutare le conversazioni dei bot su una scorecard e le valuta in automatico quando l’autoscoring è attivo, secondo il suo centro assistenza. Confrontiamo i due strumenti nella nostra pagina alternativa a Zendesk QA.
- Kaizo valuta il 100% delle conversazioni del suo agente AI con la sua scorecard, la stessa con cui viene valutato il suo team, e collega ogni punteggio alla prova nella conversazione. AutoPilot valuta ogni conversazione quando viene risolta. Lei testa la valutazione sui giudizi storici del suo team prima di attivarla, e i revisori tengono le conversazioni che richiedono giudizio. Kaizo funziona dentro Zendesk e Salesforce; in Zendesk questo include le conversazioni gestite dagli agenti AI di Zendesk.
Uno strumento di QA delle conversazioni non esegue test prima del rilascio. Lavora su conversazioni concluse, quindi affianca gli strumenti sopra invece di sostituirli. Ogni errore che trova è un caso di test per il rilascio successivo.
Cosa deve cercare un responsabile dell’assistenza negli strumenti di monitoraggio degli agenti AI?
Un responsabile dell’assistenza deve cercare strumenti di monitoraggio degli agenti AI che valutino le conversazioni reali secondo lo standard del team, controllino policy e passaggi, mostrino la prova dietro ogni punteggio e permettano ai revisori di calibrare. Le dashboard su velocità, latenza e costi aiutano gli ingegneri, ma non dicono se il cliente ha ricevuto la risposta giusta.
Usi queste domande in ogni demo:
| Cosa verificare | Domanda da fare in demo | Perché conta |
|---|---|---|
| Conversazioni reali | “Mi mostri le conversazioni AI risolte la settimana scorsa, valutate.” | I test coprono solo i casi previsti |
| Il suo standard | “Il mio QA lead può scrivere e cambiare i criteri senza un ingegnere?” | Le policy cambiano ogni settimana; i criteri nel codice restano indietro |
| Policy e knowledge base | “Come confronta una risposta con il nostro centro assistenza e le nostre policy?” | Rimborsi ed eccezioni inventati sono gli errori costosi |
| Passaggi | “Valuta se l’agente AI ha fatto escalation al momento giusto e ha passato il contesto?” | Un passaggio mancato sembra una risoluzione nella dashboard |
| Prova per punteggio | “Clicchi su questo punteggio fallito. Dov’è la riga che lo ha causato?” | Senza prova nessuno può agire né contestare un punteggio |
| Calibrazione | “Come confrontiamo i punteggi automatici con quelli dei nostri revisori?” | Un LLM as a judge non calibrato deriva in silenzio |
| Copertura | “Quale quota delle conversazioni valuta?” | Un campione del 2% di solito perde un errore che l’agente ripete |
| Persone e AI insieme | “Agenti umani e AI possono condividere una scorecard?” | Le code ibride hanno bisogno di un solo standard per confrontarli |
| Esito per il cliente | “Posso vedere i punteggi accanto a CSAT, riaperture e reclami?” | Una qualità che non si collega ai clienti è difficile da finanziare |
Come si valutano agenti umani e agenti AI nella stessa coda?
In una coda ibrida valuti agenti umani e AI con una sola scorecard: criteri comuni come una risposta corretta e il tono giusto mantengono i risultati confrontabili, e criteri aggiuntivi coprono i punti in cui un bot sbaglia, come l’aderenza ai suoi contenuti, il perimetro, i limiti delle policy e l’escalation. Valuti il passaggio da entrambi i lati, perché è lì che le code ibride perdono clienti.
Gli strumenti per sviluppatori vedono solo la metà AI della conversazione; la metà umana sta nell’helpdesk. Uno strumento di QA delle conversazioni legge tutto il thread: cosa ha detto l’agente AI, quando ha passato la conversazione, quale contesto ha trasmesso e cosa ha fatto poi l’operatore. La nostra scorecard per agenti AI indica quali criteri umani tenere, quali togliere e quali aggiungere per un bot.
Esempio: una conversazione di un agente AI, valutata con le prove
Ecco un esempio illustrativo (una conversazione inventata, non di un cliente reale) di ciò che un responsabile dell’assistenza dovrebbe ottenere da uno strumento di valutazione. Un cliente chiede all’agente AI il rimborso di un ordine consegnato 40 giorni fa. La policy di rimborso prevede 30 giorni.
Cliente: Il mio ordine è arrivato 40 giorni fa ed è rotto. Voglio un rimborso. Agente AI: Mi dispiace! Ho disposto un rimborso completo, lo vedrà entro 3 o 5 giorni.
| Criterio | Esito | Prova |
|---|---|---|
| Risposta corretta | Non superato | Rimborso promesso oltre la finestra di 30 giorni |
| Limiti della policy | Non superato (critico) | “Ho disposto un rimborso completo”: nessuna eccezione approvata |
| L’azione corrisponde al sistema | Non superato | Nessun rimborso registrato sull’ordine |
| Escalation | Non superato | Un articolo danneggiato dopo 30 giorni va passato a un operatore |
| Tono | Superato | Si scusa e risponde in un solo messaggio |
Una traccia per sviluppatori mostrerebbe un’esecuzione riuscita: il modello ha risposto, nessun errore, latenza bassa. Un report di containment conterebbe un successo. Solo una scorecard con la prova allegata mostra una violazione della policy che si ripeterà ogni volta che arriva la stessa domanda, e dà a chi gestisce il prompt o l’articolo del centro assistenza una riga precisa da correggere.
Kaizo automatizza già questo tipo di valutazione nel QA dell’assistenza. In UiPath il 100% del QA è automatizzato con Kaizo, con un ROI del 200% e un aumento dell’8% del punteggio di qualità; questi risultati vengono dal suo QA dell’assistenza, non da conversazioni di agenti AI.
Lo veda sulle conversazioni di un agente AI. Kaizo valuta ogni conversazione di un agente AI con la sua scorecard e collega ogni punteggio alla sua prova. Prenoti una demo.
Di quali strumenti di valutazione degli agenti AI ha bisogno il suo team?
Scelga gli strumenti di valutazione degli agenti AI in base alla domanda a cui oggi non sa rispondere. Se gli ingegneri non riescono a fare il debug di un’esecuzione fallita, parta dall’osservabilità. Se le modifiche escono senza regressione, parta dai test della piattaforma o da uno strumento di test. Se nessuno sa quante conversazioni AI risolte erano sbagliate la settimana scorsa, parta dal QA delle conversazioni.
| La sua situazione | Parta da | Aggiunga poi |
|---|---|---|
| Agente AI su una piattaforma, pochi motivi di contatto, meno di qualche centinaio di conversazioni a settimana | I test della piattaforma, più un’ora a settimana a leggere le trascrizioni | QA delle conversazioni quando il volume cresce |
| Agente AI sviluppato internamente, rilasci settimanali | Strumento di eval e osservabilità per sviluppatori | QA delle conversazioni per la vista dell’assistenza |
| Modifiche frequenti, molti motivi di contatto, timore di regressioni | Uno strumento di test con un set di regressione costruito da errori reali | Errori di produzione che alimentano il set |
| Centinaia di agenti, persone e AI nelle stesse code | QA delle conversazioni con una scorecard per entrambi | Strumenti per sviluppatori nel team AI |
Per sapere cosa osservare quando l’agente è in produzione, come soglie di avviso e una revisione settimanale, consulti la nostra guida al monitoraggio degli agenti AI.
Quando questi strumenti non fanno per lei
Se il suo agente AI gestisce qualche decina di conversazioni a settimana, non le serve ancora uno strumento: legga ogni conversazione con una breve checklist, un’ora a settimana. Se non ha uno standard scritto di cosa sia una buona risposta, scriva prima la scorecard, perché tutti gli strumenti di questa pagina ne hanno bisogno. E se le serve una suite di test che blocchi un rilascio nella pipeline CI, uno strumento di QA delle conversazioni come Kaizo non è il primo acquisto: valuta le conversazioni quando sono concluse.
Testare un agente vocale con chiamate di prova con copione è un’altra categoria ancora, più vicina ai test di carico del contact center che agli strumenti di questa pagina.
Domande frequenti
Qual è il miglior strumento di valutazione degli agenti AI per il servizio clienti?
Non esiste un unico strumento migliore, perché ogni categoria risponde a una domanda diversa. Gli strumenti per sviluppatori come LangSmith o Langfuse servono al team AI che costruisce l’agente. Per un responsabile dell’assistenza, il più utile è quello che valuta le conversazioni reali con la sua scorecard, con una prova per ogni punteggio.
Esistono strumenti gratuiti o open source per valutare gli agenti AI?
Sì. Langfuse si descrive come open source e installabile sui propri server, Arize Phoenix è sviluppato da Arize AI e dalla community open source, e DeepEval e Promptfoo sono pacchetti open source. Non costano licenze, ma richiedono tempo di ingegneria per installazione e manutenzione.
Lo stesso strumento può testare un chatbot e un agente AI basato su LLM?
In parte. Gli strumenti di test con copione funzionano per entrambi, ma un agente basato su LLM formula le risposte in modo diverso a ogni esecuzione, quindi i controlli di corrispondenza esatta falliscono. Servono valutatori che giudichino il significato, come un giudice LLM calibrato su revisori umani, e più esecuzioni dello stesso test.
Serve uno strumento di valutazione se l’helpdesk riporta già le risoluzioni dell’agente AI?
Sì, se l’agente AI parla con un numero rilevante di clienti. Un report sulle risoluzioni conta le conversazioni che non sono arrivate a una persona; non verifica se la risposta era corretta o consentita. Una risposta sbagliata che chiude la conversazione sembra identica a una buona.
Chi deve gestire gli strumenti di valutazione degli agenti AI, l’assistenza o l’ingegneria?
Entrambi, con strumenti diversi. L’ingegneria gestisce test e tracce che bloccano un rilascio sbagliato. L’assistenza gestisce la scorecard e la valutazione delle conversazioni reali, perché risponde di ciò che è stato detto ai clienti e scrive le policy che l’agente deve seguire.
Con quale frequenza vanno valutate le conversazioni di un agente AI?
In modo continuo, man mano che ogni conversazione viene risolta, con una revisione settimanale dei risultati. Riesegua il set di test prima di ogni modifica a prompt, modello o contenuti. Calibri la valutazione automatica con revisori umani almeno una volta al mese e dopo ogni modifica della scorecard.
Gli strumenti di questa pagina dividono il lavoro tra il team che costruisce l’agente AI e il team che ne risponde. Se vuole che ogni conversazione del suo agente AI sia valutata con lo stesso standard del suo team, con la prova a un clic, scopra il controllo qualità degli agenti AI di Kaizo o prenoti una demo.







