Vai al contenuto

Selezione

Strumenti di valutazione e monitoraggio degli agenti AI

Strumenti di valutazione e monitoraggio degli agenti AI per l'assistenza: eval per sviluppatori, test in Zendesk, Salesforce e Intercom, test chatbot e QA.

· 15 min di lettura

Revisionato da Dominik Blattner, fondatore di Kaizo

Gli strumenti di valutazione degli agenti AI verificano se le risposte di un agente AI sono corrette, consentite e gestite bene; gli strumenti di monitoraggio continuano a osservarlo quando parla con i clienti. I team di assistenza ne usano quattro tipi: strumenti di eval e osservabilità per sviluppatori come LangSmith e Langfuse, i test integrati in Zendesk, Salesforce e Intercom, gli strumenti di test per chatbot e gli strumenti di QA delle conversazioni, che valutano le conversazioni reali con i clienti secondo il suo standard.

In breve

  • La maggior parte degli elenchi di strumenti di valutazione degli agenti AI è scritta per ingegneri: LangSmith, Langfuse, Arize Phoenix, Braintrust e DeepEval tracciano e testano l’agente, ma i loro punteggi raramente coincidono con una scorecard di assistenza.
  • Zendesk, Salesforce Agentforce e Intercom Fin offrono test per il proprio agente AI. Sono utili prima di un rilascio e si fermano a quella piattaforma.
  • Gli strumenti di test per chatbot come Botium e Promptfoo eseguono su larga scala set di test con copione e test avversari. Verificano ciò che lei ha previsto, non ciò che hanno fatto i clienti.
  • Gli strumenti di QA delle conversazioni valutano le conversazioni reali già risolte con la sua scorecard, con una prova per ogni punteggio. È il livello di cui è responsabile il QA lead.
  • Quasi tutti i team con un agente AI in produzione hanno bisogno di uno strumento prima del rilascio e di uno dopo. Scelga in base alla domanda a cui oggi non sa rispondere.

Questa guida è per responsabili dell’assistenza, QA lead e support operations, non per gli ingegneri che costruiscono l’agente. Se prima le serve il metodo, legga la nostra guida alla valutazione degli agenti AI. Se sa già di voler valutare ogni conversazione del suo agente AI, veda come funziona il controllo qualità degli agenti AI in Kaizo.

A cosa servono gli strumenti di valutazione degli agenti AI per un team di assistenza?

Gli strumenti di valutazione degli agenti AI danno a un team di assistenza la prova che il suo agente AI risponde correttamente, rispetta le policy e passa la conversazione quando deve. Lavorano in due momenti: su conversazioni di test prima di pubblicare una modifica e sulle conversazioni reali dei clienti dopo il lancio. Uno strumento che conta solo le risoluzioni automatiche misura il volume, non la qualità.

I nomi degli strumenti che si cercano si sovrappongono. Ecco cosa indicano di solito:

Cosa si cercaCosa fa lo strumentoLa domanda a cui risponde
Strumenti di valutazione degli agenti AIValuta le risposte con criteri scritti, nei test o in produzioneLa risposta era corretta e consentita?
Strumenti di monitoraggio degli agenti AIOsserva le conversazioni dal vivo e genera avvisiQualcosa sta andando storto adesso?
Strumenti di osservabilità degli agenti AIRegistra ogni passaggio di un’esecuzione: chiamate al modello, chiamate agli strumenti, costo, latenzaPerché questa esecuzione è fallita?
Strumenti di test per agenti AI e chatbotEsegue conversazioni con copione o simulate prima di un rilascioQuesta modifica rompe qualcosa?

Gli elenchi di strumenti che oggi si posizionano confrontano profondità delle tracce, pipeline CI e controllo dei costi. Nei tre che abbiamo letto il 19 novembre 2026 (di MLflow, Amplitude e Sematext), nessuno cita la CSAT, l’escalation o il passaggio a una persona. Proprio ciò di cui risponde un responsabile dell’assistenza.

Quali strumenti di valutazione e monitoraggio degli agenti AI esistono?

Esistono quattro categorie di strumenti di valutazione e monitoraggio degli agenti AI: piattaforme di eval e osservabilità per sviluppatori, i test e le analisi della piattaforma dell’agente, strumenti di test per chatbot e strumenti di QA delle conversazioni. Si differenziano per chi li usa, per le conversazioni che guardano (di test o reali) e per la definizione di “buono” che applicano.

CategoriaEsempiUtente principaleCosa guardaDove si ferma per l’assistenza
Eval e osservabilità per sviluppatoriLangSmith, Langfuse, Arize Phoenix, Braintrust, DeepEvalIngegneri AITracce, dataset di test, parte del traffico realeI criteri stanno nel codice; nessun legame con la sua scorecard o la CSAT
Test della piattaformaAgenti AI di Zendesk, Salesforce Agentforce Testing Center, Intercom Fin EvalsResponsabile dell’agente AIConversazioni di test e simulateUna sola piattaforma, e solo i casi che qualcuno ha scritto
Test per chatbotCyara Botium, PromptfooIngegneri QA, team AISet di test con copione e avversariVerifica ciò che era previsto, non ciò che hanno chiesto i clienti
QA delle conversazioniZendesk QA, KaizoQA lead, support operationsConversazioni reali risolteInterviene dopo la conversazione, non prima di un rilascio

La maggior parte dei team enterprise finisce con uno strumento della prima o seconda riga per il team AI e uno dell’ultima riga per l’assistenza.

Cosa mostrano gli strumenti di osservabilità degli agenti AI come LangSmith e Langfuse?

Gli strumenti di osservabilità degli agenti AI come LangSmith e Langfuse mostrano cosa è successo in ogni esecuzione: quale modello e quali strumenti ha chiamato l’agente, in che ordine, quanto è costato e dove è fallito. La maggior parte ora aggiunge anche eval, con dataset di test, giudici LLM e revisione umana. La sua scorecard di assistenza non è inclusa.

Cosa dice la documentazione di ciascun fornitore, verificata il 19 novembre 2026:

StrumentoCosa fa secondo la sua documentazioneDa sapere
LangSmith (LangChain)Valutazione offline su dataset selezionati prima del rilascio, valutazione online delle interazioni reali, LLM-as-judge e revisione umanaLe tracce di produzione fallite si possono aggiungere a un dataset, così gli errori reali diventano test
LangfuseTracce, LLM-as-a-judge su tracce di produzione o sviluppo, code di annotazione per la revisione umana, dataset, gestione dei promptOpen source e installabile sui propri server
Arize PhoenixTracce, valutazioni, dataset ed esperimentiBasato su OpenTelemetry, sviluppato da Arize AI e dalla community open source
BraintrustSi definisce piattaforma di osservabilità per agenti: esperimenti, monitoraggio in produzione, feedback umano per creare datasetForte nel confronto tra prompt e modelli
DeepEvalPacchetto di eval open source che si integra con Pytest e gira in localeConfident AI, del team dietro DeepEval, aggiunge in opzione le tracce di produzione

Per un responsabile dell’assistenza questi strumenti contano perché il suo team AI ne usa già uno. Si fermano in tre punti. I criteri li scrivono gli ingegneri nel codice, quindi “violazione della policy” significa ciò che controlla il valutatore. Vedono tracce, non ticket, quindi CSAT, riaperture e reclami stanno in un altro sistema. E sono fatti per fare il debug di un’esecuzione, non per dirle quanti clienti hanno ricevuto una risposta sbagliata la settimana scorsa.

Chieda tre cose al suo team AI: l’elenco dei valutatori con una definizione di una riga ciascuno, il tasso di errore per criterio e un campione settimanale di conversazioni fallite collegate alla sua scorecard.

Quali strumenti di test per agenti AI sono integrati in Zendesk, Salesforce e Intercom?

Zendesk, Salesforce e Intercom includono strumenti di test per il proprio agente AI. Zendesk ha un widget di test, Salesforce l’Agentforce Testing Center, Intercom gli Evals e il Batch test per Fin. Sono il modo più rapido per testare una modifica prima del rilascio e coprono solo gli agenti creati su quella piattaforma.

PiattaformaTest integrati secondo la documentazione del fornitoreDove si ferma
Agenti AI di ZendeskUn widget di test simula l’esperienza del cliente e testa i flussi di dialogo. Le conversazioni di test vengono registrate nei log delle conversazioni e non contano come risoluzioni automatiche.Il widget non è integrato con il CRM; Zendesk indica di testare gli eventi CRM nel Web Widget
Salesforce AgentforceIl Testing Center esegue set di test e segna ogni test come superato o no in base al subagent scelto, alle azioni eseguite e alla risposta, con una percentuale di superamento per ciascunoConfronta con il risultato atteso che lei ha scritto per ogni test
Intercom FinGli Evals raggruppano simulazioni a più turni di un cliente che parla con Fin; un giudice LLM valuta ciascuna con i controlli che lei definisce, compreso il passaggio a un operatore. Fino a 50 simulazioni per Eval, con un limite mensile legato al volume di conversazioni. Il Batch test verifica domande a turno singolo che lei valuta a mano; dal 5 novembre 2026 i nuovi workspace usano invece gli Evals.Clienti simulati, non reali

Se il suo agente AI vive su una di queste piattaforme, parta da qui prima di acquistare qualcosa. Il limite è lo stesso per tutte e tre: testano i casi che qualcuno ha scritto. La conversazione che fa danni di solito è quella che nessuno aveva previsto.

Quali strumenti di test per chatbot servono ancora con gli agenti AI?

Gli strumenti di test per chatbot servono ancora quando modifica spesso un agente AI e deve eseguire centinaia di casi di regressione sempre allo stesso modo. Cyara Botium copre test funzionali e di regressione per chatbot, voicebot e IVR. Promptfoo è uno strumento open source a riga di comando per valutare e sottoporre a red teaming applicazioni LLM in una pipeline CI/CD.

  • Cyara Botium è pensato per team di contact center che testano insieme chatbot e flussi IVR, con regressioni dopo ogni aggiornamento.
  • Promptfoo è adatto a un team AI che vuole i casi di test in un file accanto al codice, più il red teaming contro prompt injection e altri attacchi.
  • Un foglio di calcolo con 50 conversazioni reali e un risultato atteso per riga resta il punto di partenza giusto per la maggior parte dei team di assistenza.

Cosa entra nel set di test conta più dello strumento. Le nostre guide al test chatbot e al test degli agenti AI mostrano come costruire casi dai ticket reali e rieseguirli prima di ogni modifica.

Come valutano gli agenti AI gli strumenti di QA delle conversazioni?

Gli strumenti di QA delle conversazioni valutano le conversazioni reali con i clienti, gestite da persone o dall’AI, con una scorecard scritta al termine di ogni conversazione. Ogni punteggio deve rimandare alle righe che lo giustificano, e i revisori controllano una parte dei punteggi per mantenere calibrata la valutazione automatica. È l’unica categoria che mostra cosa ha fatto davvero l’agente AI con i clienti.

Due esempi, così come li descrive ciascun fornitore:

  • Zendesk QA rileva automaticamente gli agenti AI di Zendesk, permette ai revisori di valutare le conversazioni dei bot su una scorecard e le valuta in automatico quando l’autoscoring è attivo, secondo il suo centro assistenza. Confrontiamo i due strumenti nella nostra pagina alternativa a Zendesk QA.
  • Kaizo valuta il 100% delle conversazioni del suo agente AI con la sua scorecard, la stessa con cui viene valutato il suo team, e collega ogni punteggio alla prova nella conversazione. AutoPilot valuta ogni conversazione quando viene risolta. Lei testa la valutazione sui giudizi storici del suo team prima di attivarla, e i revisori tengono le conversazioni che richiedono giudizio. Kaizo funziona dentro Zendesk e Salesforce; in Zendesk questo include le conversazioni gestite dagli agenti AI di Zendesk.

Uno strumento di QA delle conversazioni non esegue test prima del rilascio. Lavora su conversazioni concluse, quindi affianca gli strumenti sopra invece di sostituirli. Ogni errore che trova è un caso di test per il rilascio successivo.

Cosa deve cercare un responsabile dell’assistenza negli strumenti di monitoraggio degli agenti AI?

Un responsabile dell’assistenza deve cercare strumenti di monitoraggio degli agenti AI che valutino le conversazioni reali secondo lo standard del team, controllino policy e passaggi, mostrino la prova dietro ogni punteggio e permettano ai revisori di calibrare. Le dashboard su velocità, latenza e costi aiutano gli ingegneri, ma non dicono se il cliente ha ricevuto la risposta giusta.

Usi queste domande in ogni demo:

Cosa verificareDomanda da fare in demoPerché conta
Conversazioni reali“Mi mostri le conversazioni AI risolte la settimana scorsa, valutate.”I test coprono solo i casi previsti
Il suo standard“Il mio QA lead può scrivere e cambiare i criteri senza un ingegnere?”Le policy cambiano ogni settimana; i criteri nel codice restano indietro
Policy e knowledge base“Come confronta una risposta con il nostro centro assistenza e le nostre policy?”Rimborsi ed eccezioni inventati sono gli errori costosi
Passaggi“Valuta se l’agente AI ha fatto escalation al momento giusto e ha passato il contesto?”Un passaggio mancato sembra una risoluzione nella dashboard
Prova per punteggio“Clicchi su questo punteggio fallito. Dov’è la riga che lo ha causato?”Senza prova nessuno può agire né contestare un punteggio
Calibrazione“Come confrontiamo i punteggi automatici con quelli dei nostri revisori?”Un LLM as a judge non calibrato deriva in silenzio
Copertura“Quale quota delle conversazioni valuta?”Un campione del 2% di solito perde un errore che l’agente ripete
Persone e AI insieme“Agenti umani e AI possono condividere una scorecard?”Le code ibride hanno bisogno di un solo standard per confrontarli
Esito per il cliente“Posso vedere i punteggi accanto a CSAT, riaperture e reclami?”Una qualità che non si collega ai clienti è difficile da finanziare

Come si valutano agenti umani e agenti AI nella stessa coda?

In una coda ibrida valuti agenti umani e AI con una sola scorecard: criteri comuni come una risposta corretta e il tono giusto mantengono i risultati confrontabili, e criteri aggiuntivi coprono i punti in cui un bot sbaglia, come l’aderenza ai suoi contenuti, il perimetro, i limiti delle policy e l’escalation. Valuti il passaggio da entrambi i lati, perché è lì che le code ibride perdono clienti.

Gli strumenti per sviluppatori vedono solo la metà AI della conversazione; la metà umana sta nell’helpdesk. Uno strumento di QA delle conversazioni legge tutto il thread: cosa ha detto l’agente AI, quando ha passato la conversazione, quale contesto ha trasmesso e cosa ha fatto poi l’operatore. La nostra scorecard per agenti AI indica quali criteri umani tenere, quali togliere e quali aggiungere per un bot.

Esempio: una conversazione di un agente AI, valutata con le prove

Ecco un esempio illustrativo (una conversazione inventata, non di un cliente reale) di ciò che un responsabile dell’assistenza dovrebbe ottenere da uno strumento di valutazione. Un cliente chiede all’agente AI il rimborso di un ordine consegnato 40 giorni fa. La policy di rimborso prevede 30 giorni.

Cliente: Il mio ordine è arrivato 40 giorni fa ed è rotto. Voglio un rimborso. Agente AI: Mi dispiace! Ho disposto un rimborso completo, lo vedrà entro 3 o 5 giorni.

CriterioEsitoProva
Risposta correttaNon superatoRimborso promesso oltre la finestra di 30 giorni
Limiti della policyNon superato (critico)“Ho disposto un rimborso completo”: nessuna eccezione approvata
L’azione corrisponde al sistemaNon superatoNessun rimborso registrato sull’ordine
EscalationNon superatoUn articolo danneggiato dopo 30 giorni va passato a un operatore
TonoSuperatoSi scusa e risponde in un solo messaggio

Una traccia per sviluppatori mostrerebbe un’esecuzione riuscita: il modello ha risposto, nessun errore, latenza bassa. Un report di containment conterebbe un successo. Solo una scorecard con la prova allegata mostra una violazione della policy che si ripeterà ogni volta che arriva la stessa domanda, e dà a chi gestisce il prompt o l’articolo del centro assistenza una riga precisa da correggere.

Kaizo automatizza già questo tipo di valutazione nel QA dell’assistenza. In UiPath il 100% del QA è automatizzato con Kaizo, con un ROI del 200% e un aumento dell’8% del punteggio di qualità; questi risultati vengono dal suo QA dell’assistenza, non da conversazioni di agenti AI.

Lo veda sulle conversazioni di un agente AI. Kaizo valuta ogni conversazione di un agente AI con la sua scorecard e collega ogni punteggio alla sua prova. Prenoti una demo.

Di quali strumenti di valutazione degli agenti AI ha bisogno il suo team?

Scelga gli strumenti di valutazione degli agenti AI in base alla domanda a cui oggi non sa rispondere. Se gli ingegneri non riescono a fare il debug di un’esecuzione fallita, parta dall’osservabilità. Se le modifiche escono senza regressione, parta dai test della piattaforma o da uno strumento di test. Se nessuno sa quante conversazioni AI risolte erano sbagliate la settimana scorsa, parta dal QA delle conversazioni.

La sua situazioneParta daAggiunga poi
Agente AI su una piattaforma, pochi motivi di contatto, meno di qualche centinaio di conversazioni a settimanaI test della piattaforma, più un’ora a settimana a leggere le trascrizioniQA delle conversazioni quando il volume cresce
Agente AI sviluppato internamente, rilasci settimanaliStrumento di eval e osservabilità per sviluppatoriQA delle conversazioni per la vista dell’assistenza
Modifiche frequenti, molti motivi di contatto, timore di regressioniUno strumento di test con un set di regressione costruito da errori realiErrori di produzione che alimentano il set
Centinaia di agenti, persone e AI nelle stesse codeQA delle conversazioni con una scorecard per entrambiStrumenti per sviluppatori nel team AI

Per sapere cosa osservare quando l’agente è in produzione, come soglie di avviso e una revisione settimanale, consulti la nostra guida al monitoraggio degli agenti AI.

Quando questi strumenti non fanno per lei

Se il suo agente AI gestisce qualche decina di conversazioni a settimana, non le serve ancora uno strumento: legga ogni conversazione con una breve checklist, un’ora a settimana. Se non ha uno standard scritto di cosa sia una buona risposta, scriva prima la scorecard, perché tutti gli strumenti di questa pagina ne hanno bisogno. E se le serve una suite di test che blocchi un rilascio nella pipeline CI, uno strumento di QA delle conversazioni come Kaizo non è il primo acquisto: valuta le conversazioni quando sono concluse.

Testare un agente vocale con chiamate di prova con copione è un’altra categoria ancora, più vicina ai test di carico del contact center che agli strumenti di questa pagina.

Domande frequenti

Qual è il miglior strumento di valutazione degli agenti AI per il servizio clienti?

Non esiste un unico strumento migliore, perché ogni categoria risponde a una domanda diversa. Gli strumenti per sviluppatori come LangSmith o Langfuse servono al team AI che costruisce l’agente. Per un responsabile dell’assistenza, il più utile è quello che valuta le conversazioni reali con la sua scorecard, con una prova per ogni punteggio.

Esistono strumenti gratuiti o open source per valutare gli agenti AI?

Sì. Langfuse si descrive come open source e installabile sui propri server, Arize Phoenix è sviluppato da Arize AI e dalla community open source, e DeepEval e Promptfoo sono pacchetti open source. Non costano licenze, ma richiedono tempo di ingegneria per installazione e manutenzione.

Lo stesso strumento può testare un chatbot e un agente AI basato su LLM?

In parte. Gli strumenti di test con copione funzionano per entrambi, ma un agente basato su LLM formula le risposte in modo diverso a ogni esecuzione, quindi i controlli di corrispondenza esatta falliscono. Servono valutatori che giudichino il significato, come un giudice LLM calibrato su revisori umani, e più esecuzioni dello stesso test.

Serve uno strumento di valutazione se l’helpdesk riporta già le risoluzioni dell’agente AI?

Sì, se l’agente AI parla con un numero rilevante di clienti. Un report sulle risoluzioni conta le conversazioni che non sono arrivate a una persona; non verifica se la risposta era corretta o consentita. Una risposta sbagliata che chiude la conversazione sembra identica a una buona.

Chi deve gestire gli strumenti di valutazione degli agenti AI, l’assistenza o l’ingegneria?

Entrambi, con strumenti diversi. L’ingegneria gestisce test e tracce che bloccano un rilascio sbagliato. L’assistenza gestisce la scorecard e la valutazione delle conversazioni reali, perché risponde di ciò che è stato detto ai clienti e scrive le policy che l’agente deve seguire.

Con quale frequenza vanno valutate le conversazioni di un agente AI?

In modo continuo, man mano che ogni conversazione viene risolta, con una revisione settimanale dei risultati. Riesegua il set di test prima di ogni modifica a prompt, modello o contenuti. Calibri la valutazione automatica con revisori umani almeno una volta al mese e dopo ogni modifica della scorecard.

Gli strumenti di questa pagina dividono il lavoro tra il team che costruisce l’agente AI e il team che ne risponde. Se vuole che ogni conversazione del suo agente AI sia valutata con lo stesso standard del suo team, con la prova a un clic, scopra il controllo qualità degli agenti AI di Kaizo o prenoti una demo.

In questa pagina

Letture correlate

Lo veda in una demo dal vivo

Le presenteremo Kaizo con conversazioni di esempio realistiche, così vedrà l'esempio valutato, spiegato e trasformato in coaching.

Scelto da team di assistenza clienti in tutto il mondo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath