Ferramentas de avaliação de agentes de IA verificam se as respostas de um agente de IA estão corretas, são permitidas e resolvem bem o caso; as ferramentas de monitoramento continuam acompanhando quando ele já fala com clientes. Times de atendimento usam quatro tipos: ferramentas de evals e observabilidade para desenvolvedores, como LangSmith e Langfuse, os testes nativos do Zendesk, Salesforce e Intercom, ferramentas de teste de chatbot e ferramentas de monitoria de qualidade que avaliam conversas reais com clientes pelo seu próprio padrão.
Em resumo
- A maioria das listas de ferramentas de avaliação de agentes de IA é escrita para engenheiros: LangSmith, Langfuse, Arize Phoenix, Braintrust e DeepEval rastreiam e testam o agente, mas as notas raramente batem com um scorecard de atendimento.
- Zendesk, Salesforce Agentforce e Intercom Fin têm testes para o próprio agente de IA. Ajudam antes de um lançamento e param na fronteira da plataforma.
- Ferramentas de teste de chatbot como Botium e Promptfoo rodam em escala conjuntos de testes roteirizados e de ataque. Elas testam o que você previu, não o que os clientes fizeram.
- Ferramentas de monitoria de qualidade avaliam conversas reais já resolvidas pelo seu scorecard, com evidência em cada nota. Essa é a camada de responsabilidade do líder de QA.
- A maioria dos times com um agente de IA em produção precisa de uma ferramenta antes do lançamento e outra depois. Escolha pela pergunta que você não consegue responder hoje.
Este guia é para líderes de atendimento, líderes de QA e support operations, não para os engenheiros que constroem o agente. Se você precisa primeiro do método, leia nosso guia de avaliação de agentes de IA. Se já sabe que quer avaliar cada conversa do seu agente de IA, veja como funciona o QA de agentes de IA na Kaizo.
O que as ferramentas de avaliação de agentes de IA fazem por um time de atendimento?
Ferramentas de avaliação de agentes de IA dão a um time de atendimento a prova de que o agente de IA responde certo, segue as políticas e transfere quando deve. Elas atuam em dois momentos: em conversas de teste antes de publicar uma mudança e em conversas reais com clientes depois do lançamento. Uma ferramenta que só conta resoluções automatizadas mede volume, não qualidade.
Os nomes de ferramentas que as pessoas buscam se sobrepõem. Geralmente significam:
| O que se busca | O que a ferramenta faz | A pergunta que responde |
|---|---|---|
| Ferramentas de avaliação de agentes de IA | Avalia respostas com critérios escritos, em testes ou em produção | A resposta estava certa e era permitida? |
| Ferramentas de monitoramento de agentes de IA | Acompanha conversas ao vivo e dispara alertas | Algo está dando errado agora? |
| Ferramentas de observabilidade de agentes de IA | Registra cada etapa de uma execução: chamadas ao modelo, chamadas de ferramentas, custo, latência | Por que essa execução falhou? |
| Ferramentas de teste de agentes de IA e de chatbot | Roda conversas roteirizadas ou simuladas antes de um lançamento | Essa mudança quebra alguma coisa? |
As listas de ferramentas que ranqueiam hoje comparam profundidade de rastreamento, pipelines de CI e controle de custos. Nas três que lemos em 19 de novembro de 2026 (de MLflow, Amplitude e Sematext), nenhuma menciona CSAT, escalonamento ou a transferência para uma pessoa. Exatamente o que um líder de atendimento precisa explicar.
Quais ferramentas de avaliação e monitoramento de agentes de IA existem?
Existem quatro categorias de ferramentas de avaliação e monitoramento de agentes de IA: plataformas de evals e observabilidade para desenvolvedores, os testes e análises da própria plataforma do agente, ferramentas de teste de chatbot e ferramentas de monitoria de qualidade das conversas. Elas mudam em quem usa, se olham conversas de teste ou reais e qual definição de “bom” aplicam.
| Categoria | Exemplos | Usuário principal | O que olha | Onde para para o atendimento |
|---|---|---|---|---|
| Evals e observabilidade para desenvolvedores | LangSmith, Langfuse, Arize Phoenix, Braintrust, DeepEval | Engenheiros de IA | Rastros, datasets de teste, parte do tráfego real | Critérios ficam no código; sem ligação com seu scorecard ou CSAT |
| Testes da plataforma | Agentes de IA do Zendesk, Salesforce Agentforce Testing Center, Intercom Fin Evals | Responsável pelo agente de IA | Conversas de teste e simuladas | Uma plataforma só, e só os casos que alguém escreveu |
| Teste de chatbot | Cyara Botium, Promptfoo | Engenheiros de QA, time de IA | Conjuntos de testes roteirizados e de ataque | Testa o previsto, não o que os clientes perguntaram |
| Monitoria de qualidade das conversas | Zendesk QA, Kaizo | Líder de QA, support operations | Conversas reais resolvidas | Funciona depois da conversa, não antes de um lançamento |
A maioria dos times enterprise acaba com uma ferramenta da primeira ou segunda linha para o time de IA e uma da última linha para o atendimento.
O que ferramentas de observabilidade de agentes de IA como LangSmith e Langfuse mostram?
Ferramentas de observabilidade de agentes de IA como LangSmith e Langfuse mostram o que aconteceu em cada execução: qual modelo e quais ferramentas o agente chamou, em que ordem, quanto custou e onde falhou. A maioria agora também traz evals, com datasets de teste, juízes LLM e revisão humana. Seu scorecard de atendimento não vem embutido.
O que a documentação de cada fornecedor diz, conferida em 19 de novembro de 2026:
| Ferramenta | O que faz segundo a documentação | Vale saber |
|---|---|---|
| LangSmith (LangChain) | Avaliação offline em datasets selecionados antes de publicar, avaliação online de interações reais, LLM-as-judge e revisão humana | Rastros de produção com falha podem entrar em um dataset, e erros reais viram testes |
| Langfuse | Rastreamento, LLM-as-a-judge em rastros de produção ou desenvolvimento, filas de anotação para revisão humana, datasets, gestão de prompts | Open source e pode ser hospedado pela própria empresa |
| Arize Phoenix | Rastreamento, avaliações, datasets e experimentos | Construído sobre OpenTelemetry, pela Arize AI e pela comunidade open source |
| Braintrust | Se apresenta como plataforma de observabilidade para agentes: experimentos, monitoramento em produção, feedback humano para montar datasets | Forte para comparar prompts e modelos |
| DeepEval | Pacote de evals open source que se conecta ao Pytest e roda localmente | A Confident AI, da equipe por trás do DeepEval, adiciona rastros de produção como opção |
Para um líder de atendimento, essas ferramentas importam porque o seu time de IA já usa uma delas. Elas param em três pontos. Os critérios são escritos em código por engenheiros, então “violação de política” significa o que o avaliador verificar. Elas veem rastros, não tickets, então CSAT, reaberturas e reclamações ficam em outro sistema. E foram feitas para depurar uma execução, não para dizer quantos clientes receberam uma resposta errada na semana passada.
Peça três coisas ao seu time de IA: a lista de avaliadores com uma definição de uma linha para cada um, a taxa de falha por critério e uma amostra semanal de conversas com falha ligadas ao seu scorecard.
Quais ferramentas de teste de agentes de IA vêm no Zendesk, Salesforce e Intercom?
Zendesk, Salesforce e Intercom trazem ferramentas de teste para o próprio agente de IA. O Zendesk tem um widget de teste, a Salesforce o Agentforce Testing Center e a Intercom os Evals e o Batch test para o Fin. São o jeito mais rápido de testar uma mudança antes de publicar, e cobrem só agentes criados naquela plataforma.
| Plataforma | Testes nativos segundo a documentação do fornecedor | Onde para |
|---|---|---|
| Agentes de IA do Zendesk | Um widget de teste simula a experiência do cliente e testa fluxos de diálogo. As conversas de teste ficam registradas nos logs de conversa e não contam como resoluções automatizadas. | O widget não é integrado ao CRM; o Zendesk orienta testar eventos de CRM no Web Widget |
| Salesforce Agentforce | O Testing Center roda conjuntos de testes e marca cada teste como aprovado ou reprovado pelo subagente escolhido, pelas ações executadas e pela resposta, com um percentual de aprovação para cada um | Compara com o resultado esperado que você escreveu para cada teste |
| Intercom Fin | Os Evals agrupam simulações de vários turnos de um cliente conversando com o Fin; um juiz LLM avalia cada uma pelas verificações que você define, inclusive a transferência. Até 50 simulações por Eval, com limite mensal de acordo com o volume de conversas. O Batch test verifica perguntas de turno único que você avalia à mão; desde 5 de novembro de 2026, workspaces novos usam Evals no lugar. | Clientes simulados, não reais |
Se o seu agente de IA roda em uma dessas plataformas, comece por aqui antes de comprar qualquer coisa. O limite é o mesmo nas três: elas testam os casos que alguém escreveu. A conversa que causa estrago costuma ser a que ninguém previu.
Quais ferramentas de teste de chatbot ainda servem para agentes de IA?
Ferramentas de teste de chatbot ainda servem quando você muda um agente de IA com frequência e precisa rodar centenas de casos de regressão sempre do mesmo jeito. O Cyara Botium cobre testes funcionais e de regressão para chatbots, voicebots e URA. O Promptfoo é uma ferramenta open source de linha de comando para avaliar e fazer red teaming de aplicações LLM em um pipeline de CI/CD.
- Cyara Botium é voltado a times de contact center que testam chatbots e fluxos de URA juntos, com regressão a cada atualização.
- Promptfoo combina com um time de IA que quer os casos de teste em um arquivo ao lado do código, além de red teaming contra prompt injection e outros ataques.
- Uma planilha com 50 conversas reais e um resultado esperado por linha continua sendo o começo certo para a maioria dos times de atendimento.
O que entra no conjunto de testes importa mais do que a ferramenta. Nossos guias de teste de chatbot e de testes de agentes de IA mostram como montar casos a partir de tickets reais e rodá-los de novo antes de cada mudança.
Como as ferramentas de monitoria de qualidade avaliam agentes de IA?
Ferramentas de monitoria de qualidade avaliam conversas reais com clientes, feitas por pessoas ou por IA, com um scorecard escrito, ao fim de cada conversa. Cada nota deve apontar as linhas que a justificam, e revisores conferem parte das notas para manter a avaliação automática calibrada. É a única categoria que mostra o que o agente de IA de fato fez com os clientes.
Dois exemplos, do jeito que cada fornecedor descreve:
- Zendesk QA detecta automaticamente os agentes de IA do Zendesk, permite que revisores avaliem conversas de bots em um scorecard e as avalia automaticamente quando o autoscoring está ligado, segundo a central de ajuda. Comparamos as duas ferramentas na nossa página de alternativa ao Zendesk QA.
- Kaizo avalia 100% das conversas do seu agente de IA pelo seu próprio scorecard, o mesmo usado para o seu time, e liga cada nota à evidência na conversa. O AutoPilot avalia cada conversa quando ela é resolvida. Você testa a avaliação contra as notas históricas do seu time antes de ativar, e os revisores ficam com as conversas que pedem julgamento. A Kaizo funciona dentro do Zendesk e do Salesforce; no Zendesk, isso inclui as conversas atendidas pelos agentes de IA do Zendesk.
Uma ferramenta de monitoria de qualidade não roda testes antes do lançamento. Ela trabalha com conversas encerradas, então fica ao lado das ferramentas acima em vez de substituí-las. Cada falha que encontra vira um caso de teste para a próxima versão.
O que um líder de atendimento deve buscar em ferramentas de monitoramento de agentes de IA?
Um líder de atendimento deve buscar ferramentas de monitoramento de agentes de IA que avaliem conversas reais pelo padrão do próprio time, verifiquem políticas e transferências, mostrem a evidência por trás de cada nota e deixem os revisores calibrarem. Painéis de velocidade, latência e custo ajudam engenheiros, mas não dizem se o cliente recebeu a resposta certa.
Use estas perguntas em qualquer demo:
| O que verificar | Pergunta para a demo | Por que importa |
|---|---|---|
| Conversas reais | “Mostre as conversas de IA resolvidas na semana passada, já avaliadas.” | Testes cobrem só os casos previstos |
| Seu próprio padrão | “Meu líder de QA consegue escrever e mudar os critérios sem um engenheiro?” | Políticas mudam toda semana; critérios em código ficam para trás |
| Políticas e base de conhecimento | “Como ela confere uma resposta com nossa central de ajuda e nossas políticas?” | Reembolsos e exceções inventados são as falhas caras |
| Transferências | “Ela avalia se o agente de IA escalou no gatilho certo e passou o contexto?” | Uma transferência perdida parece resolução no painel |
| Evidência por nota | “Clique nesta nota reprovada. Onde está a linha que causou isso?” | Sem evidência ninguém consegue agir nem contestar uma nota |
| Calibração | “Como comparamos as notas automáticas com as dos nossos revisores?” | Um LLM as a judge sem calibração desvia em silêncio |
| Cobertura | “Que parte das conversas ela avalia?” | Uma amostra de 2% costuma perder um erro que o agente repete |
| Pessoas e IA juntas | “Agentes humanos e de IA podem dividir um scorecard?” | Filas híbridas precisam de um padrão só para comparar os dois |
| Resultado para o cliente | “Consigo ver as notas ao lado de CSAT, reaberturas e reclamações?” | Qualidade que não se liga ao cliente é difícil de financiar |
Como avaliar agentes humanos e de IA na mesma fila?
Em uma fila híbrida, avalie agentes humanos e de IA com um único scorecard: critérios comuns, como resposta correta e tom adequado, mantêm os resultados comparáveis, e critérios extras cobrem onde um bot falha, como apoio no seu conteúdo, escopo, limites de política e escalonamento. Avalie a transferência dos dois lados, porque é ali que filas híbridas perdem clientes.
Ferramentas de desenvolvedor só veem a metade da conversa feita pela IA; a metade humana está no helpdesk. Uma ferramenta de monitoria de qualidade lê a conversa inteira: o que o agente de IA disse, quando transferiu, que contexto passou e o que o agente humano fez em seguida. Nosso scorecard para agentes de IA mostra quais critérios humanos manter, quais tirar e quais acrescentar para um bot.
Exemplo: uma conversa de agente de IA avaliada com evidências
Este é um exemplo ilustrativo (uma conversa inventada, não de um cliente real) do que um líder de atendimento deveria receber de uma ferramenta de avaliação. Um cliente pede ao agente de IA o reembolso de um pedido entregue há 40 dias. A política de reembolso permite 30 dias.
Cliente: Meu pedido chegou há 40 dias e está quebrado. Quero reembolso. Agente de IA: Sinto muito! Já processei o reembolso total, você verá em 3 a 5 dias.
| Critério | Resultado | Evidência |
|---|---|---|
| Resposta correta | Reprovado | Reembolso prometido fora do prazo de 30 dias |
| Limites da política | Reprovado (crítico) | “Já processei o reembolso total”: nenhuma exceção aprovada |
| Ação confere com o sistema | Reprovado | Nenhum reembolso registrado no pedido |
| Escalonamento | Reprovado | Item danificado depois de 30 dias deve ir para um agente humano |
| Tom | Aprovado | Pede desculpas e responde em uma única mensagem |
Um rastro de desenvolvedor mostraria uma execução bem-sucedida: o modelo respondeu, sem erros, com baixa latência. Um relatório de contenção contaria uma vitória. Só um scorecard com a evidência anexada mostra uma violação de política que vai se repetir toda vez que a mesma pergunta chegar, e dá ao dono do prompt ou do artigo da central de ajuda uma linha concreta para corrigir.
A Kaizo já automatiza esse tipo de avaliação no QA de atendimento. Na UiPath, 100% do QA é automatizado com a Kaizo, com ROI de 200% e alta de 8% na nota de qualidade; esses resultados vêm do QA de atendimento, não de conversas de agentes de IA.
Veja isso nas conversas de um agente de IA. A Kaizo avalia cada conversa de um agente de IA pelo seu scorecard e liga cada nota à sua evidência. Agende uma demo.
De quais ferramentas de avaliação de agentes de IA o seu time precisa?
Escolha as ferramentas de avaliação de agentes de IA pela pergunta que você não consegue responder hoje. Se os engenheiros não conseguem depurar uma execução com falha, comece pela observabilidade. Se as mudanças vão ao ar sem regressão, comece pelos testes da plataforma ou por uma ferramenta de teste. Se ninguém sabe quantas conversas de IA resolvidas estavam erradas na semana passada, comece pela monitoria de qualidade.
| Sua situação | Comece por | Acrescente depois |
|---|---|---|
| Agente de IA em uma plataforma, poucos motivos de contato, menos de algumas centenas de conversas por semana | Os testes da plataforma, mais uma hora por semana lendo transcrições | Monitoria de qualidade quando o volume crescer |
| Agente de IA próprio, engenheiros publicando toda semana | Ferramenta de evals e observabilidade para desenvolvedores | Monitoria de qualidade para a visão do atendimento |
| Mudanças frequentes, muitos motivos, medo de regressão | Uma ferramenta de teste com um conjunto de regressão feito de falhas reais | Falhas de produção alimentando esse conjunto |
| Centenas de agentes, pessoas e IA nas mesmas filas | Monitoria de qualidade com um scorecard para os dois | Ferramentas de desenvolvedor dentro do time de IA |
Para saber o que acompanhar quando o agente já está no ar, como limites de alerta e uma revisão semanal, veja nosso guia de monitoramento de agentes de IA.
Quando essas ferramentas não são para você
Se o seu agente de IA atende algumas dezenas de conversas por semana, você ainda não precisa de ferramenta: leia cada conversa com um checklist curto, uma hora por semana. Se não existe um padrão escrito do que é uma boa resposta, escreva primeiro o scorecard, porque toda ferramenta desta página precisa de um. E se o que você precisa é de uma suíte de testes que barre um lançamento no seu pipeline de CI, uma ferramenta de monitoria de qualidade como a Kaizo não é a primeira compra: ela avalia as conversas depois que terminam.
Testar um agente de voz com ligações de teste roteirizadas é outra categoria, mais perto de testes de carga de contact center do que das ferramentas desta página.
Perguntas frequentes
Qual é a melhor ferramenta de avaliação de agentes de IA para atendimento ao cliente?
Não existe uma melhor ferramenta única, porque cada categoria responde a uma pergunta diferente. Ferramentas de desenvolvedor como LangSmith ou Langfuse servem ao time de IA que constrói o agente. Para um líder de atendimento, a mais útil é a que avalia conversas reais pelo seu próprio scorecard, com evidência em cada nota.
Existem ferramentas gratuitas ou open source para avaliar agentes de IA?
Sim. O Langfuse se descreve como open source e hospedável pela própria empresa, o Arize Phoenix é feito pela Arize AI e pela comunidade open source, e DeepEval e Promptfoo são pacotes open source. Não pedem licença, mas exigem tempo de engenharia para instalar e manter.
A mesma ferramenta consegue testar um chatbot e um agente de IA baseado em LLM?
Em parte. Ferramentas de testes roteirizados funcionam para os dois, mas um agente baseado em LLM muda a redação a cada execução, então verificações de texto exato falham. Você precisa de avaliadores que julguem o sentido, como um juiz LLM calibrado com revisores humanos, e de várias execuções do mesmo teste.
Preciso de uma ferramenta de avaliação se meu helpdesk já informa as resoluções do agente de IA?
Sim, se o agente de IA conversa com um número relevante de clientes. Um relatório de resoluções conta as conversas que não chegaram a uma pessoa; não verifica se a resposta estava certa ou era permitida. Uma resposta errada que encerra a conversa parece igual a uma boa.
Quem deve ser dono das ferramentas de avaliação de agentes de IA, atendimento ou engenharia?
Os dois, com ferramentas diferentes. A engenharia cuida dos testes e rastros que barram um lançamento ruim. O atendimento cuida do scorecard e da avaliação das conversas reais, porque responde pelo que foi dito aos clientes e escreve as políticas que o agente precisa seguir.
Com que frequência as conversas de um agente de IA devem ser avaliadas?
Continuamente, à medida que cada conversa é resolvida, com uma revisão semanal dos resultados. Rode de novo o conjunto de testes antes de cada mudança de prompt, modelo ou conteúdo. Calibre a avaliação automática com revisores humanos pelo menos uma vez por mês e depois de cada mudança no scorecard.
As ferramentas desta página dividem o trabalho entre o time que constrói o agente de IA e o time que responde por ele. Se você quer que cada conversa do seu agente de IA seja avaliada pelo mesmo padrão do seu time, com a evidência a um clique, conheça o QA de agentes de IA da Kaizo ou agende uma demo.







