Avaliação de agentes de IA no atendimento: métodos

A avaliação de agentes de IA é a forma como uma equipe de suporte prova que o seu agente de IA dá respostas corretas, permitidas e úteis. Ela tem duas etapas: os evals antes do lançamento, em que você executa conversas de teste contra critérios de sucesso escritos, e a avaliação em produção, em que você avalia as conversas reais com clientes com base em um formulário de monitoria. Você precisa das duas, de um avaliador calibrado e de um responsável nomeado.

Em resumo

• Os evals antes do lançamento dizem se uma mudança é segura para entrar no ar; a avaliação em produção diz o que o agente de IA de fato fez com os clientes.
• Meça resolução correta, cumprimento de políticas, precisão das ações, qualidade do escalonamento e tom; trate a taxa de retenção como contexto, nunca como a nota de qualidade.
• Use um LLM juiz para o volume e avaliadores humanos para a calibração e os casos de alto risco, e verifique a concordância entre eles critério por critério.
• Amostras pequenas deixam passar falhas raras, mas caras: com 40.000 conversas por mês, uma amostra de 1% tem 45% de chance de não mostrar nenhum caso de uma falha que atinge 80 clientes.
• Dê a cada métrica um responsável, um limite e uma periodicidade; a tabela de referência abaixo é um ponto de partida que você pode copiar.

Este guia é para o líder de suporte que responde pelo agente quando ele conversa com clientes, não para os engenheiros que o constroem. Para o básico, veja como fazer a monitoria de qualidade de agentes de IA; se você ainda está decidindo até onde automatizar, comece pelo atendimento agêntico.

O que é a avaliação de agentes de IA no atendimento ao cliente?

A avaliação de agentes de IA no atendimento ao cliente é o processo repetível de verificar as conversas de um agente de IA contra critérios de sucesso escritos: a resposta estava correta, era permitida pela política, a ação prometida realmente aconteceu, o agente transferiu quando devia e o tom estava certo? Ela roda antes do lançamento, em casos de teste, e depois do lançamento, em conversas reais.

A sua equipe de IA vai usar estes termos dos guias para desenvolvedores:

A última linha é a que mais importa para o suporte. Uma transcrição em que o agente diz “o seu reembolso está a caminho” não é o mesmo que um reembolso no sistema. Profissionais que operam agentes de suporte descrevem exatamente essa falha: o agente informa uma ação como concluída quando a chamada de API por trás dela falhou.

O que o “Demystifying evals for AI agents” da Anthropic significa para equipes de suporte?

O artigo de engenharia da Anthropic Demystifying evals for AI agents (em inglês) é o guia que a maioria das pessoas procura pelo nome. Para equipes de suporte, ele se resume a cinco pontos: comece pequeno, com falhas reais; verifique resultados, e não só palavras; meça a consistência; teste os dois lados de cada decisão; e continue lendo as transcrições.

1. Comece com 20 a 50 falhas reais. O artigo chama de “um ótimo começo” um conjunto de 20 a 50 tarefas simples tiradas de falhas reais e cita a fila de suporte como fonte. A sua equipe de QA já tem esses casos.
2. Avalie o resultado, não a narração. O exemplo de reembolso do artigo combina uma verificação de estado (ticket resolvido, reembolso processado), verificações das ações do agente (identidade confirmada, reembolso dentro dos limites) e uma rubrica de LLM para empatia e clareza.
3. Meça a consistência com pass^k, a chance de que todas as k execuções de uma tarefa deem certo. O artigo observa que isso “importa especialmente para agentes que atendem clientes, em que os usuários esperam um comportamento confiável todas as vezes”. Um agente que passa em uma tarefa 75% das vezes passa nas 3 execuções só cerca de 42% das vezes.
4. Teste as duas direções. Verifique quando o agente deve agir e quando não deve. Um conjunto cheio de casos de “deve reembolsar” produz um agente que reembolsa demais.
5. Leia as transcrições. “Você não vai saber se os seus avaliadores estão funcionando bem a menos que leia as transcrições e as notas de muitas execuções.”

O artigo também chama o monitoramento em produção de reativo: os clientes encontram o problema antes de você. As equipes de suporte precisam das duas etapas.

Evals antes do lançamento ou avaliação em produção: qual é a diferença?

Os evals antes do lançamento executam o seu agente de IA em conversas de teste antes que uma mudança entre no ar, para barrar um prompt, um modelo ou uma atualização de conhecimento ruim. A avaliação em produção avalia as conversas reais que os clientes tiveram, para encontrar falhas que o seu conjunto de testes nunca imaginou. O pré-lançamento é um portão; a produção é a verificação contínua de qualidade.

As duas etapas se alimentam: toda falha encontrada em produção vira um novo caso de teste. A simulação, em que um segundo modelo faz o papel do cliente, fica do lado do pré-lançamento; benchmarks como o τ-bench (em inglês) a usam em tarefas de suporte de varejo e de companhia aérea.

Como escrever evals para um agente de IA?

Para escrever evals para um agente de IA, reúna 20 a 50 conversas reais em que o agente ou a sua equipe errou, escreva como seria um resultado correto em cada uma, acrescente casos em que o certo é recusar ou escalonar, dê a cada critério o seu próprio avaliador e execute cada caso várias vezes antes de cada mudança.

A equipe de suporte define; o lado de IA implementa:

1. Tire os casos do QA. Conversas reprovadas ou escalonadas dos últimos 90 dias, agrupadas por intenção.
2. Escreva o resultado esperado em uma frase. “Recusa o reembolso, cita a política de 30 dias, oferece crédito na loja, não escalona.”
3. Acrescente os casos espelho. Para cada caso de “deve recusar”, um caso de “deve fazer”; para cada caso de “deve escalonar”, um em que escalonar seria errado.
4. Separe os critérios. Correção, política, ação, escalonamento e tom têm cada um a sua verificação; o artigo da Anthropic recomenda um juiz por dimensão da rubrica.
5. Verifique o sistema, não a frase. Quando o agente executa uma ação, o avaliador lê o registro do pedido ou do helpdesk, não o que o agente afirma.
6. Execute cada caso de 3 a 5 vezes e só conte como aprovado quando todas as execuções passarem. Isso é o pass^k na prática.
7. Mantenha dois conjuntos. Um conjunto de regressão que deve passar perto de 100% das vezes e um conjunto de capacidade mais difícil para as intenções que você pretende automatizar em seguida.

A versão mínima, como os profissionais a descrevem, são algumas dezenas de tickets reais que deram errado, reexecutados toda vez que o prompt muda. Nosso guia de testes de agentes de IA trata a fundo do desenho de testes, das execuções de regressão e da simulação.

Quais métricas de avaliação de agentes de IA importam no atendimento?

As métricas de avaliação de agentes de IA que importam no atendimento ao cliente são resolução correta, correção da resposta, cumprimento de políticas, precisão das ações, qualidade do escalonamento e tom, apoiadas por novos contatos e pelo feedback do cliente. Retenção e deflexão só dizem que o cliente não chegou a uma pessoa, então ficam na coluna de contexto, não na nota de qualidade.

Combine a taxa de retenção (em inglês) com uma verificação de resolução, veja como medir o desempenho de agentes de IA para comparar de forma justa o atendimento da IA e o humano, e coloque os critérios em um scorecard de agentes de IA.

LLM como juiz ou revisão humana: como calibrar?

Use um LLM juiz para avaliar todas as conversas e avaliadores humanos para calibrá-lo e para cuidar dos casos de alto risco. Calibre fazendo dois avaliadores e o juiz avaliarem às cegas as mesmas 100 a 200 conversas, depois meça a concordância de cada critério separadamente e corrija a redação do critério onde o juiz e as pessoas discordarem.

LLM como juiz (LLM-as-a-judge) significa que um modelo de linguagem avalia uma conversa com base nos seus critérios escritos (nossa definição, em inglês). O artigo Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (em inglês) concluiu que o GPT-4 atingiu mais de 80% de concordância com as preferências humanas, o mesmo nível em que as pessoas concordam entre si. Ele também lista os pontos fracos do juiz: viés de posição, de verbosidade e de autofavorecimento, além de um raciocínio limitado.

Uma rotina de calibração que se sustenta:

• Avalie às cegas. Dois avaliadores e o juiz avaliam o mesmo conjunto separadamente. Os avaliadores entram em acordo primeiro e depois comparam com o juiz.
• Meça por critério. Uma concordância geral de 90% pode esconder um critério de tom em 70%. Para critérios de aprovado ou reprovado, acompanhe o recall: das violações de política reais, quantas o juiz pegou?
• Deixe o juiz dizer “não sei”. O artigo da Anthropic recomenda dar ao juiz uma saída para reduzir notas inventadas. Encaminhe os “não sei” para uma pessoa.
• Recalibre depois de cada mudança no formulário de monitoria, no modelo do juiz ou no escopo do agente, e pelo menos uma vez por mês.

Nosso protocolo de uma semana para validar a avaliação de QA com IA (em inglês) transforma isso em um plano dia a dia, com limites de concordância.

Quantas conversas você precisa avaliar?

Para os evals antes do lançamento, 20 a 50 casos reais de falha bastam para começar, crescendo para algumas centenas à medida que você automatiza mais intenções. Para a avaliação em produção de um agente de IA, avalie todas as conversas se puder, porque as falhas que mais custam são raras, e falhas raras se escondem em amostras. Mantenha a dupla avaliação humana em 100 a 200 conversas por mês.

Ilustração (não são dados de clientes). Um agente de IA atende 40.000 conversas por mês. A equipe de QA revisa uma amostra de 1%: 400 conversas.

A chance de não ver nenhum caso é (1 menos a taxa) elevado a 400. Mesmo dois erros de reembolso detectados parecem ruído; avaliar as 40.000 conversas mostra 200 e 80 casos, agrupados por intenção.

Três regras práticas:

• Margem de erro. Uma taxa de resolução correta de 90% medida em 400 conversas tem precisão de cerca de ±3 pontos (95% de confiança), então uma queda para 88% está dentro do ruído. Em 40.000 conversas, a margem é de cerca de ±0,3 ponto.
• Zero falhas não é risco zero. Se você não vê nenhuma falha em n conversas, a taxa real ainda pode chegar a cerca de 3 dividido por n: mostrar uma taxa abaixo de 1% exige cerca de 300 conversas sem falha; abaixo de 0,1%, cerca de 3.000.
• Conjuntos de calibração são pequenos de propósito. 200 conversas com dupla avaliação e 85% de concordância fixam essa concordância em cerca de ±5 pontos: o suficiente para encontrar um critério mal redigido, não para ranquear avaliadores.

A matemática está explicada no nosso artigo sobre estatística de amostragem de QA (em inglês).

O referencial de avaliação de agentes de IA (copie esta tabela)

Este referencial lista o que avaliar, o método, a métrica, um exemplo de limite, o responsável e a periodicidade para um agente de IA de atendimento ao cliente. Os limites são exemplos para discutir, não benchmarks do setor: defina os seus a partir da sua própria referência e do custo de uma única falha.

Por que o limite de consistência é rigoroso: uma tarefa que passa em 98% das execuções isoladas passa nas 5 execuções cerca de 90% das vezes, e uma em 95% só cerca de 77% das vezes. O cliente recebe a execução que acontecer.

Quem deve ser o responsável pela avaliação de agentes de IA?

A avaliação de agentes de IA precisa de três responsáveis: o responsável de IA ou de automação executa os evals antes do lançamento e corrige prompts e ferramentas, o responsável de QA cuida da avaliação em produção e da calibração do juiz, e o líder de CX define os limites e decide se o agente se expande, se mantém ou é restringido. Os responsáveis pelo conhecimento e pelas políticas corrigem o conteúdo que as notas apontam.

A falha comum é a avaliação ficar só com a equipe que constrói o agente: quem constrói mede o que consegue mudar, enquanto os líderes de suporte precisam ver o que os clientes receberam. Coloque uma pessoa do suporte à frente dos números de produção; a tabela de referência acima nomeia um responsável por métrica. A avaliação é uma parte de um modelo de supervisão mais amplo, tratado no nosso guia de governança de agentes de IA.

Quais ferramentas de avaliação de agentes de IA as equipes de suporte usam?

As equipes de suporte usam quatro tipos de ferramentas de avaliação de agentes de IA: plataformas de eval e observabilidade para desenvolvedores, para testes antes do lançamento e rastreamentos; ferramentas de simulação que fazem o papel do cliente; os analytics embutidos na plataforma do agente; e plataformas de monitoria de conversas que avaliam as conversas reais com um formulário de monitoria. A maioria das equipes corporativas acaba com uma ferramenta por etapa.

A Kaizo está na última linha. O AutoPilot avalia cada conversa resolvida com base no seu próprio formulário de monitoria, e cada nota leva à evidência na conversa. Você testa a avaliação contra as notas históricas da sua equipe antes de ela entrar no ar, e os avaliadores ficam com as conversas que exigem julgamento. Nossa página sobre QA de agentes de IA mostra como isso funciona dentro do Zendesk e do Salesforce.

Veja isso nas suas próprias conversas. A Kaizo avalia 100% das suas conversas de suporte e transforma os achados em coaching. Agende uma demo.

Quando este nível de avaliação não é para você

Se o seu agente de IA atende algumas dezenas de conversas por semana, deixe de lado o referencial, o juiz e a ferramenta: leia você mesmo todas as transcrições durante uma hora por semana com um checklist curto (correta, permitida, transbordo certo, tom certo). Comece o programa completo quando o volume passar do que uma pessoa consegue ler, ou quando o agente começar a executar ações como reembolsos ou mudanças de conta.

Se o que você precisa é de um conjunto de testes para desenvolvedores no seu pipeline de versões, essa é outra ferramenta; a plataforma de monitoria da Kaizo avalia as conversas depois que elas terminam e pode rodar ao lado dele.

Como começar a avaliação de agentes de IA esta semana

Você pode começar a avaliação de agentes de IA esta semana sem comprar nada. Em cinco dias, uma equipe de suporte consegue escolher três intenções, reunir 30 falhas reais, escrever cinco critérios de sim ou não, avaliar 100 conversas recentes como referência e combinar responsáveis e limites. Todo o resto do referencial cresce a partir daí.

1. Segunda-feira: escolha a intenção de maior volume, a de maior risco (geralmente reembolsos ou mudanças de conta) e aquela de que os clientes mais reclamam.
2. Terça-feira: tire 10 conversas ruins por intenção do QA, das reclamações e dos escalonamentos; escreva o resultado correto de cada uma em uma frase.
3. Quarta-feira: escreva cinco critérios (resposta correta, política, ação bate com o sistema, escalonamento, tom), cada um como uma pergunta de sim ou não com a evidência que a comprova.
4. Quinta-feira: dois avaliadores avaliam às cegas 100 conversas recentes. Essa é a sua referência e o seu primeiro conjunto de calibração.
5. Sexta-feira: preencha a tabela de referência com os seus nomes, os números de referência e uma data para a primeira revisão mensal.

Entregue as 30 falhas à sua equipe de IA como o primeiro conjunto de regressão: nada entra no ar até passar nele.

Perguntas frequentes

Qual é uma boa taxa de precisão para um agente de IA de atendimento?

Não existe um número universal; depende do custo de uma resposta errada. Como exemplo de limite, mire em 98% ou mais das conversas sem erro factual e zero violações críticas de política no seu conjunto de regressão. Defina o limite em produção a partir da sua própria referência e investigue qualquer queda de 3 pontos ou mais.

Com que frequência reexecutar os evals de um agente de IA?

Reexecute o conjunto de regressão antes de cada mudança de prompt, modelo, ferramenta ou base de conhecimento, porque cada uma pode quebrar algo que funcionava. Avalie as conversas de produção continuamente, revise os números toda semana e calibre o juiz todo mês e depois de mudanças no formulário de monitoria.

Os agentes de IA devem ser avaliados com o mesmo formulário de monitoria dos atendentes?

Use critérios compartilhados onde eles valem para os dois, como uma resposta correta e o tom certo, para que os resultados continuem comparáveis. Depois, acrescente os critérios de que só um agente de IA precisa: base no seu conteúdo, precisão das ações, escopo e gatilhos de escalonamento. Um padrão único com verificações específicas para a IA funciona melhor do que dois formulários sem relação entre si.

Qual é a diferença entre pass@k e pass^k?

pass@k é a chance de que pelo menos uma de k execuções dê certo, o que serve para ferramentas em que uma boa resposta basta. pass^k é a chance de que todas as k execuções deem certo. O atendimento ao cliente precisa do pass^k, porque cada cliente recebe uma única execução e espera a resposta certa todas as vezes.

Avaliação de agentes de IA é o mesmo que monitoramento de agentes de IA?

Não. O monitoramento acompanha volume, erros e alertas ao vivo para que você perceba um problema rapidamente. A avaliação julga se cada resposta foi correta, permitida e bem conduzida, antes do lançamento em casos de teste e depois do lançamento em conversas reais. A avaliação em produção alimenta o monitoramento, e cada falha que ela encontra vira um novo caso de teste.