Taxa de resolução de agentes de IA: como auditar

A taxa de resolução de um agente de IA conta as conversas que o fornecedor marca como resolvidas: sem transbordo, sem follow-up dentro de uma janela de tempo. Ela não verifica se a resposta estava certa, se a ação foi feita ou se o cliente não voltou. Para auditá-la, selecione uma amostra de conversas “resolvidas”, julgue cada uma com critérios escritos e registros dos sistemas, e reporte uma taxa corrigida ao lado da do fornecedor.

Em resumo

• Uma “resolução” do fornecedor costuma significar que o cliente não pediu mais ajuda antes de um prazo acabar; uma resposta errada dada com confiança e um cliente que desistiu passam nesse teste.
• Quatro falhas se escondem dentro das conversas resolvidas: uma resposta errada que o cliente aceitou, um cliente que desistiu, um cliente que voltou por outro canal e uma ação que o agente disse ter feito, mas nunca concluiu.
• Uma resolução correta precisa de quatro “sins”: resposta certa, permitida pela política, ação feita no sistema de registro e nenhum recontato sobre o mesmo problema em 7 dias.
• Uma amostra aleatória de cerca de 400 conversas resolvidas por mês dá uma taxa corrigida com margem de cerca de 5 pontos, o suficiente para reportar ao lado do número do fornecedor.
• Reporte os dois números, a composição das falhas e o custo por resolução correta, e encaminhe cada tipo de falha a um responsável.

Este guia faz parte do nosso guia central sobre avaliação de agentes de IA, escrito para a liderança de CX ou de IA que aprova os resultados do agente de IA. Se você precisa primeiro do básico sobre a métrica que costuma ficar ao lado da taxa de resolução, comece pela taxa de retenção (em inglês).

O que significa “resolvido” na taxa de resolução de um agente de IA?

Na maioria dos relatórios de fornecedores, “resolvido” significa que o agente de IA respondeu e o cliente não pediu mais ajuda, nem pediu um atendente, antes de a conversa expirar. Alguns fornecedores acrescentam uma verificação da transcrição por um modelo. Nenhuma dessas definições, como estão documentadas, olha os registros dos sistemas ou o cliente que volta a entrar em contato por outro canal.

As definições são públicas, e vale a pena lê-las palavra por palavra antes de confiar em um dashboard:

Duas coisas decorrem disso. Primeiro, “resolvido” é uma definição de cobrança e de relatório estabelecida pelo fornecedor, muitas vezes ligada ao que você paga. Segundo, a definição muda: a Intercom agora reporta “outcomes” (desfechos) ao lado das resoluções e escreve que o “sucesso” deixou de ser binário (blog da Intercom, março de 2026, em inglês), e a Zendesk introduziu níveis de resolução em 18 de maio de 2026 (definição anterior da Zendesk, em inglês). Uma auditoria dá a você uma definição que é sua.

Qual é a diferença entre resolvido e resolvido corretamente?

Uma conversa resolvida terminou sem transbordo nem follow-up. Uma conversa resolvida corretamente também deu a resposta certa, concluiu a ação certa, ficou dentro da política e evitou que o cliente voltasse pelo mesmo problema. A distância entre as duas é a sua taxa real de automação, e em geral ela não aparece no dashboard do fornecedor.

O fornecedor pergunta: a conversa terminou em silêncio? A sua auditoria pergunta: o problema foi embora? A segunda pergunta precisa de evidências de fora da transcrição. O nosso artigo sobre falhas silenciosas de agentes de IA cobre a família mais ampla de falhas que não geram nenhum erro, e por que as conversas com IA falham trata das causas por trás delas.

Quais falhas se escondem dentro das conversas resolvidas?

Quatro tipos de falha passam por resolução: uma resposta errada que o cliente aceitou, um cliente que desistiu, um cliente que voltou por outro canal e uma ação que o agente disse ter feito, mas não concluiu. Cada uma parece uma conversa tranquila e bem-sucedida na transcrição, e cada uma exige uma verificação diferente para ser encontrada.

O último tipo é o mais caro de deixar passar, e nenhuma revisão que só lê a transcrição, humana ou por LLM, consegue pegá-lo. Guardrails para agentes de IA aplicados às ações reduzem a frequência com que isso acontece; a auditoria diz se eles funcionam.

Como montar a amostra de uma auditoria de resolução?

Sorteie uma amostra aleatória de cerca de 400 conversas que o fornecedor marcou como resolvidas em um mês, estratificada por motivo de contato, com conversas extras dos motivos de alto risco, como reembolsos, cancelamentos e alterações de conta. Esconda o status do fornecedor dos avaliadores e faça dupla avaliação em 10% para medir a concordância.

1. Defina o período e a população. Um mês do calendário, todas as conversas com status “resolvida” no fornecedor.
2. Sorteie dentro de cada motivo de contato, na proporção do volume. Conversas “interessantes” escolhidas a dedo puxam a taxa para baixo.
3. Sobreamostre os motivos de alto risco. Acrescente pelo menos 50 conversas dos motivos em que o agente executa uma ação ou mexe com dinheiro; repondere-as à sua parcela real para a taxa geral.
4. Dimensione pela decisão. 400 conversas dão uma margem de cerca de ±5 pontos com 95% de confiança (veja os intervalos de confiança para uma proporção no manual de estatística de engenharia do NIST, em inglês). 100 por motivo de contato dão cerca de ±10 pontos: o suficiente para identificar um motivo quebrado. A conta está no nosso guia de estatística de amostragem na monitoria (em inglês).
5. Cegue o avaliador. Mostre a transcrição e os dados dos sistemas, não o rótulo do fornecedor.
6. Meça a concordância. Um segundo avaliador avalia 40 das 400. Se os vereditos divergirem mais de 1 vez em 10, corrija os critérios antes de reportar.
7. Espere a janela. Retire a amostra pelo menos 7 dias depois do fim do mês.

Quais são os critérios de uma resolução “correta”?

Uma conversa só é uma resolução correta quando quatro verificações passam: a resposta estava certa e completa, ficou dentro da política, toda ação que o agente prometeu aparece no sistema de registro e o cliente não voltou a entrar em contato sobre o mesmo problema em 7 dias. Uma verificação reprovada torna o veredito “não correta”.

Escreva os critérios antes da primeira avaliação, com um exemplo de aprovação e um de reprovação para cada um:

Mantenha um quinto veredito, “impossível julgar”, para conversas em que falta um registro ou o cliente é anônimo. Deixe-as fora da taxa e informe quantas foram; se passarem de 5% da amostra, corrija os dados antes da próxima auditoria. A resposta certa depende de as suas políticas estarem escritas e atualizadas, que é o tema de políticas para agentes de IA.

Como conferir nos sistemas as ações que o agente declarou?

Liste cada ação que o agente declarou na conversa e depois procure cada uma no sistema responsável por ela: o reembolso na cobrança, o cancelamento no sistema de assinaturas, o endereço no registro do pedido. O log de ferramentas do próprio agente não basta, porque uma chamada de ferramenta pode reportar sucesso enquanto o sistema de registro não mostra nada.

Uma sequência prática para cada conversa da amostra:

1. Extraia as declarações. Destaque cada frase em que o agente diz que fez algo: “fiz o reembolso”, “o seu plano está cancelado”, “atualizei o seu endereço”.
2. Cruze pelos identificadores. Use o ID do cliente, o número do pedido ou o e-mail da conversa para encontrar o registro.
3. Compare quatro campos. Aconteceu, no item certo, no valor certo, antes ou logo depois do fim da conversa?
4. Anote as divergências com precisão. “Reembolso de US$ 40 prometido, US$ 0 na cobrança” tem conserto; “a ação falhou” não tem.

Sem acesso ao sistema de registro? Peça ao responsável uma exportação somente leitura filtrada pelos 400 IDs de cliente da amostra.

Como medir o recontato depois de uma resolução da IA?

Conte um recontato quando o mesmo cliente volta a falar com você sobre o mesmo problema, em qualquer canal, em até 7 dias depois do fim da conversa com a IA. Cruze por um identificador do cliente entre chat, e-mail, telefone e redes sociais, e depois leia o follow-up para confirmar que é o mesmo problema, e não um novo.

Por que 7 dias: as janelas dos fornecedores são curtas e presas ao canal. A Zendesk encerra uma conversa de mensagens 2 horas depois da primeira mensagem por padrão, e uma conversa de e-mail depois de 72 horas; a Intercom só desconta uma resolução quando o cliente volta à mesma conversa. Muitas falhas aparecem mais tarde: o reembolso que não chega em 3 a 5 dias úteis, a segunda cobrança no próximo ciclo de faturamento. Sete dias pegam a maioria delas; para motivos de cobrança, estenda a janela até a data da próxima fatura.

Se o histórico de contatos estiver dividido entre ferramentas, comece pelos identificadores que você tem (ID da conta, e-mail) e registre no relatório que alguns recontatos vão escapar. Acompanhar um cliente entre canais é o núcleo do QA da jornada do cliente.

A planilha da auditoria de resolução (copie esta)

A planilha abaixo tem uma linha por conversa da amostra. Preencha as quatro verificações e deixe a regra de veredito decidir; os avaliadores não escolhem o veredito pela intuição. As linhas são uma ilustração de como cada tipo de falha fica depois de preenchido, não dados de clientes.

Regra de veredito. Correta = resposta correta (sim), ação feita (sim ou nenhuma ação necessária), sem recontato e permitida pela política. Qualquer “não” = não correta. Qualquer evidência faltando = impossível julgar. Quando duas falhas se aplicam, registre a que o cliente sentiu primeiro.

Acrescente uma coluna “Permitida?” se o seu agente pode conceder exceções, e mantenha cada nota de evidência específica o bastante para ser conferida em dois minutos.

Exemplo calculado: taxa de resolução do fornecedor versus taxa auditada

Nesta ilustração, um fornecedor reporta uma taxa de resolução de 68% sobre 10.000 conversas. Uma auditoria de 400 conversas resolvidas encontra 69% das julgáveis resolvidas corretamente, então a taxa de resolução corrigida fica em cerca de 47%, com uma faixa de 95% de aproximadamente 44% a 50%.

Ilustração (não são dados de clientes). Um agente de IA atende 10.000 conversas em outubro. O fornecedor marca 6.800 como resolvidas: uma taxa de resolução de 68%. A equipe audita uma amostra aleatória de 400 conversas resolvidas com a planilha acima.

A conta, passo a passo:

1. Conversas julgáveis: 400 menos 12 = 388.
2. Parcela correta auditada: 268 / 388 = 69,1%.
3. Margem de erro: 1,96 x √(0,691 x 0,309 / 388) = ±4,6 pontos, então a parcela correta fica entre cerca de 64,5% e 73,7%.
4. Conversas resolvidas corrigidas: 6.800 x 69,1% = cerca de 4.700.
5. Taxa de resolução corrigida: 4.700 / 10.000 = 47,0%, com uma faixa de cerca de 43,8% a 50,1%.
6. Custo por resolução correta: a um preço ilustrativo de US$ 1,00 por resolução cobrada, 6.800 resoluções cobradas custam US$ 6.800. Divididos por 4.700 resoluções corretas, cada uma custa cerca de US$ 1,45, e não US$ 1,00.

Leia a composição das falhas como uma lista de tarefas: as respostas erradas vão para o responsável pelo conhecimento e pelo prompt, as desistências para o desenho do escalonamento, e as 12 ações declaradas vêm primeiro, porque cada uma é um cliente que ouviu algo falso sobre o próprio dinheiro ou a própria conta.

Como reportar uma taxa de resolução corrigida ao lado do número do fornecedor?

Mostre a taxa de resolução do fornecedor e a sua taxa auditada lado a lado, todo mês, com as definições, o tamanho da amostra, a margem de erro e a composição das falhas logo abaixo. Não substitua o número do fornecedor: a distância entre os dois é o achado, e a tendência dessa distância diz se as correções estão funcionando.

Um relatório mensal em uma tela:

Mantenha as definições estáveis, mostre a faixa para que uma variação de 2 pontos dentro do ruído não abra um debate, e coloque a taxa corrigida onde a liderança já vê o número do fornecedor. Ela também faz parte do seu conjunto mais amplo de métricas de desempenho de agentes de IA e da visão semanal descrita em monitoramento de agentes de IA.

Quando uma auditoria completa de resolução não é para você?

Uma auditoria formal é exagero quando o seu agente de IA atende algumas centenas de conversas por mês: leia todas em vez de usar amostra. Ela também importa menos quando o agente só responde perguntas informativas, sem ações e com pouco dinheiro em jogo; nesse caso, uma verificação mais leve de precisão e uma contagem de recontatos podem bastar.

Ela também não substitui a avaliação de todas as conversas. Uma amostra de 400 conversas diz qual é a taxa; raramente vai mostrar uma falha que atinge 1 em cada 500 clientes. Se você precisa encontrar esses casos um a um, precisa de cobertura total, o que o nosso guia central sobre avaliação de agentes de IA em produção explica com a matemática do tamanho de amostra.

Como começar uma auditoria de resolução esta semana

Você consegue fazer a primeira auditoria em uma semana com uma planilha, um avaliador e acesso somente leitura a dois sistemas. O objetivo da primeira semana não é um número perfeito, mas uma primeira taxa corrigida e a lista das falhas por trás dela.

1. Segunda-feira: escreva a definição de resolução do seu fornecedor e as suas quatro verificações, com um exemplo de aprovação e um de reprovação para cada uma.
2. Terça-feira: exporte as conversas resolvidas do mês passado, estratifique por motivo de contato e sorteie 400.
3. Quarta-feira: peça exportações somente leitura da cobrança ou do sistema de pedidos, e o histórico de contatos dos IDs de cliente da amostra.
4. Quinta e sexta-feira: preencha a planilha; faça dupla avaliação em 40 conversas e compare os vereditos.
5. Segunda-feira seguinte: calcule a taxa corrigida e o custo por resolução correta, e encaminhe cada tipo de falha a um responsável.

Quando a auditoria mostrar onde as resoluções quebram, o próximo passo é pegar essas falhas em todas as conversas, e não só em uma amostra mensal. O AutoPilot da Kaizo avalia cada conversa resolvida com base no seu próprio formulário de monitoria, e cada nota leva à evidência na conversa; a nossa página sobre QA de agentes de IA mostra como funciona. Veja isso nas conversas do seu próprio agente de IA. Agende uma demo.

Perguntas frequentes

Taxa de resolução é o mesmo que taxa de retenção?

Não. A taxa de retenção conta as conversas que terminaram sem transbordo para um atendente. A taxa de resolução, como os fornecedores a definem, em geral acrescenta a condição de que o cliente não pediu mais ajuda dentro de uma janela de tempo. Nenhuma das duas verifica se a resposta estava correta, e é por isso que as duas precisam de uma auditoria ao lado.

Qual é uma boa taxa de resolução para um agente de IA?

Não existe referência confiável, porque os fornecedores definem resolução de formas diferentes e mudam as definições com o tempo. Compare, em vez disso, a sua própria taxa de resolução corrigida mês a mês. Uma taxa do fornecedor mais baixa, com pouca distância para a taxa auditada, é mais saudável que uma taxa alta que cai pela metade na auditoria.

Uma verificação por LLM pode substituir uma auditoria humana de resolução?

Ela consegue cobrir mais conversas, e alguns fornecedores já usam uma para verificar resoluções. Mas uma verificação que só lê o texto da conversa não enxerga os registros dos sistemas nem os contatos posteriores em outros canais. Calibre qualquer LLM avaliador com vereditos humanos e mantenha na auditoria as verificações nos sistemas e de recontato.

Com que frequência auditar as resoluções do agente de IA?

Mensalmente é um bom padrão, com uma auditoria extra depois de qualquer mudança nos prompts, no conhecimento, nas ações ou no escopo do agente. Retire a amostra pelo menos 7 dias depois do fim do mês, para que cada conversa tenha a sua janela de recontato completa. Motivos de contato de alto risco podem justificar uma verificação semanal.

Você deve pagar por resoluções presumidas que reprovam na sua auditoria?

Depende do seu contrato, e é por isso que a auditoria importa na renovação. A sua taxa corrigida e o custo por resolução correta dão evidências para a conversa com o fornecedor. Pergunte como a definição do fornecedor trata os retornos por outros canais e as ações que nunca aconteceram.

Quem deve ser responsável pela auditoria de resolução?

A equipe que responde pelos desfechos dos clientes, em geral a qualidade de CX ou as operações de suporte. O responsável mantém as definições estáveis e encaminha cada tipo de falha a quem pode corrigi-la: conhecimento, engenharia ou desenho do escalonamento.