A taxa de resolução correta é a parcela das conversas atendidas por um agente de IA (ou por um atendente humano) que terminaram resolvidas, com a resposta certa, a ação certa concluída e a política respeitada, e sem recontato sobre o mesmo problema em até 7 dias. A fórmula é resoluções corretas divididas por conversas atendidas, vezes 100, estimada a partir de uma amostra aleatória auditada.
Em resumo
- Taxa de resolução correta = resoluções corretas / conversas atendidas x 100, em que “correta” significa passar em quatro verificações: resposta certa, permitida pela política, ação feita no sistema de registro, nenhum recontato em 7 dias.
- Você a estima a partir de uma amostra aleatória auditada, então reporte-a com uma margem de erro de 95%: 1,96 x √(p x (1 − p) / n).
- Cerca de 385 conversas julgadas dão uma margem de aproximadamente ±5 pontos; cerca de 97 por intenção dão aproximadamente ±10 pontos, o suficiente para encontrar uma intenção com problema.
- Ela é mais rigorosa do que a taxa de retenção, a deflexão, a resolução no primeiro contato (FCR) e a taxa de resolução do fornecedor, porque nenhuma delas verifica se a resposta estava certa ou se a ação aconteceu.
- Divida o custo do agente de IA pelas resoluções corretas, não pelas resoluções cobradas, para obter o custo por resolução correta.
Esta página define a métrica e entrega a calculadora. O método para julgar cada conversa (revisão cega, conferência nos sistemas, regra de veredito) está no nosso guia para auditar a taxa de resolução de agentes de IA, e os dois fazem parte do nosso guia central sobre avaliação de agentes de IA.
O que é a taxa de resolução correta?
A taxa de resolução correta é a porcentagem das conversas dentro do escopo que um agente, de IA ou humano, encerrou sem transbordo e que passam em quatro verificações: a resposta estava certa e completa, ficou dentro da política, toda ação prometida aparece no sistema de registro, e o cliente não voltou a entrar em contato sobre o mesmo problema, por nenhum canal, em até 7 dias.
Cada parte da definição tem uma função:
| Parte | Regra | Por que está ali |
|---|---|---|
| Atendida | Toda conversa que entrou no agente no período, menos spam, testes e conversas só com saudação | Fixa o denominador, para que a taxa não suba excluindo as conversas difíceis |
| Resolvida | O agente encerrou a conversa sem transferir para uma pessoa | Um transbordo correto é um bom desfecho, mas não é uma resolução desse agente; acompanhe-o à parte |
| Resposta certa | Corresponde à política, ao preço ou ao procedimento válido na data da conversa | Pega respostas erradas, dadas com confiança, que o cliente aceitou |
| Permitida | Nenhuma exceção ou promessa fora do escopo escrito do agente | Pega respostas “prestativas”, mas contra a política |
| Ação feita | O reembolso, o cancelamento ou a atualização está no sistema de registro, com o valor e o item certos | Pega ações que o agente disse ter feito, mas nunca concluiu |
| Sem recontato | Nenhum contato do mesmo cliente sobre o mesmo problema em até 7 dias, por qualquer canal | Pega clientes que desistiram ou voltaram por outro caminho |
Uma verificação reprovada torna a conversa “não correta”. Uma conversa sem um registro necessário é “impossível de julgar” e sai da amostra, a mesma regra de veredito usada na auditoria de resolução.
Qual é a fórmula da taxa de resolução correta?
A fórmula é: taxa de resolução correta = (resoluções corretas / conversas atendidas) x 100. Como não dá para julgar cada conversa à mão, você a estima a partir de uma amostra: parcela correta da amostra julgada vezes 100. Se a amostra cobre só as conversas que o fornecedor marcou como resolvidas, multiplique essa parcela pela parcela resolvida informada pelo fornecedor.
Há duas formas de estimá-la, conforme o que você amostra:
- Amostrar todas as conversas atendidas (método direto). Sorteie entre tudo o que o agente atendeu, incluindo os escalonamentos. Taxa de resolução correta = corretas / julgadas. As conversas escalonadas simplesmente contam como “não corretas”.
- Amostrar só as conversas resolvidas segundo o fornecedor (método em duas etapas). É o que a auditoria de resolução faz. Taxa de resolução correta = parcela resolvida segundo o fornecedor x parcela correta da amostra auditada de resolvidas. Exemplo: 62% resolvidas x 70% corretas = 43,4%.
O método em duas etapas sai mais barato se você já audita as resoluções, mas supõe que nenhuma conversa marcada como não resolvida era, na verdade, uma resolução correta. A calculadora abaixo usa o método direto.
Como estimar a taxa de resolução correta a partir de uma amostra auditada?
Julgue uma amostra aleatória, calcule a parcela correta p e acrescente uma margem de erro de 95% de 1,96 x √(p x (1 − p) / n), em que n é o número de conversas julgadas. Com p = 0,48 e n = 385, a margem é de cerca de ±5 pontos, então a taxa real fica entre aproximadamente 43% e 53%.
Esse é o intervalo mais usado para uma proporção, como observa o manual de estatística para engenharia do NIST (em inglês). A mesma página prefere o intervalo de Wilson, porque a fórmula simples pode produzir limites impossíveis (um limite inferior abaixo de 0%) e a de Wilson não. Use Wilson em qualquer intenção com menos de cerca de 50 conversas julgadas ou com uma taxa perto de 0% ou de 100%.
Para dimensionar a amostra antes de começar, use n = 1,96² x 0,25 / E², em que E é a margem que você quer e 0,25 é o pior caso (p = 0,5):
| Margem necessária (E) | Conversas julgadas (n) | Fórmula de planilha |
|---|---|---|
| ±10 pontos | 97 | =ROUNDUP(1.96^2*0.25/0.10^2,0) |
| ±5 pontos | 385 | =ROUNDUP(1.96^2*0.25/0.05^2,0) |
| ±3 pontos | 1.068 | =ROUNDUP(1.96^2*0.25/0.03^2,0) |
Acrescente de 3% a 5% para os vereditos “impossível de julgar”. A nossa página sobre estatística de amostragem em QA (em inglês) explica por que a margem diminui com a raiz quadrada da amostra, e não na mesma proporção.
A calculadora da taxa de resolução correta (copie para uma planilha)
A calculadora tem uma linha por intenção, para que você possa sobreamostrar as intenções de risco e ainda obter uma taxa geral honesta. Coloque as letras das colunas abaixo na linha 1, as intenções a partir da linha 2 e copie as fórmulas para baixo. Os números são uma ilustração, não dados de clientes.
As fórmulas estão com os nomes de função em inglês e ponto como separador decimal. No Excel em português, use ARREDONDAR.PARA.CIMA, RAIZ, MÁXIMO, MÍNIMO, SOMA e INT.CONFIANÇA.NORM, com vírgula decimal e ponto e vírgula entre os argumentos.
Colunas e fórmulas (mostrada a linha 2; a linha 6 é o total):
| Coluna | Campo | Fórmula (linha 2) |
|---|---|---|
| A | Intenção | digitado |
| B | Conversas atendidas (N) | digitado, a partir do log completo do agente |
| C | Sorteadas (n) | digitado |
| D | Impossível de julgar | digitado, a partir da auditoria |
| E | Resoluções corretas na amostra | digitado, a partir da auditoria |
| F | Julgadas | =C2-D2 |
| G | Parcela correta (p) | =E2/F2 |
| H | Margem, 95% | =1.96*SQRT(G2*(1-G2)/F2) (no Excel também =CONFIDENCE.NORM(0.05,SQRT(G2*(1-G2)),F2)) |
| I | Limite inferior | =MAX(0,G2-H2) |
| J | Limite superior | =MIN(1,G2+H2) |
| K | Resoluções corretas estimadas | =B2*G2 |
| L | Parcela da variância | =(B2/$B$6)^2*G2*(1-G2)/F2 |
| Linha 6, total | Taxa de resolução correta | =SUM(K2:K5)/B6, margem =1.96*SQRT(SUM(L2:L5)) |
O atalho do Excel na coluna H funciona porque a função INT.CONFIANÇA.NORM (CONFIDENCE.NORM) (em inglês) devolve a margem para um alfa, um desvio padrão e um tamanho de amostra dados. A coluna L pondera cada intenção pela sua parcela do volume, e é isso que torna a margem geral correta quando você sobreamostra.
Exemplo calculado (ilustração). Um agente de IA atende 20.000 conversas em outubro. O fornecedor informa uma taxa de resolução de 62%. A equipe sorteia 440 conversas em quatro intenções, sobreamostrando os cancelamentos, e julga cada uma com as quatro verificações.
| Intenção | Atendidas (N) | Sorteadas | Impossível de julgar | Corretas | Parcela correta | Margem | Intervalo | Corretas estimadas |
|---|---|---|---|---|---|---|---|---|
| Status do pedido | 9.000 | 120 | 2 | 73 | 61,9% | ±8,8 | 53,1% a 70,6% | 5.568 |
| Trocas e reembolsos | 5.000 | 120 | 4 | 46 | 39,7% | ±8,9 | 30,8% a 48,6% | 1.983 |
| Cancelar plano | 2.000 | 100 | 3 | 29 | 29,9% | ±9,1 | 20,8% a 39,0% | 598 |
| Dúvida de cobrança | 4.000 | 100 | 1 | 35 | 35,4% | ±9,4 | 25,9% a 44,8% | 1.414 |
| Total | 20.000 | 440 | 10 | 183 | 9.563 |
O resultado, passo a passo:
- Taxa geral de resolução correta: 9.563 / 20.000 = 47,8%.
- Margem geral: 1,96 x √(soma da coluna L) = ±5,0 pontos, ou seja, de 42,8% a 52,8%.
- Diferença em relação ao número do fornecedor: 62% informados vs 47,8% corretos, uma diferença de cerca de 14 pontos.
- Por que não 183 / 430? Esses 42,6% sem ponderação contariam demais os cancelamentos, sorteados a 5% do seu volume, enquanto o status do pedido foi sorteado a 1,3%. Ponderar por N corrige isso.
As linhas por intenção são a lista de tarefas: cancelamentos e dúvidas de cobrança são os que mais falham, então recebem as primeiras correções, ou voltam para as pessoas até melhorarem.
Qual é a diferença entre a taxa de resolução correta e a retenção, a deflexão, o FCR e a taxa de resolução?
A taxa de retenção, a deflexão, a resolução no primeiro contato e a taxa de resolução do fornecedor contam conversas que terminaram de um certo jeito. A taxa de resolução correta conta conversas que terminaram bem: é a única das cinco que exige que a resposta esteja certa, que a ação tenha sido feita e que o problema continue resolvido por 7 dias.
| Métrica | O que conta | Verifica a correção? | Janela de recontato | Quem define |
|---|---|---|---|---|
| Taxa de retenção (em inglês) | Conversas que terminaram sem uma pessoa | Não | Nenhuma | Você ou o fornecedor |
| Taxa de deflexão | Solicitações que nunca chegaram a uma fila humana | Não | Nenhuma | Varia de equipe para equipe; veja por que a taxa de deflexão esconde conversas ruins |
| Resolução no primeiro contato (FCR) (em inglês) | Problemas resolvidos na primeira interação | Muitas vezes por pesquisa, não por registro | Definida por você | Você |
| Taxa de resolução do fornecedor | Conversas que o fornecedor marca como resolvidas | Às vezes, lendo a transcrição | Curta e presa ao canal | O fornecedor |
| Taxa de resolução correta | Resolvida, certa, permitida, ação feita, sem recontato | Sim, com base na política e nos registros dos sistemas | 7 dias, qualquer canal | Você |
As definições dos fornecedores variam. A Intercom conta uma “assumed resolution” (resolução presumida) quando o cliente sai “sem pedir mais ajuda” e só a retira se o cliente voltar à mesma conversa (Intercom, em inglês). A Zendesk separa as resoluções “contained” (contidas) das “verified” (verificadas), em que um modelo de linguagem revisa a transcrição (Zendesk, em inglês). A Ada conta as resoluções julgadas relevantes, precisas e seguras por uma revisão de LLM (Ada, em inglês). Nenhuma delas, como está documentada, procura recontatos em outros canais, e uma revisão só da transcrição não consegue confirmar que um reembolso ou cancelamento foi de fato lançado. Por isso você precisa de um número definido por você.
O FCR é o parente mais próximo: a taxa de resolução correta é o FCR com as verificações de correção e de ação explícitas, por isso funciona do mesmo jeito para um agente de IA e para uma pessoa.
Por que segmentar a taxa de resolução correta por intenção?
Segmente por intenção porque uma taxa única esconde onde o agente falha, e porque o mix de intenções decide o número principal. Um agente que recebe mais perguntas simples sobre status do pedido neste mês mostra uma taxa maior sem ter melhorado em nada. As taxas por intenção mostram a mudança real e dizem quais intenções corrigir, ampliar ou devolver às pessoas.
Três regras mantêm a comparação justa:
- Compare o que é comparável. Ao comparar meses, fornecedores ou uma equipe humana com o agente de IA, compare intenção por intenção, ou repondere os dois para o mesmo mix de intenções.
- Dimensione cada intenção para uma decisão. Cerca de 97 conversas julgadas por intenção dão ±10 pontos: o suficiente para ver que cancelamentos a 30% estão com problema, não o suficiente para ver uma variação de 3 pontos.
- Olhe primeiro as intenções de risco. As intenções em que o agente movimenta dinheiro ou altera uma conta merecem uma amostra maior, porque uma ação errada ali custa mais do que uma resposta errada sobre prazo de entrega.
Escolher quais intenções o agente deve assumir é o tema de quais intenções automatizar primeiro.
Como calcular o custo por resolução correta?
Custo por resolução correta = custo total de operação do agente de IA no período / resoluções corretas estimadas. Inclua tudo o que você paga para operá-lo (fatura do fornecedor, taxas de plataforma, tempo interno de manutenção do conhecimento e de QA) e divida pelas resoluções corretas, não pelas resoluções que o fornecedor cobrou.
Continuando a ilustração, com um preço ilustrativo de US$ 0,99 por resolução cobrada:
| Linha | Fórmula | Valor |
|---|---|---|
| Resoluções cobradas | 20.000 x 62% | 12.400 |
| Fatura do fornecedor | 12.400 x US$ 0,99 | US$ 12.276 |
| Custo interno de operação (ilustrativo) | manutenção do conhecimento, tempo de QA | US$ 3.000 |
| Custo total | soma | US$ 15.276 |
| Custo por resolução cobrada | US$ 15.276 / 12.400 | US$ 1,23 |
| Custo por resolução correta | US$ 15.276 / 9.563 | US$ 1,60 (intervalo de US$ 1,45 a US$ 1,78) |
O intervalo divide pela estimativa inferior e superior de resoluções corretas (8.565 e 10.560). Para uma visão mais completa, some o custo humano dos recontatos que as falsas resoluções geram, e calcule o mesmo número para a sua equipe humana (custo total das horas gastas / resoluções corretas) antes de decidir o que automatizar. O nosso conjunto mais amplo de métricas de IA no atendimento mostra onde esse número fica ao lado da qualidade do escalonamento e dos abandonos silenciosos.
Quando a taxa de resolução correta não compensa o esforço?
Dispense a amostragem quando o agente atende algumas centenas de conversas por mês: julgue todas e calcule a taxa exata. A métrica também importa menos para um agente que só responde perguntas informativas simples, sem ações; ali, uma contagem de recontatos e uma verificação leve de precisão podem bastar.
Ela também não serve para encontrar falhas individuais. Uma amostra de 440 dá a taxa com uma margem de cerca de 5 pontos, mas raramente revela uma falha que atinge 1 cliente em 500; para encontrá-las, é preciso avaliar todas as conversas.
Como começar a medir a taxa de resolução correta esta semana
Você precisa de uma planilha, de um ou dois avaliadores e de acesso de leitura ao seu sistema de pedidos ou de cobrança. A primeira semana dá uma primeira taxa com margem e uma lista das intenções a corrigir; as definições importam mais do que as casas decimais.
- Dia 1: escreva as quatro verificações, com um exemplo de aprovação e um de reprovação para cada uma, e a regra dos 7 dias.
- Dia 2: exporte as conversas atendidas no mês passado com o rótulo de intenção e sorteie uma amostra por intenção usando a tabela de tamanhos acima.
- Dias 3 e 4: julgue cada conversa, confira as ações declaradas nos registros dos sistemas e procure recontatos em todos os canais.
- Dia 5: cole as contagens na calculadora, leia as taxas por intenção e calcule o custo por resolução correta.
Quando você souber quais intenções falham, o próximo passo é pegar essas falhas em todas as conversas, e não em uma amostra mensal. O AutoPilot da Kaizo avalia cada conversa resolvida segundo o seu próprio formulário de monitoria, e cada nota leva à evidência na conversa; veja QA de agentes de IA para entender como funciona, ou agende uma demo para ver isso nas conversas do seu próprio agente de IA.
Perguntas frequentes
O que é uma boa taxa de resolução correta?
Não existe benchmark publicado, porque quase ninguém define a métrica do mesmo jeito ainda. Acompanhe a sua própria taxa por intenção, mês a mês, e observe a diferença em relação à taxa de resolução do fornecedor. Uma diferença que diminui significa que as correções estão funcionando; uma taxa do fornecedor estável e alta com uma taxa correta em queda significa que o dashboard está se afastando da realidade.
Dá para usar a taxa de resolução correta para atendentes humanos?
Sim. As quatro verificações valem para qualquer conversa, e a fórmula é a mesma. Para as pessoas, “resolvida” significa que o atendente encerrou a conversa sem transferi-la. Compare humanos e o agente de IA intenção por intenção, nunca por taxas gerais, porque eles costumam atender mixes muito diferentes.
Por que usar uma janela de recontato de 7 dias?
As janelas dos fornecedores são curtas e geralmente se limitam à mesma conversa, enquanto muitas falhas aparecem depois: um reembolso que nunca chega, uma segunda cobrança no ciclo de faturamento seguinte. Sete dias pegam a maioria delas. Nas intenções de cobrança, estenda a janela até a data da próxima fatura.
Um LLM como avaliador consegue calcular a taxa de resolução correta?
Um LLM como avaliador consegue julgar as verificações de resposta e de política em volume, se você o calibrar com os vereditos humanos. Ele não consegue ver os registros dos sistemas nem os contatos em outros canais lendo só a transcrição, então cruze os resultados com os dados de pedidos e o histórico de contatos antes de considerar uma conversa correta.
As conversas “impossíveis de julgar” contam contra a taxa?
Não. Deixe-as fora da contagem de julgadas, informe quantas foram e corrija os dados faltantes se elas passarem de cerca de 5% da amostra. Se elas se concentrarem em uma intenção, a taxa dessa intenção é menos confiável do que a margem sugere.
