Pular para o conteúdo

Métricas

Métricas de IA no atendimento e KPIs de agentes de IA

Os KPIs de agentes de IA que substituem a contenção: taxa de resolução correta, precisão auditada, aderência às políticas e transbordo, com fórmulas e tabela.

· Atualizado em · 26 min de leitura

Os KPIs de agentes de IA no atendimento devem medir se o agente de IA resolveu o problema corretamente, não se um humano ficou de fora. O conjunto principal: taxa de resolução correta, precisão auditada, aderência às políticas, qualidade do transbordo, recontato em até 7 dias, taxa de ações automáticas indevidas e custo por resolução correta. A contenção e a deflexão continuam no dashboard como insumos de volume.

As métricas de qualidade do atendimento com IA medem se um agente de IA realmente resolveu o problema do cliente: qualidade da resolução, precisão factual, qualidade do escalonamento, recontatos, abandonos silenciosos, aderência às políticas e custo por contato resolvido. Entre as métricas de IA no atendimento, a taxa de contenção e o CSAT pós-IA são as duas que a maioria das equipes reporta e também as que mais enganam. Em vez delas, avalie cada conversa, com cada nota ligada à evidência, como faz o QA de agentes de IA.

Em resumo

  • A contenção conta um abandono frustrado como vitória.
  • O CSAT pós-IA nunca ouve os clientes que desistiram.
  • Recontatos e abandonos silenciosos revelam o que a contenção esconde.
  • Toda nota deve ser rastreável até a evidência na transcrição.
  • A taxa de resolução correta deve ser o KPI principal do agente de IA, com o custo por resolução correta como o seu par financeiro.
  • Os fornecedores definem “resolvido” de formas diferentes, então reescreva cada número de fornecedor na sua própria definição antes de comparar.

Por que as duas métricas de IA no atendimento mais usadas enganam

Todo líder de atendimento que está implantando IA ouve a mesma pergunta do conselho: prove que funciona. Os dois números que aparecem primeiro são a taxa de contenção e o CSAT pós-IA, porque os dois são fáceis de extrair e, com um pouco de boa vontade, os dois mostram uma curva subindo. São também os dois números com menos chance de descrever o que realmente aconteceu com os seus clientes.

O problema é estrutural, não de ajuste. A contenção mede um resultado de roteamento: um humano tocou nesta conversa ou não. O CSAT pós-IA mede uma opinião, mas só a opinião de quem escolheu dar uma. Nenhum dos dois olha para o conteúdo da conversa, que é o único lugar onde está a resposta. É um problema bem diferente daquele resolvido pelo método padrão para medir o desempenho de agentes de IA, e bem diferente de escolher quais indicadores de atendimento entram no seu dashboard. Aqui a questão é quais números estão mentindo para você sem ninguém perceber.

Esta é a versão curta do argumento, métrica por métrica, antes de entrarmos em cada uma em detalhe.

MétricaO que ela diz mostrarComo ela enganaO que medir no lugar
Taxa de contenção / deflexãoA IA atendeu a conversa com sucessoConta abandono e bloqueio como sucesso, porque nenhum humano se envolveuQualidade da resolução mais taxa de abandono silencioso
CSAT pós-IAOs clientes estão satisfeitos com a IARespondido por uma minoria autosselecionada, e os clientes mais irritados simplesmente vão emboraTaxa de recontato e qualidade da resolução em 100% das conversas
Tempo médio de atendimento nas conversas com IAA IA é rápidaUma resposta errada e rápida é mais rápida que uma certa e lentaPrecisão factual e custo por contato realmente resolvido
Taxa de escalonamentoMenos escalonamentos significa que a IA está dando contaSuprimir escalonamentos é fácil e prejudicial; o momento e a passagem importam maisQualidade do escalonamento: momento certo, contexto completo
Volume atendido pela IAEscala e ROINão diz nada sobre o que aconteceu dentro desse volumeAderência às políticas, avaliada com os seus critérios

Taxa de contenção: a métrica que premia o bloqueio

A taxa de contenção, às vezes chamada de taxa de deflexão, é a parcela das conversas que terminou sem o envolvimento de um atendente humano. Ela virou a métrica padrão de IA porque se encaixa diretamente no business case: cada conversa contida é um contato pelo qual você não precisou pagar um humano.

A falha está na definição. A contenção não pergunta se o cliente conseguiu o que veio buscar. Ela pergunta se mais alguém foi acionado. Isso significa que vários desfechos muito diferentes são contados exatamente da mesma forma, como vitória:

  • A resolução de verdade: o cliente perguntou, a IA respondeu corretamente, o cliente saiu satisfeito. É o desfecho que a métrica foi criada para capturar.
  • O abandono: o cliente perguntou três vezes, recebeu uma variação da mesma resposta inútil e fechou a janela. Nenhum humano se envolveu, então conta como contida.
  • O bloqueio: a IA não podia ou não quis transferir, continuou oferecendo artigos da central de ajuda, e o cliente desistiu e foi para as redes sociais ou para a seção de avaliações da loja de aplicativos.
  • O contato deslocado: o cliente fechou o chat e ligou para a central, ou mandou e-mail, ou abriu um novo chamado no dia seguinte. Contido em um canal, ainda custando em outro.

Três desses quatro são falhas, e o bloqueio é ativamente pior do que não fazer nada. Mesmo assim, um número de contenção não consegue distinguir entre eles, porque a informação que os diferencia está dentro da conversa, e a contenção nunca olha para lá.

Isso não é um argumento para abandonar a contenção. Ela é um insumo útil de capacidade e custo. É um argumento contra reportá-la como métrica de qualidade, porque otimizar a contenção diretamente significa dificultar que o cliente chegue a um humano, que é exatamente o comportamento que ninguém pretende e que todo mundo reconhece quando está do lado do cliente.

A deflexão tem a mesma falha, mais a resposta errada dita com confiança

A taxa de deflexão, a parcela dos contatos que nunca chega a uma fila humana, tem o mesmo ponto cego, e as duas deixam passar a resposta errada em que o cliente acredita. Um cliente que recebeu o prazo de reembolso errado agradece e vai embora: contido, defletido e, na maioria dos relatórios de fornecedores, resolvido. Veja como medir a contenção com honestidade (em inglês).

CSAT pós-IA: a métrica que nunca ouve quem foi embora

O CSAT (em inglês) é uma boa métrica no seu contexto original: uma conversa com um humano, uma taxa de resposta razoável, uma população estável respondendo. Acoplado a uma conversa com IA, ele desenvolve um ponto cego específico e sério.

Autosseleção no pior momento possível

As respostas da pesquisa vêm de uma minoria dos clientes, e essa minoria nunca é aleatória. Quem sentiu algo forte o bastante para responder tende a estar nos dois extremos. Mas a falha de IA que mais importa, o cliente que conclui em silêncio que aquilo não vai dar em nada e desiste, é justamente o cliente com menos chance de preencher uma pesquisa depois. Ele não ficou para ser pesquisado. São os desistentes silenciosos, e o CSAT pós-IA é estruturalmente surdo a eles.

A pesquisa pergunta sobre a coisa errada

Mesmo entre quem responde, uma nota de satisfação mistura se a resposta estava correta, se o tom foi agradável e se o desfecho era o que o cliente queria ouvir. Uma IA simpática e confiantemente errada pode ter nota boa. Uma IA que entrega corretamente uma resposta de política que o cliente não gosta pode ter nota ruim. Nenhum dos dois resultados diz se o sistema está funcionando.

A comparação é injusta nos dois sentidos

As equipes costumam comparar o CSAT da IA com o CSAT dos atendentes e tirar conclusões. Essas duas populações não são comparáveis: a IA normalmente fica primeiro com os contatos simples, de alto volume e fáceis de satisfazer, e escalona os difíceis. Um CSAT de IA lisonjeiro pode significar apenas que a IA recebeu a fila fácil. Um ruim pode significar que ela recebeu a fila que ninguém conseguiria vencer.

Mantenha o CSAT. Só pare de tratá-lo como evidência sobre a sua IA. Trate-o como um sinal entre vários, ponderado pelo fato de que ele só ouve quem ficou.

Quais KPIs de agentes de IA devem substituir a contenção como número principal?

Sete KPIs de agentes de IA devem abrir o relatório: taxa de resolução correta, precisão auditada, aderência às políticas, qualidade do transbordo, recontato em até 7 dias, taxa de ações automáticas indevidas e custo por resolução correta. Cada um lê a conversa ou os sistemas por trás dela, então nenhum pode ser melhorado dificultando o acesso a um humano.

Contenção, deflexão, CSAT e tempo de atendimento ficam um nível abaixo, como insumos de capacidade e de percepção. As seções a seguir explicam cada KPI, e a tabela de definições mais abaixo traz as fórmulas. Para aprofundar o número principal, veja taxa de resolução correta.

Como os fornecedores definem “resolvido” de formas diferentes?

Os fornecedores usam a mesma palavra para testes diferentes. A Intercom conta um cliente que sai sem pedir mais ajuda, a Zendesk acrescenta uma revisão por modelo de linguagem para o seu nível verificado, e a Ada exige uma resposta relevante, precisa e segura. Nenhuma dessas definições, como documentadas, confere os registros nos sistemas internos ou o contato por outros canais.

Termo do fornecedorConta como resolvido quandoConfere se a resposta estava correta?O que não consegue ver
Intercom Fin, resolução presumida (assumed resolution)O cliente sai da conversa sem pedir mais ajuda depois da última resposta do Fin; é descontada se o cliente reabrir a mesma conversa (Intercom)NãoUma resposta errada em que o cliente acreditou; um retorno por outro canal
Intercom Fin, resolução confirmada (confirmed resolution)O cliente confirma que a resposta ajudou (“That helped”)Só na visão do clienteSe a visão do cliente estava certa
Zendesk, resolução contida (contained resolution)O agente de IA tratou a interação sem que o cliente pedisse mais ajuda (Zendesk)Não; também inclui conversas reprovadas na verificaçãoAcerto, registros nos sistemas internos
Zendesk, resolução verificada (verified resolution)Como a contida, mais um modelo de linguagem que revisa o texto da conversa e confirma que o pedido foi resolvidoPelo texto da transcriçãoSe a ação aconteceu nos seus sistemas; outros canais
Ada, resolução automatizada (automated resolution)Nenhum humano envolvido, e a conversa é julgada relevante, precisa e seguraSim, por revisão da conversaRecontato depois do fim da conversa

Então duas taxas de resolução de fornecedores não são comparáveis até você reescrever as duas em uma única definição que seja sua; o próprio guia de KPIs do Fin diz que a definição varia enormemente entre fornecedores (Fin). A Intercom também cobra por resolução do Fin. E a janela é curta: por padrão, a Zendesk encerra uma conversa de mensageria 2 horas depois da primeira mensagem e uma conversa por e-mail 72 horas depois do primeiro e-mail, então uma falha que aparece no 4º dia nunca afeta o número do fornecedor. A nossa auditoria da taxa de resolução de agentes de IA mostra como reportar uma taxa corrigida ao lado da do fornecedor.

Qualidade da resolução: a métrica âncora

Se for trocar a contenção por uma única coisa, troque pela qualidade da resolução: esta conversa resolveu de fato o problema do cliente? É a âncora de todo o conjunto, porque todas as outras métricas aqui são ou um insumo para ela ou uma verificação dela.

O que é. Um julgamento, feito sobre a transcrição, sobre se a questão de fundo do cliente foi tratada. Não se um chamado foi fechado, não se uma resposta foi enviada, não se a intenção foi reconhecida. Se aquilo que o cliente precisava que acontecesse, aconteceu.

Como medir. Como um critério avaliado nos seus critérios de avaliação de QA, aplicado às conversas atendidas pela IA exatamente como é aplicado às atendidas por humanos. O critério precisa ser escrito de forma que um avaliador humano e um avaliador automatizado o leiam do mesmo jeito: defina qual evidência na transcrição conta como resolução para cada tipo principal de contato. Reembolso solicitado e reembolso confirmado. Endereço alterado e alteração confirmada de volta ao cliente. Pergunta feita e resposta correta dada, com o cliente reconhecendo isso.

Como é um número ruim. O sinal a observar não é um limite absoluto, é a diferença entre a qualidade da resolução e a contenção. Se uma grande parcela das conversas é contida, mas uma parcela muito menor é avaliada como resolvida, essa diferença é o tamanho do seu problema, expresso em conversas. É também o número que vale a pena levar ao conselho, porque é a versão honesta daquele que mostraram a eles.

Note que isso é deliberadamente mais rigoroso que a resolução no primeiro contato (em inglês), que deduz a resolução pela ausência de um retorno. O FCR é uma aproximação útil. A qualidade da resolução lê a transcrição em vez de deduzir algo do silêncio, e silêncio é exatamente o que um cliente que abandona produz.

Precisão factual e taxa de alucinação

Um agente de IA (em inglês) que inventa um prazo de reembolso, informa errado um prazo de entrega ou descreve com confiança um recurso que você não tem não é um problema de qualidade, é um problema de responsabilidade. A precisão factual é a métrica que pega isso, e é a que a maioria das equipes nem mede.

O que é. A parcela das respostas da IA que contém uma afirmação factual verificável na sua base de conhecimento, nos documentos de política ou nos dados de pedidos, e a parcela dessas afirmações que está correta. A taxa de alucinação é o inverso: afirmações feitas com confiança e sem apoio em nenhuma fonte.

Como medir. Cada afirmação factual em uma conversa é verificada contra a fonte de verdade de referência. Isso só é viável de forma automática, em volume, o que é um dos argumentos mais fortes para avaliar todas as conversas em vez de trabalhar com amostra: uma alucinação numa conversa que ninguém leu custa exatamente o mesmo que uma numa conversa que alguém leu. Acompanhe separadamente por tipo de contato, porque a precisão raramente é uniforme. As perguntas de cobrança e as de entrega geralmente se comportam de forma muito diferente.

Como é um número ruim. Qualquer taxa acima de zero em afirmações com peso jurídico, financeiro ou de segurança é um número ruim, por menor que seja. Em afirmações de menor risco, o que importa é a direção: uma taxa de alucinação que sobe depois de uma mudança na base de conhecimento ou de uma atualização de modelo está dizendo algo específico e urgente sobre essa mudança.

Um cuidado: a confiança de um agente de IA na própria resposta não é evidência de que a resposta era verdadeira. A precisão tem de ser conferida com a sua base de conhecimento e as suas políticas, mostrando a evidência de cada veredito, que é o princípio por trás de uma avaliação bem conduzida com LLM como juiz (em inglês).

Qualidade do escalonamento: não quantas vezes, mas como

A taxa de escalonamento é reportada como se menor fosse melhor. Não é. O escalonamento é um recurso, e uma IA que nunca escalona não é uma IA forte, é um cliente preso. O que importa é a qualidade do escalonamento: se a passagem aconteceu no momento certo e chegou com o contexto certo.

Momento

Os dois modos de falha ficam um de cada lado do ponto certo. Escalonar cedo demais desperdiça toda a automação e irrita um cliente que tinha uma pergunta simples. Escalonar tarde demais, depois de três ou quatro voltas sem sucesso, significa que o humano herda um cliente já irritado e uma conversa que precisa recomeçar. Avalie o momento: havia um turno identificável em que uma passagem competente deveria ter acontecido, e ela aconteceu ali?

Transferência de contexto

A falha de escalonamento mais cara é aquela em que o atendente abre a conversa e precisa pedir ao cliente para explicar tudo de novo. Esse único comportamento desfaz a boa vontade de toda a interação com a IA. Avalie se a passagem levou o problema relatado pelo cliente, o que já foi tentado e todo contexto de conta ou de pedido que a IA já tinha consultado.

Acerto

O escalonamento era mesmo a decisão certa? Uma IA que escalona toda mensagem ambígua está gerando trabalho humano à toa, o que aparece no custo por contato resolvido, e não nas notas de qualidade. As duas direções precisam ser avaliadas, senão você otimiza uma até virar a outra.

Como KPI único, avalie cada transbordo como aprovado ou reprovado em momento certo, contexto completo e decisão certa; a qualidade do transbordo é a parcela que passa nos três. Veja como avaliar o transbordo entre IA e atendente.

Como é um número ruim. Uma taxa de escalonamento caindo junto com uma nota de qualidade da resolução caindo é o sinal ruim mais claro deste artigo inteiro. Significa que a IA está segurando conversas que não consegue concluir.

Taxa de recontato e taxa de abandono silencioso

Essas duas estão juntas porque são os seus detectores de mentira mais baratos. As duas pegam falhas que a contenção conta como sucessos, e nenhuma exige que o cliente preencha nada.

Taxa de recontato após uma conversa com IA

O que é. A parcela dos clientes que volta dentro de uma janela definida, em qualquer canal, sobre a mesma questão de fundo depois de uma conversa atendida pela IA.

Como medir. Ligue os contatos por cliente e por questão, não por chamado, e olhe especificamente entre canais. Um cliente que abandonou um chat e depois ligou é o caso mais importante de pegar, e uma visão por canal vai perdê-lo completamente. Ajuste a janela ao seu produto: o mesmo dia para um problema de entrega, uma semana ou mais para uma contestação de cobrança. Para o KPI principal, fixe uma única janela de 7 dias, para que o número seja comparável de uma semana para outra; as janelas por tema continuam úteis para o diagnóstico.

Como é um número ruim. Uma taxa de recontato que sobe após o atendimento pela IA em comparação com os contatos equivalentes atendidos por humanos é um alerta vermelho, seja qual for o valor absoluto. Significa que a contenção moveu trabalho em vez de eliminá-lo.

Taxa de abandono silencioso

O que é. A parcela das conversas com IA da qual o cliente sai sem resolução e sem escalonamento. Sem pesquisa, sem reclamação, sem retorno. Essas conversas parecem idênticas a sucessos em todas as métricas baseadas em roteamento.

Como medir. Identifique as conversas que terminaram em um turno do cliente, ou com a última mensagem da IA sem resposta, e avalie se a questão estava resolvida naquele ponto. Separar saídas satisfeitas de desistências silenciosas é um julgamento sobre a transcrição, e é exatamente por isso que essa métrica não existe na maioria dos dashboards: ela não pode ser contada, tem de ser lida.

Como é um número ruim. Qualquer taxa de abandono silencioso que seja uma fração relevante da sua taxa de contenção significa que o seu número de contenção está inflado exatamente nessa medida. Reportar a contenção sem ela é reportar um número que você sabe que está errado.

Taxa de ações automáticas indevidas: o KPI para agentes de IA que executam ações

A taxa de ações automáticas indevidas é a parcela das ações que um agente de IA executou sozinho, como reembolsos, cancelamentos, créditos ou alterações de conta, que violou uma regra: acima de um limite, uma verificação obrigatória pulada, o registro errado, uma ação que ninguém pediu ou uma ação anunciada que nunca aconteceu no sistema. A precisão avalia o texto; este KPI avalia o que o agente fez.

Como medir. Concilie cada ação executada, não uma amostra, com os limites da política e a conversa que a disparou. Acompanhe ao lado a taxa de intervenção (ações que um humano bloqueou): uma taxa de ações indevidas caindo com uma taxa de intervenção subindo significa que os humanos estão pegando o problema, não que ele sumiu. Qualquer ação indevida em pagamentos, acesso à conta ou dados pessoais é um incidente com um responsável nomeado. As regras pertencem aos seus guardrails para agentes de IA.

Aderência às políticas e custo por contato realmente resolvido

As duas últimas fecham o ciclo entre a qualidade e o business case.

Aderência às políticas

O que é. Se a IA seguiu as regras que é obrigada a seguir: verificar a identidade antes de revelar dados da conta, dar os avisos obrigatórios, recusar descontos fora da política, tratar corretamente um cliente vulnerável ou uma reclamação formal, manter a linguagem regulatória onde ela se aplica.

Como medir. São critérios binários, verificáveis por evidência, o que os torna o item mais fácil desta lista de avaliar automaticamente e o mais prejudicial de tratar por amostra. Aplique-os como verificações de aprovado ou reprovado em todas as conversas, e trate cada reprovação como um incidente a revisar, não como uma porcentagem a diluir na média. É a mesma lógica de critérios pela qual a sua equipe humana já é avaliada, e é esse o ponto: a sua nota de qualidade interna deve cobrir a IA também, ou você tem dois padrões e nenhuma comparação.

Como é um número ruim. Em verificação de identidade e avisos regulatórios, uma reprovação já é um número ruim. Não tire média disso.

Custo por contato realmente resolvido

O que é. O custo total das conversas com IA dividido pelo número de conversas que foram de fato resolvidas, não pelo número de contidas.

Como medir. Pegue a sua nota de qualidade da resolução, aplique-a ao volume contido e use a contagem resultante como denominador. Inclua o custo que a IA gerou depois: recontatos, o tempo de atendimento extra nos escalonamentos que chegaram sem contexto e o tempo humano gasto consertando.

Como é um número ruim. Se o custo por contato realmente resolvido não for claramente melhor que o equivalente atendido por humanos, a implantação não está se pagando, por melhor que pareça o gráfico de contenção. É o número que transforma um argumento de qualidade em um argumento financeiro, e esse costuma ser o argumento que consegue orçamento.

A tabela de definições dos KPIs de agentes de IA (copie esta)

Cada KPI principal precisa de uma fórmula e de uma fonte de dados, senão duas equipes vão calculá-lo de duas formas. As metas são pontos de partida para um primeiro trimestre, não referências de mercado: troque-as pela sua própria linha de base depois de quatro semanas de avaliação.

KPIFórmulaFonte de dadosMeta de exemplo (ponto de partida)
Taxa de resolução corretaConversas com IA com resposta certa, ação concluída, política respeitada e sem recontato em até 7 dias, divididas por todas as conversas atendidas pela IAAvaliação de QA das transcrições, registros dos sistemas internos, histórico de contatosA no máximo 10 pontos da taxa de resolução informada pelo fornecedor, e depois subir a cada trimestre
Precisão auditadaAfirmações factuais confirmadas como corretas, divididas pelas afirmações factuais verificadasAvaliação com base na base de conhecimento, nos documentos de política e nos dados de pedidos98% no geral; 100% em afirmações sobre dinheiro, jurídicas e de segurança
Aderência às políticasConversas aprovadas em todas as verificações obrigatórias aplicáveis, divididas pelas conversas em que alguma verificação se aplicavaCritérios de aprovado ou reprovado do formulário (identidade, avisos, limites de reembolso)100% em identidade e avisos regulatórios; cada reprovação revisada
Qualidade do transbordoTransbordos aprovados em momento, contexto e acerto, divididos por todos os transbordosCritérios de escalonamento do formulário mais os eventos de transbordo do helpdesk90% dos transbordos aprovados; menos de 5% dos clientes precisando se repetir
Recontato em até 7 diasClientes que voltam pela mesma questão, em qualquer canal, em até 7 dias, divididos pelas conversas com IA marcadas como resolvidasHistórico de contatos ligado pelo ID do cliente entre canaisIgual ou abaixo da taxa dos atendimentos humanos para o mesmo tipo de contato
Taxa de ações automáticas indevidasAções executadas pela IA que violaram uma regra, divididas por todas as ações executadas pela IARegistros de ações conciliados com os limites da política e a conversa que as disparouZero em pagamentos e acesso à conta; abaixo de 0,1% no resto, com cada caso revisado
Custo por resolução corretaCusto da IA mais o custo dos atendimentos humanos de acompanhamento que ela gerou, dividido pelas resoluções corretasFaturas da plataforma, custo da equipe, histórico de contatosAbaixo do seu custo por resolução humana correta para o mesmo tipo de contato

Separe cada linha por tipo de contato, porque uma média geral esconde a intenção que está quebrada. Use as mesmas definições para a sua equipe humana, para que as linhas de IA e de pessoas fiquem no mesmo dashboard; quando um KPI não tem equivalente humano, como a taxa de ações automáticas indevidas, mostre o controle mais próximo (reembolsos e créditos fora da política concedidos por atendentes).

Exemplo prático: um mês, dois números principais

Uma ilustração com números redondos, não uma referência de mercado. Um agente de IA atende 10.000 conversas em um mês. O dashboard do fornecedor mostra 70% de contenção (7.000 conversas) e 65% de resolução (6.500).

A equipe audita 400 das conversas “resolvidas”. Em 14% delas a resposta estava errada ou foi anunciada uma ação que nunca aconteceu, e outros 8% voltaram pela mesma questão em até 7 dias. Sobram 78% corretas.

NúmeroCálculoResultado
Resoluções corretas6.500 x 78%5.070
Taxa de resolução correta5.070 / 10.00050,7% (o fornecedor diz 65%)
Atendimentos de acompanhamento gerados pela IA6.500 x 22%1.430
Custo por resolução do fornecedorUS$ 13.000 de custo da IA / 6.500US$ 2,00
Custo por resolução correta(US$ 13.000 + 1.430 x US$ 6 de acompanhamento humano) / 5.070US$ 4,26

Mesmo mês, mesmas conversas. Um relatório diz que a IA resolve 65% dos contatos a US$ 2,00; o outro diz que ela resolve metade deles por mais que o dobro do custo. Com uma amostra de 400, os 78% têm uma margem de cerca de 4 pontos para mais ou para menos (95% de confiança); avaliar todas as conversas elimina essa margem.

Quais painéis mostram taxa de contenção, CSAT e tempo de atendimento

A maioria dos helpdesks e plataformas de agentes de IA já mostra a taxa de contenção, o CSAT e o tempo médio de atendimento nas análises integradas. O que esses painéis raramente mostram é se cada conversa foi de fato resolvida, correta e dentro das regras.

MétricaDe onde costuma virO que ela não consegue dizer
Taxa de contenção ou de deflexãoA plataforma do agente de IA ou as análises do helpdeskSe o cliente foi ajudado ou desistiu
CSATPesquisas pós-conversa no helpdeskO que viveram os clientes que não responderam
Tempo médio de atendimentoRelatórios do helpdesk ou da centralSe uma resposta rápida também foi certa
Qualidade da resolução, precisão, aderência às políticasUma plataforma de QA que avalia as transcrições(É a camada que falta às outras três)

Na prática, são duas camadas. Mantenha os números operacionais das ferramentas que os geram e acrescente uma camada de qualidade que lê cada conversa, de atendentes humanos e de agentes de IA. A Kaizo foi feita para essa segunda camada: avalia as conversas dos agentes de IA com o mesmo formulário de monitoria da sua equipe, para você ver a qualidade por equipe e por semana, pessoas e IA lado a lado. Para aprofundar a contenção, veja o que é a taxa de contenção e por que ela pode enganar.

Por que as métricas de qualidade da IA precisam de todas as conversas

Releia as métricas acima e uma coisa vale para todas, sem exceção: exigem ler a conversa. A qualidade da resolução é um julgamento sobre a transcrição. A taxa de alucinação é uma verificação de afirmações contra fontes. A qualidade do escalonamento é uma avaliação de um turno específico. O abandono silencioso é a ausência de um sinal, ou seja, só pode ser encontrado olhando para conversas em que nada aconteceu.

Isso tem duas consequências que a maioria dos programas de medição ainda não absorveu.

A amostragem não funciona aqui

A monitoria tradicional revisa uma pequena porcentagem das conversas, e para uma equipe humana de tamanho conhecido esse é um meio-termo estatístico defensável. Não é defensável para IA, por dois motivos. Primeiro, as falhas da IA são sistemáticas, não distribuídas: um artigo de conhecimento ruim ou um caso de borda de política produz a mesma falha toda vez que é atingido, então uma amostra ou pega o grupo inteiro ou o perde por completo. Segundo, a IA atende muito mais volume, então a mesma amostra pequena é uma janela menor sobre uma operação maior. Avaliar todas as conversas (em inglês) é a pré-condição, não o objetivo: remove o viés de seleção que torna as outras métricas sem sentido. Não se trata de vigiar ninguém, trata-se de não deixar uma regra de amostragem decidir o que as suas métricas dizem.

Você não deveria ter de confiar numa nota às cegas

Exija que cada nota leve de volta à evidência exata na transcrição que a gerou, que qualquer nota possa ser contestada e arbitrada por um humano, e que o avaliador possa ser executado sobre um conjunto de conversas que os seus próprios avaliadores já avaliaram, para que você veja a taxa de concordância critério por critério antes de reportar qualquer coisa para cima. Uma nota que você consegue rastrear é uma nota que você consegue contestar. Uma nota que você não consegue rastrear é uma promessa de marketing com um número anexado.

A Kaizo avalia agentes de IA e a sua equipe humana com um único conjunto de critérios definido por você, com cada nota rastreada até a transcrição e testável contra o seu próprio conjunto de referência. Ela aplica esses critérios a todas as suas conversas, e não a uma fatia escolhida. Na prática, isso significa que a monitoria de qualidade de agentes de IA e a monitoria dos atendentes deixam de ser dois programas separados produzindo dois conjuntos de números impossíveis de comparar.

Como medir o desempenho da IA no atendimento

Meça o desempenho da IA no atendimento em cinco passos: defina a resolução por tipo de contato, avalie cada conversa de IA com um formulário, acrescente os sinais silenciosos, compare com a equipe humana e reporte a diferença.

  1. Defina a resolução por tipo de contato. Anote que evidência na transcrição conta como resolvido nos seus principais motivos de contato: reembolso confirmado, mudança de endereço verificada, resposta correta reconhecida.
  2. Avalie cada conversa de IA com um único formulário. Use os mesmos critérios da equipe humana, mais os específicos de bots: precisão factual, fidelidade à política, ficar dentro do escopo e escalar no momento certo.
  3. Acrescente os sinais silenciosos. Acompanhe recontatos entre canais e abandonos silenciosos, porque nenhum dos dois aparece na contenção nem no CSAT.
  4. Compare com a equipe humana. Coloque a qualidade da IA e a das pessoas no mesmo gráfico, por tipo de contato, para não comparar a fila fácil com a difícil.
  5. Reporte a diferença. Mostre à diretoria a contenção ao lado da qualidade da resolução, e o custo por contato realmente resolvido ao lado do custo por contato contido.

Teste a própria avaliação antes de reportar: rode-a em conversas que os seus avaliadores já avaliaram e confira a concordância por critério. Nosso guia sobre como medir o desempenho de agentes de IA explica o método em detalhes.

Quando este conjunto de KPIs não é para você?

Se o seu agente de IA atende algumas centenas de conversas por mês, só responde a perguntas frequentes e não executa ações, sete KPIs são burocracia demais: leia uma amostra semanal e acompanhe os recontatos.

Sem um formulário de monitoria escrito, escreva um primeiro (scorecard de agentes de IA). Uma IA que só redige respostas que uma pessoa envia é agent assist, então valem os KPIs da equipe humana. Para começar, avalie 100 conversas “resolvidas” aleatórias do mês passado quanto a resposta certa, ação concluída, política respeitada e recontato em até 7 dias, e reporte o resultado ao lado da taxa do fornecedor (margem de cerca de 10 pontos). Para os limites de alerta, veja monitoramento de agentes de IA.

Meça o que seus agentes de IA realmente fizeram

Veja em uma demo ao vivo, com dados de exemplo realistas, como a qualidade da resolução aparece ao lado da contenção, avaliada com critérios como os seus. Cada nota leva à evidência na transcrição e, na sua própria implantação, você a confere com conversas que os seus avaliadores já avaliaram.

Vamos conversar Conheça o QA de agentes de IA Veja o Kaizo Insights

Perguntas frequentes

Quais são as métricas de IA no atendimento mais importantes?

Taxa de resolução correta, precisão auditada, aderência às políticas, qualidade do transbordo, recontato em até 7 dias, taxa de ações automáticas indevidas e custo por resolução correta, com a taxa de abandono silencioso como diagnóstico. Elas descrevem o que realmente aconteceu na conversa e nos seus sistemas. A taxa de contenção e o CSAT pós-IA, as duas mais reportadas, descrevem roteamento e opinião autosselecionada, e é por isso que enganam.

Qual é a diferença entre taxa de resolução, deflexão e contenção?

A contenção é a parcela das conversas que terminou sem um humano. A deflexão é a parcela dos contatos que nunca chegou a uma fila humana. A taxa de resolução é o teste do próprio fornecedor, de “o cliente saiu sem pedir mais ajuda” até uma revisão automatizada da transcrição. Nenhuma delas confere os registros nos sistemas internos ou outros canais, e é por isso que a taxa de resolução correta fica acima delas.

O que é taxa de contenção e por que ela engana?

A taxa de contenção, também chamada de taxa de deflexão, é a parcela das conversas que uma IA atendeu sem o envolvimento de um humano. Ela engana porque mede se mais alguém foi acionado, não se o cliente foi ajudado. Um cliente que perguntou três vezes, não chegou a lugar nenhum e fechou a janela frustrado conta como contido, e um cliente que desistiu e ligou também.

Como medir o CSAT de agentes de IA e chatbots?

Trate o CSAT como um sinal entre vários, não como o veredito. O CSAT pós-IA é respondido por um pequeno grupo autosselecionado, e os clientes em que a sua IA mais falhou são os que têm menos chance de ficar e responder uma pesquisa. Ele também mistura acerto com tom, então uma IA confiantemente errada pode ter nota boa. Compare-o com medidas baseadas na transcrição em vez de tratá-lo como evidência por si só.

Como medir se um agente de IA realmente resolveu um problema?

Avalie a resolução como um critério nos seus critérios de avaliação de QA, aplicado à transcrição em vez de deduzido do status do chamado. Defina, por tipo de contato, qual evidência na conversa conta como resolução: o reembolso confirmado, a alteração confirmada de volta ao cliente, a resposta correta reconhecida. Depois compare essa parcela resolvida com a sua taxa de contenção. A diferença entre as duas é o tamanho do problema.

O que é taxa de abandono silencioso?

É a parcela das conversas com IA da qual o cliente sai sem resolução e sem escalonamento: sem reclamação, sem pesquisa, sem retorno. Essas conversas são invisíveis para todas as métricas baseadas em roteamento, porque nenhum humano se envolveu, e por isso inflam a contenção. Encontrá-las significa ler as conversas que terminaram em um turno do cliente e julgar se a questão foi de fato tratada.

Que taxa de resolução a IA consegue atingir no atendimento?

Não existe uma referência confiável do setor, porque os fornecedores chamam coisas diferentes pelo mesmo nome: muitos contam como resolvida qualquer conversa contida. A taxa que importa é a parcela das conversas de IA que uma revisão da transcrição avalia como realmente resolvidas para os seus tipos de contato. Meça isso primeiro e depois compare com a contenção; a diferença mostra quanto o número de vitrine exagera o real.

Termos relacionados

Nesta página

Leituras relacionadas

Veja isso em uma demo ao vivo

Apresentamos a Kaizo com conversas de exemplo realistas, para você ver o exemplo avaliado, explicado e transformado em coaching.

A escolha de equipes de atendimento no mundo todo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath