Para fazer QA do agente de IA Fin, leia e avalie uma amostra planejada de conversas do Fin com o seu próprio formulário de monitoria, usando a evidência que a Intercom já entrega: o depurador de respostas, as fontes que o Fin encontrou, as avaliações dos clientes e os registros de escalonamento. A taxa de resolução do Fin diz que o cliente saiu sem pedir mais ajuda. Ela não diz que a resposta estava certa.
Em resumo
- A Intercom conta uma resolução do Fin quando o cliente confirma que a resposta ajudou ou sai sem pedir mais ajuda; uma resolução é um evento de cobrança, não um veredito de qualidade.
- O CX Score do Fin foi feito para conversas com pelo menos duas respostas do cliente e duas respostas de um atendente ou do bot, então muitas conversas do Fin com uma única pergunta ficam sem nota.
- Amostre em duas partes: uma amostra aleatória de conversas resolvidas para corrigir a taxa de resolução, e revisões direcionadas de temas de risco, escalonamentos e avaliações ruins.
- Verifique cada conversa com um checklist fixo: precisão da resposta em relação à fonte, resolução correta, procedimento concluído, transbordo, repetições, tom e política.
- Toda falha termina em uma mudança no Fin (conteúdo, público, orientações, procedimento ou regra de escalonamento), testada em uma pré-visualização ou eval antes de entrar no ar.
Esta é a versão para o Fin do nosso guia geral de monitoria de qualidade de agentes de IA, e segue as mesmas etapas do nosso guia de monitoria de agentes de IA da Zendesk. Se você ainda está escolhendo como medir o agente antes do lançamento, comece pela avaliação de agentes de IA, que separa as avaliações antes do lançamento da avaliação das conversas reais.
O que os relatórios do próprio Fin dizem sobre a qualidade?
Os relatórios do Fin mostram volume, cobertura e sentimento: em quantas conversas o Fin entrou, quantas resolveu, como os clientes as avaliaram e quais temas puxam o volume. Eles não dizem, conversa por conversa, se uma resposta estava precisa, permitida pela política ou completa. Para isso, é preciso uma revisão com base em um padrão escrito.
Veja o que cada recurso da Intercom entrega a um responsável de QA, segundo a central de ajuda da Intercom em 13 de novembro de 2026:
| Onde na Intercom | O que mostra | O que não mostra |
|---|---|---|
| Dashboard de desempenho (Fin AI Agent > Analyze > Performance) | Taxa de automação, taxa de participação, taxa de resolução e links para as conversas por trás de cada caminho | Se uma conversa resolvida teve uma resposta correta |
| CSAT do Fin (avaliações das conversas) | A parcela de avaliações positivas do Fin, entre os clientes que respondem à pesquisa | O que a maioria silenciosa achou, ou por que uma nota foi dada |
| CX Score (em inglês; complemento Pro) | Uma nota de 1 a 5 de um modelo de machine learning, construída a partir de motivos como a qualidade da resposta e o esforço do cliente | Nada sobre conversas curtas que não atendem às suas regras de elegibilidade |
| Topics Explorer e Recommendations (complemento Pro) | Os temas e subtemas por trás do volume, e sugestões semanais para preencher lacunas no conteúdo do Fin | Se as respostas do Fin em um tema bem coberto estão certas |
| Monitors (em inglês) e Scorecards (complemento Pro) | Seleção, por regras, das conversas a revisar, avaliadas com critérios que você define | Se a avaliação da IA concorda com os seus avaliadores, a menos que você teste |
| Depurador de respostas (em inglês; “Improve answer” no Inbox) | A pergunta, a resposta do Fin e os conteúdos que o Fin considerou relevantes | Se esses conteúdos estão corretos ou atualizados |
Dois detalhes importam para a monitoria. Primeiro, o CX Score só avalia uma conversa encerrada, por chat ou e-mail, iniciada pelo cliente e com pelo menos duas respostas do cliente e duas respostas de um atendente ou do chatbot. A Intercom diz que ampliou os critérios para que algumas conversas curtas com um sinal claro possam agora receber nota, mas um cliente que faz uma pergunta, recebe uma resposta e sai muitas vezes fica sem avaliação, e são justamente essas as conversas que contam como resoluções presumidas.
Segundo, a Intercom mudou a forma como o dashboard conta (em inglês). Desde julho de 2026 (implantação de 1 a 8 de julho), as conversas em que o Fin estava ativo mas não teve chance de responder (“Fin Constrained”) deixaram de contar como participação do Fin, então as taxas de resolução subiram e as taxas de participação caíram sem nenhuma mudança na qualidade nem no número de resoluções. Se você comparar meses antes e depois de julho de 2026, registre a quebra na série.
Como o Fin conta uma resolução, e por que isso não é uma nota de qualidade?
A Intercom conta uma resolução quando, depois da última resposta do Fin, o cliente confirma que a resposta ajudou (uma resolução confirmada) ou sai sem pedir mais ajuda (uma resolução presumida). Ela é cobrada como um desfecho. Nenhum dos dois caminhos verifica se a resposta estava correta, então um cliente que desistiu conta igual a um cliente que foi ajudado.
Segundo o artigo da Intercom sobre os desfechos do Fin (em inglês), consultado em 13 de novembro de 2026:
- Uma resolução só é contada quando o Fin dá uma resposta de fato, e você paga por um desfecho por conversa.
- Resoluções, transferências por procedimento e alguns outros desfechos aparecem a US$ 0,99 cada para o Fin no chat e no e-mail.
- Se o cliente volta à mesma conversa pedindo mais ajuda, mesmo em um período de cobrança posterior, a resolução é descontada.
- Se o cliente pede explicitamente um atendente humano, ou se o Fin escalona pelo comportamento padrão, por exemplo ao detectar frustração, não é um desfecho e não é cobrado.
A definição cobre um cliente que volta à mesma conversa. Ela não cobre quem abre uma nova conversa sobre o mesmo problema, liga ou cancela. Esses são os casos que uma revisão de QA precisa pegar.
Por isso uma auditoria coloca um segundo número ao lado do número do Fin: a parcela das conversas resolvidas que estavam de fato corretas. O nosso guia de auditoria da taxa de resolução de agentes de IA explica as conferências nos sistemas e a janela de recontato, e a nossa página sobre a taxa de resolução correta explica como definir e reportar o número corrigido.
Como amostrar as conversas do Fin para revisão?
Amostre as conversas do Fin em duas partes. Uma amostra aleatória de conversas resolvidas dá uma taxa de resolução correta honesta. Revisões direcionadas de temas de risco, escalonamentos, avaliações negativas e conversas reabertas encontram as falhas que custam mais. Mantenha as duas separadas: as revisões direcionadas puxam para os problemas, então não podem alimentar a taxa.
Um plano de amostragem para uma equipe de porte médio poderia ser assim (uma ilustração, com números escolhidos para o exemplo):
| Fluxo | O que você puxa | Por semana | Usado para |
|---|---|---|---|
| Linha de base aleatória | Conversas do Fin resolvidas, sorteadas | 60 | Taxa de resolução correta |
| Temas de risco | Reembolsos, preços, cancelamentos, alterações de conta e de dados | 25 | Erros de política e de dinheiro |
| Escalonamentos | Conversas que o Fin transferiu para uma pessoa | 20 | Momento e contexto do transbordo |
| Sinais ruins | CSAT negativo, CX Score baixo, conversas reabertas | 15 | Causas raiz |
| Total | 120 |
Exemplo calculado (ilustração). O Fin participa de 6.000 conversas por semana e o dashboard mostra uma taxa de resolução de 65%, ou seja, 3.900 resoluções. Os seus avaliadores descobrem que 9 das 60 conversas resolvidas sorteadas estavam erradas ou incompletas: 15%. A taxa corrigida é 65% x 0,85 = cerca de 55%. Com 60 conversas, a margem sobre esses 15% é de cerca de 9 pontos para mais ou para menos (1,96 x a raiz quadrada de 0,15 x 0,85 / 60), então trate uma semana como um sinal e a tendência de quatro semanas como o número. Com cerca de 5 minutos por revisão, 120 revisões levam 10 horas por semana, ou 5 horas para cada um de dois avaliadores.
Para uma margem menor, aumente a amostra aleatória, não os fluxos direcionados. O nosso guia de estatística de amostragem em QA (em inglês) mostra como o tamanho da amostra muda a margem.
Os Monitors da Intercom podem fazer a seleção por você no complemento Pro: a Intercom os descreve como a revisão de “uma amostra aleatória para a qualidade de base” ou de “um conjunto direcionado com base em sinais de maior risco ou maior impacto”. Sem o Pro, monte os mesmos fluxos com filtros salvos no Inbox e uma planilha.
O que verificar em uma conversa do Fin?
Verifique se a resposta do Fin correspondeu ao seu conteúdo de origem e à sua política, se a resolução foi real, se algum procedimento terminou, se o transbordo veio no momento certo e com contexto, e se o Fin repetiu respostas ou quebrou as suas regras de tom. Escreva cada verificação como uma regra de aprovação que um avaliador aplique em menos de um minuto, com um lugar definido para achar a evidência.
O checklist de QA do Fin
Copie para o seu formulário de monitoria ou planilha. A coluna “onde” supõe que o Fin roda no próprio Inbox da Intercom.
| # | Critério | Onde encontrar a evidência na Intercom | Regra de aprovação |
|---|---|---|---|
| 1 | Resposta precisa em relação à fonte | “Improve answer” na resposta do Fin: os conteúdos que o Fin considerou relevantes | Cada fato da resposta corresponde a um conteúdo atual seu. Qualquer fato errado sobre dinheiro, elegibilidade ou dados é um erro crítico. |
| 2 | Fonte certa usada | A mesma lista do depurador, mais a configuração de público do conteúdo | O melhor conteúdo para o caso deste cliente está na lista e é direcionado ao público deste cliente. |
| 3 | Respondeu à pergunta feita | A transcrição | O Fin respondeu à pergunta real do cliente, não a uma parecida, ou fez antes uma pergunta de esclarecimento. |
| 4 | A resolução foi real | O status da conversa, mais uma busca pelo mesmo cliente nos 7 dias seguintes | Confirmada pelo cliente, ou presumida sem nova conversa ou contato sobre o mesmo problema em 7 dias. |
| 5 | Procedimento concluído | As etapas do procedimento na conversa e o registro no sistema (pedido, reembolso, conta) | A ação prometida pelo procedimento existe no seu sistema. Uma promessa sem registro é um erro crítico. |
| 6 | Escalonou pelo gatilho certo | Regras e orientações de escalonamento, e o ponto do transbordo na transcrição | O Fin transferiu quando as suas regras mandam, e antes de o cliente pedir duas vezes. |
| 7 | Transbordo com contexto | A mensagem de transbordo e a primeira resposta do atendente | O atendente não precisou pedir nada que o cliente já tinha dito. |
| 8 | Sem repetições | A transcrição | O Fin não repetiu nem reformulou a mesma resposta mais de uma vez. |
| 9 | Política respeitada | As suas páginas de política e a resposta | Nenhuma promessa fora das suas regras de reembolso, tarifas, entrega ou elegibilidade. Erro crítico. |
| 10 | Tom e orientações seguidos | As suas orientações de estilo de comunicação e a resposta | O tom combina com o estado do cliente, e os termos seguem as suas orientações. |
Marque os critérios 1, 5 e 9 como críticos, para que uma única falha reprove a conversa inteira. Os Scorecards da Intercom (em inglês) permitem isso diretamente: um critério marcado como Critical zera a revisão inteira quando falha.
O critério 8 merece uma linha própria porque as equipes que usam o Fin relatam esse problema. A Intercom diz que o Fin escalona por padrão quando um cliente está “preso em um ciclo repetitivo”, mas, em uma discussão na comunidade da Intercom (em inglês), um administrador escreveu que “algo está dando errado com as minhas orientações contra a repetição”. É o relato de uma equipe, mas é o tipo de falha que só uma revisão da transcrição mostra.
Para os critérios de transbordo (6 e 7), o nosso guia de monitoria do transbordo para humano traz as métricas e um formulário de monitoria tanto para a decisão do bot quanto para a recepção pela pessoa.
Como avaliar as conversas do Fin com o seu formulário de monitoria?
Avalie as conversas do Fin com a mesma estrutura de formulário de monitoria que você usa para as pessoas, mais as verificações específicas do Fin acima, e registre a evidência de cada critério reprovado. Você pode fazer isso nos Scorecards da Intercom no complemento Pro, em uma planilha ou em uma ferramenta de QA conectada ao helpdesk onde as conversas ficam. Seja qual for a escolha, teste a avaliação contra os seus próprios avaliadores primeiro.
Três formas de fazer:
- Monitors e Scorecards da Intercom (complemento Pro). Você escolhe, por critério, se a IA ou uma pessoa avalia. Com a revisão automática ligada, a Intercom marca uma conversa como aprovada quando todos os critérios avaliados pela IA são atendidos e envia as reprovações e os casos limite para uma pessoa. A página de ajuda da Intercom lista os fluxos de calibração como planejados, ainda não disponíveis, então calibre à mão.
- Uma planilha. Uma linha por conversa, uma coluna por item do checklist, mais a causa e a correção. Funciona bem até algumas centenas de revisões por semana.
- Uma ferramenta de QA no seu helpdesk. O Fin também roda em outros helpdesks: o fin.ai (em inglês) diz que ele funciona com Salesforce, Zendesk e outros. Se a sua equipe trabalha na Zendesk ou no Salesforce, uma ferramenta de QA conectada a eles pode avaliar essas conversas.
Antes de confiar em qualquer nota dada pela IA, peça a dois avaliadores que avaliem as mesmas 30 a 50 conversas, resolvam as divergências e depois comparem os vereditos da IA com os deles, critério por critério. O nosso guia para validar a avaliação por IA (em inglês) mostra esse teste passo a passo.
Como levar os achados de QA de volta para o Fin?
Transforme cada critério reprovado em uma mudança na parte do Fin que causou a falha: o conteúdo, o direcionamento de público, as orientações, um procedimento ou uma regra de escalonamento. Agrupe as falhas por causa antes de corrigir qualquer coisa, teste cada mudança em uma pré-visualização ou eval antes de ela entrar no ar e avalie de novo o tema afetado na semana seguinte.
| O que falhou | Causa provável | Onde corrigir no Fin |
|---|---|---|
| Fato errado ou desatualizado | O artigo, o snippet ou a página sincronizada está errado ou antigo | Edite pelo “Improve answer”, ou acrescente um snippet. O conteúdo externo não pode ser editado ali; corrija na origem, e saiba que a sincronização de sites roda uma vez por semana. |
| Artigo certo, cliente errado | Conteúdo não direcionado ao público certo | Defina o público no conteúdo para que o Fin só o use com esses clientes |
| Fez a pergunta de esclarecimento errada, ou nenhuma | Faltam orientações de contexto e de esclarecimento | Acrescente uma orientação focada para esse tipo de pergunta |
| Prometeu uma ação que não aconteceu | Uma etapa do procedimento ou um conector de dados falhou em silêncio | Acrescente uma condição depois da chamada do conector de dados que trate erros e respostas vazias |
| Escalonou tarde demais, ou não escalonou | Regras ou orientações de escalonamento restritas demais | Acrescente uma regra baseada em um atributo de dados, ou uma orientação específica para o tema |
| Escalonou demais | Orientação de escalonamento ampla demais | Reescreva-a para uma situação específica |
| Repetições e respostas repetidas | Orientações que se sobrepõem | Remova as regras conflitantes; mantenha cada regra com um único objetivo |
Depois, teste antes de publicar. A comparação das ferramentas de teste da Intercom (em inglês) lista quatro:
- Previews (pré-visualizações): um painel de teste manual que cobre as áreas de treinamento do Fin, sem limites.
- Batch tests (testes em lote): até 50 perguntas de uma vez, avaliadas por uma pessoa; as avaliações não treinam o Fin. Os novos workspaces criados a partir de 5 de novembro de 2026 recebem Evals no lugar.
- Evals: testes automatizados de ponta a ponta de toda a configuração do Fin, até 50 simulações por eval, a partir de uma cota mensal.
- Procedure Simulations (simulações de procedimento): testes automatizados de um procedimento, sem nenhuma saída para o cliente.
Um aviso da documentação de procedimentos da Intercom: pré-visualizar um procedimento que já está no ar pode enviar mensagens a clientes reais, então use uma simulação para os procedimentos ativos. Guarde as conversas com falha como casos de teste: cada correção deve passar na conversa que revelou o problema.
Como é uma rotina semanal de QA do Fin?
Uma rotina semanal de QA do Fin tem cinco momentos fixos: puxar a amostra na segunda, avaliá-la até quarta, agrupar as falhas por causa na quinta, publicar e testar as correções na sexta, e conferir as correções da semana anterior com as notas desta semana. Nomeie um responsável pelo conteúdo e um pelas orientações e pelos procedimentos, senão as correções travam entre as equipes.
| Dia | Tarefa | Responsável | Tempo |
|---|---|---|---|
| Segunda | Puxar os quatro fluxos; verificar no dashboard as variações de resolução, participação e CSAT | Responsável de QA | 30 min |
| Segunda a quarta | Avaliar a amostra com o checklist; registrar a evidência de cada reprovação | 2 avaliadores | 5 horas cada |
| Quinta | Agrupar as reprovações por causa; escolher as 3 principais causas por quantidade e custo | Responsável de QA e responsável pelo Fin | 45 min |
| Sexta | Publicar as correções; testar cada uma em uma pré-visualização, eval ou simulação | Responsável pelo conteúdo, responsável pelo Fin | 2 horas |
| Toda semana | Comparar as notas dos temas corrigidos na semana passada com as da semana anterior | Responsável de QA | 20 min |
| Mensal | Reportar a taxa de resolução corrigida ao lado da do Fin, com a tendência de 4 semanas | Responsável de QA para o Head de CX | 1 hora |
Onde a Kaizo entra?
A Kaizo é QA e supervisão de governança para equipes de suporte em que pessoas e agentes de IA dividem o trabalho. As integrações ativas dela são a Zendesk e o Salesforce: o AutoPilot avalia cada conversa resolvida nesses helpdesks com o seu próprio formulário de monitoria e anexa um comentário que explica cada nota. Se o Fin roda sobre um deles, verifique quais conversas do Fin chegam aos registros do seu helpdesk antes de planejar um processo de QA em torno delas.
Veja nas suas próprias conversas. A Kaizo avalia 100% das suas conversas de suporte na Zendesk e no Salesforce e transforma os achados em coaching. Agende uma demo.
Quando isto não é para você
Um programa formal de QA do Fin é exagero se o Fin atende algumas dezenas de conversas por semana: leia todas você mesmo, com o checklist, em uma hora. Também é cedo demais se a sua central de ajuda está desatualizada de ponta a ponta. Corrija o conteúdo primeiro, senão cada revisão vai apontar a mesma causa raiz. Se o Fin só responde perguntas de baixo risco, como horário de funcionamento, uma checagem mensal de 20 conversas basta.
Como começar esta semana
- Liste os seus cinco temas mais arriscados no Fin e a página de política por trás de cada um.
- Copie o checklist acima para uma planilha ou um scorecard da Intercom, e marque os critérios 1, 5 e 9 como críticos.
- Puxe 30 conversas do Fin resolvidas, sorteadas, e 20 dos seus temas mais arriscados.
- Avalie-as com dois avaliadores e compare onde vocês divergem.
- Corrija a causa mais comum que encontrar, teste em uma pré-visualização ou eval e avalie de novo esse tema na semana seguinte.
Perguntas frequentes
A Intercom tem QA próprio para as conversas do Fin?
Sim, no complemento Pro. Os Monitors escolhem quais conversas revisar, os Scorecards definem como elas são avaliadas, e cada critério pode ser avaliado pela IA ou por uma pessoa. A página de ajuda da Intercom lista os fluxos de calibração como planejados, então teste as notas da IA contra os seus próprios avaliadores.
A taxa de resolução do Fin é uma métrica de qualidade confiável?
Não. Ela conta as conversas em que o cliente confirmou que a resposta ajudou ou saiu sem pedir mais ajuda, então um cliente que desistiu conta como resolvido. Reporte-a ao lado de uma taxa corrigida a partir de uma amostra aleatória de conversas resolvidas que você verificou.
As avaliações dos testes em lote treinam o Fin?
Não. A Intercom diz que as avaliações dos testes em lote servem só para revisão humana e análise de causa raiz. Os workspaces criados a partir de 5 de novembro de 2026 não recebem testes em lote e usam Evals no lugar.
O CX Score pode substituir uma revisão de QA?
Sozinho, não. As regras de elegibilidade dele se concentram em conversas com pelo menos duas respostas do cliente e duas respostas de um atendente ou do chatbot, então muitas conversas curtas do Fin não recebem nota. Ele também mede como o cliente se sentiu, não se a resposta seguiu a sua política.
Quem é avaliado quando o Fin e um atendente atendem a mesma conversa?
Depende de onde a etapa de CSAT fica no seu fluxo. A Intercom diz que uma pesquisa colocada depois do ponto de escalonamento é enviada quer o Fin, um atendente ou os dois tenham participado. Nos planos Advanced e Expert, os dados de avaliação mostram qual tipo de agente foi avaliado.
