Pular para o conteúdo

QA para agentes de IA

Seu agente de IA responde aos clientes. A Kaizo confere cada resposta.

A Kaizo avalia 100% das conversas dos seus agentes de IA com o seu próprio formulário de monitoria, o mesmo usado para avaliar a sua equipe, e liga cada nota à evidência na conversa. Mantenha tudo automatizado ou acrescente revisão humana exatamente onde ela importa.

No ar em dias · Apps nativos para Zendesk e Salesforce

A escolha de equipes de atendimento no mundo todo

Uma resolução automatizada não é uma nota de qualidade

O seu helpdesk conta uma conversa como resolvida quando o cliente não chegou a falar com uma pessoa. Isso não diz se a resposta estava certa. Um agente de IA pode inventar uma política, declarar resolvido um problema que não foi resolvido ou ficar com um caso que deveria ter transferido, e todo dashboard conta isso como um sucesso mesmo assim. Como ele responde sempre a partir do mesmo prompt e dos mesmos conteúdos, o mesmo erro se repete em cada conversa que ele atende, e uma amostra de 2% costuma deixá-lo passar.

Como funciona

Um só padrão para atendentes e agentes de IA

A Kaizo roda dentro do helpdesk onde as conversas do seu agente de IA já estão, e as avalia do mesmo jeito que avalia as da sua equipe.

Seu formulário

O mesmo formulário de monitoria, com verificações feitas para um bot.

Avalie as conversas dos agentes de IA com o mesmo formulário de monitoria da sua equipe, para ver lado a lado o desempenho de atendentes e agentes de IA. Depois acrescente os critérios em que um bot falha: exatidão dos fatos, fidelidade às políticas, escopo e escalonamento. Escreva-os com as suas próprias palavras e conecte a sua base de conhecimento, para que a IA julgue com base nos seus conteúdos.

  • Critérios com as suas próprias palavras, não um modelo pronto
  • Critérios compartilhados mantêm comparáveis os resultados de pessoas e de IA
  • Verificações extras para fatos inventados e políticas inventadas
Como funcionam os formulários de monitoria

Cada conversa

Cada conversa do agente de IA avaliada, com a evidência.

O AutoPilot avalia cada conversa assim que ela é resolvida e anexa um comentário que explica a nota. Cada nota leva à evidência na conversa, então uma falha vira um exemplo concreto que você pode levar a quem cuida do prompt ou do artigo da central de ajuda.

  • 100% das conversas, não uma amostra
  • Cada nota explicada e ligada às linhas que a justificam
  • Você escolhe quais filas, canais ou equipes são avaliados
Mais sobre o AutoPilot

Monitoramento e análises

Veja onde o agente de IA falha, e por quê.

Com cada conversa avaliada, uma falha recorrente deixa de ser uma anedota e vira uma tendência que você acompanha por equipe e por semana. A análise de causa raiz agrupa as falhas por trás de uma queda, então dez respostas erradas vindas de um mesmo artigo viram uma só correção. Avalie de novo depois de cada mudança para confirmar que a correção se manteve.

Mais sobre a análise de causa raiz

Revisão humana

As pessoas continuam no circuito.

Teste a avaliação com as suas notas históricas antes de colocá-la no ar e ajuste os critérios até que ela bata com a sua equipe. Os revisores ficam com as conversas que exigem julgamento: o Auto QA preenche os critérios e redige o feedback para que eles editem e aprovem.

Mais sobre o Auto QA
100%
do QA automatizado na UiPath
200%
de ROI na automação de QA na UiPath
50%
menos tempo de QA na SteelSeries

Quando a Kaizo não é a ferramenta certa

A Kaizo avalia as conversas depois que elas terminam, no helpdesk onde estão. Se você precisa de uma suíte de testes para desenvolvedores antes do lançamento, como testes de regressão de prompts no seu pipeline de CI, essa é outra etapa e outro tipo de ferramenta, que pode rodar junto com a Kaizo. E se o seu agente de IA atende algumas dezenas de conversas por semana, leia-as você mesmo: uma hora por semana com as transcrições e um checklist curto encontram a maioria dos problemas.

Novo no assunto? Leia o nosso guia de QA para agentes de IA, por que a taxa de contenção não é uma nota de qualidade, quais métricas de IA no atendimento acompanhar (guias em inglês).

Está testando um agente de voz?

Testar um agente de voz antes do lançamento, com chamadas de teste roteirizadas, é teste pré-lançamento: uma etapa diferente do QA de conversas reais. Conte-nos sobre a sua configuração e diremos com franqueza se faz sentido.

Equipes de atendimento que pararam de trabalhar com amostras

  • 50%

    menos tempo de QA

    “Our tickets can be long and complex. AI has been a life-saver in our experience.”

    SteelSeries

  • 75%

    resolução mais rápida

    “Kaizo is an essential part of finding the root causes of areas we need to improve, then improving on that.”

    Foot Locker

Como é um formulário de monitoria para agentes de IA?

Comece pelos critérios com que a sua equipe já é avaliada, para que os resultados de pessoas e de IA continuem comparáveis, e depois acrescente as verificações em que um bot falha. Um formulário de monitoria típico fica assim:

CritérioO que verificaAvaliado para
Resposta corretaA resposta resolve a pergunta do clienteAtendentes e agentes de IA
TomA resposta soa como a sua marcaAtendentes e agentes de IA
Baseado nos seus conteúdosCada fato vem da sua base de conhecimento, nada inventadoAgentes de IA
Limites das políticasNenhuma política, reembolso ou exceção inventadosAgentes de IA
EscopoEle se mantém dentro do que o agente tem permissão para atenderAgentes de IA
EscalonamentoEle transfere no gatilho certoAgentes de IA
TransferênciaO contexto é repassado, e o atendente humano dá continuidadeAgentes de IA e atendentes

FAQ

Perguntas frequentes

O que é QA de agentes de IA?

QA de agentes de IA é avaliar as conversas que o seu chatbot ou agente de IA atende com base em um padrão escrito, para saber se as respostas estavam certas e eram permitidas, e não só se o cliente chegou a uma pessoa. A Kaizo faz isso em cada conversa, e cada nota leva à evidência.

A Kaizo consegue avaliar agentes de IA de outros fornecedores?

Sim. Se a conversa está no Zendesk ou no Salesforce, a Kaizo a avalia com o mesmo formulário de monitoria da sua equipe, seja quem for que construiu o agente. No Zendesk, isso inclui as conversas que os agentes de IA do Zendesk atendem.

O agente de IA usa o mesmo formulário de monitoria que os nossos atendentes?

Ele pode compartilhar os critérios que valem para os dois, como uma resposta correta e o tom certo, o que mantém os resultados comparáveis. Depois acrescente os critérios em que um bot falha: base nos seus próprios conteúdos, limites das políticas, escopo e escalonamento.

A Kaizo consegue verificar o transbordo do agente de IA para uma pessoa?

Sim, como critérios no seu formulário de monitoria: o agente de IA escalonou no gatilho certo, passou o contexto adiante, e o atendente deu sequência? Você vê o transbordo na mesma conversa a que a nota leva.

Uma taxa de contenção alta significa que o agente de IA está funcionando?

Não por si só. A contenção conta uma conversa como sucesso quando o cliente não chegou a uma pessoa, e uma falsa resolução ou um caso que o agente deveria ter transferido parecem exatamente isso. É preciso avaliar o que o agente disse para saber se uma conversa contida foi uma boa conversa.

Quem confere as notas?

A sua equipe, onde quer que importe. Você testa a avaliação com as suas notas anteriores antes de colocá-la no ar, cada nota leva à evidência para que qualquer pessoa possa conferir, e o Auto QA redige um feedback que um revisor edita e aprova.

Precisamos trocar de helpdesk?

Não. A Kaizo tem integração nativa com o Zendesk e o Salesforce Service Cloud e lê as conversas direto deles. A implantação leva dias, não um projeto de conector.

A Kaizo também vende agentes de IA?

Sim. A Kaizo Agentic Customer Service Platform traz agentes de IA por função para o trabalho por trás da qualidade do atendimento. Ela está rodando como piloto no 4º trimestre de 2026, e o trabalho dos agentes é medido pelo mesmo padrão que o das suas pessoas. A Plataforma de Monitoria de Qualidade que avalia as conversas de agentes de IA já está disponível.

Segurança e compliance

SOC 2 Type II, ISO 27001 e GDPR

Relatórios de auditoria, certificados e políticas em um só lugar.

Trust Center ›
  • Selo G2 Users Love Us, leia as avaliações da Kaizo no G2G24.9/5 no G2
  • Selo AICPA SOC 2SOC 2 Type IIAuditado
  • Marca ISO 27001ISO 27001Certificado
  • Estrelas do GDPRGDPREm conformidade

Veja nas conversas do seu agente de IA

Mostramos em uma demo ao vivo como a Kaizo avalia conversas de agentes de IA com um formulário de monitoria, e o que um dashboard de resolução teria contado como sucesso.

A escolha de equipes de atendimento no mundo todo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath