A monitoria de agentes de voz com IA consiste em avaliar as ligações que o seu voicebot atende com base em um padrão escrito, depois que cada ligação termina, para saber se ele entendeu o cliente, deu uma resposta correta e permitida e transferiu para uma pessoa quando devia.
Você precisa de um formulário de monitoria com critérios próprios para voz, da transcrição de cada ligação e de uma forma de avaliar todas elas, e não uma amostra.
Em resumo
- Um agente de voz falha de formas que um chatbot não falha (números mal entendidos, falar por cima do cliente, transferências perdidas), então o formulário dele ganha critérios de reconhecimento, confirmação, escalonamento e aviso de IA.
- Uma pequena amostra aleatória de ligações tende a não pegar as falhas de um agente de voz, porque elas se concentram em um tema e se repetem.
- Seis etapas cobrem o trabalho: temas de risco primeiro, o formulário, as transcrições, a avaliação de todas as ligações, o transbordo e a nova avaliação depois de cada correção.
- Desde 2 de agosto de 2026, o AI Act da UE exige que quem liga seja informado de que está falando com uma IA, e as regras americanas de gravação de ligações continuam valendo.
- Testar antes do lançamento e monitorar as ligações reais são etapas diferentes, e você precisa das duas.
Este guia é a versão para voz do nosso guia geral sobre como fazer a monitoria de agentes de IA. Do lado do produto, a página de QA de agentes de IA mostra como a Kaizo avalia as conversas dos agentes de IA com o mesmo formulário de monitoria da sua equipe.
O que muda na monitoria de agentes de voz com IA?
A monitoria de um agente de voz com IA verifica o que o bot ouviu, além do que ele disse, porque um agente de voz transforma a fala em texto antes de responder. Um erro nessa primeira etapa muda tudo o que vem depois. Um chatbot lê o que o cliente digitou; um agente de voz adivinha.
Isso acrescenta três tipos de falha que a monitoria de texto nunca vê:
- Erros de reconhecimento. O bot ouve “quinze” como “cinquenta”, erra um dígito do número do pedido ou estropia um sobrenome. A resposta seguinte pode estar perfeitamente embasada no seu conteúdo e ainda assim tratar do pedido errado.
- O ritmo da conversa. O bot responde antes de o cliente terminar, deixa longos silêncios ou continua falando quando o cliente tenta interromper. Em uma transcrição de chat, nada disso existe.
- A transferência. Um transbordo por voz é uma transferência ao vivo. Se o contexto não acompanha a ligação, o cliente repete tudo para uma pessoa que já parece despreparada.
O resto é igual a qualquer agente de IA: a resposta precisa estar correta, vir do seu próprio conteúdo, respeitar a política e escalonar no gatilho certo. Tratamos desses critérios comuns no scorecard de agentes de IA, e da transferência em detalhe em como avaliar o transbordo para humano.
Quais falhas o formulário de um agente de voz deve pegar?
O formulário de monitoria de um agente de voz deve pegar respostas erradas, políticas inventadas, detalhes mal entendidos, ações não confirmadas, escalonamentos perdidos e a falta do aviso de IA. Para cada critério, ele também deve dizer se a transcrição basta ou se o áudio é necessário, porque isso define como você revisa.
Veja um formulário que você pode copiar e adaptar. As quatro primeiras linhas são critérios em que os seus atendentes já são avaliados, o que mantém os dois conjuntos de resultados comparáveis.
| Critério | O que verifica | Avaliado para | A transcrição basta? |
|---|---|---|---|
| Resposta correta | A resposta resolve a pergunta de quem ligou | Atendentes e agentes de IA | Sim |
| Limites da política | Nenhum reembolso, dispensa de taxa ou exceção inventada | Atendentes e agentes de IA | Sim |
| Identidade verificada | As verificações obrigatórias foram feitas antes de passar dados da conta | Atendentes e agentes de IA | Sim |
| Tom | Soa como a sua marca, não como um roteiro | Atendentes e agentes de IA | Em parte: o ritmo e falar por cima do cliente exigem o áudio |
| Confirmação dos dados principais | Números, datas, nomes e valores foram repetidos para o cliente confirmar | Agentes de IA | Sim |
| Reconhecimento | O que o bot usou corresponde ao que o cliente disse | Agentes de IA | Não: compare o áudio com a transcrição nas ligações reprovadas |
| Embasado no seu conteúdo | Todo fato vem da sua base de conhecimento | Agentes de IA | Sim |
| Escalonamento | Ofereceu uma pessoa no gatilho certo, inclusive quando o cliente disse “atendente” ou “humano” duas vezes | Agentes de IA | Sim |
| Transbordo | O contexto acompanhou a transferência e a pessoa o aproveitou | Agentes de IA e atendentes | Sim, se as duas partes da ligação estiverem em um único registro |
| Aviso de IA | O cliente foi informado no início de que estava falando com uma IA | Agentes de IA | Sim |
A linha de confirmação é a correção mais barata e com maior efeito. Um agente de voz que repete “Então é o pedido 4-8-1-7, um reembolso de 15 dólares, correto?” transforma um erro de reconhecimento silencioso em uma correção que o próprio cliente faz por você. Avalie esse critério em toda ligação que altera uma conta, recebe um pagamento ou faz um agendamento.
Por que uma amostra de ligações não pega as falhas do voicebot?
Uma amostra aleatória não pega as falhas do voicebot porque elas se concentram em um tema e se repetem. Um defeito que estraga boa parte de um tipo de ligação continua sendo uma fração pequena do total. A conta abaixo mostra com que frequência uma amostra típica não vê nada.
Exemplo prático (números ilustrativos, não são dados da Kaizo). Digamos que o seu agente de voz atenda 12.000 ligações por mês e que a sua equipe revise uma amostra aleatória de uma ligação a cada 50, ou seja, 240 ligações. Uma ligação a cada 20 é sobre reembolso, o que dá 600 ligações.
Depois de uma mudança de política, o bot informa o prazo de reembolso errado em uma a cada dez ligações de reembolso: 60 ligações, ou uma a cada 200.
| Valor | |
|---|---|
| Ligações por mês | 12.000 |
| Ligações revisadas (amostra de 2%) | 240 |
| Ligações de reembolso com a resposta errada | 60 (0,5% de todas as ligações) |
| Ligações de reembolso erradas esperadas na amostra | 1,2 |
| Chance de a amostra não conter nenhuma delas | cerca de 30% |
| Chance de conter no máximo uma | cerca de 66% |
As duas últimas linhas vêm da fórmula binomial: a chance de não sortear nenhuma é 0,995 elevado a 240, cerca de 0,30.
Em mais ou menos dois de cada três meses, os seus avaliadores veem uma ligação de reembolso ruim ou nenhuma, o que parece ruído. Avaliar todas as ligações transforma o mesmo defeito em 60 ligações reprovadas em um único critério, com as transcrições anexadas.
A versão geral desse argumento, com as fórmulas, está em why a 3% QA sample cannot support agent-level decisions (em inglês).
Como fazer a monitoria de agentes de voz com IA em seis etapas
Para monitorar agentes de voz com IA, comece pelos temas que custam caro, escreva um formulário com critérios de voz, obtenha a transcrição de cada ligação, avalie todas, verifique as transferências e avalie de novo depois de cada correção.
Etapa 1: Liste os temas de risco
Levante os temas que o seu agente de voz atende e marque aqueles em que um erro custa dinheiro ou confiança: reembolsos, pagamentos, cancelamentos, mudanças de endereço, agendamentos e tudo o que envolve identidade. Esses temas são avaliados primeiro e lidos com mais frequência.
Etapa 2: Escreva o formulário de monitoria
Parta da tabela acima. Mantenha os critérios que os seus atendentes compartilham com o bot, acrescente os critérios de voz e escreva cada um como uma pergunta de sim ou não que uma IA ou um avaliador consiga responder a partir da ligação. O nosso guia sobre como escrever uma rubrica que uma IA consegue avaliar (em inglês) mostra como formular os critérios.
Etapa 3: Obtenha a transcrição de cada ligação
A avaliação precisa de texto. Confira se cada ligação do agente de voz termina com uma gravação e uma transcrição no sistema em que ficam as ligações da sua equipe, e se a transcrição indica quem disse o quê. Se as ligações do bot ficam em um console separado do fornecedor, os resultados dos atendentes e da IA nunca vão estar no mesmo relatório.
Etapa 4: Avalie todas as ligações, não uma amostra
Avalie todas as ligações do agente de voz com o formulário, com um comentário em cada nota que aponte a fala por trás dela.
Use avaliadores para as ligações reprovadas em um critério de peso alto e para um conjunto de ligações aprovadas, para conferir a própria avaliação. Antes de confiar em notas automáticas, teste-as com as suas avaliações anteriores, como descrito em how to validate AI QA scoring (em inglês).
Etapa 5: Verifique as transferências
Filtre as ligações que o agente de voz transferiu e aquelas em que o cliente pediu uma pessoa. Avalie se o bot escalonou no gatilho certo, se o contexto chegou ao atendente e se o cliente precisou se repetir.
Depois, olhe as ligações que terminaram sem transferência e sem resolução: um cliente que desliga muitas vezes é contado como contido.
Etapa 6: Corrija e avalie de novo
Rastreie cada falha até a causa: um artigo da base de conhecimento, um prompt, uma confirmação que faltou, uma regra de escalonamento ou um problema de reconhecimento de fala com um tipo de dado. Corrija e acompanhe aquele critério no mesmo tema durante a semana seguinte.
Corrigir uma resposta pode quebrar outra, e você só percebe isso se continuar avaliando todas as ligações.
Veja em uma demo ao vivo. A Kaizo avalia ligações, chats e e-mails com um único formulário de monitoria, e avalia as conversas dos agentes de IA com o mesmo formulário da sua equipe. Vamos conversar.
O que a lei exige de um agente de voz com IA?
Na UE, desde 2 de agosto de 2026, um agente de voz precisa deixar claro para quem liga, desde o início da ligação, que a pessoa está falando com uma IA. Nos EUA, valem as regras habituais de gravação de ligações, e as ligações ativas feitas por voz de IA entram nas regras de robocalls.
| Regra | O que significa para um agente de voz | Fonte |
|---|---|---|
| AI Act da UE, artigo 50, n.º 1 | Os fornecedores devem projetar os sistemas de IA que interagem diretamente com pessoas de modo que essas pessoas sejam informadas de que estão interagindo com uma IA, a menos que isso seja óbvio. Aplica-se desde 2 de agosto de 2026. | Regulamento (UE) 2024/1689 no EUR-Lex |
| Orientações da Comissão sobre o artigo 50 | O aviso é devido desde o início da primeira interação, de forma clara e acessível; chatbots e agentes de IA são citados como exemplos. | FAQ da Comissão Europeia sobre o artigo 50 |
| Lei federal americana de gravação | A gravação é permitida com o consentimento de uma das partes, nos termos de 18 U.S.C. § 2511(2)(d). | Cornell LII |
| Leis estaduais americanas de gravação | Alguns estados, entre eles a Califórnia, exigem o consentimento de todas as partes. | California Penal Code § 632 |
| Ligações ativas nos EUA | A FCC decidiu em 8 de fevereiro de 2024 que vozes geradas por IA contam como “artificiais” segundo a TCPA, então as regras de consentimento para robocalls se aplicam. | Comunicado da FCC |
Esta tabela é um resumo, não uma orientação jurídica.
Para a monitoria, a consequência prática é simples: transforme o aviso de IA e o aviso de gravação em critérios do formulário, para poder mostrar que foram dados em todas as ligações em vez de supor que foram. As orientações e as regras nacionais ainda podem mudar, então confirme a posição atual com o seu jurídico antes de lançar em um novo mercado.
Testes antes do lançamento ou monitoria depois da ligação
Os testes antes do lançamento verificam o agente de voz com ligações roteirizadas em um ambiente controlado; a monitoria depois da ligação verifica o que ele realmente fez com clientes reais. Elas pegam problemas diferentes, e um agente de voz precisa das duas.
| Testes antes do lançamento | Monitoria das ligações reais | |
|---|---|---|
| Entrada | Ligações de teste roteirizadas ou simuladas | Ligações reais de clientes reais |
| Quando | Antes do lançamento e depois de cada mudança em prompts ou fluxos | Depois que cada ligação termina |
| O que pega | Fluxos quebrados, regressões de prompt, latência sob carga | Sotaques e ruídos reais, perguntas novas, desvios de política, transferências que falharam |
| Quem é responsável | A equipe que constrói o bot | Qualidade e operações de atendimento |
| Ferramenta típica | Uma suíte de testes ou ferramenta de simulação | Uma plataforma de monitoria com formulário |
A Kaizo fica na segunda coluna. Ela avalia as conversas depois que elas terminam, e o próprio site é direto sobre isso: testar um agente de voz antes do lançamento com ligações de teste roteirizadas é uma etapa diferente da monitoria das conversas reais.
Se você precisa ouvir ligações ao vivo ou dar orientações em tempo real durante a ligação, isso é real-time agent assist (em inglês), outra categoria.
Como começar a monitoria do seu agente de voz
Comece esta semana com um tema: escolha o mais arriscado que o seu agente de voz atende, escreva dez critérios de formulário a partir da tabela acima e avalie todas as ligações desse tema durante duas semanas. Você vai aprender mais com essas ligações do que com um mês de amostragem em todos os temas.
Depois, amplie o escopo tema por tema. Para ver como um único formulário de monitoria cobre atendentes, chatbots e ligações, acesse a página de QA de agentes de IA.
Perguntas frequentes
Como testar um agente de voz com IA antes de colocá-lo no ar?
Faça ligações de teste roteirizadas que cubram os seus temas principais e de risco, além dos casos difíceis: ruído de fundo, sotaques, interrupções, números ditos rápido e clientes que pedem uma pessoa. Verifique os fluxos, as respostas e o tempo de resposta. Repita o mesmo conjunto de testes depois de cada mudança no prompt ou no fluxo, porque uma correção em um ponto pode quebrar outro.
Quais métricas importam para um agente de voz com IA?
Acompanhe métricas de resultado, como taxa de contenção, taxa de transferência e rechamadas, mas julgue a qualidade com um formulário de monitoria: resposta correta, limites da política, confirmação dos dados principais, escalonamento e transbordo. A contenção sozinha conta como sucesso um cliente que desistiu e desligou. O nosso guia sobre containment rate (em inglês) explica como interpretá-la sem se enganar.
Dá para avaliar as ligações do voicebot e dos atendentes com o mesmo formulário?
Sim, nos critérios que valem para os dois, como resposta correta, limites da política, verificação de identidade e tom. Isso mantém os resultados comparáveis, para você ver onde o bot é mais forte ou mais fraco que a sua equipe. O agente de voz ganha ainda critérios extras de reconhecimento, confirmação, escalonamento e aviso de IA.
A Kaizo avalia ligações telefônicas?
Sim. A Kaizo avalia ligações com o mesmo formulário de monitoria do chat e do e-mail, e todos os planos incluem resumos com IA e transcrição sob demanda. A Kaizo revisa uma conversa depois que ela termina e o caso é resolvido, então é uma ferramenta de monitoria de ligações reais depois do fato, não de acompanhamento ao vivo.
Quantas ligações do agente de voz devo revisar manualmente?
Avalie todas as ligações automaticamente, se puder, e depois revise manualmente as ligações reprovadas em um critério de peso alto e um pequeno conjunto de aprovadas, para conferir a avaliação. Se a revisão for só manual, leia primeiro todas as ligações do seu tema mais arriscado, porque as falhas de um agente de voz se concentram em um tema e se repetem.
