Pular para o conteúdo

Modelo

Planilha de monitoria de qualidade: modelo e cálculo

Planilha de monitoria de qualidade para atendentes e agentes de IA no mesmo modelo, com pesos, erros críticos, evidências e cálculo da nota, para líderes de QA.

· Atualizado em · 26 min de leitura

Revisado por Dominik Blattner, fundador da Kaizo

Uma planilha de monitoria de qualidade (o QA scorecard) é uma lista ponderada de critérios que a equipe de atendimento usa para avaliar cada conversa com o cliente, com regras de erro crítico para as poucas falhas que reprovam uma conversa sozinhas. Ela transforma “bom atendimento” em itens que dois avaliadores, ou uma IA, pontuam do mesmo jeito, e o total vira a nota de qualidade que orienta o coaching e os relatórios. Abaixo você encontra um modelo pronto para copiar que avalia conversas de atendentes e de agentes de IA na mesma planilha, além das contas de peso, N/A e amostragem que a maioria dos guias deixa de fora.

Em resumo

  • Uma planilha de monitoria tem cinco partes: critérios, pesos, uma escala de pontuação, regras de erro crítico e o registro da evidência por trás de cada nota.
  • As planilhas publicadas dão pesos muito diferentes às mesmas seções, então derive os seus pesos dos seus próprios escalonamentos e confira se eles preveem o CSAT.
  • Quando um critério não se aplica, tire os pontos dele do denominador: dar zero pode mudar um resultado em 17 pontos.
  • Com cinco avaliações por atendente, a margem de erro de uma taxa de aprovação fica em torno de 26 pontos, o bastante para o coaching, mas não para ranquear pessoas.
  • Quando pessoas e agentes de IA dividem a mesma fila, uma planilha com critérios comuns, itens exclusivos de cada um e erros críticos por tipo de atendente mantém os dois no mesmo padrão.

O que é uma planilha de monitoria de qualidade?

Uma planilha de monitoria de qualidade (QA scorecard) é uma lista estruturada de critérios ponderados usada para avaliar a qualidade de uma conversa de atendimento ao cliente. Cada critério define uma parte do que é um bom atendimento, e cada conversa é avaliada com base neles para gerar uma nota de qualidade geral que orienta o coaching e os relatórios.

Pense na planilha como a definição de qualidade em forma concreta. Em vez de uma sensação vaga de que uma conversa foi “boa”, ela divide a qualidade em elementos específicos e mensuráveis (o problema foi resolvido? o tom foi adequado? a política foi seguida?) e atribui um peso a cada um. É isso que torna a monitoria consistente, útil para o coaching e defensável.

A planilha é o instrumento completo: critérios, pesos, escala e erros críticos. A orientação detalhada sobre o que vale cada nota costuma se chamar rubrica de avaliação de atendimento, e uma boa planilha traz essa orientação em cada critério, para que avaliadores e IA leiam cada item da mesma forma.

Definição e estrutura de uma planilha de monitoria de qualidade

Por que a planilha de monitoria importa

É na planilha que a maioria dos programas de QA dá certo ou fracassa. Uma boa planilha:

  • Cria consistência, para que cada avaliador, e cada avaliação feita por IA, siga o mesmo padrão.
  • Torna o feedback específico, para que os atendentes saibam exatamente o que melhorar, e não só a nota geral.
  • Alinha qualidade e resultados, avaliando os comportamentos que de fato movem o CSAT e a resolução.
  • Resiste a questionamentos, quando um atendente contesta uma nota ou um órgão regulador pede evidências.

Uma planilha inchada ou vaga faz o contrário: transforma a monitoria em um exercício subjetivo de marcar caixinhas, em que os atendentes não confiam e que não dá aos gestores base para agir.

Como a planilha de monitoria traz estrutura e consistência

O que uma boa planilha de monitoria inclui

Toda planilha eficaz tem alguns ingredientes em comum:

  • Critérios claros, escritos como perguntas objetivas e respondíveis.
  • Pesos que refletem quanto cada critério importa para o seu negócio.
  • Uma escala de avaliação, muitas vezes sim/não, ou de 1 a 5 para critérios com nuances.
  • Regras de erro crítico para comportamentos críticos de compliance.
  • Seções ou categorias que agrupam critérios relacionados para relatórios legíveis.

Categorias e critérios da planilha de monitoria

A maioria das planilhas de monitoria de atendimento organiza os critérios em quatro categorias:

CategoriaExemplos de critérios
ResoluçãoO problema foi totalmente resolvido? A informação estava correta? A solução oferecida foi a certa?
ComplianceO cliente foi verificado? As informações obrigatórias foram dadas? A política foi seguida?
ComunicaçãoO tom foi empático e profissional? A resposta foi clara? A preocupação do cliente foi reconhecida?
EficiênciaO problema foi tratado sem transferências, repetições ou atrasos desnecessários?

Exemplos de planilha de monitoria por canal

A planilha deve se adaptar ao canal. Veja exemplos simplificados.

Tipos de modelos de planilha de monitoria por canal

Planilha de monitoria para chat / mensagens

CritérioPeso
Problema resolvido com precisão30%
Tempo de resposta e ritmo adequados15%
Mensagens claras, bem formatadas e empáticas25%
Processo e verificação corretos seguidos20%
Encerramento adequado e próximos passos10%

Planilha de monitoria para e-mail / tickets

CritérioPeso
Resolução completa e correta no menor número de respostas35%
Tom profissional, alinhado à marca, e gramática25%
Compliance e política seguidos25%
Estrutura clara e próximos passos15%

Planilha de monitoria para voz / ligações

CritérioPeso
Problema resolvido, informação correta30%
Verificação de identidade e compliance25%
Empatia, escuta ativa, tom25%
Condução da ligação e eficiência20%

Como montar uma planilha de monitoria

  1. Parta da sua definição de qualidade. Liste como é uma ótima conversa para a sua equipe e agrupe esses pontos em categorias.
  2. Escreva critérios objetivos. Formule cada um como uma pergunta clara que um avaliador ou uma IA consiga responder de forma consistente. Evite termos vagos como “bom atendimento”.
  3. Atribua pesos. Dê mais peso ao que move os resultados do cliente. Resolução e compliance costumam pesar mais.
  4. Defina regras de erro crítico. Decida quais falhas reprovam a conversa inteira, independentemente do resto.
  5. Faça um piloto e calibre. Avalie um lote com a sua equipe, compare os resultados e ajuste a redação até a avaliação ficar consistente.
  6. Revise com regularidade. Atualize a planilha conforme mudam os produtos, as políticas e as necessidades dos clientes.

Agindo a partir dos resultados da planilha de monitoria

Modelo gratuito de planilha de monitoria

O modelo da próxima seção é o que você deve copiar se pessoas e agentes de IA respondem nas mesmas filas. Se você só precisa de uma planilha para um canal, como chat, e-mail, voz ou reclamações, comece pelos nossos cinco modelos prontos por canal (em inglês) e ajuste os pesos.

Modelo de planilha de monitoria de qualidade para atendentes e agentes de IA

Uma planilha de monitoria para atendentes e agentes de IA é um único modelo com três partes: critérios comuns que avaliam todas as conversas do mesmo jeito, alguns itens que só valem para o agente de IA ou só para uma pessoa, e regras de erro crítico por tipo de atendente. Cada item avaliado registra a sua evidência, para que qualquer pessoa confira por que ele passou ou falhou.

Copie a tabela para uma planilha ou para a sua ferramenta de QA. Os pontos são um exemplo: ajuste-os aos seus próprios escalonamentos, como explicado na parte de ponderação mais abaixo. Cada item vale os pontos cheios ou zero, e você marca N/A quando ele não se aplica.

#CritérioVale paraPassa quandoPontosEvidência a registrar
1Resposta corretaAmbosCada informação está certa para o caso deste cliente20A frase com a informação e o artigo ou a política com que ela deve bater
2Resposta completaAmbosTodas as partes da pergunta foram respondidas, inclusive as condições10A parte da pergunta que ficou sem resposta
3Política seguidaAmbosNada foi oferecido, prometido ou recusado fora da política escrita15A oferta ou a recusa, e a política e a versão que ela viola
4Próximo passo claroAmbosO cliente sabe o que acontece agora, ou o problema foi resolvido10A mensagem de encerramento
5Tom adequado à situaçãoAmbosA resposta combina com a sua marca e com o estado do cliente5A frase que destoa, citada
6TransferênciaAmbos, N/A sem transferênciaO contexto é repassado na transferência e quem recebe o usa10A nota de transferência e a primeira resposta de quem recebeu
7Baseado no seu conteúdoSó agente de IACada informação vem de um artigo de ajuda ou de uma política publicada por você5O artigo usado, ou “nenhuma fonte encontrada”
8Fica no escopoSó agente de IASó trata os assuntos e as ações que tem permissão para tratar5O pedido fora do escopo e a resposta
9Escala ou admite que não sabeSó agente de IATransfere nos gatilhos definidos e não chuta5A frase do gatilho e o que o agente de IA fez em seguida
10Notas e tags do casoSó atendenteA próxima pessoa consegue continuar sem perguntar tudo de novo ao cliente8A nota ou a tag que faltou
11Retorno cumpridoSó atendente, N/A sem promessaO retorno ou a atualização prometidos aconteceram no prazo7A promessa e a data em que foi cumprida ou perdida

A planilha soma 100 pontos: 70 comuns, 15 do agente de IA e 15 das pessoas. Em qualquer conversa, os itens do outro tipo de atendente ficam N/A, então o máximo que uma conversa pode somar é 85, ou 75 sem transferência. Divida pelos pontos disponíveis, exatamente como na regra do N/A explicada mais abaixo, e cada conversa continua com uma única porcentagem.

Compare pessoas e agentes de IA só nos itens comuns, assunto por assunto, porque o agente de IA costuma ficar com os assuntos mais fáceis. O nosso guia sobre um só formulário de monitoria para humanos e IA mostra essa comparação com um exemplo calculado, e também a opção de manter os itens exclusivos como aprovado ou reprovado ao lado da nota, em vez de pontos. Para entender por que existem os itens exclusivos da IA, e quais critérios humanos tirar no caso de um bot, leia o guia do scorecard para agentes de IA.

Regras de erro crítico para atendentes e agentes de IA

O erro crítico se sobrepõe à nota, seja quem for que respondeu. Limite-os a cinco, garanta que cada um possa ser conferido na transcrição e reporte-os ao lado da nota, não dentro dela.

Erro críticoVale paraComo conferir
Dados da conta compartilhados antes de verificar a identidadeAmbosFalta a etapa de verificação antes do primeiro dado da conta
Reembolso, crédito ou exceção prometidos fora da políticaAmbosA promessa citada e comparada com a política escrita
Número de cartão ou senha pedidos ou repetidos na conversaAmbosA frase com o dado
Gatilho obrigatório de transferência ignorado, como o pedido para falar com uma pessoa ou uma ameaça de ação judicialAgente de IAA frase do gatilho e as respostas depois dela
Linguagem ofensiva ou discriminatória com o clienteAmbosA frase citada

A linha do agente de IA é a que as planilhas para pessoas não têm. Um atendente a quem pedem um supervisor sabe que precisa transferir; um agente de IA precisa ser instruído, e quando as instruções esquecem um gatilho, ele prende o cliente num loop em cada conversa que cai nesse caso.

Como registrar a evidência

Cada item avaliado precisa de um registro que outra pessoa consiga conferir sem reler a conversa inteira. Guarde cinco coisas por item: o link da conversa, a frase ou as frases citadas, o artigo ou a política usados na checagem, a versão da planilha e quem avaliou, um avaliador ou uma avaliação automatizada.

A evidência decide quem age. Um item reprovado na conversa de uma pessoa vai para o coaching. Um item reprovado na conversa de um agente de IA vai para quem cuida do prompt, do artigo de ajuda ou da configuração que ele usou, nunca para a pessoa que assumiu a conversa. Nos formulários de monitoria da Kaizo, o AutoPilot avalia cada conversa quando ela é resolvida, anexa um comentário que explica a nota e liga cada nota à evidência na conversa.

Exemplo calculado: uma conversa de atendente e uma de agente de IA

Duas conversas da mesma fila de cobrança, avaliadas com a planilha acima. Os detalhes são inventados para mostrar a conta; não são dados de clientes.

CritérioConversa A: atendente, troca de plano, sem transferênciaConversa B: agente de IA, pedido de reembolso, transferida para uma pessoa
1 Resposta correta (20)20: novo preço e data de início batem com a tabela de preços0: “Você pode devolver em até 30 dias com reembolso total.” A política de reembolso v3 diz 14 dias para itens abertos
2 Resposta completa (10)1010
3 Política seguida (15)150: reembolso total prometido para um item aberto
4 Próximo passo claro (10)0: termina com “vou verificar” sem prazo nem canal10: avisa o cliente que um colega vai assumir neste chat
5 Tom adequado à situação (5)55
6 Transferência (10)N/A0: número do pedido repassado, mas a promessa de reembolso não aparece na nota
7 a 9 Itens do agente de IA (15)N/A10: dentro do escopo e transferiu quando pedido (10); falhou em basear-se no conteúdo (0), nenhum artigo fala em 30 dias
10 Notas e tags do caso (8)0: nenhuma nota sobre a troca de planoN/A
11 Retorno cumprido (7)7: e-mail de confirmação enviado no mesmo diaN/A
Pontos obtidos / disponíveis57 / 7535 / 85
Nota76%41%
Erro críticoNenhumReembolso prometido fora da política
Vai paraCoaching sobre próximos passos e notas do casoQuem cuida do artigo de reembolso e das instruções de reembolso do agente de IA

A conversa B é reportada como 41% com a marca de erro crítico, e não diluída num único zero. A pessoa que assumiu é avaliada pela forma como lidou com a promessa retirada, na própria conversa, então o erro do agente de IA nunca cai na nota dela. Só nos itens comuns, A soma 50 de 60 e B 25 de 70, e esse é o número para comparar os dois tipos de atendente por assunto.

Como ponderar e calcular a nota da planilha de monitoria

É a ponderação que transforma um checklist (em inglês) em uma nota com significado. Alguns princípios:

  • Pondere pelo impacto. Critérios que afetam a resolução e o compliance devem pesar mais que os cosméticos.
  • Mantenha a escala simples. Sim/não é fácil de aplicar com consistência; use uma escala de 1 a 5 só onde a nuance realmente importa.
  • Normalize para 100. Um percentual geral é fácil de acompanhar ao longo do tempo e de comparar entre equipes.
  • Evite dar peso demais à subjetividade. Quanto mais um critério depende da opinião do avaliador, mais calibração ele exige.

As planilhas publicadas discordam, e é exatamente esse o ponto

Não existe uma ponderação padrão do setor, e os fornecedores que publicam a sua não concordam entre si. A Balto pondera por seção: saudação 10%, comunicação 25%, compliance 20%, resolução 25%, encerramento 20%. A VereQuest publica uma planilha de comportamentos de 100 pontos que dá 20 à resolução de problemas, 15 à empatia e 15 à responsabilidade (ownership), com a saudação valendo 5 e o uso do nome do cliente valendo 2. A Five9 pondera resultados em vez de comportamentos: CSAT 30%, FCR 25%, nota de QA 20%, TMA (AHT) 15%, aderência 10%.

A Balto dá trinta de cem pontos à forma como a conversa abre e fecha. As nossas planilhas por canal acima não dão quase nada a isso. Nenhuma das duas está errada. Pesos são uma decisão de negócio, não uma boa prática que se copia, então derive os seus:

  • Parta do que realmente dá errado. Pegue os seus últimos 50 escalonamentos, reembolsos e reclamações e marque em cada um o comportamento que o teria evitado. Se 30 deles vêm de informação errada passada com segurança, a precisão merece mais que 5 pontos.
  • Verifique se os pesos preveem alguma coisa. Avalie 100 conversas e correlacione as notas de cada seção com o CSAT ou o resultado de resolução dessas mesmas conversas. Se a sua nota de tom não tem relação com o cliente sair satisfeito, ela não deveria valer 20 pontos. Isso leva meio dia numa planilha e quase ninguém faz.

A armadilha do N/A que quebra a maioria das planilhas sem ninguém perceber

Se um critério não se aplica a uma conversa, tire os pontos dele do denominador. Não dê zero e não o deixe lá em silêncio.

A conta importa mais do que parece. Um atendente faz 68 pontos numa planilha em que um critério de 20 pontos realmente não se aplicava. Dividindo pelo total reduzido, são 68 de 80, ou seja, 85%. Dividindo pelos 100 originais, são 68%. Uma diferença de 17 pontos causada apenas por uma escolha de contabilidade.

A VereQuest trata isso de forma explícita, observando que, quando se usa N/A, “the total % or total # of points is reduced by that amount” (o % total ou o número total de pontos é reduzido nesse valor). Confira o que a sua ferramenta faz por padrão, porque nem todas acertam. Se você quiser a forma geral, o internal quality score da Zendesk é a soma das avaliações dividida pela nota máxima disponível entre as categorias. A palavra importante é disponível, não possível.

Critérios de erro crítico

Algumas falhas são graves o bastante para que a conversa seja reprovada, mesmo com uma nota boa no resto. Erros críticos típicos incluem pular a verificação de identidade, omitir uma informação legal obrigatória, passar informação regulada incorreta ou cometer uma quebra séria da confiança do cliente. Definir os erros críticos de forma explícita mantém a planilha honesta: uma conversa que cumpre todos os itens de comunicação mas descumpre o compliance não é uma boa conversa, e a nota deve dizer isso.

A MaestroQA identifica três categorias legítimas: violações de compliance e segurança, como expor dados de cartão ou pular a verificação; passar informação errada sabendo que está errada; e conduta abusiva. Três regras tornam os erros críticos sustentáveis:

  1. Limite a lista a cinco. Se tudo é crítico, nada é.
  2. Todo erro crítico precisa ser verificável de forma objetiva. Nenhum deve depender do julgamento do avaliador sobre o tom. Avalie o tom; nunca o transforme em erro crítico.
  3. Reporte os erros críticos separados da nota. Um atendente com um erro crítico e dezenove conversas fortes é um problema diferente de um atendente com média de 60%. Misturar os dois numa única média móvel esconde ambos, e um único zero num mês de cinco conversas derruba a média em 20 pontos sozinho.

Documentação e compliance numa planilha de monitoria

O que é uma boa nota de QA?

Não existe uma nota mínima universal, porque depende do quanto a sua planilha é exigente. A maioria dos programas maduros define uma faixa-alvo, geralmente em torno de 85 a 90% para cima, e trata notas abaixo dela como gatilho de coaching. Duas coisas importam mais que o número principal: os critérios de erro crítico, que se sobrepõem a ele, e a tendência por atendente e por equipe ao longo do tempo, principalmente se ela tem correlação com o CSAT. Uma nota isolada diz pouco; uma tendência de alta que acompanha clientes mais satisfeitos diz tudo.

Há um motivo mais forte para não se fixar no número principal, e ele é aritmético, não filosófico.

Quantas conversas você deve avaliar?

Avalie 5 a 10 conversas por atendente por mês se o objetivo é o coaching, e trate o resultado como uma pista, não como um ranking. Com cinco avaliações, a margem de erro da taxa de aprovação de um atendente fica em torno de 26 pontos com 95% de confiança, então ranquear atendentes ou ligar a nota à remuneração exige amostras muito maiores, ou avaliar todas as conversas.

As recomendações publicadas variam em mais de dez vezes, e nenhuma se concilia com as outras.

A Call Centre Helper recomenda 5 a 6 ligações por atendente, e Garry Gormley, da FAB Solutions, chama isso de ponto de equilíbrio entre justiça e custo de recursos. A HiveDesk recomenda 5 a 10 por atendente por mês, subindo para 10 a 15 para novos contratados nos primeiros 90 dias. A OttoQA defende cerca de 65 por atendente por mês, embora seja um argumento de fornecedor baseado em premissas agressivas de volume e sem nenhuma fonte citada. A C2Perform cita os parâmetros estatísticos certos, 95% de confiança e 5% de margem de erro com Z = 1,96, mas nunca mostra a fórmula.

Então aqui vai a conta. Trate cada conversa avaliada como aprovada ou reprovada em relação ao seu padrão de qualidade. A margem de erro sobre a taxa real de aprovação de um atendente, com 95% de confiança, supondo que essa taxa seja de fato 90%:

Conversas avaliadas por atendenteMargem de erro
5mais ou menos 26,3 pontos
10mais ou menos 18,6 pontos
25mais ou menos 11,8 pontos
50mais ou menos 8,3 pontos
100mais ou menos 5,9 pontos

Esses números são calculados, não tirados de uma fonte: 1,96 multiplicado pela raiz quadrada de p(1-p)/n. Tratar o total de uma planilha como uma taxa binomial de aprovação é uma simplificação, e proposital.

Um atendente avaliado cinco vezes que tira 85% tem uma taxa real de qualidade em algum ponto entre aproximadamente 59% e 100%. Não dá para distingui-lo de um colega que tirou 95%. Para reduzir isso a mais ou menos 5 pontos, você precisaria de cerca de 139 avaliações por atendente por mês.

O que fazer com isso, sendo honesto:

  • Não ranqueie atendentes uns contra os outros com amostras pequenas, nem condicione remuneração a uma média de cinco conversas. A medição não sustenta isso.
  • Use amostras pequenas para o coaching. Cinco avaliações não vão dizer que um atendente está no decil inferior, mas vão mostrar que esse atendente pula a verificação. Encontrar um comportamento específico e corrigível exige muito menos dados do que ranquear pessoas.
  • Agregue para cima. Cinco avaliações por atendente numa equipe de 40 pessoas são 200 pontos de dados no nível da equipe, o suficiente para identificar um problema de processo ou de política.
  • Aumente a amostra onde o risco é alto: novos contratados, conversas reguladas e qualquer pessoa cujo desempenho esteja formalmente em questão.

Avaliar todas as conversas automaticamente elimina esse problema, porque não sobra amostra para ser pouco representativa. Isso traz outros riscos, tratados mais abaixo.

Calibração: mantendo as notas justas

A calibração é o que torna uma planilha confiável. Numa sessão de calibração, vários avaliadores, e cada vez mais a IA, avaliam as mesmas conversas de forma independente e depois comparam e conciliam as diferenças. Isso revela critérios ambíguos, alinha a interpretação e constrói o padrão comum que faz os atendentes aceitarem as suas notas. Sem calibração, uma “nota” é só a opinião de uma pessoa. Com ela, a planilha vira uma medida justa e consistente, que é justamente o objetivo.

A maioria das orientações para por aí, sem dizer como é uma calibração aprovada. Coloque números nela. Todo mês, três a cinco avaliadores avaliam de forma independente as mesmas seis conversas, sem discussão, e depois medem duas coisas.

Dispersão das notas. A diferença entre o maior e o menor total na mesma conversa. Um limite prático de trabalho é 10 pontos numa planilha de 100 pontos. Qualquer coisa acima disso indica que as definições dos critérios são ambíguas, não que um avaliador esteja errado.

Concordância por critério. Descubra em quais critérios específicos os seus avaliadores discordam. Quase nunca são os binários. São as escalas de julgamento com pontos não definidos. Se você quiser uma medida formal, o kappa de Cohen corrige a concordância pelo acaso, e as faixas padrão de Landis e Koch colocam 0,41 a 0,60 como moderada, 0,61 a 0,80 como substancial e 0,81 a 1,00 como quase perfeita (resumo aqui). Busque 0,61 ou mais em qualquer critério com peso relevante. Abaixo de 0,41, o critério está medindo o avaliador, não o atendente.

Corrija a planilha, não o avaliador. Quando a calibração encontra discordância, reescreva a definição do critério. Pedir aos avaliadores que se esforcem mais não sobrevive à próxima conversa ambígua.

Como isso aparece do lado do atendente

As planilhas são desenhadas por gestores e vividas por atendentes, e a distância entre esses dois pontos de vista é onde os programas de qualidade fracassam sem alarde. Atendentes discutem os seus programas publicamente e em detalhe, e os mesmos padrões se repetem.

A amostragem parece sorte, porque com esses tamanhos de amostra em parte ela é. Um atendente conta que vai bem nos tipos de conversa em que é mais forte, e então: “I followed my call flow to perfection on my new bookings and yet, they didn’t pull those.” (em tradução livre: “Segui o meu roteiro à perfeição nas novas reservas e, mesmo assim, não pegaram essas.”) (r/callcentres) Não é paranoia. É uma margem de erro de cerca de 26 pontos sentida por dentro.

Amostras desiguais destroem a comparação. De uma discussão sobre QA automatizado: “This means my score might be based on 20 calls and my coworkers is based on 34.” (“Isso significa que a minha nota pode se basear em 20 ligações e a do meu colega em 34.”) (r/callcentres) Se você ranqueia atendentes, mantenha o tamanho da amostra constante.

Um único evento incontrolável pode arruinar uma média móvel. “My dog barked ( he rarely does) and I got a zero on a call that otherwise would’ve been a perfect 100.” (“O meu cachorro latiu (ele quase nunca late) e eu tirei zero numa ligação que, fora isso, teria sido um 100 perfeito.”) (r/callcentres) É o problema da média com erro crítico, na vida real.

Critérios que ignoram o motivo de contato parecem burocracia. Um atendente, sobre ser avaliado por criar rapport: “I work for an energy retailer, I don’t need to take someone on a journey when they ask to make a payment.” (“Trabalho numa comercializadora de energia, não preciso levar ninguém numa jornada quando a pessoa só quer fazer um pagamento.”) Se a sua planilha aplica os mesmos critérios a uma troca de senha e a uma comunicação de falecimento, ela vai gerar ressentimento e vai medir a coisa errada. Use planilhas específicas por canal ou por tipo de contato, ou use o N/A corretamente.

Erro do avaliador sem caminho de correção envenena o programa inteiro. “3 of the 4 things that they said I didn’t ask, I absolutely did.” (“Das 4 coisas que disseram que eu não perguntei, 3 eu perguntei, com certeza.”) (r/callcentres)

A solução aparece na mesma discussão, descrita por um analista de qualidade cujo programa funciona. Eles enviam ligações uns aos outros “to make sure we’re being fair and accurate” (“para garantir que estamos sendo justos e precisos”), os atendentes podem contestar qualquer nota e, quando a equipe de QA erra, eles “own up to it and award the points back” (“assumem o erro e devolvem os pontos”). Isso é calibração mais um processo de contestação, e é a diferença entre uma planilha em que as pessoas confiam e uma que elas apenas aguentam.

Então, embuta a contestação no processo. Dê aos atendentes a conversa avaliada, o detalhamento por critério, um prazo para contestar e uma pessoa nomeada que decide. Acompanhe a sua taxa de revisão de notas. Se ela estiver perto de zero, os atendentes provavelmente desistiram de contestar. Se estiver acima de cerca de 10%, a sua planilha é ambígua.

Erros comuns na planilha de monitoria

  • Critérios demais. Uma planilha sobrecarregada dilui o sinal que importa e deixa a avaliação mais lenta.
  • Redação vaga. Critérios subjetivos geram notas inconsistentes e resistência dos atendentes.
  • Sem ponderação. Tratar todos os critérios igualmente esconde o que realmente importa.
  • Sem erros críticos. Deixar passar uma violação de compliance porque o resto foi bem avaliado.
  • Configurar e esquecer. Uma planilha que nunca é atualizada se desalinha do negócio.

Avaliação manual vs automatizada da planilha

Uma planilha só é tão útil quanto a sua capacidade de aplicá-la. Avaliada à mão, mesmo uma ótima planilha só chega a uma amostra, muitas vezes de 5 a 10 conversas por atendente por mês. Avaliada por IA, como nos formulários de monitoria da Kaizo, a mesma planilha é aplicada a todas as conversas, de pessoas ou de IA, de forma consistente, liberando os avaliadores para a calibração e o coaching.

Avaliação manualAvaliação automatizada
CoberturaUma amostra por atendente100% das conversas
ConsistênciaVaria por avaliador e por diaUm único padrão consistente
EsforçoHoras de avaliação por semanaRedirecionado para o coaching

Veja como a monitoria de qualidade automatizada aplica a sua planilha a todas as conversas, e como o Coaching com IA transforma os resultados em desenvolvimento dos atendentes.

Duas equipes mostram como isso fica na prática. Na UiPath, a Kaizo automatizou 100% do QA, com 200% de ROI e um aumento de 8% na nota de qualidade. A SteelSeries cortou pela metade o tempo de QA com resumos de IA em tickets longos e técnicos.

Veja uma só planilha avaliar os dois. A Kaizo avalia todas as conversas de atendimento, de pessoas ou de IA, com a sua própria planilha de monitoria e liga cada nota à evidência por trás dela. Agende uma demo.

Quando esta planilha não é para você

Uma planilha completa, ponderada e com evidência em cada item é mais do que algumas equipes precisam. Se você atende algumas dezenas de conversas por semana, leia todas com um checklist curto; a planilha compensa quando já não dá para ler tudo. Se você ainda não tem um agente de IA, tire os itens 7 a 9 e o erro crítico do agente de IA, e o modelo funciona como uma planilha normal para pessoas. Se as suas políticas e os seus artigos de ajuda não estão escritos, escreva-os primeiro: “resposta correta” e “política seguida” não podem ser avaliadas com base em um padrão que só existe na cabeça das pessoas. E se o que você precisa é de uma bateria de testes para um agente de IA antes do lançamento, como testes de regressão de prompts, essa é outra etapa e outro tipo de ferramenta, diferente de avaliar conversas já encerradas.

Versionando a sua planilha

A sua planilha vai mudar e, quando mudar, você quebra a sua própria linha de tendência. As notas de antes e de depois não são comparáveis, e quase ninguém avisa sobre isso.

Três práticas bastam. Versione a planilha e marque cada avaliação com a versão usada. Nunca mude os pesos no meio do trimestre. Quando mudar, reavalie 20 conversas arquivadas com a planilha antiga e com a nova para saber o tamanho da diferença, e anote a mudança em todo gráfico que a atravessa.

Revise a planilha duas vezes por ano em relação aos seus motivos atuais de escalonamento. Critérios que faziam sentido dois produtos atrás costumam sobreviver muito mais tempo do que deveriam.

Conclusão

A planilha de monitoria é o artefato mais importante de um programa de qualidade. Mantenha-a focada, pondere-a pelo impacto, defina os erros críticos, calibre-a e atualize-a conforme o seu negócio muda. Depois, aplique-a a 100% das conversas com automação, de pessoas e de IA, para que o padrão que você trabalhou para definir chegue de fato a cada interação, e não só a uma amostra. É assim que uma planilha deixa de ser um checklist e se torna o motor de uma qualidade consistente.

Perguntas frequentes

Como se calcula uma nota de QA?

Some os pontos obtidos e divida pelos pontos que estavam de fato disponíveis naquela conversa, não pelo total cheio da planilha. Se um critério de 20 pontos não se aplicava, o denominador é 80, não 100. Um atendente com 68 pontos tira 85% pelo método correto e 68% pelo errado.

Como melhorar uma nota de QA baixa?

Olhe os dados por critério, não o total. Um 72% causado por falhar sempre na verificação se corrige em dez minutos. O mesmo 72% espalhado igualmente por todos os critérios é um problema totalmente diferente. Se você não consegue ver quais critérios estão puxando a nota para baixo, o primeiro a corrigir são os seus relatórios.

Como criar um checklist de QA?

Parta dos seus últimos 50 escalonamentos e reembolsos, marque em cada um o comportamento que o teria evitado e deixe a frequência definir os seus critérios. Limite a lista a 20 itens e escreva uma definição de uma frase para cada ponto da escala.

Quantos critérios uma planilha de monitoria deve ter?

Menos do que você imagina. Fique com os critérios que preveem os resultados do cliente e limite os erros críticos a cinco. Uma planilha sobrecarregada dilui o sinal, deixa a avaliação mais lenta e exige mais calibração a cada critério de julgamento a mais.

Dá para usar a mesma planilha de monitoria para agentes de IA e atendentes?

Sim, nos critérios que descrevem o resultado para o cliente: resposta correta e completa, política seguida, próximo passo claro e uma transferência bem feita. Acrescente alguns itens que valem só para um dos dois, como a base no seu conteúdo para o agente de IA e as notas do caso para as pessoas, e marque como N/A os itens do outro. Compare os dois só nos itens comuns.

Quem corrige um item reprovado na conversa de um agente de IA?

Quem cuida do que o agente de IA usou: o prompt, o artigo de ajuda, o texto da política ou a configuração. Por isso cada item reprovado deve registrar a fonte usada na checagem. A pessoa que assumiu a conversa é avaliada só pela própria atuação.

Uma planilha de monitoria pode ser avaliada automaticamente?

Sim. O QA automatizado aplica a sua planilha a todas as conversas, de pessoas ou de IA, de forma consistente, enquanto as pessoas cuidam da calibração, das contestações e do coaching. Na Kaizo, o AutoPilot avalia cada conversa quando ela é resolvida e liga cada nota à evidência na conversa.

Preciso de planilhas diferentes para chat, e-mail e voz?

Geralmente sim, pelo menos com pesos diferentes. As categorias principais continuam as mesmas, mas critérios como o ritmo de resposta ou a condução da ligação são específicos de cada canal.

Fontes

Os números de margem de erro desta página são calculados, não tirados de uma fonte, e estão indicados como tal onde aparecem. As citações de profissionais vêm de discussões públicas no r/callcentres, com link no texto, e foram mantidas no original em inglês com tradução livre.

Leitura relacionada

Aplique a sua planilha de monitoria a 100% das conversas

Agende uma reunião de 30 minutos e veja como a Kaizo avalia cada conversa, de pessoas ou de IA, com a sua planilha e transforma os resultados em coaching.

Vamos conversar

Nesta página

Leituras relacionadas

Veja isso em uma demo ao vivo

Apresentamos a Kaizo com conversas de exemplo realistas, para você ver o exemplo avaliado, explicado e transformado em coaching.

A escolha de equipes de atendimento no mundo todo

  • Foot Locker
  • Canva
  • GetYourGuide
  • Instacart
  • BlaBlaCar
  • UiPath