Planilha de monitoria de qualidade: modelo e cálculo

Uma planilha de monitoria de qualidade transforma qualidade em critérios ponderados e avaliáveis. Veja o que incluir, exemplos por canal, como montar e ponderar a sua, além de um modelo gratuito.

A planilha de monitoria (o scorecard de QA) é a espinha dorsal de qualquer programa de qualidade. Quando ela é bem feita, cada conversa é avaliada de forma justa em relação ao que realmente importa; quando é mal feita, a monitoria vira um exercício de marcar caixinhas. Este guia mostra o que é uma planilha de monitoria de qualidade, exemplos reais por canal, como montar uma, como ponderar e calcular a nota, e um modelo gratuito para começar.

O que é uma planilha de monitoria de qualidade?

Uma planilha de monitoria de qualidade (QA scorecard) é uma lista estruturada de critérios ponderados usada para avaliar a qualidade de uma conversa de atendimento ao cliente. Cada critério define uma parte do que é um bom atendimento, e cada conversa é avaliada com base neles para gerar uma nota de qualidade geral que orienta o coaching e os relatórios.

Pense na planilha como a definição de qualidade em forma concreta. Em vez de uma sensação vaga de que uma conversa foi “boa”, ela divide a qualidade em elementos específicos e mensuráveis (o problema foi resolvido? o tom foi adequado? a política foi seguida?) e atribui um peso a cada um. É isso que torna a monitoria consistente, útil para o coaching e defensável.

Por que a planilha de monitoria importa

É na planilha que a maioria dos programas de QA dá certo ou fracassa. Uma boa planilha:

• Cria consistência, para que cada avaliador, e cada avaliação feita por IA, siga o mesmo padrão.
• Torna o feedback específico, para que os atendentes saibam exatamente o que melhorar, e não só a nota geral.
• Alinha qualidade e resultados, avaliando os comportamentos que de fato movem o CSAT e a resolução.
• Resiste a questionamentos, quando um atendente contesta uma nota ou um órgão regulador pede evidências.

Uma planilha inchada ou vaga faz o contrário: transforma a monitoria em um exercício subjetivo de marcar caixinhas, em que os atendentes não confiam e que não dá aos gestores base para agir.

O que uma boa planilha de monitoria inclui

Toda planilha eficaz tem alguns ingredientes em comum:

• Critérios claros, escritos como perguntas objetivas e respondíveis.
• Pesos que refletem quanto cada critério importa para o seu negócio.
• Uma escala de avaliação, muitas vezes sim/não, ou de 1 a 5 para critérios com nuances.
• Regras de erro crítico para comportamentos críticos de compliance.
• Seções ou categorias que agrupam critérios relacionados para relatórios legíveis.

Categorias e critérios da planilha de monitoria

A maioria das planilhas de monitoria de atendimento organiza os critérios em quatro categorias:

Exemplos de planilha de monitoria por canal

A planilha deve se adaptar ao canal. Veja exemplos simplificados.

Planilha de monitoria para chat / mensagens

Planilha de monitoria para e-mail / tickets

Planilha de monitoria para voz / ligações

Como montar uma planilha de monitoria

1. Parta da sua definição de qualidade. Liste como é uma ótima conversa para a sua equipe e agrupe esses pontos em categorias.
2. Escreva critérios objetivos. Formule cada um como uma pergunta clara que um avaliador ou uma IA consiga responder de forma consistente. Evite termos vagos como “bom atendimento”.
3. Atribua pesos. Dê mais peso ao que move os resultados do cliente. Resolução e compliance costumam pesar mais.
4. Defina regras de erro crítico. Decida quais falhas reprovam a conversa inteira, independentemente do resto.
5. Faça um piloto e calibre. Avalie um lote com a sua equipe, compare os resultados e ajuste a redação até a avaliação ficar consistente.
6. Revise com regularidade. Atualize a planilha conforme mudam os produtos, as políticas e as necessidades dos clientes.

Para um passo a passo mais detalhado de montagem, veja o nosso guia da planilha de monitoria.

Modelo gratuito de planilha de monitoria

Comece com uma planilha de monitoria pronta e ponderada, que você pode adaptar à sua equipe, para chat, e-mail e voz. Pegue os nossos modelos de planilha de monitoria e personalize os critérios e os pesos de acordo com a sua definição de qualidade.

Como ponderar e calcular a nota da planilha de monitoria

É a ponderação que transforma um checklist (em inglês) em uma nota com significado. Alguns princípios:

• Pondere pelo impacto. Critérios que afetam a resolução e o compliance devem pesar mais que os cosméticos.
• Mantenha a escala simples. Sim/não é fácil de aplicar com consistência; use uma escala de 1 a 5 só onde a nuance realmente importa.
• Normalize para 100. Um percentual geral é fácil de acompanhar ao longo do tempo e de comparar entre equipes.
• Evite dar peso demais à subjetividade. Quanto mais um critério depende da opinião do avaliador, mais calibração ele exige.

As planilhas publicadas discordam, e é exatamente esse o ponto

Não existe uma ponderação padrão do setor, e os fornecedores que publicam a sua não concordam entre si. A Balto pondera por seção: saudação 10%, comunicação 25%, compliance 20%, resolução 25%, encerramento 20%. A VereQuest publica uma planilha de comportamentos de 100 pontos que dá 20 à resolução de problemas, 15 à empatia e 15 à responsabilidade (ownership), com a saudação valendo 5 e o uso do nome do cliente valendo 2. A Five9 pondera resultados em vez de comportamentos: CSAT 30%, FCR 25%, nota de QA 20%, TMA (AHT) 15%, aderência 10%.

A Balto dá trinta de cem pontos à forma como a conversa abre e fecha. As nossas planilhas por canal acima não dão quase nada a isso. Nenhuma das duas está errada. Pesos são uma decisão de negócio, não uma boa prática que se copia, então derive os seus:

• Parta do que realmente dá errado. Pegue os seus últimos 50 escalonamentos, reembolsos e reclamações e marque em cada um o comportamento que o teria evitado. Se 30 deles vêm de informação errada passada com segurança, a precisão merece mais que 5 pontos.
• Verifique se os pesos preveem alguma coisa. Avalie 100 conversas e correlacione as notas de cada seção com o CSAT ou o resultado de resolução dessas mesmas conversas. Se a sua nota de tom não tem relação com o cliente sair satisfeito, ela não deveria valer 20 pontos. Isso leva meio dia numa planilha e quase ninguém faz.

A armadilha do N/A que quebra a maioria das planilhas sem ninguém perceber

Se um critério não se aplica a uma conversa, tire os pontos dele do denominador. Não dê zero e não o deixe lá em silêncio.

A conta importa mais do que parece. Um atendente faz 68 pontos numa planilha em que um critério de 20 pontos realmente não se aplicava. Dividindo pelo total reduzido, são 68 de 80, ou seja, 85%. Dividindo pelos 100 originais, são 68%. Uma diferença de 17 pontos causada apenas por uma escolha de contabilidade.

A VereQuest trata isso de forma explícita, observando que, quando se usa N/A, “the total % or total # of points is reduced by that amount” (o % total ou o número total de pontos é reduzido nesse valor). Confira o que a sua ferramenta faz por padrão, porque nem todas acertam. Se você quiser a forma geral, o internal quality score da Zendesk é a soma das avaliações dividida pela nota máxima disponível entre as categorias. A palavra importante é disponível, não possível.

Critérios de erro crítico

Algumas falhas são graves o bastante para que a conversa seja reprovada, mesmo com uma nota boa no resto. Erros críticos típicos incluem pular a verificação de identidade, omitir uma informação legal obrigatória, passar informação regulada incorreta ou cometer uma quebra séria da confiança do cliente. Definir os erros críticos de forma explícita mantém a planilha honesta: uma conversa que cumpre todos os itens de comunicação mas descumpre o compliance não é uma boa conversa, e a nota deve dizer isso.

A MaestroQA identifica três categorias legítimas: violações de compliance e segurança, como expor dados de cartão ou pular a verificação; passar informação errada sabendo que está errada; e conduta abusiva. Três regras tornam os erros críticos sustentáveis:

1. Limite a lista a cinco. Se tudo é crítico, nada é.
2. Todo erro crítico precisa ser verificável de forma objetiva. Nenhum deve depender do julgamento do avaliador sobre o tom. Avalie o tom; nunca o transforme em erro crítico.
3. Reporte os erros críticos separados da nota. Um atendente com um erro crítico e dezenove conversas fortes é um problema diferente de um atendente com média de 60%. Misturar os dois numa única média móvel esconde ambos, e um único zero num mês de cinco conversas derruba a média em 20 pontos sozinho.

O que é uma boa nota de QA?

Não existe uma nota mínima universal, porque depende do quanto a sua planilha é exigente. A maioria dos programas maduros define uma faixa-alvo, geralmente em torno de 85 a 90% para cima, e trata notas abaixo dela como gatilho de coaching. Duas coisas importam mais que o número principal: os critérios de erro crítico, que se sobrepõem a ele, e a tendência por atendente e por equipe ao longo do tempo, principalmente se ela tem correlação com o CSAT. Uma nota isolada diz pouco; uma tendência de alta que acompanha clientes mais satisfeitos diz tudo.

Há um motivo mais forte para não se fixar no número principal, e ele é aritmético, não filosófico.

Quantas conversas você deve avaliar?

As recomendações publicadas variam em mais de dez vezes, e nenhuma se concilia com as outras.

A Call Centre Helper recomenda 5 a 6 ligações por atendente, e Garry Gormley, da FAB Solutions, chama isso de ponto de equilíbrio entre justiça e custo de recursos. A HiveDesk recomenda 5 a 10 por atendente por mês, subindo para 10 a 15 para novos contratados nos primeiros 90 dias. A OttoQA defende cerca de 65 por atendente por mês, embora seja um argumento de fornecedor baseado em premissas agressivas de volume e sem nenhuma fonte citada. A C2Perform cita os parâmetros estatísticos certos, 95% de confiança e 5% de margem de erro com Z = 1,96, mas nunca mostra a fórmula.

Então aqui vai a conta. Trate cada conversa avaliada como aprovada ou reprovada em relação ao seu padrão de qualidade. A margem de erro sobre a taxa real de aprovação de um atendente, com 95% de confiança, supondo que essa taxa seja de fato 90%:

Esses números são calculados, não tirados de uma fonte: 1,96 multiplicado pela raiz quadrada de p(1-p)/n. Tratar o total de uma planilha como uma taxa binomial de aprovação é uma simplificação, e proposital.

Um atendente avaliado cinco vezes que tira 85% tem uma taxa real de qualidade em algum ponto entre aproximadamente 59% e 100%. Não dá para distingui-lo de um colega que tirou 95%. Para reduzir isso a mais ou menos 5 pontos, você precisaria de cerca de 139 avaliações por atendente por mês.

O que fazer com isso, sendo honesto:

• Não ranqueie atendentes uns contra os outros com amostras pequenas, nem condicione remuneração a uma média de cinco conversas. A medição não sustenta isso.
• Use amostras pequenas para o coaching. Cinco avaliações não vão dizer que um atendente está no decil inferior, mas vão mostrar que esse atendente pula a verificação. Encontrar um comportamento específico e corrigível exige muito menos dados do que ranquear pessoas.
• Agregue para cima. Cinco avaliações por atendente numa equipe de 40 pessoas são 200 pontos de dados no nível da equipe, o suficiente para identificar um problema de processo ou de política.
• Aumente a amostra onde o risco é alto: novos contratados, conversas reguladas e qualquer pessoa cujo desempenho esteja formalmente em questão.

Avaliar todas as conversas automaticamente elimina esse problema, porque não sobra amostra para ser pouco representativa. Isso traz outros riscos, tratados mais abaixo.

Calibração: mantendo as notas justas

A calibração é o que torna uma planilha confiável. Numa sessão de calibração, vários avaliadores, e cada vez mais a IA, avaliam as mesmas conversas de forma independente e depois comparam e conciliam as diferenças. Isso revela critérios ambíguos, alinha a interpretação e constrói o padrão comum que faz os atendentes aceitarem as suas notas. Sem calibração, uma “nota” é só a opinião de uma pessoa. Com ela, a planilha vira uma medida justa e consistente, que é justamente o objetivo.

A maioria das orientações para por aí, sem dizer como é uma calibração aprovada. Coloque números nela. Todo mês, três a cinco avaliadores avaliam de forma independente as mesmas seis conversas, sem discussão, e depois medem duas coisas.

Dispersão das notas. A diferença entre o maior e o menor total na mesma conversa. Um limite prático de trabalho é 10 pontos numa planilha de 100 pontos. Qualquer coisa acima disso indica que as definições dos critérios são ambíguas, não que um avaliador esteja errado.

Concordância por critério. Descubra em quais critérios específicos os seus avaliadores discordam. Quase nunca são os binários. São as escalas de julgamento com pontos não definidos. Se você quiser uma medida formal, o kappa de Cohen corrige a concordância pelo acaso, e as faixas padrão de Landis e Koch colocam 0,41 a 0,60 como moderada, 0,61 a 0,80 como substancial e 0,81 a 1,00 como quase perfeita (resumo aqui). Busque 0,61 ou mais em qualquer critério com peso relevante. Abaixo de 0,41, o critério está medindo o avaliador, não o atendente.

Corrija a planilha, não o avaliador. Quando a calibração encontra discordância, reescreva a definição do critério. Pedir aos avaliadores que se esforcem mais não sobrevive à próxima conversa ambígua.

Como isso aparece do lado do atendente

As planilhas são desenhadas por gestores e vividas por atendentes, e a distância entre esses dois pontos de vista é onde os programas de qualidade fracassam sem alarde. Atendentes discutem os seus programas publicamente e em detalhe, e os mesmos padrões se repetem.

A amostragem parece sorte, porque com esses tamanhos de amostra em parte ela é. Um atendente conta que vai bem nos tipos de conversa em que é mais forte, e então: “I followed my call flow to perfection on my new bookings and yet, they didn’t pull those.” (em tradução livre: “Segui o meu roteiro à perfeição nas novas reservas e, mesmo assim, não pegaram essas.”) (r/callcentres) Não é paranoia. É uma margem de erro de cerca de 26 pontos sentida por dentro.

Amostras desiguais destroem a comparação. De uma discussão sobre QA automatizado: “This means my score might be based on 20 calls and my coworkers is based on 34.” (“Isso significa que a minha nota pode se basear em 20 ligações e a do meu colega em 34.”) (r/callcentres) Se você ranqueia atendentes, mantenha o tamanho da amostra constante.

Um único evento incontrolável pode arruinar uma média móvel. “My dog barked ( he rarely does) and I got a zero on a call that otherwise would’ve been a perfect 100.” (“O meu cachorro latiu (ele quase nunca late) e eu tirei zero numa ligação que, fora isso, teria sido um 100 perfeito.”) (r/callcentres) É o problema da média com erro crítico, na vida real.

Critérios que ignoram o motivo de contato parecem burocracia. Um atendente, sobre ser avaliado por criar rapport: “I work for an energy retailer, I don’t need to take someone on a journey when they ask to make a payment.” (“Trabalho numa comercializadora de energia, não preciso levar ninguém numa jornada quando a pessoa só quer fazer um pagamento.”) Se a sua planilha aplica os mesmos critérios a uma troca de senha e a uma comunicação de falecimento, ela vai gerar ressentimento e vai medir a coisa errada. Use planilhas específicas por canal ou por tipo de contato, ou use o N/A corretamente.

Erro do avaliador sem caminho de correção envenena o programa inteiro. “3 of the 4 things that they said I didn’t ask, I absolutely did.” (“Das 4 coisas que disseram que eu não perguntei, 3 eu perguntei, com certeza.”) (r/callcentres)

A solução aparece na mesma discussão, descrita por um analista de qualidade cujo programa funciona. Eles enviam ligações uns aos outros “to make sure we’re being fair and accurate” (“para garantir que estamos sendo justos e precisos”), os atendentes podem contestar qualquer nota e, quando a equipe de QA erra, eles “own up to it and award the points back” (“assumem o erro e devolvem os pontos”). Isso é calibração mais um processo de contestação, e é a diferença entre uma planilha em que as pessoas confiam e uma que elas apenas aguentam.

Então, embuta a contestação no processo. Dê aos atendentes a conversa avaliada, o detalhamento por critério, um prazo para contestar e uma pessoa nomeada que decide. Acompanhe a sua taxa de revisão de notas. Se ela estiver perto de zero, os atendentes provavelmente desistiram de contestar. Se estiver acima de cerca de 10%, a sua planilha é ambígua.

Planilha de monitoria vs critérios de avaliação

Os termos costumam ser usados como sinônimos. Os critérios de avaliação (o QA rubric, em inglês) costumam se referir à orientação detalhada de pontuação, o que vale cada nota em cada critério, enquanto a planilha de monitoria é o instrumento estruturado como um todo: critérios, pesos e pontuação juntos. Na prática, uma boa planilha inclui essa orientação detalhada para que avaliadores e IA interpretem cada critério da mesma forma.

Erros comuns na planilha de monitoria

• Critérios demais. Uma planilha sobrecarregada dilui o sinal que importa e deixa a avaliação mais lenta.
• Redação vaga. Critérios subjetivos geram notas inconsistentes e resistência dos atendentes.
• Sem ponderação. Tratar todos os critérios igualmente esconde o que realmente importa.
• Sem erros críticos. Deixar passar uma violação de compliance porque o resto foi bem avaliado.
• Configurar e esquecer. Uma planilha que nunca é atualizada se desalinha do negócio.

Para um checklist do que não fazer, veja o checklist de “não faça” para planilhas de monitoria.

Avaliação manual vs automatizada da planilha

Uma planilha só é tão útil quanto a sua capacidade de aplicá-la. Avaliada à mão, mesmo uma ótima planilha chega a menos de 5% das conversas. Avaliada por IA, como nos formulários de monitoria da Kaizo, a mesma planilha é aplicada a 100% delas, de forma consistente, liberando os avaliadores para a calibração e o coaching.

Veja como a monitoria de qualidade automatizada aplica a sua planilha a todas as conversas, e como o Coaching com IA transforma os resultados em desenvolvimento dos atendentes.

100% das conversas avaliadas com a sua planilha, contra a média manual de menos de 5%

100% do QA automatizado na UiPath, com +8% de nota de qualidade por trimestre

75% menos tempo de preparação de coaching na EverHelp, em 16 domínios

Planilhas de monitoria para conversas atendidas por IA

À medida que agentes de IA passam a atender conversas, a mesma planilha deve avaliá-los também, com um único padrão, para que você compare diretamente a qualidade humana e a da IA. Uma planilha bem construída, aplicada a 100% das conversas, se torna o padrão de qualidade comum de toda a sua operação, humana ou de IA.

Versionando a sua planilha

A sua planilha vai mudar e, quando mudar, você quebra a sua própria linha de tendência. As notas de antes e de depois não são comparáveis, e quase ninguém avisa sobre isso.

Três práticas bastam. Versione a planilha e marque cada avaliação com a versão usada. Nunca mude os pesos no meio do trimestre. Quando mudar, reavalie 20 conversas arquivadas com a planilha antiga e com a nova para saber o tamanho da diferença, e anote a mudança em todo gráfico que a atravessa.

Revise a planilha duas vezes por ano em relação aos seus motivos atuais de escalonamento. Critérios que faziam sentido dois produtos atrás costumam sobreviver muito mais tempo do que deveriam.

Conclusão

A planilha de monitoria é o artefato mais importante de um programa de qualidade. Mantenha-a focada, pondere-a pelo impacto, defina os erros críticos, calibre-a e atualize-a conforme o seu negócio muda. Depois, aplique-a a 100% das conversas com automação, para que o padrão que você trabalhou para definir chegue de fato a cada interação, e não só a uma amostra. É assim que uma planilha deixa de ser um checklist e se torna o motor de uma qualidade consistente.

Perguntas frequentes

Como se calcula uma nota de QA?

Some os pontos obtidos e divida pelos pontos que estavam de fato disponíveis naquela conversa, não pelo total cheio da planilha. Se um critério de 20 pontos não se aplicava, o denominador é 80, não 100. Um atendente com 68 pontos tira 85% pelo método correto e 68% pelo errado.

Quantas conversas devo avaliar por atendente?

Cinco a dez por atendente por mês é a recomendação comum, e é o suficiente para encontrar comportamentos a trabalhar no coaching. Não é o suficiente para ranquear atendentes entre si nem para condicionar remuneração, porque com cinco avaliações a margem de erro fica em torno de 26 pontos percentuais. Se você precisa de comparações individuais, aumente bastante a amostra ou avalie tudo automaticamente.

Como melhorar uma nota de QA baixa?

Olhe os dados por critério, não o total. Um 72% causado por falhar sempre na verificação se corrige em dez minutos. O mesmo 72% espalhado igualmente por todos os critérios é um problema totalmente diferente. Se você não consegue ver quais critérios estão puxando a nota para baixo, o primeiro a corrigir são os seus relatórios.

Como criar um checklist de QA?

Parta dos seus últimos 50 escalonamentos e reembolsos, marque em cada um o comportamento que o teria evitado e deixe a frequência definir os seus critérios. Limite a lista a 20 itens e escreva uma definição de uma frase para cada ponto da escala.

Qual a diferença entre uma planilha de monitoria e os critérios de avaliação?

Os critérios de avaliação (o rubric) são a orientação detalhada de pontuação de cada critério; a planilha é o instrumento completo de critérios, pesos e pontuação. Boas planilhas incluem essa orientação detalhada.

Quantos critérios uma planilha de monitoria deve ter?

Menos do que você imagina. Concentre-se nos critérios que preveem os resultados do cliente. Uma planilha sobrecarregada dilui o sinal e deixa a avaliação mais lenta.

Uma planilha de monitoria pode ser avaliada automaticamente?

Sim. O QA automatizado aplica a sua planilha a 100% das conversas com IA, de forma consistente, enquanto as pessoas cuidam da calibração e do coaching.

Preciso de planilhas diferentes para chat, e-mail e voz?

Geralmente sim, pelo menos com pesos diferentes. As categorias principais continuam as mesmas, mas critérios como o ritmo de resposta ou a condução da ligação são específicos de cada canal.

Fontes

• Zendesk, fórmula do internal quality score
• Balto, pesos por seção
• VereQuest, planilha de comportamentos de 100 pontos e tratamento do N/A
• Five9, pesos por resultado e cadência de calibração
• MaestroQA, categorias de erro crítico
• Call Centre Helper, tamanho da amostra
• HiveDesk, tamanho da amostra por tempo de casa
• OttoQA, avaliações por atendente (afirmação de fornecedor, sem fonte)
• C2Perform, parâmetros de confiança
• Faixas de interpretação do kappa de Landis e Koch

Os números de margem de erro desta página são calculados, não tirados de uma fonte, e estão indicados como tal onde aparecem. As citações de profissionais vêm de discussões públicas no r/callcentres, com link no texto, e foram mantidas no original em inglês com tradução livre.

Leitura relacionada

• 5 modelos gratuitos de planilha de monitoria (em inglês)
• Critérios de erro crítico no QA (em inglês)
• Como escrever critérios de QA que uma IA consegue avaliar (em inglês)
• Calibração de QA: como conduzir sessões que eliminam o viés nas notas (em inglês)

Aplique a sua planilha de monitoria a 100% das conversas

Agende uma demo de 30 minutos e veja a Kaizo avaliar automaticamente cada conversa com a sua planilha e transformar os resultados em coaching.

Agendar demo