As metodologias de monitoria de qualidade no atendimento são as regras que definem quais conversas são avaliadas, por quem e com que frequência. As cinco principais são a amostragem aleatória, a avaliação direcionada, a avaliação por risco, a avaliação guiada por calibração e a cobertura total.
Cada uma encontra problemas diferentes e deixa outros passar, por isso a maioria das equipes maduras combina duas ou três delas em um único plano de QA.
Em resumo
- A metodologia de QA decide quais conversas são avaliadas; o formulário de monitoria decide como cada uma é julgada.
- A amostragem aleatória é justa e simples, mas vê pouco demais para julgar um atendente; a avaliação direcionada e a por risco encontram problemas mais rápido, mas são enviesadas por definição.
- A avaliação guiada por calibração serve para tornar as notas consistentes, não para encontrar mais problemas.
- A cobertura total avalia todas as conversas automaticamente, e as pessoas avaliam onde o julgamento delas acrescenta algo.
- Um plano de QA de exemplo para uma equipe de 300 atendentes mostra como combinar os métodos dentro da capacidade real dos avaliadores.
Esta página compara os métodos. Se você está montando a monitoria do zero, comece pelo nosso passo a passo em 7 etapas para montar a monitoria de qualidade; se quer o básico da amostragem, leia o que é amostragem de monitoria. A Kaizo é o nosso produto e oferece cobertura total. Indicamos abaixo onde os outros métodos fazem o trabalho melhor.
Qual metodologia de monitoria serve para cada objetivo?
Escolha a metodologia pela pergunta: amostragem aleatória para uma média justa, direcionada para um problema conhecido, por risco para erros caros, por calibração para consistência e cobertura total para padrões por atendente.
| Metodologia | Como as conversas são escolhidas | No que é boa | O que deixa passar | Esforço dos avaliadores | Ideal para |
|---|---|---|---|---|---|
| Amostragem aleatória | Um número fixo por atendente ou fila, escolhido ao acaso | Uma média sem viés; fácil de defender como justa | Problemas raros e individuais; a maioria das conversas nunca é vista | Médio, cresce com o tamanho da equipe | Equipes pequenas; uma verificação de base para qualquer outro método |
| Avaliação direcionada | Filtros para um problema conhecido: um tema, uma fila, novos atendentes, CSAT baixo | Encontrar e corrigir rápido um problema específico | Tudo o que está fora do filtro; as notas tendem a ser mais baixas | Baixo a médio | Lançamentos, novos atendentes, um pico de reclamações conhecido |
| Avaliação por risco | Regras ou notas sinalizam conversas em que um erro custa caro | Compliance, reembolsos, clientes vulneráveis, escalonamentos | Problemas silenciosos que não disparam nenhum alerta | Médio | Filas reguladas e de alto valor |
| Avaliação guiada por calibração | As mesmas conversas avaliadas por vários avaliadores e depois comparadas | Notas consistentes; um significado comum para cada critério | Cobertura; por definição, avalia poucas conversas | Baixo em volume, alto em tempo por conversa | Qualquer equipe com mais de um avaliador |
| Cobertura total | Todas as conversas avaliadas automaticamente; as pessoas avaliam alertas e contestações | Padrões por atendente, problemas raros, tendências em todos os contatos | Nuances que o formulário de monitoria não capta, a menos que pessoas revisem | Baixo por conversa, com configuração e validação no início | Equipes com volume além do que os avaliadores conseguem ler |
As seções abaixo tratam de cada método, com um veredito, como funciona e onde falha.
O que é uma metodologia de monitoria de qualidade no atendimento?
Uma metodologia de monitoria de qualidade é a forma combinada de escolher, avaliar e agir sobre conversas para verificar a qualidade. Ela anda ao lado do formulário de monitoria: o formulário diz como é o bom atendimento, e a metodologia diz quais conversas você confere e o que acontece depois.
As equipes registram isso em um plano de QA. Um plano de QA define o formulário de monitoria, a metodologia ou combinação de metodologias, quantas conversas cada pessoa avalia, quem faz a calibração e com que frequência, como o atendente contesta uma nota e como os resultados viram coaching.
Sem um plano escrito, o método vira aquilo para o que cada avaliador tem tempo. O modelo de plano mais abaixo cobre cada parte.
Amostragem aleatória
Veredito: melhor como base justa e como verificação dos outros métodos; fraca demais para julgar um atendente. A amostragem aleatória avalia um número fixo de conversas escolhidas ao acaso por atendente ou por fila, normalmente algumas por semana.
O ponto forte é a justiça. Quando as conversas são de fato aleatórias, o atendente não pode dizer que a monitoria só pega as piores ligações dele, e a média da equipe é uma estimativa honesta. O nosso artigo sobre a seleção de ligações para QA (em inglês) explica por que escolhas manuais “aleatórias” muitas vezes não são nada aleatórias.
O ponto fraco é a aritmética. Veja um exemplo prático do que uma amostra consegue dizer, usando intervalos de confiança padrão de 95%:
| O que foi avaliado | Taxa de aprovação observada em “resposta correta” | Faixa em que a taxa real provavelmente está |
|---|---|---|
| 5 conversas de um atendente em um mês (4 aprovadas) | 80% | de cerca de 38% a 96% |
| 20 conversas de um atendente (16 aprovadas) | 80% | de cerca de 58% a 92% |
| 400 conversas da equipe inteira (340 aprovadas) | 85% | de cerca de 81% a 88% |
Com cinco avaliações por mês, um atendente de 80% e um de 50% podem parecer iguais. No nível da equipe, o mesmo método funciona bem. O nosso artigo sobre por que uma amostra de 3% não sustenta decisões sobre um atendente (em inglês) aprofunda a estatística.
Avaliação direcionada
Veredito: o caminho mais rápido para corrigir um problema conhecido; uma medida ruim da qualidade geral. A avaliação direcionada filtra as conversas por uma condição que já preocupa você, como um tema, uma fila, novos atendentes, CSAT baixo ou tickets reabertos, e avalia essas conversas.
Use quando você tem uma pergunta: a nova política de reembolso está sendo explicada corretamente, como os novos atendentes deste mês estão lidando com cancelamentos, por que o CSAT caiu na fila de faturamento. Você vai encontrar a resposta muito mais rápido do que com uma amostra aleatória.
O problema é que as notas direcionadas não são comparáveis com as aleatórias. Se você avalia conversas com CSAT baixo, as notas ficam abaixo da média, e um atendente que atende mais essas filas vai parecer pior. Reporte as avaliações direcionadas separadamente e nunca as misture na média de um atendente.
Avaliação por risco
Veredito: essencial onde um único erro sai caro; cega para tudo o que as regras não sinalizam. A avaliação por risco envia primeiro para uma pessoa as conversas com maior probabilidade de causar dano, sinalizadas por regras ou por uma nota automatizada.
Os alertas típicos são reembolsos acima de um valor, cancelamentos, reclamações, temas jurídicos ou regulatórios, clientes vulneráveis, escalonamentos, exceções à política e critérios de erro crítico, como compartilhar dados de pagamento. O nosso guia sobre erro crítico na monitoria mostra como definir os mais graves.
A avaliação por risco só encontra o que você pensou em sinalizar. Um tipo novo de erro, ou um desvio lento no tom, não vai disparar nenhuma regra. Por isso ela funciona melhor sobre um método mais amplo, seja a amostragem aleatória ou a cobertura total, e não sozinha.
Avaliação guiada por calibração
Veredito: não é uma forma de encontrar problemas, mas é o método que torna todos os outros confiáveis. Na avaliação guiada por calibração, vários avaliadores dão nota às mesmas conversas, comparam as diferenças e combinam o que cada critério significa.
Uma sessão típica pega alguns casos limítrofes, as conversas sobre as quais os avaliadores discutem, e todos as avaliam com o mesmo formulário de monitoria. Onde as notas divergem, a equipe combina o significado e o registra na descrição do critério.
O nosso guia sobre como conduzir sessões de calibração de QA (em inglês) traz a rotina, e um golden set (em inglês) de notas acordadas dá a você uma referência fixa.
Algumas equipes conduzem toda a monitoria com a calibração em primeiro lugar: menos conversas, cada uma avaliada por duas pessoas, com toda discordância resolvida. Isso gera notas muito confiáveis sobre poucas conversas. É uma boa escolha quando as notas alimentam decisões de remuneração ou de desempenho e o volume é baixo.
Cobertura total
Veredito: o único método que vê o histórico completo de cada atendente e os problemas raros; exige uma avaliação validada e pessoas nas conversas que importam. Com a cobertura total, todas as conversas são avaliadas automaticamente com o seu formulário de monitoria, e os avaliadores humanos trabalham nos alertas, nas contestações e nos casos limítrofes.
A mudança está no que a monitoria consegue responder. Com todas as conversas avaliadas, um critério reprovado em 2% das conversas de um atendente é um número, não um palpite. As tendências por tema, fila e canal aparecem sem que ninguém precise escolher onde olhar. O nosso artigo sobre cobertura total de monitoria traz a definição.
Os riscos também são reais. A avaliação automatizada só é tão boa quanto o formulário de monitoria e as instruções por trás dela, então teste-a com conversas que a sua equipe já avaliou antes de confiar nela. E as pessoas continuam precisando avaliar as conversas em que o julgamento importa.
Na monitoria de qualidade da Kaizo, o AutoPilot avalia cada conversa com o seu próprio formulário de monitoria assim que ela é resolvida, com um comentário que explica cada nota.
As atribuições então enviam os avaliadores humanos para as conversas em que uma pessoa acrescenta algo, por fila, canal ou atendente, ou por sinais como CSAT negativo e muitas reaberturas, e o Auto QA pré-preenche essas avaliações para o avaliador editar e aprovar.
Como combinar metodologias de monitoria em um único plano?
Dê a cada metodologia um papel: cobertura total ou amostragem aleatória como base, avaliação por risco para erros caros, direcionada para a pergunta do mês e calibração para alinhar os avaliadores. Depois ajuste o plano às horas reais dos avaliadores.
Veja um exemplo prático para uma equipe de 300 atendentes que atende 150.000 conversas por mês com seis analistas de qualidade. Os números são ilustrativos.
Etapa 1: calcule a capacidade dos avaliadores
Seis analistas com 120 horas de avaliação cada por mês, a cerca de 10 minutos por avaliação, conseguem fazer 4.320 avaliações por mês. Isso é 2,9% de todas as conversas, ou cerca de 14 por atendente por mês, se não fizessem mais nada.
Etapa 2: decida o que cobre a base
Só com amostragem, essas 4.320 avaliações são a base e quase nada sobra para o trabalho por risco ou direcionado. Com cobertura total, as 150.000 conversas são avaliadas automaticamente, e as 4.320 avaliações humanas vão para onde as pessoas acrescentam julgamento.
Etapa 3: distribua as avaliações humanas
| Função | Metodologia | Avaliações humanas por mês | Por que esse número |
|---|---|---|---|
| Alertas de alto risco: reembolsos, reclamações, erros críticos | Por risco | 1.500 | Todas as conversas sinalizadas nas filas de maior risco |
| Novos atendentes e o tema em foco no mês | Direcionada | 1.200 | Cerca de 40 por novo atendente, mais o tema em foco |
| Verificação aleatória das notas automatizadas | Amostragem aleatória | 600 | O suficiente para uma checagem mensal de precisão no nível da equipe |
| Contestações dos atendentes | Avaliação de contestações | 300 | Com base na taxa de contestação esperada |
| Calibração: 20 conversas para cada um dos 6 analistas | Guiada por calibração | 120 | Sessão mensal mais os novos casos limítrofes |
| Reserva para a preparação do coaching | 600 | Folga para picos e análises aprofundadas | |
| Total | 4.320 |
A verificação aleatória é a linha que as equipes esquecem. Ela mantém a avaliação automatizada honesta, assim como uma amostra aleatória mantém honestas as avaliações direcionadas. O nosso guia sobre a cadência da monitoria de QA (em inglês) mostra com que frequência cada tipo de avaliação deve acontecer.
O que entra em um plano de QA?
Um plano de QA é um documento de uma página com o formulário de monitoria, a combinação de metodologias, os volumes, a calibração, as contestações e como as constatações viram coaching e correções. Copie o modelo abaixo e preencha cada linha.
| Seção | O que escrever | Exemplo |
|---|---|---|
| Escopo | Canais, filas e equipes cobertos | Chat e e-mail, todas as filas, equipe própria e terceirizada |
| Formulário de monitoria | Nome, versão, responsável | Formulário de suporte v3, sob responsabilidade do líder de QA |
| Método de base | Como a qualidade geral é medida | Todas as conversas avaliadas automaticamente; 600 verificações humanas aleatórias por mês |
| Regras de risco | O que é sinalizado para avaliação humana | Reembolsos acima de US$ 200, reclamações, critérios de erro crítico |
| Foco direcionado | A pergunta deste mês | Nova política de cancelamento; novos atendentes da semana 1 à 6 |
| Calibração | Quem, com que frequência, quantas conversas | Todos os analistas, mensalmente, 20 conversas |
| Contestações | Como o atendente contesta uma nota, prazo de resposta | Na ferramenta, com resposta em até cinco dias úteis |
| Relatórios | O que vai para quem | Resultados dos atendentes para os líderes de equipe toda semana; tendências para a liderança de atendimento todo mês |
| Ações | Como as constatações viram coaching ou correções | Lacunas de habilidade para o coaching; lacunas de processo para o dono da macro ou da política |
| Data de revisão | Quando o próprio plano é revisto | A cada trimestre, ou depois de uma mudança de política |
Se você separa QA e controle de qualidade no mesmo plano, o nosso artigo sobre garantia de qualidade vs. controle de qualidade mostra onde fica cada um.
Como escolher a sua combinação de metodologias de monitoria
Escolha a combinação pelo volume e pelo risco: equipes pequenas podem usar amostragem aleatória mais calibração, filas de risco acrescentam a avaliação por risco e equipes grandes passam a base para a cobertura total.
Quando o volume ultrapassa a capacidade dos avaliadores, as pessoas passam a trabalhar no risco, nos focos direcionados e nas contestações, e não na base.
Use esta regra de decisão:
- Menos de cerca de 20 atendentes, risco baixo: amostragem aleatória de um número fixo por atendente, calibração mensal e avaliação direcionada quando algo muda.
- Qualquer tamanho, com contatos regulados ou de alto valor: acrescente a avaliação por risco de todas as conversas sinalizadas nessas filas.
- As notas alimentam remuneração ou avaliações de desempenho: acrescente dupla avaliação nas conversas que contam e um processo de contestação.
- Capacidade dos avaliadores abaixo de cerca de 5% do volume: passe a base para a cobertura total, valide a avaliação e mantenha uma verificação aleatória sobre ela.
Veja um plano de QA com cobertura total. A Kaizo avalia todas as conversas com o seu formulário de monitoria e envia os avaliadores para as que precisam de uma pessoa. Agende uma demo para ver na prática com dados de exemplo realistas.
Perguntas frequentes
Qual é a metodologia de monitoria de qualidade mais comum no atendimento?
A amostragem aleatória ainda é a mais comum, normalmente um número fixo de conversas por atendente por semana ou por mês, muitas vezes combinada com a avaliação direcionada de reclamações ou de CSAT baixo. Equipes com alto volume avaliam cada vez mais todas as conversas automaticamente e mantêm a avaliação humana para risco, contestações e calibração.
Qual é a diferença entre uma metodologia de QA e um processo de QA?
A metodologia é a regra para escolher as conversas: aleatória, direcionada, por risco, guiada por calibração ou cobertura total. O processo é tudo ao redor: avaliar com o formulário de monitoria, dar feedback, tratar contestações, fazer coaching e corrigir causas. Dá para mudar a metodologia sem reconstruir o processo inteiro, e é assim que a maioria das equipes passa da amostragem para a cobertura total.
Quantas conversas a monitoria deve avaliar por atendente?
Depende da finalidade das avaliações. Algumas por mês dão uma média aproximada da equipe, mas não mostram com confiança a qualidade de um atendente. Vinte ou mais por atendente estreitam bastante a faixa. Quando as notas alimentam avaliações de desempenho, avalie muito mais conversas, ou todas, de forma automática.
Ainda é preciso amostragem aleatória com cobertura total?
Sim, em um papel menor. Com cobertura total, um conjunto aleatório de conversas avaliadas automaticamente e revisadas por pessoas todo mês confirma que a avaliação continua de acordo com o seu padrão. Ele pega desvios depois de uma mudança no formulário de monitoria ou na política que as regras de risco e as contestações não mostrariam.
O que é QA por risco?
O QA por risco avalia primeiro as conversas em que um erro custa mais caro, como reembolsos, cancelamentos, reclamações, temas regulatórios ou clientes vulneráveis. Regras ou notas automatizadas as sinalizam para uma pessoa. É uma camada de prioridade, não um método completo, porque só pega os riscos que alguém pensou em sinalizar.
