Quando a nota de qualidade e o CSAT discordam, nenhum dos dois tem razão até você confirmar que os dois números descrevem as mesmas conversas, porque normalmente não descrevem. Se descrevem, uma diferença que persiste significa que o seu formulário de monitoria mede o cumprimento do processo, e não o resultado.
Em resumo
- Nota de QA baixa com CSAT alto muitas vezes significa que o atendente quebrou o processo para ajudar.
- Trate isso como um achado de política, não de coaching.
- Escalonamentos, recontatos e reembolsos desempatam, porque são comportamento.
- Uma nota de qualidade que nunca discorda do CSAT é redundante.
Os dois números descrevem as mesmas conversas?
Verifique isso antes de diagnosticar qualquer coisa, porque é a explicação mais comum e quase ninguém verifica.
Pense em como cada número é de fato produzido. O CSAT vem de clientes que receberam uma pesquisa e decidiram responder, normalmente uma pequena fração dos contatos. A sua nota de qualidade vem de conversas que um avaliador selecionou, normalmente cerca de 3% do volume. São dois processos de seleção independentes rodando no mesmo mês, e a interseção entre eles costuma ser quase vazia.
Então, quando os dois discordam, a primeira hipótese honesta não é que um deles está errado. É que você mediu conversas diferentes e está tratando a diferença como uma contradição.
O teste de cinco minutos. Puxe as conversas que receberam uma resposta de CSAT no mês passado. Puxe as conversas que foram avaliadas. Conte a sobreposição. Se ela tiver um dígito, hoje você não tem uma comparação, e nenhuma análise em cima desses dois números vai produzir uma. A solução é avaliar de propósito um conjunto de conversas que tenham respostas de CSAT associadas, o que torna a comparação possível pela primeira vez.
Existe um segundo problema de seleção empilhado sobre o primeiro. A resposta a pesquisas não é aleatória: quem responde difere sistematicamente de quem não responde, e é por isso que o viés de não resposta é tratado como um problema metodológico central, e não como um detalhe de arredondamento. O trabalho do Pew Research sobre o que taxas de resposta baixas significam para pesquisas é o tratamento mais claro disponível, e a implicação para o CSAT é direta. Uma taxa de resposta de 20% não é uma amostra de 20% da experiência dos seus clientes, é uma amostra completa dos clientes que tinham uma opinião forte o bastante para responder.
Atenção
Se menos de umas dez conversas do mês passado tiverem ao mesmo tempo uma resposta de CSAT e uma avaliação de QA, as suas duas métricas não estão em desacordo. Elas descrevem populações separadas, e a diferença que você está olhando pode não conter informação nenhuma.
O que cada número mede de verdade?
Não são duas tentativas da mesma medição, e é por isso que esperar que coincidam é o erro de fundo. Eles medem objetos diferentes, e um par de métricas bem desenhado deveria discordar de vez em quando.
- A sua nota de qualidade mede o processo que você controla. O atendente fez o que a sua organização decidiu que constitui um bom atendimento? É interna, é comparável entre atendentes e vale exatamente o que vale o julgamento contido nos critérios de avaliação.
- O CSAT mede o resultado, e tudo mais. A resposta que o cliente recebeu, a política por trás dela, a espera, o produto, o preço e o humor dele. Muito pouco disso é o atendente.
Visto assim, o desacordo passa a ser informativo em vez de alarmante. Um cliente pode estar insatisfeito com um não bem dado. Um atendente pode perder pontos por pular uma etapa enquanto o cliente recebeu exatamente o que precisava. As duas afirmações são verdadeiras sobre coisas diferentes, e uma nota de qualidade interna existe justamente porque a avaliação do cliente não consegue dizer o que você deve mudar.
Uma nota de qualidade que sempre concorda com o CSAT não mede nada a mais. Se os seus dois números andam juntos, ou você construiu um formulário de monitoria que prevê a satisfação em vez de descrever o atendimento, ou alguém está avaliando com um olho na nota do cliente. Concordância perfeita é um sinal de alerta, não um critério de sucesso.
Nota de qualidade vs CSAT: os quatro quadrantes e o que cada um significa
Partindo do princípio de que você já descartou o problema de população, cruze os dois números. Cada quadrante tem uma causa específica e uma ação específica, e eles não são intercambiáveis.
| Padrão | Causa mais provável | Como confirmar | O que fazer |
|---|---|---|---|
| QA alto, CSAT baixo | O formulário premia o cumprimento do processo em vez da resolução, ou o cliente está insatisfeito com a política, não com o atendimento | Leia dez conversas com nota alta e avaliação baixa. Pergunte se o problema do cliente foi realmente resolvido | Dê mais peso à resolução, ou reclassifique a reclamação como questão de política e tire-a do QA |
| QA baixo, CSAT alto | O atendente quebrou o processo para ajudar, ou o formulário penaliza coisas que o cliente nem percebe | Veja por que ele perdeu pontos. Se foi tom, formatação ou uso de macro, avalie se o critério merece o peso que tem | É um achado de política ou de critérios, não de coaching. Não faça coaching de um atendente por causa de um cliente satisfeito |
| Os dois baixos | Problema real de desempenho ou de capacidade, ou um processo que falha com todo mundo | Veja se está concentrado em alguns atendentes ou espalhado por todos | Espalhado significa processo. Concentrado significa coaching. Diagnostique antes de agir |
| Os dois altos, e você não acredita | Avaliadores complacentes, um formulário em que todo mundo passa, ou uma seleção de pesquisa que favorece contatos resolvidos | Olhe a distribuição das notas. Se quase nada reprova, o formulário parou de discriminar | Recalibre os avaliadores e verifique se algum critério passou em 95% dos casos por dois trimestres |
Por que QA alto com CSAT baixo é o padrão mais comum?
Porque os formulários de monitoria derivam para o que é fácil de observar, e o que é fácil de observar raramente é o que importa. Saudação, despedida, tabulação e tom podem ser avaliados rápido e de forma consistente. Saber se o problema do cliente realmente acabou exige ler a conversa inteira e conhecer a política.
Assim, os critérios baratos de avaliar se acumulam, o critério que mais importa ganha uma linha, e você acaba com um formulário em que uma conversa pode tirar 95% deixando o cliente com um problema não resolvido e uma despedida educada. Dar mais peso ao resultado é a solução, e ponderar os critérios com base em evidências é o método: compare a taxa de falha de cada critério com um resultado posterior, como o recontato, e deixe que os critérios que não preveem nada percam peso.
Há uma segunda causa que vale separar, porque a ação é completamente diferente. Às vezes o atendimento foi realmente bom e o cliente está insatisfeito com a resposta. Uma recusa bem comunicada, uma política correta mas indesejada, um preço. Isso não é uma falha de qualidade e não deve virar coaching. É um achado para quem é dono da política, e o mais útil que o QA pode fazer com ele é contar, encaminhar e parar por aí. Tratar isso como insatisfação do cliente a ser reduzida com um atendimento melhor não vai funcionar, porque o atendimento não era o problema.
Dica
Classifique as avaliações baixas conforme a reclamação seja sobre o atendimento ou sobre a resposta. Dois meses dessa única distinção mostram quanto da sua insatisfação é, de fato, um problema de atendimento, e normalmente é menos do que a liderança imagina.
Qual número vence quando é preciso escolher?
Nenhum. Use o comportamento como critério de desempate. Os dois números são opiniões, uma de um avaliador e outra de um cliente. O que os clientes fizeram depois não é opinião, e já está no seu helpdesk.
Três critérios de desempate, em ordem de utilidade:
- Recontato em até sete dias. O sinal mais limpo disponível. Um cliente que volta está dizendo que o primeiro contato não resolveu, independentemente do que qualquer um dos números disse. Se as suas conversas com nota alta geram recontatos, o formulário está errado.
- Escalonamentos e reclamações. Ações do cliente custosas e deliberadas. Uma equipe com avaliações excelentes e escalonamentos em alta tem um problema de medição em algum lugar, e a qualidade no tratamento de escalonamentos é o primeiro lugar para olhar.
- Reembolsos e goodwill concedidos para compensar falhas de atendimento. Dinheiro saindo da empresa para consertar algo é a evidência mais difícil de negar que existe.
Depois, faça a verificação no sentido inverso. Pegue as conversas que os clientes avaliaram mal e peça aos avaliadores que as avaliem às cegas, sem ver a avaliação do cliente. Se os avaliadores derem notas boas de forma consistente, os seus critérios e os seus clientes discordam sobre o que é um bom atendimento, e os critérios são o que você pode mudar. É o mesmo mecanismo de uma sessão de calibração (em inglês), apontado para o formulário em vez de para os avaliadores.
Vale nomear o problema de escala, porque é ele que torna isso difícil, e não apenas trabalhoso. Qualquer uma dessas verificações precisa de conversas suficientes com uma avaliação do cliente e uma avaliação de QA para ser legível, e com uma amostra de 3% essa interseção é pequena demais para segmentar. O Auto QA da Kaizo avalia a população inteira com os seus próprios critérios, o que significa que cada conversa com pesquisa também tem uma nota de qualidade associada, e a comparação deixa de depender de duas amostras que por acaso se sobrepõem. É isso que você ganha aqui com 100% de cobertura, que revela tendências que uma amostragem de 3% nunca mostraria: não uma nota melhor, mas a possibilidade de sequer fazer a pergunta.
O que mudar primeiro?
Siga esta ordem. Cada passo é barato e cada um elimina uma explicação possível, o que evita que você repondere um formulário para corrigir um artefato de amostragem.
- Meça a sobreposição. Conte as conversas com uma avaliação do cliente e uma avaliação de QA. Se for mínima, corrija isso primeiro avaliando de propósito conversas com pesquisa, e pare de analisar até ter feito isso.
- Verifique a concordância entre avaliadores. Se dois avaliadores discordam entre si, a nota de qualidade não é estável o bastante para ser comparada com nada. A variação entre avaliadores se disfarça de problema CSAT versus QA com mais frequência do que é diagnosticada como ela mesma.
- Separe reclamações sobre o atendimento de reclamações sobre a resposta. Dois meses de classificação mostram quanto da diferença é sequer um problema de atendimento.
- Teste cada critério contra o recontato. Critérios que falham sem mexer em nenhum resultado posterior carregam um peso que não conquistaram.
- Só então repondere. E, quando fizer isso, versione o formulário de monitoria (em inglês) para que as notas históricas continuem legíveis à luz dos critérios que as produziram.
O que não fazer é definir uma meta que obrigue os dois números a concordar. Uma nota de qualidade gerida em função do CSAT deixa de ser uma medição independente e vira uma segunda maneira, mais cara, de reportar a mesma coisa. A razão de manter as duas é que elas enxergam falhas diferentes, e o que o CSAT consegue e não consegue medir (em inglês) é a versão mais ampla desse argumento. Mantê-las independentes é o objetivo, e um desacordo ocasional é a prova de que você conseguiu.
Perguntas frequentes
Por que as nossas notas de QA são altas e o CSAT é baixo?
Na maioria das vezes porque o formulário de monitoria premia o cumprimento do processo em vez da resolução, então uma conversa pode tirar uma nota alta deixando o problema do cliente sem solução. A segunda causa comum é que o cliente está insatisfeito com a resposta, não com o atendimento, o que é um achado de política e não deve virar coaching. Antes das duas, verifique se as conversas com pesquisa e as conversas avaliadas são de fato o mesmo conjunto, porque normalmente não são.
O que é mais confiável, o CSAT ou uma nota de qualidade interna?
Nenhum dos dois, porque medem objetos diferentes. Uma nota de qualidade mede o processo que você controla e é comparável entre atendentes. O CSAT mede o resultado mais a política, a espera, o produto e o humor do cliente, e muito pouco disso é o atendente. Use o comportamento como critério de desempate: recontatos, escalonamentos e reembolsos são ações, não opiniões.
As notas de QA e o CSAT deveriam coincidir?
Não, e um par que sempre concorda é um sinal de alerta. Significa que o formulário foi construído para prever a satisfação em vez de descrever o atendimento, ou que os avaliadores estão avaliando com um olho na nota do cliente. A razão de usar as duas métricas é que elas detectam falhas diferentes, então um desacordo ocasional é a prova de que funcionam de forma independente. Se o QA melhora ou não o CSAT é tratado em o QA melhora o CSAT? (em inglês).
O que significa quando um atendente tem notas de QA baixas e clientes satisfeitos?
Normalmente, que ele quebrou um processo para ajudar o cliente, ou que o formulário penaliza coisas que os clientes não percebem, como tom, formatação ou uso de macros. Veja por que ele perdeu pontos antes de fazer coaching com quem quer que seja. Se o critério não prevê nenhum resultado posterior, como o recontato, é um achado sobre os critérios, não sobre desempenho.
Uma taxa de resposta de 20% na pesquisa é uma amostra de 20%?
Não. É uma amostra completa dos clientes que tinham uma opinião forte o bastante para responder, um grupo sistematicamente diferente de quem não respondeu. O viés de não resposta é um problema metodológico bem documentado, não um detalhe de arredondamento, e significa que o CSAT descreve uma população autosselecionada. Esse é o principal motivo pelo qual ele precisa de uma medida interna ao lado dele, e não no lugar dele.
Termos relacionados
- Além do CSAT: o que a nota consegue e não consegue medir (em inglês)
- Para que serve uma nota de qualidade interna
- CSAT vs DSAT (em inglês)
- Como dar peso aos itens do formulário de monitoria
- Como conduzir uma sessão de calibração de QA (em inglês)
- Como medir a qualidade das conversas (em inglês)
Descubra se os seus dois números descrevem as mesmas conversas
Traga um mês de conversas com pesquisa e o seu formulário de monitoria atual. Nós as avaliamos com os seus próprios critérios para você ver onde a avaliação do cliente e a do QA realmente discordam, e onde elas nunca se encontraram.
