Monitoria de qualidade em BPO: por que 2% não basta

Na qualidade em BPO, uma amostra de 2% falha porque o fornecedor lê de 2% a 3% dos próprios tickets e avalia o próprio trabalho, deixando de 97% a 98% sem leitura. Governar um BPO exige avaliar todas as conversas, com um formulário de monitoria que cliente e fornecedor conseguem auditar.

Parte 1 de 4 da série sobre governança de atendimento terceirizado. Escrito para líderes de atendimento, de CX e de gestão de fornecedores.

Em resumo

• Amostras pequenas deixam passar as falhas raras que fazem a empresa perder clientes.
• A cobertura total já é padrão. O que diferencia são notas rastreáveis e contestáveis.
• Com vários fornecedores, é preciso um único formulário de monitoria compartilhado para compará-los ou cobrar um SLA.
• Um formulário de monitoria compartilhado também ajuda o BPO a provar a sua qualidade.

Ir para

1. O que significa hoje
2. Quanto uma amostra deixa passar
3. Cobertura é só o começo
4. Vários fornecedores, uma só base
5. Por que o BPO também ganha
6. Como fazer a mudança
7. A pergunta a fazer

O que significa qualidade em BPO hoje

Quando uma empresa de software em crescimento entrega o atendimento de linha de frente a um parceiro de Business Process Outsourcing, a conta fecha. A cobertura passa a ser de 24 horas por dia. O quadro de atendentes cresce sem um funil de contratação. O custo por contato cai. Nada disso está em discussão, e as empresas que fazem isso não estão cometendo um erro.

O que muitas vezes não cresce junto com o quadro é a governança. As conversas de atendimento vão para fora, mas o sistema de medição que diz se essas conversas são boas costuma continuar exatamente como era quando a equipe trabalhava no seu escritório: uma amostra de tickets, lida por uma pessoa, avaliada em um formulário.

A diferença é que a pessoa que lê agora trabalha para o fornecedor que está sendo medido.

Terceirizar o quadro de atendentes é uma decisão comercial sensata. Terceirizar o formulário de monitoria é outra decisão, e a maioria das empresas a toma sem perceber.

Em um arranjo típico, o BPO emprega os próprios analistas de qualidade. Esses analistas separam uma amostra dos tickets da semana, leem cada um com base nos critérios, dão as notas e consolidam o resultado em um relatório mensal para o cliente. O relatório chega como planilha. Em geral, diz que a qualidade está alta.

Não é que o número seja desonesto. É que ninguém do lado do cliente consegue conferi-lo, porque os tickets por trás dele foram escolhidos pela parte que está sendo avaliada, e o raciocínio por trás de cada nota nunca foi registrado em um lugar que o cliente possa ver.

Quanto uma amostra de 2% realmente deixa passar?

Pense em uma operação de atendimento de médio porte com 15.000 conversas por mês passando por um parceiro terceirizado. Com uma amostra de 3%, o programa de qualidade lê 450 delas. As outras 14.550 nunca são avaliadas por ninguém.

• 450 conversas lidas por mês com uma amostra de 3% de 15.000
• 14.550 conversas que ninguém avalia, dentro do mesmo volume
• 1 em 50: a taxa de falha que uma amostra de 50 tickets normalmente deixa passar por completo

O problema não é só o tamanho da lacuna. É quais falhas vivem dentro dela. A amostragem é boa para detectar o que acontece o tempo todo e ruim para detectar o que acontece de vez em quando, e as falhas que custam dinheiro de verdade quase sempre são ocasionais.

Um problema de tom que aparece em uma de cada três conversas vai surgir em qualquer amostra. Uma instrução de migração errada uma vez a cada quinze dias, dada a qualquer cliente que por acaso pergunte, não vai. A estatística das amostras pequenas (em inglês) não perdoa aqui, e nenhuma dedicação do analista resolve isso.

O segundo problema da amostragem que ninguém menciona

Uma amostra só é imparcial se for sorteada ao acaso. Na prática, a escolha dos tickets costuma ficar a critério do analista ou ser moldada pela conveniência: tickets recentes, tickets curtos, tickets de filas que o analista conhece bem. Cada um desses hábitos torna a nota resultante menos representativa do que o tamanho da amostra sugeriria. Como as conversas são escolhidas para revisão (em inglês) determina, sem alarde, o que a nota significa.

Monitoria por amostragem feita pelo fornecedor comparada com a avaliação de todas as conversas:

Por que a cobertura total é o ponto de partida, não a resposta

Seria conveniente encerrar a discussão aqui: avaliar todas as conversas em vez de 3% delas e o problema de governança desaparece. Há alguns anos, essa era uma afirmação defensável. Hoje não é mais.

Avaliar 100% das conversas (em inglês) virou algo comum. A maioria das plataformas sérias de monitoria automatizada faz isso, e quem compara fornecedores vai ouvir o mesmo número de todos eles. A cobertura é a condição prévia para governar uma operação terceirizada. Não é o que torna a governança confiável.

Quando todo fornecedor afirma ler todas as conversas, a única pergunta que sobra é se você consegue conferir essa leitura.

Duas coisas decidem isso.

Dá para rastrear a nota até a evidência?

Uma nota de qualidade é uma afirmação até que alguém consiga abri-la e ver o momento específico da conversa que a gerou. Se um atendente do BPO perde pontos por uma falha de compliance, o gerente de conta deveria poder clicar no critério e cair na frase que a disparou. Sem isso, o cliente trocou um número impossível de auditar por outro, só que mais rápido. A rastreabilidade das notas (em inglês) é o que torna possível uma conversa de governança, em vez de um impasse.

Quem avalia é independente do trabalho avaliado?

Esse é o ponto estrutural. O fornecedor não deveria ser o único autor da própria nota de qualidade, pelo mesmo motivo que auditores não trabalham para a empresa que auditam.

Uma observação sobre como isso chega aos atendentes

A cobertura total é fácil de apresentar mal. Quando ouvem que todas as conversas agora são lidas, atendentes terceirizados entendem, com razão, vigilância, e programas de monitoria que chegam soando como fiscalização encontram uma resistência que nenhum dashboard resolve. O enquadramento honesto é o correto: a cobertura elimina o viés de seleção. Com uma amostra de 3%, a maior parte do bom trabalho era invisível e um único ticket azarado podia definir um trimestre. Os programas em que os atendentes confiam (em inglês) são os que apresentam esse argumento primeiro.

O que um formulário de monitoria compartilhado muda com vários fornecedores

Poucas empresas ficam com um único parceiro. Uma operação madura pode ter um fornecedor noturno em uma região, um parceiro bilíngue em outra e uma equipe interna cuidando de escalonamentos complexos de clientes enterprise. Cada um chega com o próprio sistema de qualidade, os próprios critérios e os próprios analistas.

O resultado são três notas de qualidade que não podem ser comparadas. O fornecedor A reporta 94%, o fornecedor B reporta 91%, e não há como saber se essa diferença é real ou um efeito de dois conjuntos de critérios com pesos diferentes. Enquanto isso, a equipe interna é medida por um quarto sistema, então ninguém consegue responder à única pergunta que importa comercialmente: qual deles é de fato melhor, e a que custo?

Colocar todos os parceiros no mesmo formulário de monitoria muda quatro coisas de uma vez.

• A comparação passa a ser possível. Os mesmos critérios, com os mesmos pesos, aplicados pelo mesmo modelo a todas as conversas de todos os fornecedores. Como definir o peso dos critérios vira uma decisão que você toma uma vez, de forma deliberada, e não uma que cada fornecedor toma por você.
• A cobrança do SLA ganha base em evidências. Uma meta contratual de qualidade só pode ser cobrada se as duas partes aceitarem a medição. Uma nota rastreável com cobertura total se sustenta em uma revisão comercial de um jeito que um autorrelato por amostragem não se sustenta.
• O coaching fica específico. Em vez de uma instrução genérica para melhorar o tempo de resolução, você vê que um grupo específico está falhando em um critério específico, em um tipo específico de ticket, que é o nível de detalhe de que o coaching realmente precisa (em inglês).
• As decisões de roteamento ganham evidências. Qual parceiro deve absorver o próximo aumento de volume deixa de ser uma negociação de compras e vira uma questão de dados.

Veja o seu mix de fornecedores em um só formulário de monitoria. Traga as conversas do mês passado de cada parceiro. Vamos avaliá-las com um único conjunto de critérios e mostrar onde os fornecedores realmente diferem. Agende uma demo.

Por que isso também é uma boa notícia para o BPO

É fácil escrever sobre qualidade terceirizada como se o fornecedor fosse o problema. Esse enquadramento é popular, é conflituoso e está quase sempre errado. Os BPOs não querem entregar conversas ruins. Eles tocam um negócio cujo argumento comercial inteiro depende de entregar um atendimento que o cliente teria dificuldade de entregar pelo mesmo custo, e um cliente que não enxerga a qualidade é um cliente que renegocia só pelo preço.

Um fornecedor sem como provar a sua qualidade só consegue competir pelo preço. A evidência é o que permite a um bom BPO defender algo melhor do que a proposta mais barata.

A planilha mensal autoavaliada também é um mau negócio para o parceiro terceirizado. Ela gera desconfiança que ele não consegue responder, transforma toda conversa sobre qualidade em uma negociação sobre metodologia e não dá ao fornecedor nenhum mecanismo para demonstrar que a sua equipe é melhor do que a de um concorrente mais barato. Um formulário de monitoria compartilhado e rastreável substitui tudo isso por um registro que os dois lados leem da mesma forma.

Isso não é teoria. A EverHelp, uma empresa de terceirização de atendimento, colocou a própria operação em monitoria automatizada e aumentou as avaliações de QA em 270% mantendo estável a sua nota de qualidade interna, e reduziu em 75% o tempo que os seus líderes gastavam preparando sessões de coaching. É um fornecedor usando a avaliação como ativo comercial, e não se submetendo a uma auditoria. Vale ler a história completa da EverHelp (em inglês) se você está do lado do fornecedor nessa relação.

Como é o cenário ideal dos dois lados

• O cliente vê a qualidade de forma contínua, e não mensal, e consegue explicar qualquer nota que questione.
• O fornecedor prova o seu desempenho com evidências, e não com afirmações, e pode apontar o coaching específico que fez em resposta.
• As duas partes discutem as mesmas conversas, e não qual conjunto de critérios é mais justo.
• A calibração entre os avaliadores do cliente e os do fornecedor vira um exercício agendado, e não uma fonte de atrito. Conduzir sessões de calibração (em inglês) é como os dois lados continuam alinhados sobre o que os critérios significam.

Como levar uma operação terceirizada para um só formulário de monitoria

Isso não precisa começar como uma renegociação de contrato. Na prática, a sequência que funciona é deliberadamente pouco ameaçadora.

1. Combine os critérios antes de medir qualquer coisa. Escreva os critérios com o fornecedor na sala. Critérios impostos a um parceiro geram disputas; critérios escritos a quatro mãos geram uma base comum. O que entra em uma rubrica de avaliação é uma pergunta mais difícil do que parece.
2. Rode primeiro em modo sombra. Avalie todas as conversas sem atrelar consequências ao resultado e compare a saída com as notas por amostragem que o fornecedor já tem. A avaliação em modo sombra (em inglês) é como os dois lados ganham confiança no avaliador antes que algo dependa dele.
3. Valide o avaliador nas suas próprias conversas. Pegue um conjunto de tickets que a sua equipe já avaliou à mão, passe-os pelo sistema e verifique onde os dois discordam e por quê. Validar a avaliação por IA (em inglês) com um conjunto conhecido é a etapa que a maioria dos programas pula e depois se arrepende.
4. Publique o caminho de contestação no primeiro dia. Atendentes e líderes de equipe precisam de uma forma definida de contestar uma nota e ver a revisão. Um processo de contestação que funciona (em inglês) é o que separa uma ferramenta de governança de uma ferramenta de vigilância.
5. Só então leve isso para a revisão comercial. Quando os dois lados confiam na medição, ela pode ter peso de SLA.

A governança do seu BPO é auditável? Nove perguntas

Marque cada afirmação que você consegue sustentar hoje com evidências, e não com uma garantia do fornecedor.

• Sei que porcentagem das minhas conversas terceirizadas foi avaliada no mês passado.
• Sei quem escolheu as conversas que foram avaliadas.
• Todos os fornecedores e a equipe interna são avaliados com os mesmos critérios, com os mesmos pesos.
• Consigo abrir qualquer nota individual e ver a evidência na conversa que a gerou.
• Conseguiria contestar uma nota específica em uma revisão com o fornecedor e resolvê-la a partir do registro.
• Sei qual categoria de falha me custa mais, considerando todos os fornecedores.
• Os atendentes do fornecedor têm um caminho definido para contestar uma nota.
• A minha medição de qualidade é independente da parte que está sendo medida.
• Conseguiria dizer hoje qual dos meus parceiros entrega a melhor qualidade por unidade de custo.

Seis marcações ou menos significam que o seu relatório de qualidade é uma afirmação, e não um registro. Esse é o ponto de partida normal, e dá para corrigir sem trocar de fornecedor.

A pergunta que vale fazer na próxima revisão com o fornecedor

Dos clientes que saíram no último trimestre, quantos tiveram conversas atendidas por um parceiro terceirizado, e o que aconteceu nessas conversas?

A maioria das empresas não consegue responder, porque as conversas em questão faziam parte dos 97% que ninguém leu. A resposta não é trazer o atendimento de volta para dentro de casa. É parar de aceitar um autorrelato por amostragem como governança quando o volume, o valor do contrato e o relacionamento com os clientes envolvidos merecem, todos, um registro.

A UiPath hoje automatiza 100% da sua monitoria de qualidade com a Kaizo, mede um retorno de 200% sobre a própria linha de base e elevou a sua nota de qualidade em 8 pontos, e segue melhorando-a trimestre a trimestre. É nessa escala que a medição de qualidade deixa de ser uma tarefa operacional e passa a ser um insumo para a forma como o negócio é conduzido.

Terceirizar o trabalho foi a decisão certa. Manter o padrão é a parte que você não delega.

Perguntas frequentes

O que é qualidade em BPO?

Qualidade em BPO é o processo de avaliar a qualidade das conversas com clientes atendidas por um parceiro terceirizado com base em um conjunto definido de critérios. Tradicionalmente, é feita por analistas de qualidade contratados pelo BPO, que revisam manualmente uma amostra de 2% a 3% dos tickets e reportam as notas ao cliente todo mês. Programas modernos avaliam todas as conversas de forma automática com um único conjunto de critérios compartilhado por cliente e fornecedor, para que as duas partes leiam o mesmo registro.

Que porcentagem de tickets um programa de qualidade típico de BPO revisa?

Entre 2% e 3% do volume total de tickets é a faixa comum na amostragem manual, o que deixa de 97% a 98% das conversas sem avaliação. Em um volume de 15.000 conversas por mês, uma amostra de 3% significa que 450 conversas são lidas e 14.550 não. O tamanho da amostra importa menos do que o fato de que falhas ocasionais, e não constantes, dificilmente aparecem nela.

Por que a monitoria por amostragem é um problema quando o atendimento é terceirizado?

Dois motivos se somam. Primeiro, uma amostra pequena não detecta de forma confiável as falhas raras, e as falhas raras costumam ser as caras. Segundo, quando o fornecedor escolhe a amostra e dá as notas, o cliente não tem uma forma independente de verificar o resultado. A nota pode até estar correta, mas é uma afirmação, e não um registro, o que dificulta agir com base nela comercialmente.

Avaliar 100% das conversas basta para resolver a governança do BPO?

Não. A cobertura total já é padrão nas plataformas sérias de monitoria automatizada, então ela não diferencia mais uma abordagem da outra. O que importa é se cada nota pode ser rastreada até a evidência específica na conversa que a gerou, e se quem avalia é independente do trabalho avaliado. A cobertura é a condição prévia; rastreabilidade e independência são o que tornam a medição confiável.

Como comparar dois fornecedores de BPO de forma justa?

Coloque os dois nos mesmos critérios, com pesos idênticos, aplicados pelo mesmo modelo de avaliação a todas as conversas de cada fornecedor. Enquanto cada parceiro mantiver o próprio sistema de qualidade, as notas reportadas não são comparáveis, porque a diferença entre 94% e 91% pode ser explicada inteiramente pela forma como cada conjunto de critérios foi montado, e não por qualquer diferença nas conversas.

Essa abordagem funciona para o BPO tanto quanto para o cliente?

Sim, e normalmente é um negócio melhor para um fornecedor competente. Sem evidências compartilhadas, um BPO só consegue competir pelo preço, porque não tem como demonstrar que o seu atendimento é melhor do que uma proposta mais barata. Um formulário de monitoria rastreável permite ao fornecedor provar qualidade, direcionar o coaching com precisão e defender a sua posição em uma revisão comercial. A EverHelp, uma empresa de terceirização de atendimento, aumentou as avaliações de QA em 270% com monitoria automatizada e reduziu em 75% o tempo de preparação do coaching.

Precisamos trocar de fornecedor de BPO para resolver isso?

Em geral, não. A camada de medição fica sobre a operação existente, por meio do helpdesk, em vez de substituir as ferramentas do fornecedor, então os mesmos parceiros continuam fazendo o mesmo trabalho enquanto os dois lados ganham um registro comum. A maioria dos programas começa em modo sombra, avaliando conversas sem consequência comercial, e só leva o resultado para as revisões de SLA quando as duas partes confiam no avaliador.

Com quais helpdesks a Kaizo funciona em operações terceirizadas?

A Kaizo tem integração nativa com o Zendesk e o Salesforce Service Cloud. Como a integração é nativa, e não um conector genérico, a camada de avaliação fica diretamente sobre as conversas que os seus fornecedores já atendem, e é por isso que o onboarding se mede em dias, e não em meses.

Continue lendo

• A economia do atendimento terceirizado sem monitoria (em inglês)
• Por que o seu BPO nunca conta ao produto o que está quebrado (em inglês)
• Como encontrar lacunas de conhecimento dos atendentes do BPO (em inglês)
• O que é amostragem de monitoria?
• Monitoria manual vs. automatizada
• Rastreabilidade das notas de QA (em inglês)
• Kaizo para BPOs

Coloque todos os fornecedores no mesmo formulário de monitoria

Traga um mês de conversas de cada um dos seus parceiros terceirizados. Vamos avaliar todas com um único conjunto de critérios e mostrar, com a evidência anexada, onde os fornecedores realmente diferem.

Agende uma demo ou conheça a Kaizo para BPOs.

Pronta para o EU AI Act. Certificações SOC 2 e ISO 27001. Integrações nativas com o Zendesk e o Salesforce Service Cloud.