A monitoria multilíngue consiste em avaliar as conversas de atendimento em todos os idiomas que você oferece com base em um padrão único, para que uma nota 90 em polonês signifique o mesmo que uma nota 90 em inglês.
Ela precisa de um formulário de monitoria com alguns critérios específicos por idioma, de um conjunto de calibração por idioma e de cobertura suficiente para que os idiomas menores sejam avaliados de fato.
Em resumo
- Com uma equipe de qualidade pequena, a amostragem quebra primeiro nos idiomas menores: algumas filas não recebem nenhuma revisão nativa.
- A maioria dos critérios é igual em todos os idiomas, enquanto registro, ortografia e política local precisam de verificações específicas por idioma.
- Seis etapas montam a monitoria: um formulário, critérios por idioma, um conjunto de calibração por idioma, a avaliação de todas as conversas, a calibração entre idiomas e os relatórios por idioma.
- Compare idiomas só com conversas suficientes, usando uma regra simples para saber quando uma diferença é real.
- Avaliadores nativos, revisão traduzida e avaliação com IA têm cada um o seu lugar, e a maioria das equipes combina os três.
Do lado da plataforma, a página de monitoria de qualidade no atendimento mostra como a Kaizo avalia todas as conversas com os seus próprios critérios.
Por que a monitoria multilíngue quebra com uma equipe de qualidade pequena?
A monitoria multilíngue quebra porque os analistas de qualidade só conseguem revisar os idiomas que leem, então uma equipe de duas pessoas cobre bem dois ou três idiomas e deixa o resto sem revisão. A amostra total parece boa enquanto filas inteiras ficam sem verificação.
Exemplo prático (números ilustrativos, não são dados da Kaizo). Uma equipe de atendimento recebe 40.000 conversas por mês em oito idiomas. Dois analistas de qualidade revisam cada um 25 conversas por dia, 20 dias por mês: 1.000 revisões, ou uma conversa a cada 40. Um analista lê inglês e alemão; o outro, inglês e francês.
| Idioma | Conversas por mês | Atendentes | Revisões nativas por mês | Revisões por atendente por mês |
|---|---|---|---|---|
| Inglês | 16.000 | 40 | 400 | 10 |
| Alemão | 8.000 | 20 | 300 | 15 |
| Francês | 5.000 | 12 | 300 | 25 |
| Espanhol | 4.000 | 10 | 0 | 0 |
| Holandês | 2.500 | 6 | 0 | 0 |
| Italiano | 2.000 | 5 | 0 | 0 |
| Polonês | 1.500 | 4 | 0 | 0 |
| Português (Brasil) | 1.000 | 3 | 0 | 0 |
| Total | 40.000 | 100 | 1.000 | 10 |
No papel, a monitoria cobre uma conversa a cada 40. Na prática, 11.000 conversas por mês, mais de um quarto do volume, não recebem nenhuma revisão nativa, e 28 atendentes nunca recebem uma nota de qualidade no próprio idioma. Esses atendentes recebem coaching sobre nada, ou sobre uma leitura do trabalho deles feita por tradução automática que ninguém conferiu.
O custo não é abstrato. Na pesquisa de 2020 da CSA Research com 8.709 consumidores em 29 países, 75% disseram que tinham mais chance de comprar de novo da mesma marca se o atendimento fosse no idioma deles. Oferecer o idioma é metade do trabalho; saber que o atendimento nesse idioma é bom é a outra metade.
Quais critérios de monitoria mudam por idioma?
A maioria dos critérios de monitoria é neutra em relação ao idioma: resposta correta, procedimento seguido e identidade verificada significam o mesmo em qualquer idioma. Registro, ortografia, nomes e política local são específicos de cada idioma e precisam de uma definição própria.
Use esta tabela para separar os critérios do seu formulário antes de traduzi-lo:
| Critério | Igual em todos os idiomas? | O que definir por idioma |
|---|---|---|
| Resposta correta | Sim | Nada, se a sua base de conhecimento existir nesse idioma |
| Procedimento seguido | Sim | Etapas locais, como outro endereço de devolução ou outra transportadora |
| Identidade verificada | Sim | Nada, a menos que as verificações variem por país |
| Limites da política | Em grande parte | Termos jurídicos locais, como prazos de arrependimento ou regras de garantia |
| Tom e empatia | Em grande parte | Como soa um atendimento “acolhedor”: tratamento formal ou informal (Sie ou du, vous ou tu) |
| Ortografia e gramática | Não | As regras do próprio idioma e o seu guia de estilo |
| Nomes e saudações | Não | Ordem local dos nomes, títulos e convenções de saudação |
| Termos de produto | Não | O seu glossário aprovado por idioma, para que os atendentes usem as mesmas palavras da central de ajuda |
Escreva os critérios neutros uma única vez.
Depois, acrescente uma nota curta por idioma aos critérios marcados como “Em grande parte” ou “Não”, por exemplo: “Alemão: trate o cliente por Sie, a menos que ele tenha escrito du primeiro.” Assim você mantém um formulário e uma nota, enquanto cada idioma é julgado pelas próprias regras.
O nosso guia sobre como avaliar soft skills na monitoria mostra como tornar os critérios de tom verificáveis em qualquer idioma.
Como montar a monitoria multilíngue em seis etapas
Para montar a monitoria multilíngue, escreva um formulário, acrescente notas por idioma, crie um conjunto de calibração por idioma, avalie todas as conversas, calibre entre idiomas e apresente os resultados por idioma.
Etapa 1: Escreva um único formulário de monitoria
Parta do seu formulário atual e mantenha-o como o único. Um formulário separado por idioma parece organizado, mas torna as notas impossíveis de comparar. Se precisar rever os pesos enquanto faz isso, veja como definir o peso dos itens da monitoria.
Etapa 2: Acrescente notas por idioma aos critérios que precisam delas
Use a tabela acima para encontrar os critérios que mudam por idioma e acrescente uma nota de uma linha por idioma. Peça a um falante nativo de cada equipe, muitas vezes um atendente sênior ou um líder de equipe, que escreva e confira as notas do seu idioma.
Etapa 3: Crie um conjunto de calibração por idioma
Escolha de 20 a 30 conversas anteriores por idioma que cubram atendimentos bons, médios e reprovados, e avalie-as com um avaliador nativo. Esse conjunto passa a ser a referência daquele idioma. O nosso guia sobre como montar um golden set (em inglês) descreve como escolher as conversas e chegar a um acordo sobre as notas.
Etapa 4: Avalie cada conversa no próprio idioma
Avalie as conversas no idioma em que foram escritas ou faladas, não em uma tradução. A tradução apaga justamente o que você quer verificar: registro, formulação e termos de produto. Se você usa avaliação com IA, teste-a com o conjunto de calibração de cada idioma antes de confiar nela, como descreve o nosso protocolo de validação (em inglês).
Etapa 5: Calibre entre idiomas
Uma vez por trimestre, pegue cinco conversas por idioma, traduza-as para um idioma comum apenas para a discussão e peça aos avaliadores de cada idioma que as avaliem juntos.
O objetivo não é julgar a gramática em uma tradução. É verificar se “resposta correta” e “política seguida” são lidas da mesma forma em toda parte. O formato dessas sessões está em how to run QA calibration sessions (em inglês).
Etapa 6: Apresente os resultados por idioma e por critério
Mostre a nota de qualidade por idioma e por critério, ao lado do volume e do número de conversas avaliadas. Uma média por idioma esconde qual critério está por trás de uma diferença, e uma visão por critério sem o volume convida a tirar conclusões de dez conversas.
Veja em uma demo ao vivo. A Kaizo avalia 100% das suas conversas com os seus próprios critérios, e cada nota fica ligada à evidência na conversa. Vamos conversar.
Como comparar a qualidade entre idiomas de forma justa?
Compare os idiomas critério por critério, só quando cada idioma tiver conversas avaliadas suficientes, e trate uma diferença como real apenas quando ela for maior do que o acaso produziria naquele volume.
Uma regra de decisão que você pode usar (premissas de exemplo, confira com os seus próprios dados):
| Condição | O que fazer |
|---|---|
| Menos de 100 conversas avaliadas em um idioma neste mês | Não compare ainda; informe a nota com a contagem |
| Diferença de menos de 5 pontos em um critério | Trate como ruído; continue acompanhando |
| Diferença de 5 pontos ou mais, com pelo menos 100 conversas de cada lado | Leia dez conversas reprovadas do idioma com a nota mais baixa |
| O mesmo critério baixo em um idioma por dois meses seguidos | Corrija a causa: conteúdo, processo, treinamento ou a nota do idioma |
Por que 5 pontos e 100 conversas?
Se as notas individuais de qualidade variam com um desvio padrão de cerca de 15 pontos, a média de 100 notas tem um erro padrão de 1,5 ponto. A diferença entre duas médias assim tem um erro padrão de cerca de 2,1 pontos, então uma diferença de 5 pontos equivale a cerca de 2,4 erros padrão: dificilmente é acaso.
Com 30 conversas de cada lado, a mesma diferença ficaria bem dentro do ruído.
Ao ler as conversas reprovadas, verifique a causa antes de culpar os atendentes. Uma nota baixa em “resposta correta” em um idioma muitas vezes é um artigo da central de ajuda que falta ou está desatualizado nesse idioma. Uma nota baixa em “procedimento seguido” pode ser um processo local que ninguém documentou.
Avaliadores nativos, tradução ou avaliação com IA?
Avaliadores nativos dão o melhor julgamento, mas não escalam; a tradução automática escala, mas esconde registro e formulação; e a avaliação com IA cobre todas as conversas, mas precisa ser conferida com avaliadores nativos em cada idioma. A maioria das equipes combina os três.
| Método | Forte em | Fraco em | Use para |
|---|---|---|---|
| Avaliadores nativos | Tom, registro, formulação, expectativas locais | Cobertura: um avaliador por idioma raramente cabe no orçamento | Conjuntos de calibração, contestações, coaching no idioma do atendente |
| Revisão por tradução automática | Permitir que um analista leia qualquer idioma | Gramática, registro e termos de produto somem na tradução | Verificar apenas critérios neutros em relação ao idioma |
| Avaliação com IA no idioma original | Avaliar todas as conversas, em todos os idiomas, da mesma forma | Precisa de teste por idioma antes de você confiar nela | Cobertura de todos os idiomas, sinalizando o que um avaliador nativo deve ler |
| Avaliadores nativos terceirizados | Acrescentar um idioma rapidamente | A calibração com a sua própria equipe dá trabalho | Idiomas grandes sem avaliadores internos |
O site da Kaizo diz que a análise de sentimento dela funciona nos idiomas que a sua equipe atende e que os cards de coaching estão disponíveis em todos os principais idiomas de atendimento.
A Foot Locker usa a Kaizo em vários idiomas europeus. Para saber exatamente quais idiomas a Kaizo avalia e como os critérios se aplicam por idioma, pergunte na demo sobre a sua própria combinação de idiomas.
Como começar a monitoria multilíngue
Comece pelos idiomas menores, não pelos maiores: liste cada idioma, o volume e quantas conversas receberam uma revisão nativa no mês passado. Os idiomas com zero são a sua primeira lacuna, e um conjunto de calibração de 20 conversas para cada um é o seu primeiro passo.
Para ver como a Kaizo aplica um único padrão a todas as conversas, acesse a plataforma de monitoria de qualidade da Kaizo.
Perguntas frequentes
Um único formulário de monitoria funciona em vários idiomas?
Sim, e deve funcionar. Mantenha os critérios que significam o mesmo em toda parte, como resposta correta e procedimento seguido, e acrescente uma nota curta por idioma onde as regras mudam, por exemplo no tratamento formal ou na ortografia. Um único formulário mantém as notas comparáveis entre idiomas e equipes.
Os avaliadores precisam falar o idioma que avaliam?
Para tom, registro e ortografia, sim: isso não pode ser julgado com confiança por meio de uma tradução. Para critérios neutros, como se a resposta estava correta ou se o procedimento foi seguido, um avaliador pode trabalhar a partir de uma tradução. Use avaliadores nativos na calibração e nas contestações, mesmo que a maior parte da avaliação seja feita de outra forma.
Como monitorar um idioma que ninguém da equipe de qualidade fala?
Monte um conjunto de calibração com um falante nativo, muitas vezes um atendente sênior daquela equipe, e use-o para conferir o que quer que avalie esse idioma, seja uma revisão traduzida ou a avaliação com IA. Depois, peça ao falante nativo que revise as conversas reprovadas todo mês, o que leva muito menos tempo do que revisar uma amostra.
Os atendentes devem ser avaliados em gramática no segundo idioma?
Avalie a gramática quando ela afeta a compreensão ou a sua marca, e deixe isso claro na nota do idioma. Muitas equipes dão menos peso a ortografia e gramática do que a uma resposta correta e ao procedimento certo, e avaliam os erros que mudam o sentido, não deslizes pequenos que o cliente nem perceberia.
Quantas conversas por idioma são necessárias para comparar as notas de qualidade?
Como regra prática, pelo menos 100 conversas avaliadas por idioma em cada período antes de comparar médias, e mais para critérios que raramente se aplicam. Abaixo disso, algumas conversas fora do comum podem mover a média em vários pontos, então informe a nota com a contagem e espere.
