El control de calidad multilingüe consiste en evaluar sus conversaciones de soporte en todos los idiomas que ofrece según un mismo estándar, de modo que un 90 en polaco signifique lo mismo que un 90 en inglés. Necesita una sola scorecard con algunos criterios propios de cada idioma, un conjunto de calibración por idioma y una cobertura suficiente para que los idiomas pequeños se evalúen siquiera.
En resumen
- Con un equipo de QA pequeño, el muestreo falla primero en los idiomas pequeños: algunas colas no reciben ninguna revisión nativa.
- La mayoría de los criterios son iguales en todos los idiomas, mientras que el registro, la ortografía y la política local necesitan controles propios de cada idioma.
- Seis pasos lo ponen en marcha: una scorecard, criterios por idioma, un conjunto de calibración por idioma, evaluar cada conversación, calibración entre idiomas e informes por idioma.
- Compare idiomas solo con suficientes conversaciones y con una regla sencilla para saber cuándo una diferencia es real.
- Los revisores nativos, las revisiones traducidas y la evaluación con IA tienen cada uno su lugar, y la mayoría de los equipos los combinan.
Para la parte de la plataforma, la página de calidad del servicio al cliente muestra cómo Kaizo evalúa cada conversación según sus propios criterios.
¿Por qué falla el control de calidad multilingüe con un equipo de QA pequeño?
El control de calidad multilingüe falla porque los analistas de QA solo pueden revisar los idiomas que leen, así que un equipo de dos cubre bien dos o tres idiomas y deja el resto sin revisar. La muestra total parece correcta mientras colas enteras quedan sin comprobar.
Ejemplo práctico (cifras ilustrativas, no son datos de Kaizo). Un equipo de soporte atiende 40.000 conversaciones al mes en ocho idiomas. Dos analistas de QA revisan cada uno 25 conversaciones al día, 20 días al mes: 1.000 revisiones, o una conversación de cada 40. Uno de los analistas lee inglés y alemán; el otro, inglés y francés.
| Idioma | Conversaciones al mes | Agentes | Revisiones nativas al mes | Revisiones por agente al mes |
|---|---|---|---|---|
| Inglés | 16.000 | 40 | 400 | 10 |
| Alemán | 8.000 | 20 | 300 | 15 |
| Francés | 5.000 | 12 | 300 | 25 |
| Español | 4.000 | 10 | 0 | 0 |
| Neerlandés | 2.500 | 6 | 0 | 0 |
| Italiano | 2.000 | 5 | 0 | 0 |
| Polaco | 1.500 | 4 | 0 | 0 |
| Portugués (Brasil) | 1.000 | 3 | 0 | 0 |
| Total | 40.000 | 100 | 1.000 | 10 |
Sobre el papel, QA cubre una conversación de cada 40. En la práctica, 11.000 conversaciones al mes, más de una cuarta parte del volumen, no reciben ninguna revisión nativa, y 28 agentes nunca reciben una nota de QA en su propio idioma. A esos agentes no se les da coaching sobre nada, o sobre una lectura de su trabajo traducida automáticamente que nadie comprobó.
El coste no es abstracto. En la encuesta de CSA Research de 2020 a 8.709 consumidores de 29 países, el 75% dijo que era más probable que volviera a comprar a la misma marca si la atención al cliente era en su idioma. Ofrecer el idioma es la mitad del trabajo; saber que el soporte en ese idioma es bueno es la otra mitad.
¿Qué criterios de QA cambian según el idioma?
La mayoría de los criterios de QA son neutros respecto al idioma: una respuesta correcta, un procedimiento seguido y una identidad verificada significan lo mismo en cualquier idioma. El registro, la ortografía, los nombres y la política local dependen del idioma y necesitan su propia definición.
Use esta tabla para clasificar su scorecard antes de traducirla:
| Criterio | ¿Igual en todos los idiomas? | Qué definir por idioma |
|---|---|---|
| Respuesta correcta | Sí | Nada, si su base de conocimiento existe en ese idioma |
| Procedimiento seguido | Sí | Pasos locales, como otra dirección de devoluciones u otro transportista |
| Identidad verificada | Sí | Nada, salvo que los controles varíen según el país |
| Límites de la política | En su mayoría | Términos legales locales, como los plazos de desistimiento o las reglas de garantía |
| Tono y empatía | En su mayoría | Cómo suena la “calidez”: trato formal o informal (Sie o du, vous o tu) |
| Ortografía y gramática | No | Las reglas propias del idioma y su guía de estilo |
| Nombres y saludos | No | El orden local de los nombres, los tratamientos y las convenciones de saludo |
| Términos de producto | No | Su glosario aprobado por idioma, para que los agentes usen las mismas palabras que su centro de ayuda |
Redacte una sola vez los criterios neutros respecto al idioma.
Después añada una nota breve por idioma a los criterios marcados con “En su mayoría” o “No”, por ejemplo: “Alemán: trate al cliente de Sie salvo que él haya escrito primero de du”. Así conserva una scorecard y una nota, mientras cada idioma se juzga según sus propias reglas.
Nuestra guía sobre cómo evaluar las habilidades blandas en QA muestra cómo hacer comprobables los criterios de tono en cualquier idioma.
Cómo poner en marcha el control de calidad multilingüe en seis pasos
Para poner en marcha el control de calidad multilingüe, redacte una scorecard, añada notas por idioma, cree un conjunto de calibración por idioma, evalúe cada conversación, calibre entre idiomas e informe de los resultados por idioma.
Paso 1: redacte una sola scorecard
Parta de su scorecard actual y manténgala como la única. Una scorecard distinta por idioma parece ordenada, pero hace imposible comparar las notas. Si necesita reequilibrar los pesos mientras tanto, consulte cómo ponderar los criterios de la scorecard.
Paso 2: añada notas por idioma a los criterios que las necesitan
Use la tabla anterior para encontrar los criterios que cambian según el idioma y añada una nota de una línea por idioma. Pida a un hablante nativo de cada equipo, a menudo un agente veterano o un líder de equipo, que redacte y revise las notas de su idioma.
Paso 3: cree un conjunto de calibración por idioma
Elija entre 20 y 30 conversaciones pasadas por idioma que cubran una gestión buena, media y fallida, y evalúelas con un revisor nativo. Ese conjunto se convierte en la referencia de ese idioma. Nuestra guía para crear un golden set (en inglés) describe cómo elegir las conversaciones y acordar las notas.
Paso 4: evalúe cada conversación en su propio idioma
Evalúe las conversaciones en el idioma en que se escribieron o hablaron, no en una traducción. Una traducción suaviza justo lo que quiere comprobar: el registro, la formulación y los términos de producto. Si usa evaluación con IA, pruébela con el conjunto de calibración de cada idioma antes de confiar en ella, como describe nuestro protocolo de validación (en inglés).
Paso 5: calibre entre idiomas
Una vez por trimestre, tome cinco conversaciones por idioma, tradúzcalas a un idioma común solo para el debate y haga que revisores de cada idioma las evalúen juntos.
El objetivo no es juzgar la gramática en una traducción. Es comprobar que “respuesta correcta” y “política respetada” se interpretan igual en todas partes. El formato de estas sesiones está en cómo organizar sesiones de calibración de QA (en inglés).
Paso 6: informe por idioma y por criterio
Muestre la nota de QA por idioma y por criterio, junto al volumen y al número de conversaciones evaluadas. Una media por idioma oculta qué criterio está detrás de una diferencia, y una vista por criterio sin volumen invita a sacar conclusiones de diez conversaciones.
Véalo en una demo en vivo. Kaizo evalúa el 100% de sus conversaciones según sus propios criterios, con cada nota vinculada a la evidencia en la conversación. Reserve una reunión.
¿Cómo se compara la calidad entre idiomas de forma justa?
Compare los idiomas criterio por criterio, solo cuando cada idioma tenga suficientes conversaciones evaluadas, y considere real una diferencia solo cuando sea mayor de lo que produciría el azar con ese volumen.
Una regla de decisión que puede usar (supuestos de ejemplo, compruébelos con sus propios datos):
| Condición | Qué hacer |
|---|---|
| Menos de 100 conversaciones evaluadas en un idioma este mes | No lo compare todavía; informe de la nota con su recuento |
| Diferencia de menos de 5 puntos en un criterio | Trátela como ruido; siga observando |
| Diferencia de 5 puntos o más, con al menos 100 conversaciones en cada lado | Lea diez conversaciones fallidas del idioma con la nota más baja |
| El mismo criterio bajo en un idioma dos meses seguidos | Corrija la causa: contenido, proceso, formación o la nota del idioma |
¿Por qué 5 puntos y 100 conversaciones?
Si las notas individuales de QA se dispersan con una desviación típica de unos 15 puntos, la media de 100 notas tiene un error típico de 1,5 puntos. La diferencia entre dos medias así tiene un error típico de unos 2,1 puntos, de modo que una diferencia de 5 puntos equivale a unos 2,4 errores típicos: es poco probable que sea casualidad.
Con 30 conversaciones por lado, la misma diferencia quedaría claramente dentro del ruido.
Cuando lea las conversaciones fallidas, compruebe la causa antes de culpar a los agentes. Una nota baja en “respuesta correcta” en un idioma suele deberse a un artículo del centro de ayuda que falta o está desactualizado en ese idioma. Una nota baja en “procedimiento seguido” puede ser un proceso local que nadie documentó.
¿Revisores nativos, traducción o evaluación con IA?
Los revisores nativos ofrecen el mejor criterio pero no escalan, la traducción automática escala pero oculta el registro y la formulación, y la evaluación con IA cubre todas las conversaciones pero debe contrastarse con revisores nativos en cada idioma. La mayoría de los equipos combinan los tres.
| Método | Fuerte en | Débil en | Úselo para |
|---|---|---|---|
| Revisores nativos | Tono, registro, formulación, expectativas locales | Cobertura: un revisor por idioma rara vez cabe en el presupuesto | Conjuntos de calibración, disputas, coaching en el idioma del agente |
| Revisión con traducción automática | Permitir que un analista lea cualquier idioma | La gramática, el registro y los términos de producto desaparecen en la traducción | Comprobar solo los criterios neutros respecto al idioma |
| Evaluación con IA en el idioma original | Evaluar cada conversación, en cada idioma, de la misma manera | Requiere pruebas por idioma antes de confiar en ella | Cubrir todos los idiomas y señalar lo que debería leer un revisor nativo |
| Revisores nativos externos | Añadir un idioma rápidamente | La calibración con su propio equipo requiere trabajo | Idiomas grandes sin revisores internos |
El sitio web de Kaizo indica que su análisis de sentimiento funciona en los idiomas que atiende su equipo y que sus tarjetas de coaching están disponibles en todos los principales idiomas de soporte. Foot Locker usa Kaizo en varios idiomas europeos. Para saber exactamente qué idiomas evalúa Kaizo y cómo se aplican los criterios por idioma, pregunte en la demo por su propia combinación de idiomas.
Cómo empezar el control de calidad multilingüe
Empiece por sus idiomas más pequeños, no por los más grandes: haga una lista de cada idioma, su volumen y cuántas conversaciones recibieron una revisión nativa el mes pasado. Los idiomas con cero son su primera carencia, y un conjunto de calibración de 20 conversaciones para cada uno es su primer paso.
Para ver cómo Kaizo aplica un mismo estándar a cada conversación, visite la plataforma de QA de Kaizo.
Preguntas frecuentes
¿Puede una sola scorecard de QA funcionar en varios idiomas?
Sí, y debería. Conserve los criterios que significan lo mismo en todas partes, como respuesta correcta y procedimiento seguido, y añada una nota breve por idioma donde las reglas difieran, por ejemplo en el trato formal o la ortografía. Una sola scorecard mantiene las notas comparables entre idiomas y equipos.
¿Los revisores de QA deben hablar el idioma que evalúan?
Para el tono, el registro y la ortografía, sí: no se pueden juzgar con fiabilidad a través de una traducción. Para los criterios neutros respecto al idioma, como si la respuesta fue correcta o si se siguió el procedimiento, un revisor puede trabajar con una traducción. Use revisores nativos para la calibración y las disputas, aunque la mayor parte de la evaluación se haga de otra forma.
¿Cómo se hace QA de un idioma que nadie del equipo de QA habla?
Cree un conjunto de calibración con un hablante nativo, a menudo un agente veterano de ese equipo, y úselo para comprobar lo que evalúe ese idioma, ya sea una revisión traducida o una evaluación con IA. Después pida al hablante nativo que revise cada mes las conversaciones fallidas, lo que lleva mucho menos tiempo que revisar una muestra.
¿Hay que evaluar la gramática de los agentes en su segundo idioma?
Evalúe la gramática cuando afecte a la comprensión o a su marca, e indíquelo en la nota del idioma. Muchos equipos dan menos peso a la ortografía y la gramática que a una respuesta correcta y al procedimiento adecuado, y evalúan los errores que cambian el sentido, no los pequeños deslices que un cliente no notaría.
¿Cuántas conversaciones por idioma hacen falta para comparar las notas de QA?
Como regla práctica, al menos 100 conversaciones evaluadas por idioma y periodo antes de comparar medias, y más para los criterios que se aplican pocas veces. Por debajo de eso, unas pocas conversaciones atípicas pueden mover la media varios puntos, así que informe de la nota con su recuento y espere.
