El control de calidad de agentes de voz con IA consiste en evaluar, al terminar cada llamada, las conversaciones que atiende su voicebot según un estándar escrito, para saber si entendió a quien llamaba, si dio una respuesta correcta y permitida y si pasó la llamada a una persona cuando debía.
Necesita una scorecard con controles propios de la voz, una transcripción de cada llamada y una forma de evaluarlas todas en lugar de una muestra.
En resumen
- Un agente de voz falla de maneras en que un chatbot no falla (números mal oídos, hablar encima del cliente, transferencias perdidas), así que su scorecard añade controles de reconocimiento, confirmación, escalamiento y aviso de IA.
- Una pequeña muestra aleatoria de llamadas suele pasar por alto los fallos de un agente de voz, porque se concentran en una intención y se repiten.
- Seis pasos cubren el trabajo: primero las intenciones de riesgo, la scorecard, las transcripciones, evaluar cada llamada, la derivación y volver a evaluar después de cada corrección.
- Desde el 2 de agosto de 2026, el Reglamento de IA de la UE exige que se informe a quien llama de que habla con una IA, y en EE. UU. siguen aplicándose las normas sobre grabación de llamadas.
- Las pruebas antes del lanzamiento y el control de calidad de las llamadas reales son etapas distintas, y necesita ambas.
Esta guía es la versión para voz de nuestra guía general sobre el control de calidad de agentes de IA. Para la parte de producto, la página de QA de agentes de IA muestra cómo Kaizo evalúa las conversaciones de los agentes de IA con la misma scorecard que las de su equipo.
¿Qué cambia en el control de calidad de un agente de voz con IA?
El control de calidad de un agente de voz con IA revisa lo que el bot oyó además de lo que dijo, porque un agente de voz convierte el habla en texto antes de responder. Un error en ese primer paso lo cambia todo después.
Un chatbot lee lo que el cliente escribió; un agente de voz lo adivina. Eso añade tres tipos de fallo que el control de calidad de texto nunca ve:
- Errores de reconocimiento. El bot oye “quince” donde se dijo “cincuenta”, se equivoca en un dígito del número de pedido o destroza un apellido. La respuesta que sigue puede apoyarse perfectamente en su contenido y aun así referirse al pedido equivocado.
- El ritmo de la conversación. El bot responde antes de que el cliente termine, deja silencios largos o sigue hablando cuando el cliente intenta interrumpir. En la transcripción de un chat nada de esto existe.
- La transferencia. En voz, la derivación es una transferencia en directo. Si el contexto no viaja con la llamada, el cliente repite todo a una persona que ya suena poco preparada.
El resto es igual que en cualquier agente de IA: la respuesta debe ser correcta, salir de su propio contenido, respetar la política y escalar ante el motivo adecuado. Tratamos esos controles comunes en la scorecard de agentes de IA, y la transferencia en detalle en cómo evaluar la derivación entre la IA y el agente humano.
¿Qué fallos debe detectar la scorecard de un agente de voz?
La scorecard de un agente de voz debe detectar respuestas equivocadas, políticas inventadas, datos mal oídos, acciones sin confirmar, escalamientos omitidos y la falta del aviso de IA. Para cada control debe indicar si basta la transcripción o hace falta el audio.
Eso decide cómo revisa. Aquí tiene una scorecard que puede copiar y adaptar. Las cuatro primeras filas son las que ya se evalúan a sus agentes humanos, lo que mantiene comparables los dos conjuntos de resultados.
| Criterio | Qué comprueba | Se evalúa en | ¿Basta la transcripción? |
|---|---|---|---|
| Respuesta correcta | La respuesta resuelve la pregunta de quien llama | Agentes humanos y de IA | Sí |
| Límites de la política | Ningún reembolso, condonación de comisión o excepción inventados | Agentes humanos y de IA | Sí |
| Identidad verificada | Se hicieron los controles exigidos antes de compartir datos de la cuenta | Agentes humanos y de IA | Sí |
| Tono | Suena como su marca, no como un guion | Agentes humanos y de IA | En parte: el ritmo y hablar encima del cliente requieren el audio |
| Confirmación de datos clave | Números, fechas, nombres e importes se repitieron al cliente para confirmarlos | Agentes de IA | Sí |
| Reconocimiento | Lo que el bot procesó coincide con lo que dijo el cliente | Agentes de IA | No: compare el audio con la transcripción en las llamadas fallidas |
| Respaldo en su contenido | Cada dato procede de su base de conocimiento | Agentes de IA | Sí |
| Escalamiento | Ofreció una persona ante el motivo adecuado, incluido decir “agente” o “persona” dos veces | Agentes de IA | Sí |
| Derivación | El contexto acompañó a la transferencia y la persona lo retomó | Agentes de IA y humanos | Sí, si los dos tramos de la llamada están en un mismo registro |
| Aviso de IA | Se informó al cliente al inicio de que hablaba con una IA | Agentes de IA | Sí |
La fila de confirmación es la corrección más barata con el mayor efecto. Un agente de voz que repite “Entonces es el pedido 4-8-1-7, con un reembolso de 15 dólares, ¿correcto?” convierte un error de reconocimiento silencioso en una corrección que el cliente hace por usted. Evalúela en cada llamada que modifique una cuenta, cobre un pago o reserve algo.
¿Por qué una muestra de llamadas no detecta los fallos del voicebot?
Una muestra aleatoria no detecta los fallos del voicebot porque se concentran en una intención y se repiten. Un fallo que arruina gran parte de un tipo de llamada sigue siendo una pequeña parte del total de llamadas.
Las cuentas siguientes muestran con qué frecuencia una muestra típica no ve nada.
Ejemplo práctico (cifras ilustrativas, no son datos de Kaizo). Supongamos que su agente de voz atiende 12.000 llamadas al mes y su equipo revisa una muestra aleatoria de una llamada de cada 50, es decir, 240 llamadas. Una llamada de cada 20 es de reembolso, así que son 600 llamadas.
Tras un cambio de política, el bot da un plazo de reembolso equivocado en una de cada diez llamadas de reembolso: 60 llamadas, o una de cada 200.
| Valor | |
|---|---|
| Llamadas al mes | 12.000 |
| Llamadas revisadas (muestra del 2%) | 240 |
| Llamadas de reembolso con la respuesta equivocada | 60 (0,5% del total) |
| Llamadas de reembolso erróneas esperadas en la muestra | 1,2 |
| Probabilidad de que la muestra no contenga ninguna | alrededor del 30% |
| Probabilidad de que contenga como máximo una | alrededor del 66% |
Las dos últimas filas salen de la fórmula binomial: la probabilidad de no extraer ninguna es 0,995 elevado a 240, aproximadamente 0,30.
En unos dos de cada tres meses, sus revisores ven una llamada de reembolso errónea o ninguna, lo que parece ruido. Evaluar cada llamada convierte el mismo fallo en 60 llamadas suspendidas en un solo criterio, con las transcripciones adjuntas.
La versión general de este argumento, con las fórmulas, está en por qué una muestra de QA del 3% no sirve para decisiones por agente (en inglés).
Cómo hacer el control de calidad de agentes de voz con IA en seis pasos
Para hacer el control de calidad de agentes de voz con IA, empiece por las intenciones costosas, escriba una scorecard con controles de voz, obtenga la transcripción de cada llamada, evalúelas todas, revise las transferencias y vuelva a evaluar tras cada corrección.
Paso 1: haga una lista de las intenciones de riesgo
Extraiga las intenciones que atiende su agente de voz y marque aquellas en las que un error cuesta dinero o confianza: reembolsos, pagos, cancelaciones, cambios de dirección, reservas de citas y todo lo que toque la identidad. Estas se evalúan primero y se leen con más frecuencia.
Paso 2: escriba la scorecard
Parta de la tabla anterior. Conserve los criterios que sus agentes humanos comparten con el bot, añada los controles de voz y redacte cada criterio como una pregunta de sí o no que una IA o un revisor pueda responder a partir de la llamada. Nuestra guía para redactar una rúbrica de QA que una IA pueda evaluar (en inglés) muestra cómo formularlos.
Paso 3: obtenga la transcripción de cada llamada
Para evaluar hace falta texto. Compruebe que cada llamada del agente de voz termina con una grabación y una transcripción en el sistema donde están las llamadas de su equipo, y que la transcripción indica quién dijo qué. Si las llamadas del bot están en una consola aparte del proveedor, sus resultados humanos y de IA nunca estarán en un mismo informe.
Paso 4: evalúe cada llamada, no una muestra
Evalúe todas las llamadas del agente de voz con la scorecard, con un comentario en cada nota que señale la línea que la justifica.
Use revisores para las llamadas que suspenden un criterio de alto peso y para un conjunto de llamadas aprobadas, para comprobar la propia evaluación. Antes de confiar en las notas automáticas, contrástelas con sus propias valoraciones anteriores, como se describe en cómo validar la evaluación de QA con IA (en inglés).
Paso 5: revise las transferencias
Filtre las llamadas que el agente de voz transfirió y aquellas en las que el cliente pidió hablar con una persona. Evalúe si el bot escaló ante el motivo adecuado, si el contexto llegó al agente humano y si el cliente tuvo que repetirse.
Después mire las llamadas que terminaron sin transferencia y sin resolución: a menudo se cuenta como contenido a un cliente que cuelga.
Paso 6: corrija y vuelva a evaluar
Rastree cada fallo hasta su causa: un artículo de la base de conocimiento, un prompt, una confirmación que falta, una regla de escalamiento o un problema de reconocimiento de voz con un tipo concreto de dato. Corríjalo y siga ese criterio en la misma intención durante la semana siguiente.
Corregir una respuesta puede estropear otra, algo que solo ve si sigue evaluando todas las llamadas.
Véalo en una demo en vivo. Kaizo evalúa llamadas, chats y correos electrónicos con una sola scorecard, y evalúa las conversaciones de los agentes de IA con la misma scorecard que las de su equipo. Reserve una reunión.
¿Qué exige la ley a un agente de voz con IA?
En la UE, desde el 2 de agosto de 2026, un agente de voz debe dejar claro a quien llama, desde el inicio de la llamada, que habla con una IA. En EE. UU. se aplican las normas habituales de grabación, y las llamadas salientes con voz de IA entran en las normas sobre robocalls.
| Norma | Qué significa para un agente de voz | Fuente |
|---|---|---|
| Reglamento de IA de la UE, artículo 50, apartado 1 | Los proveedores deben diseñar los sistemas de IA que interactúan directamente con personas de modo que estas sepan que interactúan con una IA, salvo que resulte evidente. Se aplica desde el 2 de agosto de 2026. | Reglamento (UE) 2024/1689 en EUR-Lex |
| Orientaciones de la Comisión sobre el artículo 50 | El aviso debe darse desde el inicio de la primera interacción, de forma clara y accesible; los chatbots y los agentes de IA se citan como ejemplos. | Preguntas frecuentes de la Comisión Europea sobre el artículo 50 |
| Ley federal de EE. UU. sobre grabación | Grabar está permitido con el consentimiento de una de las partes según 18 U.S.C. § 2511(2)(d). | Cornell LII |
| Leyes estatales de EE. UU. sobre grabación | Algunos estados, entre ellos California, exigen el consentimiento de todas las partes. | California Penal Code § 632 |
| Llamadas salientes en EE. UU. | La FCC resolvió el 8 de febrero de 2024 que las voces generadas por IA cuentan como “artificiales” según la TCPA, por lo que se aplican las normas de consentimiento para robocalls. | Anuncio de la FCC |
Esta tabla es un resumen, no asesoramiento jurídico.
Para el control de calidad, la consecuencia práctica es sencilla: convierta el aviso de IA y el aviso de grabación en criterios de la scorecard, para poder demostrar que se dieron en cada llamada en lugar de suponerlo. Las orientaciones y las normas nacionales aún pueden cambiar, así que compruebe la situación vigente con su asesor jurídico antes de lanzar en un mercado nuevo.
Pruebas antes del lanzamiento frente a control de calidad después de la llamada
Las pruebas antes del lanzamiento comprueban el agente de voz con llamadas guionizadas en un entorno controlado; el control de calidad después de la llamada comprueba lo que hizo de verdad con clientes reales. Detectan problemas distintos, y un agente de voz necesita ambos.
| Pruebas antes del lanzamiento | Control de calidad de llamadas reales | |
|---|---|---|
| Entrada | Llamadas de prueba guionizadas o simuladas | Llamadas reales de clientes reales |
| Cuándo | Antes del lanzamiento y tras cada cambio en prompts o flujos | Al terminar cada llamada |
| Detecta | Flujos rotos, regresiones del prompt, latencia bajo carga | Acentos y ruido reales, preguntas nuevas, desviaciones de la política, transferencias fallidas |
| Responsable | El equipo que construye el bot | QA y operaciones de soporte |
| Herramienta típica | Un conjunto de pruebas o una herramienta de simulación | Una plataforma de QA con scorecard |
Kaizo está en la segunda columna. Evalúa las conversaciones una vez terminadas.
Su sitio web lo dice sin rodeos: probar un agente de voz antes del lanzamiento con llamadas de prueba guionizadas es una etapa distinta del control de calidad de las conversaciones reales. Si necesita escuchar llamadas en directo o mostrar indicaciones durante la llamada, eso es la asistencia al agente en tiempo real (en inglés), otra categoría distinta.
Cómo empezar el control de calidad de su agente de voz
Empiece esta semana con una sola intención: elija la más arriesgada que atiende su agente de voz, escriba diez criterios de scorecard a partir de la tabla anterior y evalúe cada llamada de esa intención durante dos semanas. Aprenderá más de esas llamadas que de un mes de muestreo en todas las intenciones.
Después amplíe el alcance intención por intención. Para ver cómo una sola scorecard cubre agentes humanos, chatbots y llamadas, visite la página de QA de agentes de IA.
Preguntas frecuentes
¿Cómo se prueba un agente de voz con IA antes de ponerlo en marcha?
Haga llamadas de prueba guionizadas que cubran sus intenciones principales y las de riesgo, además de los casos difíciles: ruido de fondo, acentos, interrupciones, números dichos rápido y clientes que piden hablar con una persona. Compruebe los flujos, las respuestas y el tiempo de respuesta. Repita el mismo conjunto de pruebas tras cada cambio en el prompt o el flujo, porque una corrección en un sitio puede estropear otro.
¿Qué métricas importan en un agente de voz con IA?
Siga métricas de resultado como la contención, la tasa de transferencia y las llamadas repetidas, pero juzgue la calidad con una scorecard: respuesta correcta, límites de la política, confirmación de datos clave, escalamiento y derivación. La contención por sí sola cuenta como éxito a un cliente que se rindió y colgó. Nuestra guía sobre la tasa de contención (en inglés) explica cómo leerla sin engañarse.
¿Se pueden evaluar las llamadas del voicebot y las humanas con la misma scorecard?
Sí, en los criterios que se aplican a ambos, como respuesta correcta, límites de la política, controles de identidad y tono. Así los resultados siguen siendo comparables y puede ver dónde el bot es más fuerte o más débil que su equipo. El agente de voz recibe además criterios propios de reconocimiento, confirmación, escalamiento y aviso de IA.
¿Kaizo evalúa llamadas telefónicas?
Sí. Kaizo evalúa las llamadas con la misma scorecard que el chat y el correo electrónico, y todos los planes incluyen resúmenes con IA y transcripción bajo demanda. Kaizo revisa una conversación cuando ha terminado y el caso se resuelve, así que es una herramienta de QA para llamadas reales a posteriori, no una herramienta de monitoreo en directo.
¿Cuántas llamadas del agente de voz conviene revisar a mano?
Si puede, evalúe automáticamente cada llamada y revise a mano las que suspenden un criterio de alto peso y un pequeño conjunto de aprobadas, para comprobar la evaluación. Si solo revisa a mano, lea primero todas las llamadas de su intención más arriesgada, porque los fallos de un agente de voz se concentran en una intención y se repiten.
