Tasa de resolución de agentes de IA: cómo auditarla

La tasa de resolución de un agente de IA cuenta las conversaciones que el proveedor marca como resueltas: sin traspaso y sin seguimiento dentro de un plazo. No comprueba que la respuesta fuera correcta, que la acción se ejecutara ni que el cliente no volviera. Para auditarla, tome una muestra de conversaciones “resueltas”, juzgue cada una con criterios escritos y con los registros de los sistemas, y publique una tasa corregida junto a la del proveedor.

En resumen

• Una “resolución” del proveedor suele significar que el cliente no pidió más ayuda antes de que venciera un temporizador; una respuesta errónea dada con seguridad y un cliente que se rindió superan ambas esa prueba.
• Cuatro fallos se esconden dentro de las conversaciones resueltas: una respuesta errónea que el cliente aceptó, un cliente que se rindió, un cliente que volvió por otro canal y una acción que el agente dijo haber hecho y nunca completó.
• Una resolución correcta necesita cuatro síes: respuesta correcta, permitida por la política, acción hecha en el sistema de registro y ningún recontacto sobre el mismo problema en 7 días.
• Una muestra aleatoria de unas 400 conversaciones resueltas al mes da una tasa corregida con un margen de unos 5 puntos, suficiente para presentarla junto a la cifra del proveedor.
• Presente ambas cifras, la distribución de los fallos y el coste por resolución correcta, y envíe cada tipo de fallo a un responsable.

Esta guía forma parte de nuestra serie sobre evaluación de agentes de IA, escrita para el Head of CX o el responsable de IA que da el visto bueno a los resultados del agente de IA. Si antes necesita lo básico de la métrica que suele acompañar a la tasa de resolución, empiece por la tasa de contención (en inglés).

¿Qué significa “resuelto” en la tasa de resolución de un agente de IA?

En la mayoría de los informes de los proveedores, “resuelto” significa que el agente de IA respondió y el cliente no pidió más ayuda, ni pidió una persona, antes de que la conversación expirara. Algunos proveedores añaden una comprobación de la transcripción con un modelo. Ninguna de estas definiciones, tal como están documentadas, mira los registros de los sistemas ni si el cliente vuelve a contactar por otro canal.

Las definiciones son públicas, y conviene leerlas palabra por palabra antes de fiarse de un dashboard:

De ahí se siguen dos cosas. Primero, “resuelto” es una definición de facturación y de reporting que fija el proveedor, a menudo ligada a lo que usted paga. Segundo, la definición cambia: Intercom presenta ahora “outcomes” (resultados) junto a las resoluciones y escribe que el “éxito” dejó de ser binario (blog de Intercom, marzo de 2026, en inglés), y Zendesk introdujo los niveles de resolución el 18 de mayo de 2026 (definición anterior de Zendesk, en inglés). Una auditoría le da una definición que es suya.

¿Qué diferencia hay entre resuelto y resuelto correctamente?

Una conversación resuelta terminó sin traspaso ni seguimiento. Una conversación resuelta correctamente, además, dio la respuesta correcta, completó la acción correcta, se mantuvo dentro de la política y evitó que el cliente volviera por el mismo problema. La distancia entre ambas es su tasa de automatización real, y normalmente no aparece en el dashboard del proveedor.

El proveedor pregunta: ¿terminó la conversación sin ruido? Su auditoría pregunta: ¿desapareció el problema? La segunda pregunta necesita evidencias de fuera de la transcripción. Nuestro artículo sobre fallos silenciosos de los agentes de IA cubre la familia más amplia de fallos que no generan ningún error, y por qué fallan las conversaciones con IA cubre las causas que hay detrás.

¿Qué fallos se esconden dentro de las conversaciones resueltas?

Cuatro tipos de fallo pasan por resoluciones: una respuesta errónea que el cliente aceptó, un cliente que se rindió, un cliente que volvió por otro canal y una acción que el agente dijo haber hecho y no completó. Cada uno parece una conversación tranquila y exitosa en la transcripción, y cada uno necesita una comprobación distinta para encontrarlo.

El último tipo es el más caro de pasar por alto, y ninguna revisión que solo lea la transcripción, humana o con un LLM, puede detectarlo. Los guardrails para agentes de IA aplicados a las acciones reducen su frecuencia; la auditoría le dice si funcionan.

¿Cómo se diseña la muestra de una auditoría de resoluciones?

Extraiga una muestra aleatoria de unas 400 conversaciones que el proveedor marcó como resueltas en un mes, estratificada por intención, con conversaciones adicionales de las intenciones de alto riesgo como reembolsos, cancelaciones y cambios en cuentas. Oculte a los revisores el estado que asignó el proveedor y haga que un 10% lo evalúen dos personas para medir el acuerdo.

1. Fije el periodo y la población. Un mes natural, todas las conversaciones con el estado “resuelta” del proveedor.
2. Elija al azar dentro de cada intención, en proporción al volumen. Las conversaciones elegidas a mano por “interesantes” sesgan la tasa a la baja.
3. Sobrerrepresente las intenciones de alto riesgo. Añada al menos 50 conversaciones de intenciones en las que el agente ejecuta una acción o toca dinero; pondérelas según su peso real para la tasa global.
4. Dimensione la muestra para la decisión. 400 conversaciones dan un margen de unos ±5 puntos con un 95% de confianza (consulte los intervalos de confianza de una proporción en el manual de estadística para ingeniería del NIST, en inglés). 100 por intención dan unos ±10 puntos: suficiente para detectar una intención rota. Los cálculos están en nuestra guía de estadística del muestreo de QA (en inglés).
5. Haga ciega la revisión. Muestre la transcripción y los datos de los sistemas, no la etiqueta del proveedor.
6. Mida el acuerdo. Un segundo revisor evalúa 40 de las 400. Si los veredictos difieren más de 1 vez de cada 10, corrija los criterios antes de presentar resultados.
7. Espere a que pase el plazo. Extraiga la muestra al menos 7 días después de que termine el mes.

¿Cuáles son los criterios de una resolución “correcta”?

Una conversación es una resolución correcta solo cuando se superan las cuatro comprobaciones: la respuesta fue correcta y completa, se mantuvo dentro de la política, cualquier acción que prometió el agente aparece en el sistema de registro y el cliente no volvió a contactar sobre el mismo problema en 7 días. Una sola comprobación fallida convierte el veredicto en “no correcta”.

Ponga los criterios por escrito antes de la primera revisión, con un ejemplo de aprobado y otro de suspenso para cada uno:

Mantenga un quinto veredicto, “no se puede juzgar”, para las conversaciones en las que falta un registro o el cliente es anónimo. Déjelas fuera de la tasa e informe de cuántas fueron; si superan el 5% de la muestra, corrija los datos antes de la siguiente auditoría. La respuesta correcta depende de que sus políticas estén escritas y al día, que es el tema de la gestión de políticas para agentes de IA.

¿Cómo se comprueban en los sistemas las acciones anunciadas?

Enumere cada acción que el agente anunció en la conversación y después búsquela en el sistema que la gestiona: el reembolso en facturación, la cancelación en el sistema de suscripciones, la dirección en el registro del pedido. El registro de herramientas del propio agente no basta, porque una llamada a una herramienta puede indicar éxito mientras el sistema de registro no muestra nada.

Una secuencia práctica para cada conversación de la muestra:

1. Extraiga lo anunciado. Marque cada frase en la que el agente dice que hizo algo: “le he reembolsado”, “su plan está cancelado”, “he actualizado su dirección”.
2. Cruce por identificadores. Use el ID de cliente, el número de pedido o el email de la conversación para encontrar el registro.
3. Compare cuatro campos. ¿Ocurrió, en el artículo correcto, por el importe correcto, antes o poco después del final de la conversación?
4. Anote las discrepancias con precisión. “Reembolso de 40 dólares prometido, 0 dólares en facturación” se puede corregir; “la acción falló” no.

¿No tiene acceso al sistema de registro? Pida a su responsable una exportación de solo lectura filtrada por los 400 IDs de cliente de la muestra.

¿Cómo se mide el recontacto después de una resolución de la IA?

Cuente un recontacto cuando el mismo cliente vuelve a contactar sobre el mismo problema, por cualquier canal, en los 7 días siguientes al final de la conversación con la IA. Cruce un identificador de cliente entre chat, email, teléfono y redes sociales, y después lea el seguimiento para confirmar que se trata del mismo problema y no de uno nuevo.

Por qué 7 días: los plazos de los proveedores son cortos y están ligados al canal. Zendesk da por terminada por defecto una conversación de mensajería 2 horas después del primer mensaje y una conversación por email a las 72 horas; Intercom descuenta una resolución solo cuando el cliente vuelve a la misma conversación. Muchos fallos aparecen después: el reembolso que no llega en 3 a 5 días hábiles, el segundo cargo en el siguiente ciclo de facturación. Siete días captan la mayoría; para las intenciones de facturación, amplíe el plazo hasta la siguiente fecha de factura.

Si el historial de contactos está repartido entre varias herramientas, empiece con los identificadores que tenga (ID de cuenta, dirección de email) e indique en el informe que algunos recontactos se perderán. Seguir a un cliente entre canales es el núcleo del QA del recorrido del cliente.

La plantilla de auditoría de resoluciones (cópiela)

La plantilla siguiente tiene una fila por conversación de la muestra. Rellene las cuatro comprobaciones y deje que la regla de veredicto decida; los revisores no eligen el veredicto por intuición. Las filas son una ilustración de cómo se ve cada tipo de fallo una vez rellenado, no datos de clientes.

Regla de veredicto. Correcta = respuesta correcta (sí), acción hecha (sí o no hacía falta), sin recontacto y permitida por la política. Cualquier “no” = no correcta. Cualquier evidencia que falte = no se puede juzgar. Cuando se dan dos fallos, registre el que el cliente sufrió primero.

Añada una columna “¿Permitida?” si su agente puede conceder excepciones, y escriba cada nota de evidencia con el detalle suficiente para comprobarla en dos minutos.

Ejemplo práctico: tasa de resolución del proveedor frente a tasa auditada

En esta ilustración, un proveedor presenta una tasa de resolución del 68% sobre 10.000 conversaciones. Una auditoría de 400 conversaciones resueltas encuentra que el 69% de las que se pueden juzgar se resolvieron correctamente, así que la tasa de resolución corregida es de aproximadamente el 47%, con un intervalo al 95% de entre el 44% y el 50%.

Ilustración (no son datos de clientes). Un agente de IA atiende 10.000 conversaciones en octubre. El proveedor marca 6.800 como resueltas: una tasa de resolución del 68%. El equipo audita una muestra aleatoria de 400 conversaciones resueltas con la plantilla de arriba.

El cálculo, paso a paso:

1. Conversaciones que se pueden juzgar: 400 menos 12 = 388.
2. Proporción correcta auditada: 268 / 388 = 69,1%.
3. Margen de error: 1,96 x √(0,691 x 0,309 / 388) = ±4,6 puntos, así que la proporción correcta está entre aproximadamente el 64,5% y el 73,7%.
4. Conversaciones resueltas corregidas: 6.800 x 69,1% = unas 4.700.
5. Tasa de resolución corregida: 4.700 / 10.000 = 47,0%, con un intervalo de aproximadamente el 43,8% al 50,1%.
6. Coste por resolución correcta: con un precio ilustrativo de 1,00 dólar por resolución facturada, 6.800 resoluciones facturadas cuestan 6.800 dólares. Divididos entre 4.700 resoluciones correctas, cada una cuesta unos 1,45 dólares, no 1,00.

Lea la distribución de los fallos como una lista de tareas: las respuestas erróneas van al responsable del conocimiento y del prompt, los clientes que se rinden al diseño del escalamiento, y las 12 acciones anunciadas van primero, porque en cada una se le dijo a un cliente algo falso sobre su dinero o su cuenta.

¿Cómo se presenta una tasa de resolución corregida junto a la del proveedor?

Muestre la tasa de resolución del proveedor y su tasa auditada una junto a otra, cada mes, con las definiciones, el tamaño de la muestra, el margen de error y la distribución de los fallos debajo. No sustituya la cifra del proveedor: la distancia entre ambas es el hallazgo, y su tendencia le dice si las correcciones funcionan.

Un informe mensual en una pantalla:

Mantenga estables las definiciones, muestre el intervalo para que un movimiento de 2 puntos dentro del ruido no abra un debate, y ponga la tasa corregida donde la dirección ya ve la cifra del proveedor. También tiene su sitio en su conjunto más amplio de métricas de rendimiento de los agentes de IA y en la vista semanal descrita en monitorización de agentes de IA.

¿Cuándo no le conviene una auditoría de resoluciones completa?

Una auditoría formal es excesiva cuando su agente de IA atiende unos cientos de conversaciones al mes: léalas todas en lugar de tomar una muestra. También importa menos cuando el agente solo responde preguntas informativas, sin acciones y con poco dinero en juego; ahí puede bastar una comprobación de exactitud más ligera y un recuento de recontactos.

Tampoco sustituye a evaluar todas las conversaciones. Una muestra de 400 conversaciones le da la tasa; rara vez le mostrará un fallo que afecta a 1 de cada 500 clientes. Si necesita encontrarlos uno a uno, necesita cobertura total, como explica con los cálculos de tamaño de muestra nuestra guía sobre evaluación de agentes de IA en producción.

Cómo empezar una auditoría de resoluciones esta semana

Puede hacer la primera auditoría en una semana con una hoja de cálculo, un revisor y acceso de solo lectura a dos sistemas. El objetivo de la primera semana no es una cifra perfecta, sino una primera tasa corregida y la lista de los fallos que hay detrás.

1. Lunes: ponga por escrito la definición de resolución de su proveedor y sus cuatro comprobaciones, con un ejemplo de aprobado y otro de suspenso para cada una.
2. Martes: exporte las conversaciones resueltas del mes pasado, estratifíquelas por intención y extraiga 400 al azar.
3. Miércoles: solicite exportaciones de solo lectura de facturación o del sistema de pedidos, y el historial de contactos de los IDs de cliente de la muestra.
4. Jueves y viernes: rellene la plantilla; haga que dos personas evalúen 40 conversaciones y compare los veredictos.
5. El lunes siguiente: calcule la tasa corregida y el coste por resolución correcta, y envíe cada tipo de fallo a un responsable.

Cuando la auditoría muestre dónde fallan las resoluciones, el siguiente paso es detectar esos fallos en cada conversación, no solo en una muestra mensual. AutoPilot de Kaizo evalúa cada conversación resuelta con su propia scorecard, y cada nota enlaza con la evidencia en la conversación; nuestra página de QA para agentes de IA muestra cómo funciona. Véalo con las conversaciones de su propio agente de IA. Reserve una demo.

Preguntas frecuentes

¿La tasa de resolución es lo mismo que la tasa de contención?

No. La tasa de contención cuenta las conversaciones que terminaron sin traspaso a una persona. La tasa de resolución, tal como la definen los proveedores, suele añadir la condición de que el cliente no pidiera más ayuda dentro de un plazo. Ninguna de las dos comprueba que la respuesta fuera correcta, y por eso ambas necesitan una auditoría al lado.

¿Cuál es una buena tasa de resolución para un agente de IA?

No hay una referencia fiable, porque los proveedores definen la resolución de forma distinta y cambian sus definiciones con el tiempo. Compare en su lugar su propia tasa de resolución corregida mes a mes. Una tasa del proveedor más baja con poca distancia respecto a la tasa auditada es más sana que una tasa alta que se reduce a la mitad al auditarla.

¿Puede una comprobación con un LLM sustituir a una auditoría humana de las resoluciones?

Puede cubrir más conversaciones, y algunos proveedores ya usan una para verificar las resoluciones. Pero una comprobación que solo lee el texto de la conversación no puede ver los registros de los sistemas ni los contactos posteriores por otros canales. Calibre cualquier juez LLM con veredictos humanos y mantenga en la auditoría las comprobaciones en los sistemas y de recontacto.

¿Con qué frecuencia conviene auditar las resoluciones de un agente de IA?

Mensualmente es una buena opción por defecto, con una auditoría adicional tras cualquier cambio en los prompts, el conocimiento, las acciones o el alcance del agente. Extraiga la muestra al menos 7 días después de que termine el mes para que cada conversación tenga su plazo completo de recontacto. Las intenciones de alto riesgo pueden justificar una comprobación semanal.

¿Hay que pagar las resoluciones supuestas que no superan su auditoría?

Depende de su contrato, y por eso la auditoría importa en la renovación. Su tasa corregida y su coste por resolución correcta le dan evidencias para la conversación con el proveedor. Pregunte cómo trata la definición del proveedor las vueltas por otros canales y las acciones que nunca ocurrieron.

¿Quién debe ser responsable de la auditoría de resoluciones?

El equipo que responde de los resultados para el cliente, normalmente calidad de CX u operaciones de soporte. Su responsable mantiene estables las definiciones y envía cada tipo de fallo a quien puede corregirlo: conocimiento, ingeniería o diseño del escalamiento.