Para hacer QA del agente de IA Fin, lea y evalúe una muestra planificada de conversaciones de Fin con su propio scorecard, usando las evidencias que Intercom ya le da: el depurador de respuestas, las fuentes que encontró Fin, las valoraciones y los registros de derivación. La tasa de resolución de Fin le dice que el cliente se fue sin pedir más ayuda. No le dice que la respuesta fuera correcta.
En resumen
- Intercom cuenta una resolución de Fin cuando el cliente confirma que la respuesta le ayudó o se va sin pedir más ayuda, así que una resolución es un evento de facturación, no un veredicto de calidad.
- El CX Score de Fin está pensado para conversaciones con al menos dos respuestas del cliente y dos respuestas de un agente o del bot, así que muchas conversaciones de Fin de una sola pregunta no reciben valoración.
- Muestree en dos partes: una muestra aleatoria de conversaciones resueltas para corregir la tasa de resolución, y revisiones dirigidas de temas de riesgo, derivaciones y malas valoraciones.
- Revise cada conversación con un checklist fijo: exactitud de la respuesta frente a la fuente, resolución real, procedimiento completado, traspaso, bucles, tono y política.
- Cada fallo termina en un único cambio en Fin (contenido, audiencia, guidance, procedimiento o regla de derivación), probado en una vista previa o en un eval antes de pasar a producción.
Esta es la versión para Fin de nuestra guía general sobre cómo hacer control de calidad de agentes de IA, y sigue los mismos pasos que nuestra guía de control de calidad de los agentes de IA de Zendesk. Si todavía está decidiendo cómo medir el agente antes del lanzamiento, empiece por la evaluación de agentes de IA, que separa los evals previos al lanzamiento de la evaluación de las conversaciones en producción.
¿Qué le dicen los propios informes de Fin sobre la calidad?
Los informes de Fin le dicen volumen, cobertura y sentimiento: en cuántas conversaciones participó Fin, cuántas resolvió, cómo las valoraron los clientes y qué temas generan el volumen. No le dicen, conversación por conversación, si una respuesta era exacta, estaba permitida por la política o era completa. Para eso necesita una revisión frente a un estándar escrito.
Esto es lo que cada función de Intercom le da a un responsable de QA, según el centro de ayuda de Intercom a 13 de noviembre de 2026:
| Dónde en Intercom | Qué le dice | Qué no le dice |
|---|---|---|
| Dashboard de rendimiento (Fin AI Agent > Analyze > Performance) | Tasa de automatización, tasa de participación, tasa de resolución y enlaces a las conversaciones detrás de cada vía | Si una conversación resuelta tuvo una respuesta correcta |
| CSAT de Fin (valoraciones de conversaciones) | La proporción de valoraciones positivas de Fin, entre los clientes que responden a la encuesta | Qué pensó la mayoría silenciosa, ni por qué se dio una valoración |
| CX Score (en inglés) (complemento Pro) | Una valoración de 1 a 5 de un modelo de machine learning, construida a partir de motivos como la calidad de la respuesta y el esfuerzo del cliente | Nada sobre las conversaciones cortas que no cumplen sus reglas de elegibilidad |
| Topics Explorer y Recommendations (complemento Pro) | Los temas y subtemas detrás del volumen, y sugerencias semanales para cubrir lagunas en el contenido de Fin | Si las respuestas de Fin sobre un tema bien cubierto son correctas |
| Monitors (en inglés) y Scorecards (complemento Pro) | Selección por reglas de las conversaciones que hay que revisar, evaluadas según criterios que usted define | Si la evaluación por IA coincide con sus revisores, a menos que lo pruebe |
| Depurador de respuestas (en inglés) (“Improve answer” en el Inbox) | La pregunta, la respuesta de Fin y los contenidos que Fin consideró relevantes | Si esos contenidos son correctos o están al día |
Dos detalles importan para el QA. Primero, el CX Score solo valora una conversación que está cerrada, se desarrolla por chat o email, fue iniciada por el cliente y tiene al menos dos respuestas del cliente y dos respuestas de un agente o del chatbot. Intercom dice que ha ampliado los criterios para que algunas conversaciones cortas con una señal clara puedan valorarse ahora, pero un cliente que hace una pregunta, recibe una respuesta y se va a menudo queda sin valorar, y son exactamente las conversaciones que cuentan como resoluciones supuestas.
Segundo, Intercom cambió la forma de contar del dashboard (en inglés). Desde julio de 2026 (despliegue del 1 al 8 de julio), las conversaciones en las que Fin estaba activo pero no tuvo ocasión de responder (“Fin Constrained”) ya no cuentan como participación de Fin, así que las tasas de resolución subieron y las tasas de participación bajaron sin ningún cambio en la calidad ni en el número de resoluciones. Si compara meses a ambos lados de julio de 2026, anote la ruptura de la serie.
¿Cómo cuenta Fin una resolución y por qué no es una puntuación de calidad?
Intercom cuenta una resolución cuando, tras la última respuesta de Fin, el cliente confirma que la respuesta le ayudó (una resolución confirmada) o se va sin pedir más ayuda (una resolución supuesta). Se factura como un resultado. Ninguna de las dos vías comprueba si la respuesta era correcta, así que un cliente que se rindió cuenta igual que un cliente al que se ayudó.
Según el artículo de Intercom sobre los resultados de Fin (en inglés), consultado el 13 de noviembre de 2026:
- Una resolución solo se cuenta cuando Fin da una respuesta real, y se le cobra un resultado por conversación.
- Las resoluciones, los traspasos de procedimientos y algunos otros resultados figuran a 0,99 dólares cada uno para Fin por chat y email.
- Si el cliente vuelve a la misma conversación para pedir más ayuda, incluso en un periodo de facturación posterior, la resolución se descuenta.
- Si el cliente pide expresamente una persona, o Fin deriva por su comportamiento por defecto, por ejemplo al detectar frustración, no es un resultado y no se factura.
La definición cubre a un cliente que vuelve a la misma conversación. No cubre a uno que abre una conversación nueva sobre el mismo problema, que llama por teléfono o que se da de baja. Esos son los casos que una revisión de QA tiene que detectar.
Por eso una auditoría pone una segunda cifra junto a la de Fin: la proporción de conversaciones resueltas que eran realmente correctas. Nuestra guía para la auditoría de la tasa de resolución de agentes de IA explica las comprobaciones en los sistemas y el plazo de recontacto, y nuestra página sobre la tasa de resolución correcta explica cómo definir y presentar la cifra corregida.
¿Cómo se muestrean las conversaciones de Fin para revisarlas?
Muestree las conversaciones de Fin en dos partes. Una muestra aleatoria de conversaciones resueltas le da una tasa de resolución correcta honesta. Las revisiones dirigidas de temas de riesgo, derivaciones, valoraciones negativas y conversaciones reabiertas encuentran los fallos que más cuestan. Mantenga ambas separadas: las revisiones dirigidas están sesgadas hacia los problemas, así que no deben alimentar la tasa.
Un plan de muestreo para un equipo de tamaño medio podría ser así (una ilustración, con cifras elegidas para el ejemplo):
| Flujo | Qué se extrae | Por semana | Para qué sirve |
|---|---|---|---|
| Línea base aleatoria | Conversaciones de Fin resueltas, elegidas al azar | 60 | Tasa de resolución correcta |
| Temas de riesgo | Reembolsos, precios, cancelaciones, cambios de cuenta y de datos | 25 | Errores de política y de dinero |
| Derivaciones | Conversaciones que Fin pasó a una persona | 20 | Momento y contexto del traspaso |
| Malas señales | CSAT negativo, CX Score bajo, conversaciones reabiertas | 15 | Causas raíz |
| Total | 120 |
Ejemplo práctico (ilustración). Fin participa en 6.000 conversaciones a la semana y el dashboard muestra una tasa de resolución del 65%, es decir, 3.900 resoluciones. Sus revisores encuentran que 9 de las 60 conversaciones resueltas aleatorias eran erróneas o incompletas: el 15%. La tasa corregida es 65% x 0,85 = alrededor del 55%. Con 60 conversaciones, el margen sobre ese 15% es de unos 9 puntos arriba o abajo (1,96 x la raíz cuadrada de 0,15 x 0,85 / 60), así que tome una semana como una señal y la tendencia de cuatro semanas como la cifra. A unos 5 minutos por revisión, 120 revisiones llevan 10 horas a la semana, o 5 horas para cada uno de dos revisores.
Para un margen más estrecho, aumente la muestra aleatoria, no los flujos dirigidos. Nuestra guía de estadística del muestreo de QA (en inglés) muestra cómo el tamaño de la muestra cambia el margen.
Los Monitors de Intercom pueden hacer la extracción por usted con el complemento Pro: Intercom los describe como la revisión de “una muestra aleatoria para la calidad de base” o de “un conjunto dirigido basado en señales de mayor riesgo o mayor impacto”. Sin Pro, construya los mismos flujos con filtros guardados del Inbox y una hoja de cálculo.
¿Qué hay que comprobar en una conversación de Fin?
Compruebe si la respuesta de Fin coincidía con su contenido de origen y con su política, si la resolución fue real, si algún procedimiento se completó, si el traspaso llegó en el momento adecuado y con contexto, y si Fin entró en bucle o incumplió sus reglas de tono. Escriba cada comprobación como una regla de aprobado que un revisor pueda aplicar en menos de un minuto, con un lugar concreto donde encontrar la evidencia.
El checklist de QA para Fin
Cópielo en su scorecard o en su hoja de cálculo. La columna “dónde” supone que Fin funciona en el propio Inbox de Intercom.
| # | Criterio | Dónde encontrar la evidencia en Intercom | Regla de aprobado |
|---|---|---|---|
| 1 | Respuesta exacta frente a la fuente | “Improve answer” en la respuesta de Fin: los contenidos que Fin consideró relevantes | Cada dato de la respuesta coincide con un contenido vigente. Cualquier dato erróneo sobre dinero, elegibilidad o datos personales es un fallo crítico. |
| 2 | Fuente correcta usada | La misma lista del depurador, más el ajuste de audiencia del contenido | El mejor contenido para el caso de este cliente está en la lista y está dirigido a la audiencia de este cliente. |
| 3 | Respondió a la pregunta planteada | La transcripción | Fin respondió a la pregunta real del cliente, no a otra parecida, o primero hizo una pregunta aclaratoria. |
| 4 | La resolución fue real | Estado de la conversación, más una búsqueda del mismo cliente en los 7 días siguientes | Confirmada por el cliente, o supuesta sin conversación ni contacto nuevo sobre el mismo problema en 7 días. |
| 5 | Procedimiento completado | Los pasos del procedimiento en la conversación y el registro en el sistema (pedido, reembolso, cuenta) | La acción que prometió el procedimiento existe en su sistema. Una promesa sin registro es un fallo crítico. |
| 6 | Derivó con el desencadenante correcto | Las reglas de derivación y la guidance, y el momento del traspaso en la transcripción | Fin pasó la conversación cuando sus reglas lo indican, y antes de que el cliente lo pidiera dos veces. |
| 7 | Traspaso con contexto | El mensaje de traspaso y la primera respuesta del compañero | El compañero no tuvo que pedir nada que el cliente ya hubiera dicho. |
| 8 | Sin bucles ni repeticiones | La transcripción | Fin no repitió ni reformuló la misma respuesta más de una vez. |
| 9 | Política respetada | Sus páginas de política y la respuesta | Ninguna promesa fuera de sus reglas de reembolso, tarifas, entrega o elegibilidad. Fallo crítico. |
| 10 | Tono y guidance respetados | Su guidance de estilo de comunicación y la respuesta | El tono se ajusta al estado del cliente y los términos coinciden con su guidance. |
Marque los criterios 1, 5 y 9 como críticos, para que un solo fallo suspenda toda la conversación. Los Scorecards de Intercom (en inglés) lo permiten directamente: un criterio marcado como Critical deja toda la revisión en el 0% cuando falla.
El criterio 8 merece su propia línea porque los equipos que usan Fin lo mencionan. Intercom dice que Fin deriva por defecto cuando un cliente está “atascado en un bucle repetitivo”, pero en un hilo de la comunidad de Intercom (en inglés) un administrador escribió que “algo está fallando en mi guidance contra la repetición”. Es el relato de un solo equipo, pero es el tipo de fallo que solo muestra una revisión de la transcripción.
Para los criterios de traspaso (6 y 7), nuestra guía de QA de la derivación del chatbot a un agente humano tiene las métricas y un scorecard tanto para la decisión del bot como para la recogida por parte de la persona.
¿Cómo se evalúan las conversaciones de Fin con su scorecard?
Evalúe las conversaciones de Fin con la misma estructura de scorecard que usa para las personas, más las comprobaciones específicas de Fin de arriba, y registre la evidencia de cada criterio incumplido. Puede hacerlo en los Scorecards de Intercom con el complemento Pro, en una hoja de cálculo o en una herramienta de QA conectada al helpdesk donde están las conversaciones. Use lo que use, pruebe antes la evaluación frente a sus propios revisores.
Tres formas de hacerlo:
- Monitors y Scorecards de Intercom (complemento Pro). Usted elige para cada criterio si lo evalúa la IA o una persona. Con la revisión automática activada, Intercom marca una conversación como aprobada cuando se cumplen todos los criterios evaluados por la IA y envía los fallos y los casos límite a una persona. La página de ayuda de Intercom presenta los flujos de calibración como previstos, aún no disponibles, así que calibre a mano.
- Una hoja de cálculo. Una fila por conversación, una columna por punto del checklist, más la causa y la corrección. Funciona hasta unos cientos de revisiones a la semana.
- Una herramienta de QA en su helpdesk. Fin también funciona sobre otros helpdesks: fin.ai (en inglés) dice que funciona con Salesforce, Zendesk y otros. Si su equipo trabaja en Zendesk o en Salesforce, una herramienta de QA conectada allí puede evaluar esas conversaciones.
Antes de fiarse de cualquier puntuación de IA, haga que dos revisores evalúen las mismas 30 a 50 conversaciones, resuelvan sus desacuerdos y después comparen, criterio por criterio, los veredictos de la IA con los suyos. Nuestra guía para validar la evaluación de QA con IA (en inglés) recorre esa prueba.
¿Cómo se trasladan los hallazgos de QA a Fin?
Convierta cada criterio incumplido en un único cambio en la parte de Fin que lo causó: el contenido, la segmentación por audiencia, la guidance, un procedimiento o una regla de derivación. Agrupe los fallos por causa antes de corregir nada, pruebe cada cambio en una vista previa o en un eval antes de pasarlo a producción, y vuelva a evaluar el tema afectado la semana siguiente.
| Qué falló | Causa probable | Dónde corregirlo en Fin |
|---|---|---|
| Dato erróneo o desactualizado | El artículo, el snippet o la página sincronizada es erróneo o antiguo | Edítelo desde “Improve answer”, o añada un snippet. El contenido externo no se puede editar ahí; corríjalo en el origen, y tenga en cuenta que las sincronizaciones del sitio web se ejecutan cada semana. |
| Artículo correcto, cliente equivocado | Contenido no dirigido a la audiencia adecuada | Defina la audiencia del contenido para que Fin solo lo use con esos clientes |
| Hizo una pregunta de seguimiento equivocada, o ninguna | Falta guidance de contexto y de aclaración | Añada una regla de guidance concreta para ese tipo de pregunta |
| Prometió una acción que no ocurrió | Un paso del procedimiento o un conector de datos falló sin avisar | Añada una condición tras la llamada al conector de datos que gestione los errores y las respuestas vacías |
| Derivó tarde, o no derivó | Reglas de derivación o guidance demasiado estrechas | Añada una regla sobre un atributo de datos, o una guidance acotada para el tema |
| Derivó demasiado a menudo | Guidance de derivación demasiado amplia | Reescríbala para una situación concreta |
| Bucles y respuestas repetidas | Reglas de guidance que se solapan | Elimine las reglas que entran en conflicto; limite cada regla a un solo objetivo |
Después, pruebe antes de publicar. La comparación de Intercom entre sus herramientas de prueba (en inglés) enumera cuatro:
- Previews: un panel de prueba manual sobre las áreas de entrenamiento de Fin, sin límites.
- Batch tests: hasta 50 preguntas a la vez, valoradas por una persona; las valoraciones no entrenan a Fin. Los espacios de trabajo nuevos creados desde el 5 de noviembre de 2026 reciben Evals en su lugar.
- Evals: pruebas automatizadas de extremo a extremo de toda la configuración de Fin, hasta 50 simulaciones por eval, con una asignación mensual.
- Procedure Simulations: pruebas automatizadas de un procedimiento, sin ninguna salida hacia los clientes.
Una advertencia de la documentación de procedimientos de Intercom: la vista previa de un procedimiento que ya está en producción puede enviar mensajes a clientes reales, así que use una simulación para los procedimientos en producción. Conserve sus conversaciones fallidas como casos de prueba: cada corrección debe superar la conversación que reveló el fallo.
¿Cómo es una rutina semanal de QA para Fin?
Una rutina semanal de QA para Fin tiene cinco momentos fijos: extraer la muestra el lunes, evaluarla antes del miércoles, agrupar los fallos por causa el jueves, publicar y probar las correcciones el viernes, y comprobar las correcciones de la semana anterior con las puntuaciones de esta semana. Nombre a un responsable del contenido y a otro de la guidance y los procedimientos, o las correcciones se atascan entre equipos.
| Día | Tarea | Responsable | Tiempo |
|---|---|---|---|
| Lunes | Extraer los cuatro flujos; revisar en el dashboard los cambios de resolución, participación y CSAT | Responsable de QA | 30 min |
| De lunes a miércoles | Evaluar la muestra con el checklist; registrar la evidencia de cada fallo | 2 revisores | 5 horas cada uno |
| Jueves | Agrupar los fallos por causa; elegir las 3 causas principales por número y coste | Responsable de QA y responsable de Fin | 45 min |
| Viernes | Publicar las correcciones; probar cada una en una vista previa, un eval o una simulación | Responsable del contenido, responsable de Fin | 2 horas |
| Cada semana | Comparar las puntuaciones de los temas corregidos la semana pasada con las de la semana anterior | Responsable de QA | 20 min |
| Cada mes | Presentar la tasa de resolución corregida junto a la de Fin, con la tendencia de 4 semanas | Responsable de QA al Head of CX | 1 hora |
¿Dónde encaja Kaizo?
Kaizo es QA y supervisión de la gobernanza para equipos de soporte en los que personas y agentes de IA comparten el trabajo. Sus integraciones activas son Zendesk y Salesforce: AutoPilot evalúa cada conversación resuelta en esos helpdesks según su propio scorecard y añade un comentario que explica cada puntuación. Si Fin funciona sobre uno de ellos, compruebe qué conversaciones de Fin llegan a los registros de su helpdesk antes de planificar un proceso de QA en torno a ellas.
Véalo con sus propias conversaciones. Kaizo evalúa el 100% de sus conversaciones de soporte en Zendesk y Salesforce y convierte los hallazgos en coaching. Reserve una demo.
Cuándo esto no es para usted
Un programa formal de QA para Fin es excesivo si Fin gestiona unas pocas decenas de conversaciones a la semana: léalas todas usted mismo, con el checklist, en una hora. También es demasiado pronto si su centro de ayuda está desactualizado en general. Corrija primero el contenido, o cada revisión señalará la misma causa raíz. Si Fin solo responde preguntas de bajo riesgo, como los horarios de apertura, basta con una comprobación mensual de 20 conversaciones.
Cómo empezar esta semana
- Enumere sus cinco temas de Fin de mayor riesgo y la página de política que hay detrás de cada uno.
- Copie el checklist de arriba en una hoja de cálculo o en un scorecard de Intercom, y marque los criterios 1, 5 y 9 como críticos.
- Extraiga 30 conversaciones de Fin resueltas al azar y 20 de sus temas de mayor riesgo.
- Evalúelas con dos revisores y compare en qué discrepan.
- Corrija la causa más frecuente que encuentre, pruébela en una vista previa o en un eval, y vuelva a evaluar ese tema la semana siguiente.
Preguntas frecuentes
¿Tiene Intercom su propio QA para las conversaciones de Fin?
Sí, con el complemento Pro. Los Monitors seleccionan qué conversaciones revisar, los Scorecards definen cómo se evalúan, y cada criterio puede evaluarlo la IA o una persona. La página de ayuda de Intercom presenta los flujos de calibración como previstos, así que pruebe las puntuaciones de la IA frente a sus propios revisores.
¿Es la tasa de resolución de Fin una métrica de calidad fiable?
No. Cuenta las conversaciones en las que el cliente confirmó que la respuesta le ayudó o se fue sin pedir más ayuda, así que un cliente que se rindió cuenta como resuelto. Preséntela junto a una tasa corregida a partir de una muestra aleatoria de conversaciones resueltas que usted haya comprobado.
¿Las valoraciones de los batch tests entrenan a Fin?
No. Intercom dice que las valoraciones de los batch tests sirven solo para la revisión humana y el análisis de causa raíz. Los espacios de trabajo creados desde el 5 de noviembre de 2026 no tienen batch tests y usan Evals en su lugar.
¿Puede el CX Score sustituir a una revisión de QA?
No por sí solo. Sus reglas de elegibilidad se centran en conversaciones con al menos dos respuestas del cliente y dos respuestas de un agente o del chatbot, así que muchas conversaciones cortas de Fin no se valoran. Además, valora cómo se sintió el cliente, no si la respuesta se ajustaba a su política.
¿A quién se valora cuando Fin y un compañero gestionan la misma conversación?
Depende de dónde esté el paso de CSAT en su flujo de trabajo. Intercom dice que una encuesta colocada después del punto de derivación se envía tanto si intervino Fin, como un compañero, como ambos. En los planes Advanced y Expert, los datos de valoración muestran qué tipo de agente recibió la valoración.
