Cuando personas y agentes de IA comparten la cola de soporte, exija a ambos un mismo estándar de calidad y después corríjalos de forma distinta. Las personas mejoran con coaching, práctica y feedback. Los agentes de IA mejoran con correcciones en el conocimiento, cambios de políticas e instrucciones, permisos de herramientas más estrictos y una prueba de regresión que demuestra la corrección. La misma scorecard, dos vías de corrección, un ciclo semanal.
En resumen
- Evalúe a personas y agentes de IA con los mismos criterios básicos (resultado, exactitud, política, tono, derivación), para que sus resultados sean comparables y el cliente reciba un solo estándar.
- Añada un pequeño bloque de criterios propios de cada uno: fundamentación y alcance para el agente de IA, notas del caso y seguimiento para las personas.
- El fallo de una persona suele ser una persona en un día concreto; el fallo de un agente de IA se repite en cada conversación que pasa por la misma configuración, así que la corrección va a la configuración, no a una conversación.
- Compare a ambos solo intención por intención y con la misma combinación de intenciones, o el agente de IA parecerá mejor simplemente porque recibe el trabajo fácil.
- Cada corrección tiene un responsable con nombre y una comprobación: las siguientes conversaciones evaluadas de la persona, o el conjunto de regresión del agente de IA y sus notas en vivo de la semana siguiente.
Cómo construir la scorecard compartida se explica en una scorecard para agentes humanos y de IA, y cómo dirigir una sesión de coaching en qué es el coaching de agentes. Esta guía trata lo que ocurre después de que aparece un fallo.
¿Por qué personas y agentes de IA deben compartir un mismo estándar de calidad?
Personas y agentes de IA deben compartir un mismo estándar de calidad porque el cliente vive un único servicio: un importe de reembolso erróneo duele igual lo haya dado una persona o un bot. Un estándar compartido también le permite decidir, con evidencias y no con tasas de contención, qué intenciones se queda el agente de IA.
Sin él, el agente de IA pasa una prueba más blanda (la contención cuenta como éxito que el cliente no llegara a una persona, no que la respuesta fuera correcta), a las personas se las culpa de traspasos tardíos y sin contexto, y nadie puede decidir si el bot debe quedarse con las reclamaciones de garantía.
Los helpdesks ya lo ofrecen como funcionalidad. Kustomer describe una única scorecard ponderada en la que “esa misma scorecard evalúa cada conversación, tanto del agente de IA como del agente humano” (Kustomer, en inglés). La scorecard es la parte fácil; lo difícil es qué hace con un criterio no superado.
¿Qué criterios de la scorecard se aplican a ambos y cuáles solo a uno?
Resultado, exactitud, política, verificación de identidad, tono y derivación se aplican a ambos, con la misma redacción y el mismo peso. La fundamentación en su contenido, mantenerse dentro del alcance y reconocer la incertidumbre van en un bloque del agente de IA. Las notas del caso y las promesas cumplidas van en un bloque humano. Evalúe el núcleo compartido para comparar y presente los bloques al lado.
| Criterio | Personas | Agente de IA | Por qué |
|---|---|---|---|
| Problema resuelto o siguiente paso claro | Sí | Sí | El resultado para el cliente es el mismo trabajo |
| Todos los datos correctos | Sí | Sí | Un dato erróneo cuesta lo mismo en ambos casos |
| Política cumplida (reembolsos, créditos, excepciones) | Sí | Sí | La política no cambia según quién atienda |
| Identidad verificada antes de los datos de la cuenta | Sí | Sí | Mismo riesgo, misma regla |
| El tono se ajusta al cliente y a la marca | Sí | Sí | La misma voz de marca |
| La derivación transmite el contexto | Sí | Sí | Ambos derivan, ambos reciben |
| Respuesta basada en su contenido publicado | No | Sí | Las personas usan su criterio; un modelo puede inventar |
| Se mantiene dentro de las intenciones y acciones permitidas | No | Sí | El alcance es una configuración del bot |
| Dice “no lo sé” en lugar de adivinar | Rara vez | Sí | Adivinar es el fallo típico del agente de IA |
| Las notas del caso permiten continuar a la siguiente persona | Sí | No | El paquete de derivación del agente de IA cubre esto |
| El seguimiento prometido se realizó | Sí | No | Normalmente solo las personas prometen devolver la llamada |
Algunos criterios humanos no tienen sentido para un bot (cumplimiento del horario, trabajo posterior al contacto); nuestra scorecard de agentes de IA indica qué quitar y qué añadir. La regla que importa: un criterio compartido tiene una sola definición. Si “política cumplida” significa algo más laxo para el agente de IA, la comparación desaparece.
¿Por qué el mismo fallo necesita dos correcciones distintas?
Porque la causa está en lugares distintos. Una persona que se equivoca con una regla de reembolso tiene una carencia de conocimiento, de habilidad o de hábito, y el coaching la cierra. Un agente de IA que se equivoca funciona con una configuración que produce el error (contenido, instrucciones, herramientas o enrutamiento), y solo cambiar la configuración lo corrige.
| Agente humano | Agente de IA | |
|---|---|---|
| Cómo se extiende un fallo | Una persona, parte del tiempo | Cada conversación que pasa por la misma configuración |
| Dónde está la causa | Conocimiento, habilidad, criterio, carga de trabajo | Fuente de conocimiento, instrucciones, reglas de política, permisos de herramientas, enrutamiento |
| Cómo mejora | Feedback, práctica, un ejemplo que copiar, tiempo | Un cambio en la configuración, probado antes de publicarlo |
| Cómo puede salir mal una corrección | Rara vez; una habilidad trabajada en coaching se queda | A menudo; una instrucción nueva puede romper tres intenciones que antes funcionaban |
La última fila es la razón por la que las correcciones de un agente de IA necesitan una prueba de regresión: una instrucción o un artículo modificados pueden arreglar un caso y romper otros que antes se superaban. La guía de Anthropic sobre evaluaciones de agentes dice que las evaluaciones de regresión “deberían tener una tasa de aprobación cercana al 100%” y que, para empezar un conjunto de evaluaciones, “de 20 a 50 tareas sencillas extraídas de fallos reales son un gran punto de partida” (Anthropic, en inglés). En un equipo de soporte, esas tareas salen de sus propias conversaciones evaluadas.
Las personas, en cambio, aprenden de lo que les funciona a otros. Un estudio con 5.179 agentes de atención al cliente constató que un asistente de IA aumentó los casos resueltos por hora un 14% de media y un 34% en los trabajadores noveles y menos cualificados, con indicios de que difundía las prácticas de los mejores agentes (Brynjolfsson, Li y Raymond, NBER, en inglés). Hacer coaching con la mejor conversación de un compañero usa el mismo mecanismo.
Hay una causa compartida que es fácil pasar por alto: personas y agentes de IA suelen leer las mismas páginas del centro de ayuda y de políticas. Cuando ambos fallan en la misma intención, la corrección suele ser un artículo o una política. Nuestra guía sobre por qué fallan las conversaciones con IA rastrea esas causas raíz.
El mismo fallo, dos correcciones (copie esta tabla)
Esta tabla relaciona un criterio no superado con la corrección para una persona, la corrección para un agente de IA y la forma de demostrar que cada una funcionó. Úsela como hoja de triaje en su revisión semanal; la columna de comprobación convierte una corrección en un punto cerrado y no en una esperanza.
| Fallo visto en la scorecard | Corrección para la persona | Corrección para el agente de IA | Cómo comprobarlo |
|---|---|---|---|
| Dato erróneo (plazo de reembolso de 60 días cuando la política dice 30) | Mostrar la política y la conversación; dos casos de práctica de la misma intención; corregir la macro si está mal | Corregir o retirar el artículo desactualizado que leyó el agente; eliminar las versiones contradictorias | Persona: exactitud en las 20 siguientes conversaciones evaluadas de esa intención. IA: la conversación fallida se convierte en caso de prueba, el conjunto completo se supera, exactitud en vivo de la intención la semana siguiente |
| Incumplimiento de la política (crédito de cortesía por encima del límite aprobado) | Coaching sobre el límite y la vía de aprobación; un paso de visto bueno del responsable para las excepciones | Limitar el importe en la propia herramienta de reembolsos, no solo en las instrucciones; reformular la regla de la política | Persona: ningún incumplimiento en 4 semanas. IA: un caso de prueba que presiona para obtener un crédito mayor falla de forma segura; los logs de la herramienta no muestran nada por encima del tope |
| Escalamiento que no se hizo o llegó tarde (una amenaza legal se quedó en el bot) | Role-play de los disparadores de escalamiento; añadirlos a la lista de comprobación | Añadir el disparador a las reglas de escalamiento; enviar la intención a personas si salta el disparador | Persona: el criterio de escalamiento se supera en los casos marcados. IA: los casos de prueba con cada frase disparadora derivan a la primera mención |
| Derivación sin contexto (el cliente repite su historia) | Plantilla de notas del caso; revisar una derivación juntos | Añadir el número de pedido, la intención y los pasos intentados al resumen de la derivación | El agente que recibe el caso no vuelve a preguntar, evaluado en las 20 siguientes derivaciones |
| Tono frío con un cliente molesto | Escuchar un buen ejemplo de un compañero; practicar reconocer primero la situación | Añadir instrucciones de tono y dos respuestas de ejemplo para sentimiento negativo | Tasa de aprobación del tono en conversaciones con sentimiento negativo, antes y después |
| Cerrado pero no resuelto | Hábito de confirmar antes de cerrar; revisar los casos reabiertos | Definir en las instrucciones qué significa “resuelto” para cada intención; dejar de terminar con una despedida genérica | Tasa de reapertura en 7 días en esa intención, más el criterio de resolución |
| Datos de la cuenta compartidos antes de verificar la identidad (error crítico) | Reunión uno a uno el mismo día; repaso de cumplimiento normativo | Hacer que la herramienta de consulta de la cuenta exija una marca de verificación, aplicada en la integración, no en el prompt | Persona: cero repeticiones. IA: los casos de prueba adversariales no pueden llegar a los datos de la cuenta; cero casos en vivo |
| Adivinó una respuesta que no sabía | Hacer aceptable “lo compruebo y le respondo”; mostrar dónde buscar | Indicar y probar la respuesta alternativa; registrar la pregunta como laguna de conocimiento | Las preguntas de prueba sin respuesta en la base de conocimiento reciben la respuesta alternativa; la laguna se cubre |
Destacan dos patrones. Las correcciones del agente de IA se apoyan en límites estrictos (un tope en la herramienta, una marca obligatoria) siempre que un fallo es caro, como aconseja la guía de OWASP sobre la agencia excesiva: funciones y permisos mínimos, y “exigir que una persona apruebe las acciones de alto impacto antes de que se ejecuten” (OWASP); nuestra guía sobre los guardrails de agentes de IA explica qué límites deben ir en el código. Y las correcciones humanas son pequeñas: una intención, un ejemplo, un caso de práctica. Una sesión que cubre diez criterios a la vez no cambia ninguno.
Vea a ambos en una sola scorecard. Kaizo evalúa las conversaciones de los agentes de IA con la misma scorecard que a su equipo y enlaza cada nota con las líneas que la justifican, para que cada fallo sea un ejemplo que alguien pueda corregir. Reserve una demo.
¿Cómo se comparan con justicia los resultados de personas y agentes de IA?
Compare los resultados de personas y agentes de IA intención por intención en el núcleo compartido y después pondere ambos con la misma combinación de intenciones. Una media en bruto muestra sobre todo quién recibió el trabajo fácil. Compare solo las intenciones en las que ambos atendieron suficientes conversaciones, y atribuya una derivación fallida al lado en el que empezó el fallo.
Esta es una ilustración con cifras inventadas para mostrar el cálculo, no datos de clientes. El criterio es “política cumplida”, como tasa de aprobación:
| Intención | Conversaciones del agente de IA | Tasa de aprobación del agente de IA | Conversaciones de personas | Tasa de aprobación de personas |
|---|---|---|---|---|
| Devoluciones | 4.000 | 97% | 500 | 95% |
| Reclamaciones de garantía | 500 | 80% | 2.000 | 92% |
| Total en bruto | 4.500 | 95,1% | 2.500 | 92,6% |
Los totales en bruto dicen que el agente de IA es 2,5 puntos mejor. Ahora pondere ambos con la combinación conjunta, 4.500 devoluciones y 2.500 reclamaciones de garantía sobre 7.000:
| Tasa de aprobación ajustada por combinación | Cálculo | Resultado |
|---|---|---|
| Agente de IA | (4.500 x 97 + 2.500 x 80) / 7.000 | 90,9% |
| Equipo humano | (4.500 x 95 + 2.500 x 92) / 7.000 | 93,9% |
Con la misma combinación, el equipo humano es 3,0 puntos mejor. La lectura útil es por intención, y apunta a una corrección, no a un veredicto: el agente de IA va bien en devoluciones pero falla una de cada cinco reclamaciones de garantía, así que la garantía entra en el ciclo semanal. ¿Está claro el artículo, tiene el agente la fecha de compra, debería la intención ir a personas hasta que se supere?
Tres reglas más mantienen honesta la comparación:
- Volumen mínimo. Por debajo de unas 50 conversaciones evaluadas en uno de los lados durante el periodo, indique “datos insuficientes” (es nuestro punto de partida sugerido, no una ley estadística).
- Atribución de las derivaciones. Cuando una conversación pasa del agente de IA a una persona, etiquete el lado en el que se produjo el primer criterio no superado, o las personas cargarán con los fallos del bot. El QA del recorrido del cliente explica cómo evaluar un caso a través de quienes lo atienden.
- El mismo evaluador. Evalúe ambos lados de la misma forma. Un equipo revisado por personas frente a un bot evaluado automáticamente vuelve a ser dos estándares.
¿Quién es responsable de cada corrección?
Cada corrección necesita un único responsable con nombre: los team leads para las carencias de habilidades de las personas, el responsable del agente de IA (a menudo un diseñador conversacional o un responsable de operaciones de CX) para las instrucciones y la configuración de las herramientas, el gestor del conocimiento para los artículos que leen ambos lados, el responsable de la política para la regla en sí y el responsable de QA para la scorecard.
| Causa encontrada | Responsable | Necesita la aprobación de | Se aplica a |
|---|---|---|---|
| La habilidad o el hábito de una persona | Team lead | Nadie | Personas |
| El mismo fallo en varias personas | Team lead más el responsable del proceso o del conocimiento | Responsable de soporte | Personas (y a menudo la IA) |
| Artículo erróneo, inexistente o contradictorio | Gestor del conocimiento | Responsable de la política si la regla cambia | Ambos |
| Política poco clara o contradictoria | Responsable de la política (finanzas, legal, CX) | Head of CX | Ambos |
| Instrucciones o prompt del agente de IA | Responsable del agente de IA | El responsable de QA valida la ejecución de regresión | Agente de IA |
| Permisos y límites de las herramientas | Responsable del agente de IA | IT o seguridad | Agente de IA |
| Reglas de escalamiento y enrutamiento | Operaciones de CX | Head of CX | Ambos |
| Un criterio que evalúa lo que no es | Responsable de QA | Grupo de calibración | Ambos |
La columna de aprobación es la más importante para los cambios del agente de IA: una edición del prompt llega a todas las conversaciones al minuto siguiente, así que recibe la misma disciplina de publicación que un cambio de política (la gestión de políticas de agentes de IA explica quién valida cada regla). El AI Risk Management Framework del NIST se basa en cuatro funciones: gobernar, mapear, medir y gestionar (NIST, en inglés); esta tabla es la versión de “gobernar” de un equipo de soporte.
¿Cómo es el ciclo de mejora semanal?
Un mismo ritmo para ambos lados: reúna los fallos de la semana por criterio e intención, decida si cada uno es de una persona, de un proceso o de la configuración del agente de IA, asigne el responsable, corrija y compruebe las correcciones de la semana pasada. Las personas reciben coaching en pocos días; los cambios del agente de IA se publican solo después de superar su conjunto de regresión.
| Día | Paso | Lado humano | Lado del agente de IA |
|---|---|---|---|
| Lunes | Reunir los fallos | Criterios no superados por persona e intención | Criterios no superados por intención, con las conversaciones |
| Lunes | Triaje | ¿Una persona o muchas? | ¿Configuración, conocimiento o política? |
| Martes | Asignar | Una tarjeta de coaching por persona, uno o dos criterios cada una | Un ticket por patrón, con las conversaciones fallidas adjuntas |
| Martes a miércoles | Corregir | Reuniones uno a uno de 15 minutos, casos de práctica, ejemplos de compañeros | Cambio hecho; conversaciones fallidas añadidas como casos de prueba; ejecución del conjunto de regresión completo |
| Jueves | Publicar | No hace falta | Publicar solo si se supera el control; registrar el cambio y la fecha |
| Lunes siguiente | Comprobar | Mismo criterio, misma persona, últimos 7 días | Mismo criterio, misma intención, últimos 7 días |
El paso de triaje necesita una regla de decisión. La nuestra:
- Falla una persona y las demás superan la misma intención: haga coaching a esa persona.
- Tres o más personas fallan el mismo criterio en la misma intención: deje el coaching y revise el artículo, la macro o el proceso. Hacer coaching a diez personas en torno a un artículo roto es la corrección más cara que existe.
- Falla el agente de IA y las personas lo superan: corrija la configuración del agente de IA.
- Fallan ambos en la misma intención: corrija una sola vez la fuente compartida (el artículo o la política) y compruebe ambos lados la semana siguiente.
El coaching redactado por IA ahorra la búsqueda de ejemplos si un responsable revisa cada tarjeta (coaching con IA para agentes de soporte tiene la lista de comprobación); la disciplina de pruebas del lado de la IA está en pruebas de agentes de IA.
¿Cómo se demuestra que una corrección funcionó, para una persona y para un agente de IA?
Demuestre una corrección humana evaluando el mismo criterio en las siguientes conversaciones de esa persona en la misma intención, durante 2 a 4 semanas. Demuestre dos veces la corrección de un agente de IA: antes de publicarla, las conversaciones fallidas y el conjunto de regresión completo se superan; después de publicarla, el mismo criterio en la misma intención se supera en la evaluación en vivo de la semana siguiente.
| Corrección humana | Corrección del agente de IA | |
|---|---|---|
| Antes de que la corrección cuente | Nada; el coaching no se puede probar de antemano | El conjunto de regresión se supera, con los casos críticos ejecutados 3 veces y superados todas ellas |
| Después | Mismo criterio, misma intención, las 20 o más siguientes conversaciones evaluadas | Mismo criterio, misma intención, la semana siguiente de conversaciones en vivo |
| Qué esperar | Un cambio gradual en 2 a 4 semanas | Un cambio brusco, o nada |
| Si no funcionó | Una segunda sesión con otro ejemplo, y después revisar la carga de trabajo o el proceso | Reabrir el ticket; la causa probablemente estaba en otra parte de la configuración |
Los casos críticos se ejecutan varias veces porque un modelo puede superar un caso una vez y fallarlo en la siguiente ejecución. Anthropic llama pass^k a la medida “todas las ejecuciones se superan” y señala que baja a medida que aumenta el número de ejecuciones (Anthropic, en inglés); para una verificación de identidad, “se supera siempre” es el único listón aceptable. Estos umbrales son puntos de partida sugeridos; fije los suyos antes de la primera revisión. La evaluación en vivo de todas las conversaciones cierra el ciclo, ya que una muestra del 2% puede darle tres datos por intención a la semana. La evaluación de agentes de IA explica cómo encajan las evaluaciones previas a la publicación y la evaluación en vivo.
¿Sustituirán los agentes de IA a los agentes humanos de soporte?
Los agentes de IA están asumiendo las intenciones de gran volumen y bien documentadas, y el trabajo humano se desplaza hacia las excepciones, las decisiones que requieren criterio, los clientes molestos y las derivaciones. Surgen nuevos roles en torno al agente de IA (un responsable de su configuración, un gestor del conocimiento, QA para ambos lados), y el estándar de calidad sigue siendo el mismo.
Ese cambio transforma el coaching. Cuando las devoluciones rutinarias pasan al agente de IA, las personas atienden de media conversaciones más difíciles, y sus notas pueden bajar sin que cambie su habilidad. Presente las notas de las personas por intención, o hará coaching por un cambio en la combinación de intenciones.
Cuándo este enfoque no es para usted
Este ciclo da por hecho un volumen semanal, una scorecard en la que confía y un agente de IA cuyo contenido, instrucciones y herramientas puede cambiar. Es más de lo que necesita si su agente de IA atiende unas pocas decenas de conversaciones a la semana (léalas todas y corrija lo que vea), si todavía no tiene scorecard (construya primero el núcleo compartido) o si su equipo tiene menos de cinco personas.
Si el agente de IA es una caja cerrada, su lado del ciclo se convierte en un ticket a su proveedor: mantenga la evaluación y ponga las evidencias en ese ticket.
Cómo empezar esta semana
Empiece en pequeño: dos intenciones, un núcleo compartido, las conversaciones del mes pasado y una franja de revisión el próximo lunes. Basta para aplicar la regla de triaje a fallos reales y cerrar sus primeras correcciones en ambos lados en una semana.
- Elija dos intenciones que atiendan tanto las personas como el agente de IA, una fácil y una difícil.
- Acuerde el núcleo compartido para esas intenciones: resultado, exactitud, política, identidad, tono, derivación. Una definición para cada uno.
- Evalúe las conversaciones del mes pasado de ambos lados y complete la tabla ajustada por combinación de arriba.
- Aplique la regla de triaje a los tres fallos más grandes. Escriba el responsable al lado de cada uno.
- Use la tabla “el mismo fallo, dos correcciones” para cada fallo, incluida la columna de comprobación.
- Reserve una revisión de 30 minutos para el próximo lunes para comprobar las correcciones de esta semana con el mismo criterio.
Kaizo es una forma de llevar el lado de la evaluación de este ciclo. AutoPilot evalúa cada conversación con su propia scorecard cuando se resuelve, con un comentario que explica la nota; en Zendesk, eso incluye las conversaciones que atienden los agentes de IA de Zendesk, con la misma scorecard que su equipo. Para las personas, el coaching de Kaizo redacta la tarjeta de coaching de cada agente a partir de sus evaluaciones, enlazada con las conversaciones que la justifican, y un responsable la aprueba antes de que la vea el agente. Si quiere verlo con sus propias conversaciones, QA de agentes de IA muestra cómo funciona el lado del agente de IA.
Preguntas frecuentes
¿Qué es la colaboración entre personas e IA en atención al cliente?
Es una organización en la que agentes de IA y personas comparten el trabajo: los agentes de IA suelen asumir las intenciones de gran volumen y bien documentadas, y las personas se encargan de las excepciones, los casos con carga emocional y las derivaciones. Funciona cuando a ambos se les exige un mismo estándar de calidad y la derivación transmite el contexto.
¿Se puede hacer coaching a un agente de IA?
No en el sentido humano: un agente de IA no aprende de una conversación de feedback. Mejora cuando alguien cambia su fuente de conocimiento, sus instrucciones, sus reglas de política, los permisos de sus herramientas o su enrutamiento, y prueba que el cambio corrigió el caso sin romper otros.
¿Aprenden los agentes de IA de sus propios errores en producción?
La mayoría de los agentes de IA de soporte no cambian por sí solos su comportamiento de una conversación a otra, así que un error se repite hasta que alguien cambia la configuración. Convierta la conversación fallida en un caso de prueba, para que la corrección se pueda demostrar y el error no pueda volver sin que nadie lo note.
¿Hay que evaluar a los agentes de IA y a los agentes humanos con la misma scorecard?
Sí, con un núcleo compartido con la misma redacción y el mismo peso, más un pequeño bloque de criterios propios de cada uno para los fallos que solo tiene un lado, como las respuestas inventadas en el caso del agente de IA.
¿Cuántas conversaciones de un agente de IA debe revisar una persona?
Si un evaluador automático cubre todas las conversaciones, las personas revisan los fallos, cada error crítico y una muestra de conversaciones aprobadas para comprobar al evaluador. Sin él, revise suficientes por intención para ver patrones semanales; unos pocos puntos porcentuales repartidos entre todas las intenciones suelen pasar por alto los errores repetidos en las más pequeñas.
