Las alucinaciones de agentes de IA se detectan comprobando cada respuesta del bot con su propio contenido y su política, no esperando a que lleguen las quejas. Evalúe cada conversación del agente de IA con criterios de respaldo en el contenido y de política, lea primero los temas de dinero y rastree cada alucinación confirmada hasta el artículo o la regla que la causó, para que el segundo cliente no reciba la misma respuesta equivocada.
En pocas palabras
- Una alucinación de un agente de IA es una respuesta segura que su contenido no respalda: una política inventada, una cifra equivocada, una acción que el bot nunca realizó.
- La respuesta equivocada sobre un reembolso es la más peligrosa, porque el cliente actúa en consecuencia y la empresa sigue siendo responsable.
- Las muestras no detectan las alucinaciones: en un ejemplo práctico, una muestra del 2% tiene un 23% de probabilidades de no mostrar ninguna de 72 respuestas equivocadas sobre reembolsos.
- Una rutina de seis pasos las detecta: listar las afirmaciones de riesgo, escribir criterios comprobables, evaluar con su contenido, evaluarlo todo, clasificar por gravedad y corregir en el origen.
- El QA posterior a la conversación no puede evitar la primera respuesta equivocada. Evita las cien siguientes, que es donde está el coste.
Si tiene agentes de IA atendiendo a clientes, nuestra página de QA de agentes de IA muestra cómo Kaizo evalúa cada conversación de un agente de IA con sus propios criterios, incluidas comprobaciones de hechos y políticas inventados. Esta guía es el método, sea cual sea la herramienta que use.
¿Qué es una alucinación de un agente de IA en atención al cliente?
Una alucinación de un agente de IA es una respuesta que suena segura pero es falsa o no está respaldada por su contenido. En atención al cliente suele tomar la forma de una política, un precio, una promesa o un dato sobre el que el cliente actúa después.
El perfil de IA generativa del NIST (julio de 2024) lo llama confabulación: “the production of confidently stated but erroneous or false content (known colloquially as ‘hallucinations’ or ‘fabrications’) by which users may be misled or deceived”, es decir, contenido erróneo o falso presentado con seguridad, que puede inducir a error o engañar a los usuarios. Esa última parte es la que más importa en atención al cliente. Un cliente no puede distinguir una respuesta equivocada dicha con seguridad de una correcta dicha con la misma seguridad.
En atención al cliente, las alucinaciones se dividen en seis tipos. Cada uno necesita una comprobación distinta:
| Tipo | Ejemplo | Cómo comprobarlo |
|---|---|---|
| Política inventada | “Puede solicitar el reembolso en un plazo de 60 días” cuando la política dice 30 | Compararla con el artículo de política que el bot debería haber usado |
| Cifra equivocada | Un precio antiguo, una comisión errónea, un plazo de entrega incorrecto | Comparar cada cifra de la respuesta con la fuente |
| Acción inventada | “He tramitado su reembolso” cuando el bot no puede tramitar reembolsos | Comparar la afirmación con las acciones que el bot puede realizar |
| Excepción inventada | Una comisión condonada o un plazo ampliado que nadie aprobó | Comprobarla con la lista de excepciones que solo puede conceder una persona |
| Dato de producto erróneo | Una función, un límite del plan o una compatibilidad que no es cierta | Compararlo con la documentación del producto |
| Fuente inventada | Un artículo de ayuda, un formulario o un enlace que no existe | Abrir el enlace o buscar el título en el centro de ayuda |
Una alucinación es un tipo de fallo silencioso, esos errores que un panel cuenta como éxitos. Nuestra clasificación de los fallos silenciosos de los agentes de IA cubre los demás, como los escalamientos no realizados y las falsas resoluciones.
¿Por qué la respuesta equivocada sobre un reembolso es la más peligrosa?
Es la más peligrosa porque el cliente actúa en consecuencia y su empresa sigue siendo responsable de lo que dijo su bot. Convierte un error de atención en un coste, una queja o una reclamación legal.
El caso más conocido es Moffatt v. Air Canada (febrero de 2024). El chatbot del sitio web de la aerolínea le dijo a un cliente que podía solicitar una tarifa por duelo después del viaje. La política de la aerolínea no lo permitía, y el propio enlace del chatbot llevaba a una página que lo decía.
El Civil Resolution Tribunal de la Columbia Británica rechazó el argumento de que el chatbot era responsable de sus propios actos. Concluyó que Air Canada no había tomado precauciones razonables para asegurarse de que su chatbot fuera exacto y le ordenó pagar 812,02 dólares canadienses. Una conversación es poco dinero. La misma respuesta repetida a cada cliente que hizo la misma pregunta no lo es.
Los temas de dinero son también donde las alucinaciones parecen más útiles. Un bot que inventa un plazo de reembolso generoso produce un cliente contento, una conversación resuelta y una buena nota de satisfacción, hasta el momento en que se rechaza el reembolso.
¿Por qué las muestras no detectan las alucinaciones de los agentes de IA?
Las muestras no las detectan porque una alucinación sobre un tema es rara en el conjunto de conversaciones, pero se repite dentro de ese tema. Una muestra aleatoria pequeña ve demasiadas pocas conversaciones del tema para mostrar el patrón.
Este es un ejemplo práctico con cifras que hemos elegido para mostrar el cálculo, no datos de un cliente:
| Paso | Cifra |
|---|---|
| Conversaciones del agente de IA en un mes | 40.000 |
| Conversaciones sobre reembolsos (6%) | 2.400 |
| Respuestas sobre reembolsos con una condición inventada (3% de las conversaciones sobre reembolsos) | 72 |
| Muestra aleatoria de QA (2% de todas las conversaciones) | 800 |
| Conversaciones sobre reembolsos que cabe esperar en esa muestra | 48 |
| Respuestas equivocadas sobre reembolsos que cabe esperar en esa muestra | 1,44 |
| Probabilidad de que la muestra no contenga ninguna | 23% |
| Probabilidad de que contenga ninguna o una | 58% |
Las dos probabilidades salen de la distribución binomial: 0,97 elevado a 48 da 0,232, y al sumar la probabilidad de exactamente una se obtiene 0,576. Así que en más de la mitad de los meses sus revisores ven como mucho una respuesta equivocada sobre reembolsos. Una sola parece un caso aislado, y nadie corrige el artículo que hay detrás.
Si evalúa todas las conversaciones, ve las 72, agrupadas en un mismo tema, en la misma semana. Por eso nuestra guía sobre cómo evaluar el 100% de las conversaciones (en inglés) importa más para los bots que para las personas: los errores de una persona se dispersan, mientras que los de un bot se repiten.
Cómo detectar las alucinaciones de agentes de IA: una rutina de seis pasos
Detecte las alucinaciones de agentes de IA en seis pasos: liste las afirmaciones de riesgo, escriba criterios comprobables, evalúe con su propio contenido, evalúe todas las conversaciones, clasifique por gravedad y corrija cada una en su origen. Los pasos 1 a 3 se configuran una sola vez.
Paso 1: liste las afirmaciones que cuestan dinero si son erróneas
Empiece por los temas en los que el cliente actúa según la respuesta: reembolsos, cancelaciones, comisiones, precios, fechas de entrega, requisitos y cambios de cuenta. Para cada tema, anote las afirmaciones que hace el bot, como “plazo de reembolso”, “penalización por cancelación” o “qué planes incluyen X”. Esta lista se convierte en el foco de su scorecard y en su primera cola de revisión.
Paso 2: escriba criterios que un revisor pueda comprobar en la transcripción
Un criterio como “la respuesta es exacta” es demasiado vago para evaluarse igual dos veces. Redáctelo de modo que un revisor, o un evaluador automatizado, pueda señalar la línea que lo cumple o lo incumple:
| Criterio | Se cumple cuando | No se cumple cuando |
|---|---|---|
| Respaldo en nuestro contenido | Cada dato de la respuesta aparece en un artículo de ayuda o una política que publicamos | La respuesta contiene un dato, una cifra o una condición que nuestro contenido no recoge |
| Límites de la política | Los reembolsos, abonos y excepciones se mantienen dentro de la política escrita | El bot ofrece o promete algo que la política no permite |
| Acciones declaradas | El bot solo dice que hizo lo que realmente puede hacer | El bot dice que tramitó, canceló o cambió algo que no puede |
| Incertidumbre | El bot dice que no lo sabe, o deriva, cuando el contenido no tiene respuesta | El bot rellena el vacío con una suposición |
Nuestra guía para redactar una rúbrica de QA que una IA pueda evaluar (en inglés) muestra cómo formular el resto de la scorecard de la misma manera.
Paso 3: evalúe con su propio contenido
Una comprobación de respaldo solo es tan buena como el contenido con el que se compara. Conecte el evaluador al mismo centro de ayuda y a los mismos artículos de política con los que responde el bot, para que “no respaldado por nuestro contenido” tenga un significado preciso.
En Kaizo usted escribe los criterios con sus propias palabras y conecta su base de conocimiento, de modo que la IA juzga cada respuesta según su contenido.
Paso 4: evalúe todas las conversaciones del agente de IA
Evalúelas todas, porque el ejemplo práctico anterior muestra lo que oculta una muestra. AutoPilot de Kaizo evalúa cada conversación con sus criterios cuando se resuelve y añade un comentario que explica la nota. Puede delimitar qué colas, canales o equipos evalúa, para que los temas de dinero estén cubiertos desde el primer día.
Paso 5: clasifique por gravedad, no por fecha
No todas las alucinaciones requieren la misma respuesta. Una regla de gravedad mantiene al equipo centrado en las que cuestan dinero:
| Gravedad | Cómo se manifiesta | Respuesta |
|---|---|---|
| Crítica | Reembolso inventado, comisión condonada, afirmación legal o de seguridad, una promesa que la empresa debe cumplir o retirar | El mismo día: contactar a los clientes afectados, retirar el tema del bot o forzar la derivación hasta corregirlo |
| Alta | Cifra o condición errónea en un tema de dinero, acción inventada | En 2 días laborables: corregir el artículo de origen y volver a evaluar el tema |
| Media | Dato de producto erróneo sin coste asociado, enlace inventado | En la lista semanal de correcciones de contenido |
| Baja | Detalle inofensivo, como un ejemplo erróneo de horario de una tienda | Agrupar con la revisión mensual del contenido |
Paso 6: rastree cada alucinación hasta su origen y vuelva a evaluar
La mayoría de las alucinaciones vienen de algo que se puede corregir: un artículo de ayuda desactualizado, dos artículos que se contradicen, una condición enterrada al final de una página o un tema sin ningún artículo.
Corrija el origen y vuelva a evaluar ese tema durante la semana siguiente para confirmar que la corrección se mantiene. El análisis de causa raíz de Kaizo agrupa los fallos que hay detrás de una caída, de modo que diez respuestas malas de un mismo artículo se convierten en una sola corrección.
¿Qué señales apuntan a una alucinación?
El comportamiento del cliente después de la conversación es la señal de alucinación más barata: contactos repetidos, disputas y rectificaciones de agentes humanos. Use estas señales para elegir qué conversaciones leer primero.
- El cliente vuelve en 7 días por el mismo tema, a menudo por otro canal.
- El cliente cita al bot ante un agente humano: “su asistente me dijo”.
- Un agente humano retira o corrige algo que el bot prometió.
- Una solicitud de reembolso, abono o excepción sigue a una conversación con el bot sobre ese tema.
- La respuesta del bot contiene una cifra, una fecha o un enlace que no aparece en el artículo de origen.
- El cliente protesta (“eso no es lo que dice su sitio web”) y el bot repite lo mismo.
Cada señal es también un criterio de la scorecard o un filtro. Las señales de derivación, en concreto, deben estar en la scorecard, como explica nuestra guía sobre cómo evaluar la derivación a un agente humano.
Lo que no puede hacer el QA posterior a la conversación
El QA posterior a la conversación no puede evitar la primera respuesta equivocada, porque evalúa las conversaciones cuando terminan. Evita que la misma respuesta equivocada llegue a los siguientes clientes y encuentra a quienes ya la recibieron.
Kaizo evalúa las conversaciones una vez terminadas, en el helpdesk donde están. No supervisa el bot en directo ni bloquea una respuesta antes de que se envíe.
Las salvaguardas que funcionan mientras el bot responde, y las pruebas previas al lanzamiento, como las pruebas de regresión de prompts en un pipeline de desarrollo, corresponden al equipo que construye el agente. Son etapas distintas y funcionan en paralelo al QA.
Lo que aporta la evaluación posterior es la parte que las otras etapas no ven: lo que el bot dijo realmente a clientes reales, en cada conversación, con la transcripción detrás de cada hallazgo. Es también la evidencia que necesita para contactar a los clientes que recibieron una respuesta equivocada antes de que se den cuenta por sí mismos.
Cómo empezar a detectar alucinaciones este mes
Empiece con un tema de dinero, cuatro criterios y todas las conversaciones de ese tema durante dos semanas. Basta para encontrar la primera fuente que corregir y para medir su tasa de alucinaciones.
- Elija el tema en el que una respuesta equivocada cuesta más, normalmente reembolsos o cancelaciones.
- Añada los cuatro criterios del paso 2 a la scorecard del bot.
- Evalúe todas las conversaciones del agente de IA sobre ese tema durante dos semanas.
- Cuente las conversaciones que no cumplen un criterio de respaldo o de política y divídalas entre todas las conversaciones del tema. Esa es su tasa de alucinaciones para ese tema.
- Corrija la fuente principal, vuelva a evaluar durante una semana y compare.
Véalo en una demo en vivo. Kaizo evalúa cada conversación de agentes de IA con su propio contenido y sus criterios, y vincula cada criterio incumplido con la línea que lo incumplió. Hablemos.
Preguntas frecuentes
¿Se puede evitar por completo que un chatbot de IA alucine?
Ningún método actual lo garantiza. Basar el bot en su contenido, limitar sus temas y forzar la derivación cuando no tiene respuesta reducen las alucinaciones. Lo que sí puede garantizar es encontrarlas: evalúe cada conversación con su contenido, para que una respuesta equivocada se detecte en las primeras conversaciones en que aparece y no después de una queja.
¿Una base de conocimiento impide que un agente de IA invente cosas?
Reduce el problema, pero no lo elimina. Un bot que responde a partir de su base de conocimiento puede combinar mal dos artículos, usar uno desactualizado o rellenar un vacío donde no hay ningún artículo. Por eso la comprobación de respaldo compara cada respuesta con la fuente, y por eso un artículo desactualizado o inexistente es la causa raíz más habitual.
¿Cómo se mide la tasa de alucinaciones de un agente de IA?
Cuente las conversaciones que no cumplen un criterio de respaldo o de política y divídalas entre todas las conversaciones evaluadas, por tema. Mídala por tema y no en conjunto, porque una tasa global baja puede ocultar una tasa alta en reembolsos. Sígala cada semana mientras corrige las fuentes y cada mes cuando se estabilice.
¿Quién es responsable cuando un chatbot da información errónea a un cliente?
En el caso de Air Canada, la empresa. En febrero de 2024, un tribunal de la Columbia Británica resolvió que la aerolínea era responsable de toda la información de su sitio web, incluidas las respuestas de su chatbot, y le ordenó pagar 812,02 dólares canadienses. Es una sola resolución de reclamaciones menores en una provincia, no una regla general, así que compruebe la legislación del lugar donde opera.
¿Con qué rapidez hay que corregir una alucinación una vez detectada?
Corríjala según su gravedad. Retire un tema crítico del bot o fuerce la derivación el mismo día, y contacte a los clientes que recibieron la respuesta equivocada. Corrija los artículos de origen de gravedad alta en dos días laborables y vuelva a evaluar el tema durante una semana para confirmar que la corrección se mantiene. Las gravedades menores pueden ir a una lista semanal de correcciones de contenido.
