Responsabilidad del chatbot de IA: quién paga sus errores

En la mayoría de los casos, sí: la empresa que pone un agente de IA frente a sus clientes responde de lo que ese agente les dice. En Moffatt contra Air Canada, un tribunal canadiense declaró a la aerolínea responsable de la respuesta errónea de su chatbot, igual que lo habría sido de una página web errónea. Un aviso legal no traslada esa responsabilidad al bot ni a su proveedor.

Este artículo explica los casos, las normas y los controles prácticos para los líderes de soporte. Es información general, no asesoramiento jurídico: para su mercado y sus contratos, consulte a un abogado.

En resumen

• La responsabilidad por un chatbot de IA parte de una regla antigua: una empresa responde de la información que da a sus clientes, sea cual sea el canal o el sistema que la da.
• En Moffatt contra Air Canada (2024), el tribunal calificó la idea de que un chatbot es responsable de sus propios actos de “una alegación notable” y ordenó pagar a la aerolínea.
• Un aviso del tipo “la IA puede cometer errores” no es un escudo: las normas sobre cláusulas abusivas, las de responsabilidad por productos y los reguladores limitan lo que puede lograr.
• Cuando un cliente impugna una promesa de la IA, la parte que tiene la transcripción, la versión de la política y la versión del agente vigentes ese día está en mejor posición.
• La regla operativa más segura es cumplir, corregir y revisar: mantener las promesas razonables, contactar a todos los que recibieron la misma respuesta errónea y corregir la causa antes de la siguiente conversación.

¿Es una empresa responsable de lo que su chatbot de IA dice a los clientes?

Sí, en el caso resuelto que más se cita. En Moffatt contra Air Canada, el Civil Resolution Tribunal de la Columbia Británica trató el chatbot como parte del sitio web de la aerolínea y la declaró responsable por declaración negligente (negligent misrepresentation) cuando un cliente se basó en su respuesta errónea.

Los hechos son sencillos (resolución 2024 BCCRT 149, en inglés, dictada el 14 de febrero de 2024). En noviembre de 2022, tras un fallecimiento en la familia, un cliente preguntó al chatbot del sitio web de Air Canada por las tarifas por duelo. El chatbot le dijo que podía reservar ya y presentar el billete para obtener una tarifa reducida en un plazo de 90 días desde su emisión, incluso después del viaje. La página de tarifas por duelo enlazada decía lo contrario. Un representante de Air Canada reconoció después en un correo que el chatbot había usado “palabras engañosas” (párrafo 22).

El tribunal examinó la reclamación según los cinco elementos de la declaración negligente (párrafo 25). Cada uno se corresponde con una conversación de soporte:

Air Canada alegó que no podía ser responsable de su chatbot. El tribunal respondió: “Debería ser obvio para Air Canada que es responsable de toda la información de su sitio web. No hay ninguna diferencia entre que la información proceda de una página estática o de un chatbot” (párrafo 27). La condena ascendió a 812,02 dólares canadienses con intereses y tasas (párrafo 44).

Conviene verlo en su justa medida. Es una resolución de reclamaciones de menor cuantía en una provincia canadiense, no vincula a ningún tribunal de otro lugar y no examinó si el proveedor del chatbot debía algo a la aerolínea. Su valor está en el razonamiento, que aplica las reglas ordinarias con las que ya convive toda empresa. Para el modelo operativo en torno a esto, empiece por la guía de gobernanza de agentes de IA.

¿Quién es responsable cuando la IA se equivoca: la empresa, el proveedor o la IA?

Frente al cliente, la empresa que despliega el agente de IA es responsable en la mayoría de las situaciones, porque el agente habla en su nombre. La IA en sí no es una persona jurídica. La parte del proveedor la decide sobre todo su contrato y, en la UE, las normas de responsabilidad por productos, que cubren los daños personales, los daños materiales y la pérdida de datos, no una respuesta errónea sobre un reembolso.

Tres capas deciden quién paga:

1. Usted y el cliente. El derecho de consumo, el derecho contractual y las normas sobre declaraciones engañosas se aplican a lo que dicen sus canales. El cliente no necesita saber qué proveedor creó el modelo.
2. Usted y el proveedor. Las garantías, las indemnizaciones y los límites de responsabilidad del contrato con el proveedor deciden si puede recuperar una pérdida. Muchas condiciones de proveedores limitan o excluyen la responsabilidad por la exactitud de las respuestas, así que léalas antes del lanzamiento, no después de un incidente.
3. La capa europea de responsabilidad por productos. La nueva Directiva sobre responsabilidad por los daños causados por productos defectuosos, la Directiva (UE) 2024/2853, establece que los programas informáticos son productos (artículo 4, apartado 1), tanto si funcionan en un dispositivo como en la nube o como servicio (considerando 13). Se aplica a los productos introducidos en el mercado o puestos en servicio después del 9 de diciembre de 2026 (artículo 2, apartado 1), la misma fecha en la que los Estados miembros deben haberla incorporado a su derecho nacional (artículo 22, apartado 1).

La directiva importa menos para el soporte de lo que sugieren los titulares. Cubre la muerte, los daños personales, incluidos los daños a la salud psicológica, los daños a bienes y la destrucción o corrupción de datos no utilizados con fines profesionales (artículo 6). El considerando 24 indica que la pérdida puramente económica no genera por sí sola responsabilidad con arreglo a ella. Una promesa errónea sobre un reembolso o una tasa es una pérdida puramente económica, así que se queda en el ámbito del derecho de consumo y del derecho contractual. Cuando la directiva sí se aplica, la responsabilidad frente a la persona perjudicada no puede limitarse ni excluirse mediante una cláusula contractual (artículo 15).

Aquí importa la diferencia entre un chatbot y un agente de IA. Un chatbot que solo responde hace declaraciones. Un agente que emite reembolsos, cancela pedidos o modifica cuentas también genera transacciones, así que un error ya no es solo una respuesta engañosa: es una acción que sus sistemas ejecutaron. Por eso las acciones que un agente puede realizar solo deben estar en una matriz de autonomía, no solo en el prompt.

¿Protege a la empresa un aviso del tipo “la IA puede cometer errores”?

Poco, y no por sí solo. Un aviso puede ayudar a los clientes a valorar una respuesta y contribuye a cumplir los deberes de transparencia, pero no convierte en exacta una respuesta engañosa. Los tribunales y los reguladores miran lo que se dijo al cliente y si era razonable fiarse de ello, y el derecho de consumo limita las cláusulas que trasladan ese riesgo al cliente.

Cuatro límites aparecen una y otra vez:

• La confianza razonable sobrevive a un enlace. La respuesta del chatbot de Air Canada enlazaba a la página correcta de la política. Aun así, el tribunal se preguntó por qué los clientes “tendrían que comprobar en una parte de su sitio web la información encontrada en otra” (párrafo 28).
• Las condiciones deben probarse y ser justas. Air Canada invocó sus condiciones tarifarias pero no aportó el texto pertinente, así que “no ha probado una defensa contractual” (párrafo 31). En el Reino Unido, una cláusula abusiva en un contrato con un consumidor “no vincula al consumidor” (Consumer Rights Act 2015, sección 62, en inglés).
• Cierta responsabilidad no puede excluirse en absoluto. Con la Directiva europea sobre responsabilidad por productos, una cláusula contractual no puede limitar ni excluir la responsabilidad frente a la persona perjudicada (artículo 15).
• Los reguladores miran más allá de las etiquetas. Cuando la FTC anunció su operación Operation AI Comply el 25 de septiembre de 2024, su entonces presidenta, Lina Khan, afirmó que “no hay ninguna excepción para la IA en las leyes vigentes”.

Un aviso que informa a los clientes de que hablan con una IA es otra cosa, y en la UE ahora es obligatorio. Manténgalo, y que sea honesto. Pero no lo trate como el control que le evita problemas. El control es un agente que no hace la promesa equivocada.

¿Qué esperan las normas de EE. UU., la UE y el Reino Unido de los agentes de IA en atención al cliente?

Las tres esperan el mismo comportamiento básico: decir la verdad a los clientes, no inducirles a error y seguir siendo responsable de los sistemas que les hablan. La UE añade un deber explícito de informar sobre la IA, la FCA británica aplica su Consumer Duty a las entidades financieras que usan IA, y los reguladores de EE. UU. aplican la legislación de protección del consumidor vigente a las afirmaciones sobre IA y a los fallos de los chatbots.

Las expectativas británicas son las más concretas para los equipos de soporte de entidades reguladas. En su AI Update de abril de 2024 (en inglés), la FCA escribió que los chatbots de IA pueden ayudar a los clientes a entender los productos, pero que “las entidades deben tener en cuenta sus obligaciones con arreglo al Consumer Duty” (párrafo 3.25). Remite a las normas sobre la comprensión del consumidor para atender sus necesidades de información (párrafo 3.36), y dice que en los bancos, las aseguradoras y las entidades sujetas al SM&CR reforzado, cualquier uso de la IA en un área de negocio entra en las responsabilidades de un Senior Manager (párrafo 3.40). En la práctica: un responsable con nombre por agente, datos de resultados sobre sus conversaciones y constancia de que el consejo los revisó.

El informe de la CFPB aclara que no es una interpretación de ninguna norma. Para el detalle europeo, incluidas las categorías de riesgo y las fechas, consulte la guía sobre el Reglamento de IA en atención al cliente.

¿Qué compromisos puede asumir un agente de IA con los clientes?

Un agente de IA puede explicar la política con las palabras del texto aprobado, confirmar datos que un sistema acaba de devolver y comprometerse con un resultado solo cuando una herramienta lo ha ejecutado dentro de sus límites. Nunca debe conceder excepciones, prometer compensaciones, dar asesoramiento jurídico o financiero ni citar una fecha o un importe que no haya obtenido de un sistema.

La tabla funciona porque convierte “ser exacto” en reglas que un revisor puede comprobar en una transcripción. El conjunto completo de límites, con cifras por acción, está en la guía de guardrails de agentes de IA, y los tipos de respuestas inventadas que hay que buscar, en cómo detectar las alucinaciones de los agentes de IA.

¿Qué pruebas necesita cuando un cliente impugna una promesa de la IA?

Necesita demostrar qué dijo el agente, palabra por palabra y con fecha y hora, qué política y qué contenido debía usar ese día, qué versión del agente funcionaba, qué hizo realmente cualquier herramienta y cómo se comprobó la conversación. Sin ese registro, la captura de pantalla del cliente es la única prueba, y normalmente gana.

La resolución de Air Canada muestra lo que cuesta un expediente vacío. El cliente aportó una captura de pantalla de la respuesta del chatbot. La aerolínea “no aportó ninguna información sobre la naturaleza de su chatbot” (párrafo 14), no presentó las condiciones tarifarias que invocaba (párrafo 31) y no ofreció ninguna prueba de la tarifa por duelo real, así que el tribunal extrajo una inferencia desfavorable y usó la cifra del cliente (párrafo 36).

Conserve estos siete registros de cada conversación de un agente de IA, durante el tiempo que indiquen sus equipos de reclamaciones y jurídico:

1. La transcripción completa, sin editar, con fecha, hora y canal.
2. La versión del agente: modelo, prompt o instrucciones y configuración vigentes.
3. La versión del contenido: qué artículos de ayuda y textos de política podía usar el agente ese día.
4. Las llamadas a herramientas y sus resultados: qué pidió el agente a un sistema y qué devolvió el sistema.
5. El aviso de IA que vio el cliente, y si se le ofreció un traspaso a una persona.
6. El registro de revisión: nota, revisor o comprobación automática, y cualquier alerta generada.
7. El registro de correcciones: qué cambió tras una alerta, cuándo y quién lo aprobó.

El registro más difícil de reconstruir a posteriori es el vínculo entre fechas y versiones: “¿qué plazo de devolución aplicó el agente el 3 de marzo?”. Anótelo en cada versión. La gestión de políticas de agentes de IA explica cómo mantener sincronizadas las versiones de las políticas y el contenido del agente.

¿Cómo gestionar una promesa errónea de su agente de IA?

Cumplir, corregir, revisar. Cumpla la promesa cuando el cliente se haya basado razonablemente en ella y el coste sea proporcionado. Corríjala con todos los demás clientes que recibieron la misma respuesta, antes de que actúen. Revise la causa y confirme la corrección en las conversaciones nuevas. Litigar una sola reclamación pequeña suele costar más de lo que ahorra.

Cumplir. Fije de antemano una regla escrita, cuyo responsable sea el responsable de CX junto con el área jurídica: por ejemplo, cumplir cualquier promesa de un agente de IA por debajo de un importe fijado cuando el cliente haya actuado según ella, y enviar las mayores a un aprobador con nombre en un día laborable. Air Canada ofreció un cupón de 200 dólares, que el cliente no aceptó, y el tribunal se negó a descontarlo (párrafo 41). Un gesto comercial no es un acuerdo salvo que el cliente lo acepte.

Corregir. Busque o evalúe todas las conversaciones sobre el mismo tema desde que empezó el error, haga la lista de los clientes que recibieron la respuesta errónea y contacte con los que todavía no han actuado. La auditoría de la tasa de resolución de los agentes de IA explica cómo comprobar si las conversaciones “resueltas” se resolvieron de verdad.

Revisar. Encuentre la causa (un artículo desactualizado, una regla que falta, un cambio en el prompt), corríjala, vuelva a probar y compruebe las siguientes conversaciones sobre ese tema para confirmar que la corrección se mantiene.

Un ejemplo práctico muestra por qué compensa el paso de corregir. Las cifras son una ilustración, no datos de una empresa real.

• Un agente de IA gestiona 300 conversaciones de baja al día. Una actualización del contenido da por error un plazo de 60 días para el reembolso completo; la política es de 30 días.
• El error dura 12 días: 3.600 conversaciones de baja. En el 15% de ellas, el cliente está entre el día 31 y el día 60, y el agente le dice que todavía puede obtener el reembolso completo: 540 clientes.
• Si el 40% de ellos actúa antes de que nadie lo note, llegan 216 solicitudes de reembolso. Con una media de 90 USD, cumplirlas cuesta 19.440 USD.
• Los otros 324 clientes todavía no han actuado. Contactarles el mismo día en que se detecta el error, con la política correcta y una disculpa, evita la mayor parte del coste restante e impide que se basen razonablemente en la respuesta errónea.

Una muestra aleatoria del 2% habría revisado unas 72 de esas 3.600 conversaciones, y unas 11 contendrían el error. Eso permite detectar el problema. No le da la lista de los 540 nombres, y la lista es lo que necesita el paso de corregir.

La checklist de riesgos de responsabilidad de un agente de IA

Use la checklist siguiente para revisar un agente de IA antes del lanzamiento y después una vez por trimestre. Cada fila nombra un riesgo, un ejemplo de soporte, el control que lo evita y la prueba que debería poder presentar si un cliente, un auditor o un regulador la pide. Elimine las filas que no se apliquen a su agente y asigne un responsable a cada fila.

Las filas 1, 2, 3, 11 y 12 son donde empieza la mayor parte de la responsabilidad en soporte: una respuesta errónea sobre dinero, repetida, sin ningún registro que la explique.

Cuándo esta checklist no es para usted

Si su agente de IA solo responde con artículos de ayuda públicos, no ejecuta acciones y traspasa a personas toda pregunta sobre dinero, cuentas o reclamaciones, las filas 1, 4, 5 y 11 cubren la mayor parte de su exposición. Añada el resto el día en que el agente reciba una herramienta de reembolsos, abonos o bajas, o empiece a atender un producto regulado.

La checklist tampoco sustituye a la revisión legal. El derecho de consumo, las normas financieras y los reguladores sectoriales varían según el país, y un abogado que conozca su mercado debe leer su aviso, sus condiciones y su contrato con el proveedor.

Dónde encaja Kaizo

Kaizo revisa cada conversación de soporte, humana o de IA, con su propia rúbrica, y le muestra qué corregir. Cubre las pruebas de las filas 2 y 12: AutoPilot evalúa cada conversación resuelta con su propia scorecard, y cada nota enlaza con las líneas de la conversación. Vea cómo funciona el QA de agentes de IA, o reserve una demo para verlo en sus propias conversaciones.

Cómo empezar esta semana

Puede empezar esta semana sin una herramienta nueva: cinco pasos muestran dónde su agente de IA puede generar responsabilidad hoy y qué registros no podría presentar si un cliente impugnara una respuesta mañana.

1. Extraiga 50 conversaciones de la semana pasada sobre reembolsos, cargos, bajas y reclamaciones, y marque cada declaración que sea un compromiso.
2. Compruebe cada compromiso con la tabla anterior de explicar, confirmar, comprometer, excepción y asesoramiento.
3. Haga una prueba de recuperación: elija una conversación de hace un mes e intente presentar la transcripción, la versión del agente y la versión de la política en menos de una hora.
4. Escriba la regla de cumplimiento: el importe hasta el que se cumple sin discusión una promesa errónea de la IA, y quién aprueba por encima de él.
5. Copie las 14 filas, asigne un responsable a cada una y lleve las carencias a su próxima revisión de gobernanza de agentes de IA.

Preguntas frecuentes

¿Qué es la rendición de cuentas en la inteligencia artificial?

La rendición de cuentas en la IA significa que una persona u organización con nombre responde de lo que hace un sistema de IA, puede explicarlo y debe repararlo cuando falla. En atención al cliente, es la empresa que despliega el agente, con un responsable por agente, registros de lo que dijo e hizo y un proceso para corregir los errores.

¿Se trata a los agentes de IA de forma distinta a los chatbots en materia de responsabilidad?

El principio es el mismo: la empresa responde de ambos. La exposición es distinta. Un chatbot que solo responde hace declaraciones en las que un cliente puede confiar. Un agente de IA que reembolsa, cancela o modifica cuentas también ejecuta acciones, así que un error puede mover dinero o datos directamente. Por eso las acciones necesitan límites aplicados en las propias herramientas.

¿Podemos recuperar del proveedor el coste de un error del agente de IA?

Solo si su contrato lo permite. Revise las garantías, las indemnizaciones y el límite de responsabilidad del proveedor antes del lanzamiento, porque muchas condiciones limitan la responsabilidad por la exactitud de las respuestas. En la UE, la nueva Directiva sobre responsabilidad por productos añade reclamaciones de responsabilidad objetiva contra los fabricantes de programas informáticos defectuosos por daños personales, materiales y de datos, no por una respuesta errónea sobre un reembolso.

¿Reduce nuestra responsabilidad revisar las conversaciones de la IA?

La revisión no transfiere la responsabilidad, pero cambia dos cosas. Detecta pronto las respuestas erróneas, así que menos clientes se basan en ellas. Y genera pruebas de diligencia razonable: en el caso de Air Canada, la falta de diligencia para asegurarse de que el chatbot fuera preciso formó parte de la conclusión contra la aerolínea.

¿Tenemos que decir a los clientes que hablan con una IA?

En la UE, sí: desde el 2 de agosto de 2026, debe informarse a las personas desde la primera interacción, salvo que resulte evidente. En otros lugares es una buena práctica, y refuerza los deberes de honestidad que ya aplican los reguladores de consumo y financieros. Un aviso informa al cliente. No justifica una respuesta errónea.