Si un agente de IA comete un error caro, ¿quién paga?

Que respondes tú ya está resuelto. Ante tu cliente y ante la autoridad da la cara la empresa que despliega el agente, y tener un proveedor detrás no traslada esa responsabilidad. La pregunta que queda abierta, y que casi nadie escribe, empieza justo después. Pagada la factura del error, ¿cuánto de ese coste puedes recuperar de quien construye y opera el agente? Eso no lo decide la ley el día del incidente. Lo decidió el contrato meses antes, y casi siempre a favor del otro.

Son dos discusiones, y se resuelven en momentos distintos

Cuando un agente concilia mal y se paga dos veces la misma factura, o rechaza un pedido bueno de un cliente grande, hay dos conversaciones abiertas a la vez y conviene no mezclarlas.

La primera es con quien ha sufrido el daño: tu cliente, tu proveedor, tu empleado. Esa se resuelve el mismo día, la resuelves tú y no admite matices sobre qué software intervino. En el marco europeo, además, proveedores y responsables del despliegue tienen cada uno sus obligaciones, y el reglamento pide a los dos que notifiquen los incidentes graves. Saber qué papel ocupa tu empresa y qué le toca a cada uno es la mitad regulatoria de esta pregunta. Lo que sigue aquí es la económica.

La segunda es con quien construyó y opera el agente, y va de dinero. Cuánto de lo que has pagado se reparte, y quién tiene que demostrarlo. Esa puede durar meses y se juega entera sobre lo que firmaste.

La cláusula que suele faltar en un contrato de operación

Un contrato de operación con agentes serio fija cuatro cosas: resultado medible, permisos, trazas y salida limpia. Las he detallado en qué debe decir el contrato de una operación gestionada y no las repito. Lo que quiero señalar aquí es la quinta, la que se cae de casi todas las propuestas que reviso: qué pasa el día que el resultado sale mal y cuesta dinero.

Un proveedor puede prometer que responde del resultado y no haber escrito en ningún sitio qué significa responder. Estas son las preguntas que hago antes de firmar, y ninguna necesita un abogado para formularse:

Pregunta	Por qué decide
¿Qué remedio hay cuando el proceso falla?	Rehacer el trabajo, abonar el servicio del periodo y responder del daño son tres compromisos distintos. Muchos contratos solo contemplan el primero.
¿Hasta qué importe responde el proveedor?	Un tope ligado a lo que te factura al mes convierte cualquier error grande en un problema tuyo. Conviene saberlo antes, no en la reclamación.
¿Qué queda excluido?	Los daños indirectos, el lucro cesante o la pérdida de reputación suelen quedar fuera. En una operación de cara al cliente, eso es la mayor parte del daño real.
¿Quién tiene que probar de quién fue el fallo?	Si la carga recae en ti y las trazas las guarda el proveedor, la discusión está decidida antes de empezar.
¿Qué cubre su seguro y hasta cuándo?	Una póliza que no contempla la ejecución autónoma de procesos deja el compromiso escrito sin nada detrás.

No hace falta que las respuestas sean las que más te convienen. Hace falta que existan y estén escritas. Un proveedor que no quiere poner por escrito el tope de su responsabilidad te está diciendo algo útil sobre cuánta confianza tiene en su propio sistema.

El laboratorio del modelo no es tu contraparte

Aquí es donde se rompen muchas expectativas. El modelo que hay debajo del agente lo hace un laboratorio con el que tu empresa, en la práctica, no tiene relación contractual: la tiene el implementador, y suele tenerla en condiciones estándar que no negocia nadie. Si el error nace de una alucinación del modelo, tu palanca sigue siendo la misma persona a la que le firmaste: quien eligió ese modelo para esa tarea, lo evaluó y decidió desplegarlo.

Por eso el criterio de selección de modelo importa más de lo que parece. Un proveedor que puede cambiar de modelo por tarea y demostrar con evaluaciones por qué eligió el que eligió está en condiciones de responder de esa decisión. Uno que ató tu proceso a las primitivas de un laboratorio concreto tiene una defensa cómoda cuando el laboratorio cambia algo, y tú te quedas sin interlocutor. Es el séptimo criterio que no suele aparecer en las listas de cómo elegir proveedor de agentes.

Cuando el error nació de una instrucción tuya

Esta es la parte incómoda y la que más veces he visto decidir una negociación. El nivel de supervisión de un agente, los umbrales a partir de los cuales actúa solo y las reglas de negocio que aplica no los fija el que construye el sistema: los fija la empresa que asume el riesgo. Es lo correcto, porque nadie de fuera debería decidir cuánto riesgo asume tu operación.

Tiene una consecuencia que conviene ver antes de firmar y no después. Si tú subiste el umbral de aprobación automática de 5.000 a 50.000 euros para acelerar el cierre de mes, el error que ocurra en ese tramo es difícilmente reclamable. Lo mismo pasa cuando el agente trabajó sobre datos maestros desactualizados que mantiene tu equipo, o cuando aplicó una regla que dictó tu departamento y estaba mal.

De ahí sale una práctica sencilla. Cada cambio de umbral, de regla o de permiso queda registrado con fecha y con quién lo pidió. Sin ese registro, dentro de un año nadie podrá separar lo que decidió el sistema de lo que decidiste tú, y esa separación es justo lo que se discute en una reclamación.

Sin traza no hay discusión, hay versiones

Todo lo anterior depende de una cosa que se instala antes del incidente. Si no puedes reconstruir qué datos vio el agente, qué decidió, con qué regla y con qué permiso, no tienes una reclamación. Tienes una opinión contra otra, y en esa situación gana quien controla el registro.

La traza de decisiones de un agente suele presentarse como herramienta de cumplimiento, y lo es, pero su valor económico es otro. Es la prueba. Por eso el acceso a los registros, entendido como que tú puedas leerlos y exportarlos y no solo como que existan, es una cláusula de responsabilidad disfrazada de cláusula técnica. Un contrato que te da el resultado pero no la traza te deja sin capacidad de discutir nada.

Cómo se baja la factura antes de que ocurra

Casi todo el trabajo útil en esto es anterior al incidente, y no es jurídico.

• Acota el daño posible por diseño. Topes por operación y acumulados diarios, y firma humana en lo que no se puede deshacer. Es lo que reduce cualquier error a una cifra que el comité tolera, y está desarrollado en permisos y controles de agentes.
• Empieza por procesos reversibles. Un error en una propuesta que se revisa cuesta el tiempo de revisarla. El mismo error en un pago ejecutado cuesta el pago.
• Exige la traza como entregable, no como favor. Con acceso tuyo y exportable.
• Mira la unidad de factura. Cómo te cobra un proveedor ya reparte el riesgo ordinario del proceso, y eso lo trato en cuánto cuesta implantar agentes de IA. El reparto del daño extraordinario, que es de lo que va este artículo, es una discusión distinta y hay que tenerla aparte.
• Cuenta el escalado como control económico. Un caso que sale del perímetro y llega a una persona es lo que evita la factura, aunque en los informes aparezca como trabajo que el agente no pudo cerrar. Los criterios están en excepciones y escalado a humanos.

Nada de esto es un dictamen jurídico, y para el clausulado concreto hace falta un abogado. Es lo que reviso yo como operador antes de que un agente toque un proceso que mueve dinero, y encaja dentro del marco más amplio de gobernanza de agentes. El resto del terreno, para quien llegue aquí antes de tener nada desplegado, está en agentes de IA para empresas.

Preguntas frecuentes

¿Puedo trasladar a mi proveedor el coste de un error del agente?

En parte y solo si lo firmaste. Ante el cliente dañado respondes tú; lo que puedas recuperar después depende del remedio pactado, del tope de responsabilidad, de las exclusiones y de que puedas probar que el fallo fue del sistema y no de una regla o un dato tuyos.

¿Responde el laboratorio que hizo el modelo?

Ante ti, no. Tu relación contractual es con quien construye y opera el agente, y es esa empresa la que eligió el modelo, lo evaluó y decidió usarlo para esa tarea. Por eso conviene que pueda cambiarlo y explicar por qué eligió el que eligió.

¿Qué pasa si el error vino de un umbral que fijamos nosotros?

Lo asumes tú, casi siempre. Los niveles de supervisión y las reglas de negocio los decide la empresa que corre el riesgo, no el proveedor. Por eso conviene registrar cada cambio de umbral con fecha y responsable: es lo que separa después una decisión tuya de un fallo del sistema.

¿Sirve de algo la cláusula de responsabilidad si no tengo las trazas?

Poco. Sin registro reconstruible, una reclamación se convierte en dos versiones enfrentadas y decide quien guarda los datos. El acceso a las trazas, exportable y por escrito, es la parte de la cláusula de responsabilidad que de verdad se puede ejercer.