6. Trazabilidad y supervisión humana ("human in the loop")
En cualquier proceso productivo con decisiones de negocio, la supervisión humana no es un nice-to-have: es una obligación de gobernanza y, en muchos sectores (banca, salud, seguros, sector público), también legal. El Reglamento UE de IA (AI Act, 2024/1689) refuerza explícitamente la necesidad de supervisión humana significativa para sistemas de alto riesgo.
El patrón human-in-the-loop en un BPM con agentes funciona así. Cada agente devuelve, además de su salida, un nivel de confianza (0-1). Si la confianza supera el umbral configurado (por ejemplo, 0.85), el proceso continúa automáticamente. Si está por debajo, el flujo enruta la tarea a una bandeja humana con todo el contexto: entrada original, propuesta del agente, justificación y datos comparables.
El audit trail completo incluye: timestamp de cada invocación, modelo de LLM usado, versión del prompt, entrada exacta enviada (sanitizada si contiene datos personales), salida estructurada, confianza, decisión final (automática o humana), y quién la tomó si fue humana. Este registro es lo que permite responder, meses después, a una auditoría interna o una solicitud regulatoria.
Sin trazabilidad explícita del razonamiento del agente y sin escalado humano por umbral, no hay proyecto de IA productivo. Solo hay una demo.