6. Traçabilitat i supervisió humana ("human in the loop")
En qualsevol procés productiu amb decisions de negoci, la supervisió humana no és un extra: és una obligació de governança i, en molts sectors (banca, salut, assegurances, sector públic), també legal. El Reglament UE d’IA (AI Act, 2024/1689) reforça explícitament la necessitat d’una supervisió humana significativa per als sistemes d’alt risc.
El patró human-in-the-loop en un BPM amb agents funciona així. Cada agent retorna, a més de la seva sortida, un nivell de confiança (0-1). Si la confiança supera el llindar configurat (per exemple, 0.85), el procés continua automàticament. Si és per sota, el flux encamina la tasca a una safata humana amb tot el context: entrada original, proposta de l’agent, justificació i dades comparables.
L’audit trail complet inclou: marca de temps de cada invocació, model d’LLM utilitzat, versió del prompt, entrada exacta enviada (sanejada si conté dades personals), sortida estructurada, confiança, decisió final (automàtica o humana) i qui la va prendre si va ser humana. Aquest registre és el que permet respondre, mesos després, a una auditoria interna o a una sol·licitud reguladora.
Sense traçabilitat explícita del raonament de l’agent i sense escalat humà per llindar, no hi ha projecte d’IA productiu. Només hi ha una demo. Com s’aplica al producte, amb permisos per rol, dades a la UE i validació humana, ho detalla la pàgina de governança d’agents d’IA a Dokuflex.