6. Tracciabilità e supervisione umana («human in the loop»)
In qualsiasi processo produttivo con decisioni di business, la supervisione umana non è un optional: è un obbligo di governance e, in molti settori (banche, sanità, assicurazioni, settore pubblico), anche legale. Il Regolamento UE sull'IA (AI Act, 2024/1689) rafforza esplicitamente la necessità di una supervisione umana significativa per i sistemi ad alto rischio.
Il modello human-in-the-loop in un BPM con agenti funziona così. Ogni agente restituisce, oltre al suo output, un livello di confidenza (0-1). Se la confidenza supera la soglia configurata (ad esempio, 0,85), il processo prosegue automaticamente. Se è al di sotto, il flusso instrada l'attività verso una casella umana con tutto il contesto: input originale, proposta dell'agente, giustificazione e dati comparabili.
L'audit trail completo include: il timestamp di ogni invocazione, il modello LLM usato, la versione del prompt, l'input esatto inviato (sanificato se contiene dati personali), l'output strutturato, la confidenza, la decisione finale (automatica o umana) e chi l'ha presa se umana. Questo registro è ciò che consente di rispondere, mesi dopo, a un audit interno o a una richiesta normativa.
Senza tracciabilità esplicita del ragionamento dell'agente e senza inoltro umano per soglia, non c'è progetto di IA produttivo. C'è solo una demo.