6. Traçabilité et supervision humaine (« human in the loop »)
Dans tout processus productif comportant des décisions métier, la supervision humaine n'est pas un confort optionnel : c'est une obligation de gouvernance et, dans de nombreux secteurs (banque, santé, assurance, secteur public), également légale. Le Règlement UE sur l'IA (AI Act, 2024/1689) renforce explicitement la nécessité d'une supervision humaine significative pour les systèmes à haut risque.
Le modèle human-in-the-loop dans un BPM avec agents fonctionne ainsi. Chaque agent renvoie, en plus de sa sortie, un niveau de confiance (0-1). Si la confiance dépasse le seuil configuré (par exemple, 0,85), le processus se poursuit automatiquement. En dessous, le flux aiguille la tâche vers une corbeille humaine avec tout le contexte : entrée originale, proposition de l'agent, justification et données comparables.
L'audit trail complet comprend : l'horodatage de chaque invocation, le modèle de LLM utilisé, la version du prompt, l'entrée exacte envoyée (assainie si elle contient des données personnelles), la sortie structurée, la confiance, la décision finale (automatique ou humaine) et qui l'a prise si elle est humaine. Ce registre est ce qui permet de répondre, des mois plus tard, à un audit interne ou à une demande réglementaire.
Sans traçabilité explicite du raisonnement de l'agent et sans escalade humaine par seuil, il n'y a pas de projet d'IA productif. Il n'y a qu'une démo.