L'umano nel loop fa meno di quanto pensi
Mettere una persona sul tasto «approva» sembra controllo. Sotto carico l'automation bias trasforma la revisione in un timbro — e il sistema non conserva la prova di cosa sia stato davvero controllato.
"C'è un umano che controlla." È la frase con cui un agente AI rischioso diventa qualcosa che una riunione può approvare. La macchina propone, una persona decide, e il rischio pare gestito. È rassicurante, è facile da promettere, e in molti sistemi in produzione fa parecchio meno di quanto la slide implichi — perché il momento che conta non era la demo con un revisore attento. È la centesima decisione di un martedì qualunque.
L'automation bias: la supervisione degrada sotto carico
Dai a un solo revisore un agente che smista centinaia di pratiche al giorno, poi guarda in cosa si trasforma davvero la revisione. Nessuno esegue centinaia di valutazioni indipendenti e scettiche. Quello che ottieni è una persona che dà ragione al modello — perché il modello di solito ci prende, la coda è lunga, e dissentire costa. Gli studi sui fattori umani hanno un nome per questo: automation bias, la tendenza ben documentata ad affidarsi al suggerimento di un sistema automatico, soprattutto sotto pressione di tempo e volume. Non è pigrizia e non è un errore di selezione. È ciò in cui si trasforma la "supervisione umana" quando l'umano sta a valle di un sistema veloce e sicuro di sé. Il presidio che hai disegnato nello schema di architettura è reale il primo giorno e in gran parte cerimoniale al terzo mese.
"Approvato" è un'affermazione, non un registro
Ecco la parte che si paga dopo. Anche dove la revisione è genuina, l'impianto tipico non ne conserva nulla. Il sistema registra un esito — approvato, respinto — e niente sul ragionamento che c'era dietro. Così quando un revisore, un auditor o un cliente pone l'unica domanda che pesa — cosa ha visto davvero quella persona, e cosa ha valutato — non c'è niente da mostrare. "L'ha approvato una persona" è un'affermazione sul passato, non la sua prova. Ed è esattamente il buco che l'umano doveva chiudere: hai introdotto la supervisione per rendere il sistema responsabile, e poi non hai tenuto la prova che sia avvenuta. Una firma senza un documento dietro non regge a un controllo, e non deve reggere.
Per una software house .NET: non più umani, ma un registro ricostruibile
L'istinto, quando la supervisione appare debole, è aggiungerne: un secondo approvatore, una checklist più severa, un altro corso. Niente di tutto ciò affronta il difetto vero, cioè che il loop produce una decisione ma non un suo resoconto. Il progetto che regge fa l'opposto. Fa emettere al loop una prova come sottoprodotto: cosa ha visto l'agente (input e contesto), cosa ha deciso e con quale confidenza, cosa è stato davvero mostrato al revisore, e cosa il revisore ha cambiato o lasciato passare. Quel registro è ciò che trasforma il "fidatevi, qualcuno ha controllato" in qualcosa che un terzo può ricostruire senza doversi fidare di nessuno.
Per chi lavora su commessa è la stessa domanda di sempre su qualsiasi sistema critico: chi ha i permessi di scrittura in produzione, e cosa lo ferma. È anche la lettura onesta di ciò che l'AI Act chiede ai sistemi ad alto rischio — non solo supervisione umana, ma anche registrazione degli eventi — perché una supervisione che non puoi ricostruire è indistinguibile, a posteriori, dall'assenza di supervisione. Non serve un processo più pesante. Serve trattare il passo di revisione come qualcosa che produce dati, non solo un verdetto. Un revisore che non puoi verificare non è un presidio. È una firma.
Se domani l'agente prende una decisione sbagliata, potete mostrare cosa ha davvero rivisto la persona nel loop — o solo che qualcuno ha cliccato approva?