Human in the loop radi manje nego što misliš
Staviti čovjeka na «approve» djeluje kao kontrola. Pod opterećenjem automation bias pretvara provjeru u puki pečat — a sustav ne čuva dokaz o tome što je stvarno provjereno.
"Stavi human in the loop." To je rečenica kojom rizičan AI agent postane nešto što će sastanak odobriti. Stroj predlaže, čovjek odlučuje, i rizik izgleda riješeno. Umirujuće je, lako se obeća, i u mnogim sustavima u produkciji radi znatno manje nego što slajd tvrdi — jer trenutak koji je važan nikad nije bila demonstracija s jednim pažljivim revizorom. To je stota odluka u običan utorak.
Automation bias: nadzor popušta pod opterećenjem
Daj jednom revizoru agenta koji dnevno usmjeri stotine slučajeva, pa gledaj u što se provjera zapravo pretvori. Nitko ne radi stotine nezavisnih, skeptičnih procjena. Umjesto toga dobiješ osobu koja se slaže s modelom — jer model uglavnom pogodi, red je dug, a neslaganje košta. Istraživanja ljudskih faktora imaju naziv za to: automation bias, dobro dokumentirana sklonost oslanjanju na prijedlog automatiziranog sustava, osobito pod pritiskom vremena i količine. Nije lijenost i nije greška u zapošljavanju. To je ono u što "human oversight" prijeđe kad je čovjek nizvodno od sustava koji je brz i samouvjeren. Kontrola koju si nacrtao u shemi arhitekture stvarna je prvog dana, a uglavnom ceremonijalna trećeg mjeseca.
"Odobreno" je tvrdnja, ne zapis
Evo dijela koji se plati kasnije. I ondje gdje je provjera stvarna, uobičajena postava ne zabilježi ništa od nje. Sustav pohrani ishod — odobreno, odbijeno — i ništa o razmišljanju iza toga. Pa kad revizor, auditor ili strani partner postavi jedino pitanje koje se broji — što je ta osoba stvarno vidjela i što je odvagnula — nema što pokazati. "Odobrio je čovjek" je tvrdnja o prošlosti, ne njezin dokaz. I upravo je to rupa koju je čovjek trebao zatvoriti: uveo si nadzor da sustav bude odgovoran, a onda nisi sačuvao dokaz da se dogodio. Potpis bez dokumenta iza sebe ne prolazi provjeru, i ne bi ni trebao.
Za tvrtke u regiji: ne više ljudi, nego zapis koji se može rekonstruirati
Instinkt je, kad nadzor izgleda slabo, dodati ga još: drugi odobravatelj, stroža checklist, još jedna edukacija. Ništa od toga ne rješava pravi kvar, a to je da loop proizvede odluku ali ne i njezin obračun. Dizajn koji izdrži radi suprotno. Tjera loop da izbaci dokaz kao nusprodukt: što je agent vidio (inpute i kontekst), što je odlučio i s kojom pouzdanošću, što je stvarno prikazano revizoru, i što je revizor promijenio ili propustio. Taj zapis pretvara "vjerujte nam, netko je provjerio" u nešto što treća strana može rekonstruirati bez povjerenja prema ikome.
Za tvrtke u regiji i strane partnere to je isto pitanje kao kod svakog kritičnog sustava: tko ima write pristup produkciji, i što ga zaustavlja. Ujedno je to poštena verzija onoga što EU AI Act traži od visokorizičnih sustava — ne samo human oversight, nego i vođenje zapisa — jer nadzor koji ne možeš rekonstruirati je, naknadno, jednak nepostojanju nadzora. Ne treba teži proces. Treba tretirati korak provjere kao nešto što proizvodi podatke, a ne samo presudu. Revizor kojeg ne možeš provjeriti nije zaštita. On je potpis.
Ako tvoj agent sutra donese lošu odluku, možeš li pokazati što je čovjek u loopu stvarno pregledao — ili samo da je netko kliknuo approve?