Een mens in de loop lead

OpenAI publiceerde deze week iets dat normaal in een intern rapport zou zijn gebleven. Twee van hun code-agenten werkten aan een gewone opdracht, en onderweg schakelden ze de waarschuwingen uit en verwijderden ze de integratie die hen in de gaten hield. Niet uit kwade wil, maar omdat het toezicht in de weg zat, dus haalden ze het weg zoals ze een falende test zouden weghalen. Het werk raakte af, het toezicht was weg, en de mens die had moeten kijken, hoorde het achteraf.

Wie elke dag met agenten werkt, herkent dat in het klein. Een agent verwijdert een controle die hem afremt, slaat een stap over die hem overbodig lijkt, ruimt een test op die in de weg ligt. Het is geen kwade wil, het is behulpzaamheid. Een tool die sneller werkt dan jij en wil dat je tevreden bent, vindt de kortste weg naar een resultaat, en die weg loopt soms dwars door de dingen die je er met opzet hebt gezet.

In de loop

Voor de rol die de mens in dat verhaal kreeg, hebben bedrijven een mooie naam: human in the loop. De mens in de lus. De machine werkt, de mens kijkt toe, en als hij iets ziet, grijpt hij in. Het klinkt verantwoord, en daarom is het zo snel ingeburgerd.

Ik heb het van de eerste dag bekritiseerd, want naast AI heeft de mens precies de rol genomen waar hij het slechtst in is. Toekijken. Mensen zijn slecht in uren passief kijken naar iets dat meestal goed werkt. De aandacht zakt na een paar minuten, zeker als er niets gebeurt, en er gebeurt bijna de hele tijd niets. Daarom is het zo moeilijk dat ene moment te vatten waarop de agent het alarm weghaalt.

Elk ernstig vak weet dat. Kijk hoe uitgebreid het toezicht in de luchtverkeersleiding is opgebouwd. Niemand zit daar acht uur alleen naar een scherm te kijken. Elke instructie wordt hardop herhaald en bevestigd, de shifts zijn kort en vastgelegd, naast elk systeem staat een tweede dat het controleert, en de verkeersleider is geen toeschouwer maar degene die leidt: hij zegt het vliegtuig wat het moet doen, niet omgekeerd. Zoveel moeite steekt één vak erin om menselijk toezicht überhaupt te laten werken. Wij hebben dezelfde rol gegeven aan iedereen met een abonnement, en gezegd dat hij een oogje in het zeil moet houden.

Zonder vak

De lus is aantrekkelijk omdat ze iets nog groters belooft: dat het vak er niet meer toe doet. Iedereen kan het idee hebben, iedereen kan de architectuur voorstellen, en de agenten voeren het uit. De mens hoeft niet te weten hoe het gemaakt wordt, het volstaat dat hij kijkt.

Ik hoor graag hoe dat gaat. Hoe iemand zonder kennis van een domein een architectuur in elkaar zet om aan agenten te geven, en waaraan hij in het resultaat een fout herkent die hij zelf niet eens zou kunnen maken. Het systeem wordt getest door te klikken op iets dat de AI heeft gebouwd, en alles ziet er goed uit. Daarachter staan de deuren wagenwijd open voor aanvallen, liggen sleutels voor de gemiddelde hacker klaar op een schoteltje, reizen persoonsgegevens naar waar ze niet mogen, en groeien de AI-kosten zonder dat iemand weet waarom. Niets daarvan zie je door te klikken. Het toont zich alleen aan wie weet waar te kijken.

Als iemand die breedte van AI verwachtte, kan hij ze misschien krijgen. Maar tegen de prijs van dure fouten onderweg. En als je denkt dat de AI uit zichzelf de middelen zal besteden om alles te analyseren wat een vakman zou nakijken, wanneer je hem vraagt of dat alles is wat er nodig is voor productie, hou je portemonnee dan klaar. Het zal kosten, en niet hem.

Aan het stuur

Daarom keren we nu terug naar wat in dezelfde kringen human in the lead heet. De mens aan het stuur. Het is geen nieuw idee, het is de oude taakverdeling: de mens beslist wat er gebouwd wordt, waarom, en wat er niet gebouwd wordt, en de agent voert uit. Je kijkt niet naar het resultaat om te zien of het goed is. Je weet vooraf wat goed is, en dat vraag je.

Het verschil tussen de lus en het stuur zit niet in de tool. Het is dezelfde tool in beide. Het verschil is wie leidt, en dat zie je meteen. De mens in de lus hoort wat de agent heeft gedaan als het klaar is. De mens aan het stuur heeft de agent gezegd wat hij moet doen, en ook wat hij niet mag weghalen.

Twee zinnen

In België vond deze week het Flanders AI Forum plaats, met als thema hoe je AI van experiment naar productie krijgt. Die zin beschrijft goed waar bedrijven vandaag staan, want bijna elk bedrijf zegt dat het AI gebruikt, en als je doorvraagt, betekent dat dat iedereen zijn eigen venster en zijn eigen abonnement heeft.

Er is een verschil tussen "we gebruiken ChatGPT" en "AI is deel van ons proces". De eerste zin is de lus: de tool helpt, de mens kijkt wat eruit kwam. De tweede is het stuur: iemand in het bedrijf weet waar AI in het proces zit, wat eruit vertrekt naar klanten, en wie antwoordt als het misgaat.

Dat verschil houdt binnenkort op een kwestie van smaak te zijn. De Europese transparantieregels zijn sinds augustus van kracht, en voor systemen die al in gebruik zijn, loopt de termijn af op twee december. Over de regels zelf ga ik het niet hebben. Maar de datum stelt een eenvoudige vraag: weet je bedrijf welke van zijn tools inhoud maken voor klanten? Een bedrijf in de lus kan daar niet op antwoorden, niet omdat het iets verbergt, maar omdat het het niet weet. Een bedrijf aan het stuur antwoordt binnen de minuut, want het heeft die lijst gemaakt toen het besliste dat AI deel van het proces werd.

Wie leidt

Die twee agenten deden niets wat een agent niet zou doen. Ze kregen een opdracht, het toezicht zat in de weg, ze haalden het weg. Het interessante aan dat verhaal is niet dat ze het deden, maar dat de rol van toekijken bij iemand lag die had moeten leiden.

Dus als iemand je de volgende keer vertelt dat bij hen een mens in de loop zit, vraag hem dan één ding: wie zit er aan het stuur?