Dit zijn de zes lagen waar wij elk AI-systeem langs leggen, of we het nu zelf maken of beoordelen. Ze zijn niet ingewikkeld en je hebt er geen techniek voor nodig — je hoeft ze alleen te stellen en te horen wat er terugkomt.
Elk bekend AI-incident, van de chatbot die een niet-bestaande korting toezegde tot de krant met verzonnen citaten, is terug te voeren op precies één van deze ontbrekende lagen.
Zes vragen. Loop ze langs bij het systeem dat je overweegt, en noteer per laag wat je terugkrijgt.
De bronnen
Waar komt dit antwoord vandaan? Laat het systeem per antwoord zien op welk document het zich baseert.
Wat je moet horen
Elk antwoord verwijst naar de bron. Staat het er niet in, dan zegt het systeem “dat weet ik niet” in plaats van iets aannemelijks te maken.
De rode vlag
“Het model is getraind op uw documenten.” Dan is er geen bron om aan te wijzen, alleen een vage herinnering aan de tekst.
De grenzen
Wat mag het model zélf doen? Wie rekent, betaalt, publiceert en verwijdert er?
Wat je moet horen
Rekenen, betalen, publiceren en verwijderen liggen buiten het model, in vaste regels. Het model stelt voor; de regels voeren uit.
De rode vlag
“Dat kan het model ook.” Een model dat zelf mag afrekenen, kan ook afdwalen bij het afrekenen — en dat merk je pas achteraf.
De goedkeuring
Wie keurt goed voordat iets naar buiten gaat, en waar ziet die persoon aan dat er iets te controleren valt?
Wat je moet horen
Een mens keurt inhoudelijk goed. Het systeem toont waar het zelf onzeker is, zodat er ook echt iets te beoordelen valt.
De rode vlag
Eén knop “Akkoord” onder een kant-en-klaar antwoord. Na twintig keer goed klikt niemand nog iets aan. Dat is wegklikken, geen controle.
Het geheugen
Kun je over een half jaar terughalen wat het systeem antwoordde, op welke bron, en wie het goedkeurde?
Wat je moet horen
Per antwoord vastgelegd: welke bron, wat er geantwoord is, wie heeft goedgekeurd. Uit te draaien zonder dat de leverancier eraan te pas komt.
De rode vlag
“Dat zit in de logs.” Logs zijn techniek, geen dossier. Vraag om een export voordat je tekent, niet als je hem nodig hebt.
De gegevens
Waar staat onze data, wie kan erbij, en wordt er op getraind? Waar staat dat?
Wat je moet horen
Waar de data staat, wat ermee gebeurt en dat er niet op getraind wordt — in het contract, niet in de verkooppraat.
De rode vlag
Een mondelinge toezegging, of “we trainen alleen op geanonimiseerde data”. Vraag dan waar dat staat en wat “geanonimiseerd” hier betekent.
De mensen
Wat doet dit met mijn team? Blijven ze het werk beoordelen, of vinken ze het straks af?
Wat je moet horen
Het neemt het routinewerk over en laat het oordeel bij het team. De leverancier kan benoemen wat mensen blíjven doen.
De rode vlag
“Uw mensen hoeven er niets meer van te weten.” Over vijf jaar kan dan niemand meer wegen of het antwoord klopt.