De methode

Aanpak

Hoe we werken, en waaraan je elk AI-systeem kunt toetsen, ook een van iemand anders.

Voor wie

Onderwijs en leermiddelenAdvies en strategieUitgeverij en redactieOnderzoek en denktanksBBEbuddyBookaflowValoraOnderwijs en leermiddelenAdvies en strategieUitgeverij en redactieOnderzoek en denktanksBBEbuddyBookaflowValora

Eerst analyseren

We brengen eerst in kaart hoe je kenniswerk loopt: waar het denkwerk zit, waar het ondersteunende werk zit, en wat dat kost in uren en euro's.

Pas als het probleem scherp is, komt de keuze voor een aanpak. Soms volstaat een bestaande tool, en soms voegt AI hier niets toe. Ook dat hoor je gewoon.

Verifieerbaar werk

We bouwen alleen wat controleerbaar is: elke bewering is na te gaan bij de bron.

De scheidslijn tussen AI die helpt en AI die schaadt loopt daarom niet tussen creatief en analytisch werk, en ook niet tussen simpel en complex. De scheidslijn loopt tussen verifieerbaar en niet-verifieerbaar. De enige vraag die telt: is van elke bewering na te gaan waar die vandaan komt? Waar dat kan, is AI een krachtig hulpmiddel. Waar dat niet kan, is een overtuigend antwoord juist gevaarlijker dan een zwak antwoord.

Alles wat we bouwen of adviseren staat aan die kant van de lijn: controleerbaar, niet op geloof.

TRACES, de zes lagen

Een betrouwbaar systeem is meer dan een slim model met een invoerscherm. Het heeft zes lagen, en elke laag kun je bij een leverancier toetsen. Waar een laag ontbreekt, zit een risico, en vrijwel elk bekend AI-incident is terug te voeren op een ontbrekende laag.

Trail

Wat is vastgelegd: bron, bewering, wie keurde goed, wanneer. En het spoor ontstaat als bijproduct van het werk, niet als administratie die iemand moet bijhouden.

Retrieval

Het systeem antwoordt alleen uit een afgebakende bronverzameling, met verwijzing, en zegt dat het antwoord ontbreekt in plaats van iets te verzinnen. En het systeem kan tonen welke beweringen géén bron hebben, want zoeken alleen kan afwezigheid nooit aantonen.

Approval

Een persoon bevestigt inhoudelijk, gedifferentieerd naar het soort wijziging, en de bevestiging wordt vastgelegd.

Constraints

Gevoelige handelingen liggen technisch buiten het model, in vaste regels. Dat het systeem iets níét kan, is sterker dan dat iemand het achteraf nakijkt.

Expertise

Ontwerpkeuze: het oordeel blijft bij de vakinhoudelijke persoon, en het systeem maakt dat oordeel lichter in plaats van overbodig.

Storage

Waar staat de data, wat gebeurt ermee, en staat dat contractueel vast.

Deze zes vragen zijn de meetlat bij alles wat we maken. En als je zelf een leverancier beoordeelt, neem ze dan mee: een systeem dat er één niet kan beantwoorden, valt af.Doe de leverancierscan

Goedkeuring door een persoon

De AI doet het routinewerk: zoeken, ordenen, voorbereiden, eerste versies schrijven. Alles wat naar buiten gaat of ertoe doet, komt eerst langs een persoon.

Dat is bovendien een ontwerpkeuze met gevolgen op lange termijn. Een systeem kan het routinewerk overnemen en het oordeel scherp houden, of ongemerkt het denken overnemen. Wij richten het bewust op het eerste in, zodat je team over vijf jaar bekwamer is, niet afhankelijker.

Meten

We meten voor en na: een week de tijd van een taak bijhouden, met en zonder AI.

Daarom meten we voor en na. Een week eerlijk de tijd van een taak bijhouden, met en zonder AI, zegt meer dan welke indruk dan ook. Zo weet je of een traject écht iets oplevert, en niet alleen of het zo voelt.

Kopen of maken

De eerlijke volgorde is altijd hetzelfde: eerst de analyse, dan de keuze. Voor routinewerk dat overal hetzelfde is, wint een goede bestaande tool meestal. Waar bronplicht, sectorregels en vertrouwelijk materiaal samenkomen, schieten standaardtools tekort, en daar bouwen we de laag op maat: het zoeken in je eigen bronnen, de bronvermelding, de goedkeuring.

En soms is het antwoord geen van beide: een simpeler proces, of helemaal niets. Wie na een grondige analyse hoort dat AI niets toevoegt, heeft daarmee een even waardevol antwoord als wie iets laat bouwen.

Zo begin je.

Eerst zelf kijken? De Leverancierscan en de Ketencheck zijn gratis en vragen geen gesprek.

Gratis leverancierscan

Verder lezen

Deze aanpak staat volledig uitgeschreven, met bronnen en meetcontext, in het whitepaper De staat van AI in de denkende beroepen. En wil je een systeem of leverancier meteen toetsen, dan kan dat met de gratis leverancierscan.

Lees de whitepaper

Dit draait al

BBEbuddy. Docenten stellen een vraag, het antwoord komt uit een eigen kennisbank, met de bron erbij. Draait in drie talen.Valora. Een taxatie die uren kostte, kost nu minuten, met elke rekenstap zichtbaar.Bookaflow. Een boekingssysteem dat stopt zodra een persoon moet beslissen.

Lees de case