Wat je vastlegt als je met AI werkt

Een klant vraagt een jaar na dato waar een bewering in jullie rapport vandaan komt. Of een collega merkt dat een tekst anders uitvalt dan toen. Of een toezichthouder wil weten wie wat heeft goedgekeurd. In alle drie de gevallen is de vraag dezelfde: wat is er toen gebeurd?

Wie met AI werkt zonder iets vast te leggen, kan die vraag niet beantwoorden. Het antwoord zat in een chatvenster dat gesloten is, in een versie van een model die niet meer bestaat, en in het hoofd van iemand die er inmiddels niet meer werkt.

Waarom het niet vanzelf gebeurt

Er zijn twee oorzaken, en ze versterken elkaar.

De eerste is dat vastleggen als administratie voelt. Het kost een paar minuten per stap, het levert op het moment zelf niets op, en in een drukke week gaat het als eerste overboord. Een spoor dat iemand met de hand moet bijhouden, bestaat dus alleen in de weken dat er niets bijzonders aan de hand is.

De tweede is dat je de stap niet kunt herhalen. Dat klinkt als een detail, maar het is de kern. Chen, Zaharia en Zou legden in 2023 dezelfde taken voor aan twee versies van GPT-4, die van maart en die van juni 2023. Bij het onderscheiden van priemgetallen van samengestelde getallen zakte de nauwkeurigheid van 84 naar 51 procent. Dezelfde taak, dezelfde dienst, en geen woord aan de vraag veranderd. De onderzoekers concluderen dat het gedrag van zulke diensten binnen korte tijd sterk kan verschuiven, en dat doorlopend meten daarom nodig is.

Voor kenniswerk betekent dat: dezelfde opdracht kan een half jaar later een ander antwoord geven. Wie niet weet met welk systeem, in welke versie en wanneer iets gemaakt is, kan het later niet reproduceren en dus ook niet verklaren.

Welke laag dit is

Dit is het werk van Trail, de eerste laag van TRACES.

TRACES zijn de zes lagen waarop je een AI-systeem toetst: Trail, Retrieval, Approval, Constraints, Expertise, Storage. Ontbreekt een laag, dan zit daar een risico.

Trail gaat om wat is vastgelegd: de bron, de bewering, wie goedkeurde, wanneer. En om één eis die alles bepaalt: het spoor ontstaat als bijproduct van het werk, niet als administratie die iemand moet bijhouden. Een spoor dat vanzelf ontstaat, is er ook in de drukke week.

Dit past op de A van SEAL. Een goedkeuring hangt aan de passage waarop die slaat; wordt de passage herschreven, dan vervalt de goedkeuring. Dat kan alleen als vastligt welke passage wanneer door wie is goedgekeurd.

Vijf velden

Je hoeft weinig vast te leggen, als het maar de goede dingen zijn. Per stap met AI gaat het om vijf velden.

1. Systeem. De naam van het systeem, de modelversie als die bekend is, en de datum. De datum telt ook als de versie niet te zien is: dan weet je tenminste wanneer.
2. Opdracht. Wat is er gevraagd, en op basis van welk materiaal? Dat is een verwijzing naar het document dat is gebruikt, of de vraag zelf, en niet een kopie van gegevens die er niet in hadden gehoeven.
3. Bron. Waarop rust de bewering die eruit kwam? De passage, niet alleen de titel van het stuk. Dit is het veld waar Source en Edit samenkomen.
4. Wijziging. Wat heeft een mens aan de uitkomst veranderd? Een tekst die na het model nog is herschreven, dekt zijn bron misschien niet meer.
5. Akkoord. Wie heeft het nagekeken, met welke vakkennis, op welke passage, en wanneer?

Meer velden zijn zelden nodig. Minder wel mogelijk, voor de lichtste stappen. Bij een stap in de bak "mag" (zie het artikel over het sorteren van een werkproces) volstaan systeem en opdracht. Bij "mag met controle" zijn het er vijf.

Een voorbeeld van een spoor

Een verzonnen voorbeeld, één regel uit het logboek van een redactie:

• Systeem: taalmodel van leverancier X, versie "2.1", 12 oktober
• Opdracht: samenvatting van rapport "Kwartaalcijfers zorgsector", p. 14 tot 18
• Bron: rapport p. 14, tabel 2; p. 17, alinea 3
• Wijziging: tweede zin herschreven door de redacteur
• Akkoord: M. de Boer, 13 oktober, bereik, stelligheid en tijd nagelopen

Zo'n regel leest in tien seconden. En hij beantwoordt de drie vragen van het begin: wat er gebeurde, op welke bron het rustte, en wie het nakeek.

Wat er niet in hoort

Een spoor is geen archief van alles wat er in het systeem is gestopt. Persoonsgegevens, klantstukken en andere gevoelige invoer sla je niet nog een keer op, in een logboek waar meer mensen bij kunnen. Verwijs naar het document waar het vandaan komt en laat het daar staan. Afspraken over wat er wel en niet in een model mag, horen in het werkbeleid.

Zo ontstaat het spoor vanzelf

De vijf velden helpen alleen als het invullen geen extra taak is. Drie manieren om dat te bereiken, van eenvoudig naar ingewikkeld:

• Een sjabloon in het document zelf. Een kader onderaan elke tekst waarin de vijf velden staan, of een opmerking bij de passage. Wie het document opent, ziet het spoor.
• Een vaste plek voor de uitkomst. Het resultaat van een stap met AI gaat altijd in dezelfde map of hetzelfde systeem, met de velden erbij.
• Een systeem dat het zelf doet. Bij het kiezen van een AI-systeem is dit de eerste vraag aan de leverancier: wat legt het vast bij elk antwoord en elke wijziging, en kunnen wij dat exporteren? Een systeem waarbij dat standaard gebeurt, haalt het werk bij de mens weg. De leverancierscan op deze site legt een systeem langs de zes lagen van TRACES, waaronder Trail.

Wat je deze week kunt doen

1. Pak een stap met AI die vorige maand is gebruikt, en probeer het spoor te reconstrueren: welk systeem, welke versie, welke bron, wie keek na?
2. Noteer welke velden je niet meer kon invullen. Dat zijn de velden die nu ontbreken.
3. Maak een sjabloon met de vijf velden en zet het in het document of de map waar het werk al staat.
4. Spreek af dat een stap in de bak "mag met controle" niet doorgaat zonder ingevulde velden.
5. Kijk over een maand hoeveel regels volledig zijn. Dat getal is jullie Trail.

Bron

Chen, L., Zaharia, M. & Zou, J. (2023). How is ChatGPT's behavior changing over time? arXiv:2307.09009. arxiv.org/abs/2307.09009