Een werkproces sorteren: welke stappen AI mag doen

"Mogen we AI gebruiken?" is een vraag waar geen goed antwoord op bestaat. Ja, waarvoor dan? Voor het hele werk is het antwoord nee, en voor een deel van het werk ja. Zolang het team die twee niet uit elkaar haalt, gebeurt er een van twee dingen: niemand durft, of iedereen gebruikt het overal.

Beide uitkomsten kosten iets. In het eerste geval blijft werk liggen dat een model prima kan voorbereiden. In het tweede gaat er ook werk de deur uit dat niemand meer naast een bron heeft gelegd.

Waarom je het aan de taak niet ziet

Het lastige is dat je niet aan een taak kunt zien of AI hem aankan. In 2023 deden onderzoekers van Harvard Business School, MIT en Boston Consulting Group een experiment met 758 BCG-consultants. Ze gaven die consultants realistische taken, met en zonder AI. Bij taken die het model aankon, ging het werk sneller en werd het beter. Maar de onderzoekers legden de consultants ook een taak voor die ze zo hadden ontworpen dat het model erop zou falen. Daar was de groep met AI 19 procentpunten minder vaak correct dan de groep zonder.

De onderzoekers noemen dat de jagged frontier: een grens die grillig loopt. Twee taken die even moeilijk lijken, kunnen aan weerszijden van die grens liggen. Het model schrijft over beide even zelfverzekerd. Wie het resultaat leest, merkt dus niet welke kant het opging.

Daarom helpt een algemene regel ("AI voor concepten, niet voor conclusies") maar half. Wat wél helpt: het werk in stappen opdelen, en elke stap apart sorteren.

Welke fase een stap is

Eerst moet je weten wat voor stap het is. Daarvoor is SEAL bedoeld.

SEAL beschrijft de vier fasen die kenniswerk doorloopt: Source, Edit, Approve, Launch. In elke fase kan de herleidbaarheid van een bron verloren gaan, en de zwakste fase bepaalt wat het werk waard is.

Elke stap in een werkproces valt in een van die vier. De vraag per fase:

• Source: waar komt de informatie vandaan, en bestaat die bron werkelijk?
• Edit: dekt de bron de tekst na bewerking nog?
• Approve: wie heeft de inhoud getoetst, met welke vakkennis, en waarop?
• Launch: wie geeft het werk vrij, en met welk zicht?

Zoeken, ordenen, samenvatten en herschrijven zijn stappen bij Source en Edit. Dat is werk waar een model goed in kan zijn, en waar je het resultaat naast iets kunt leggen. Approve en Launch zijn anders. Een systeem kan vaststellen dat een bron een bewering dekt, maar niet dat de lezer er door op het verkeerde been wordt gezet. Dat oordeel blijft bij een mens, en dat is nu eenmaal waarom die fasen bestaan.

Drie vragen, drie bakken

Per stap stel je drie vragen.

1. Kun je het resultaat naast iets leggen wat je al hebt? Een bron, het origineel, een lijst. Zo ja, dan kun je een fout vinden. Zo nee, dan lees je alleen een vloeiende tekst.
2. Wat kost het als het fout is en niemand het ziet? Een verkeerd gesorteerde lijst met bronnen kost een kwartier. Een verkeerd cijfer in een nota onder jullie naam kost een opdrachtgever.
3. Gaan er gegevens in die de organisatie niet mogen verlaten? Persoonsgegevens, vertrouwelijke stukken, gegevens van een klant onder geheimhouding.

Daaruit volgen drie bakken:

• Ja. Het resultaat is naast iets te leggen en een fout is goedkoop. AI doet het, en je kijkt steekproefsgewijs.
• Ja, met controle. Het resultaat is naast iets te leggen, maar een fout is duur. AI maakt het, een mens legt elke bewering naast de bron en legt het vinkje vast.
• Nee. Het resultaat is niet naast iets te leggen, er gaan gegevens in die niet weg mogen, of de stap is zelf een oordeel. Dat doet een mens.

Eén vuistregel erbij: twijfel je tussen twee bakken, neem dan de bak met de meeste controle. Verplaatsen naar een lichtere bak kan later altijd nog.

Een voorbeeld

Een verzonnen voorbeeld, om te zien hoe dat uitpakt. Een adviesbureau schrijft een nota voor een gemeente. Het proces heeft vijf stappen:

1. Bronnen sorteren (Source). Het resultaat is naast de bronnen zelf te leggen, en een fout kost een kwartier. Bak: ja.
2. Eerste opzet schrijven (Edit). Het gaat om een concept dat toch herschreven wordt. Bak: ja.
3. Cijfers herschrijven in lopende tekst (Edit). Het resultaat is te controleren, maar een verschoven cijfer gaat onder de naam van het bureau mee. Bak: ja, met controle: elk cijfer naast de bronpassage, met vinkje.
4. Conclusie en advies (Approve). Dit is het oordeel waar de opdrachtgever voor betaalt. Bak: een mens.
5. Versturen naar de gemeente (Launch). Bak: een mens, op basis van de drie vorige stappen.

De bakken zijn hier niet per se juist voor jouw werk. Het gaat om de manier van sorteren: stap voor stap, met een reden per stap.

Probeer de ja-stappen eerst

Omdat de grens grillig loopt, is sorteren op papier een eerste ronde. Daarna test je. Pak voor elke stap in de bak ja of ja-met-controle vijf echte voorbeelden uit het werk van de afgelopen maand, laat het model ze doen, en leg het resultaat naast de bron. Klopt het bij alle vijf, dan blijft de stap in de bak. Klopt er één niet, dan verhuis je de stap een bak naar beneden.

Zo kom je uit op een sortering die je zelf hebt gemeten, en niet op een gok die goed klonk.

Wat je deze week kunt doen

1. Kies een werkproces dat vaak terugkomt: een nota, een offerte, een nieuwsbrief, een toets.
2. Schrijf de stappen op, zes tot tien. Eén werkwoord per stap.
3. Zet bij elke stap de fase: Source, Edit, Approve of Launch.
4. Beantwoord per stap de drie vragen en zet de stap in een bak.
5. Test de stappen in de bak ja en ja-met-controle met vijf echte voorbeelden, en pas de bakken aan op wat je ziet.

Het resultaat past op één kant van een vel. Dat is meteen de basis voor een werkbeleid.

Bron

Dell'Acqua, F., McFowland III, E., Mollick, E., Lifshitz-Assaf, H., Kellogg, K., Rajendran, S., Krayer, L., Candelon, F. & Lakhani, K. (2023). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Harvard Business School Working Paper 24-013. papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321