Een pilot van zes weken eindigt vaak met een gesprek waarin iedereen iets anders onthouden heeft. De een vond het "wel handig". De ander had er weinig aan. Het team is enthousiast, de directie wil cijfers, en die cijfers bestaan niet, want niemand heeft vooraf gemeten hoe lang het werk zonder het systeem duurde. De pilot loopt nog een kwartaal door, omdat stoppen niet kan en beslissen ook niet.
Dat ligt zelden aan de tool. Het ligt aan wat er vóór de start niet is afgesproken.
De oorzaak: de maatstaf komt na afloop
Bij een pilot zonder vooraf vastgelegde maatstaf kies je de maatstaf achteraf. En achteraf kies je automatisch wat goed uitpakt. Is het systeem sneller, dan telt snelheid. Is het systeem trager maar zorgvuldiger, dan telt zorgvuldigheid. Daar is niemand onoprecht in. Je hebt alleen geen punt om het tegen af te zetten.
Er zijn vier dingen die ontbreken, en ze ontbreken bijna altijd samen: een vraag waar de pilot antwoord op geeft, een nulmeting van het werk zoals het nu gaat, een drempel waarboven je doorgaat, en iemand die het besluit neemt. Zonder die vier is een pilot een uitgesteld besluit.
De pilotkaart
Zet vóór de start zes velden op één pagina. Vul ze in vóórdat iemand het systeem opent, en laat degene die beslist ze lezen.
1. De vraag. Eén zin, met een ja of nee als mogelijk antwoord. Niet "wat kan AI voor ons doen", maar "kan een assistent de eerste versie van de offerte schrijven, zodat de vakinhoudelijke review korter wordt?"
2. De nulmeting. Hoe gaat het werk nu, uitgedrukt in iets telbaars: uren per offerte, aantal correctierondes, aantal fouten dat bij een review wordt gevonden. Meet dit voor je begint, op minstens tien echte gevallen. Zonder dit getal is elke uitkomst na afloop een indruk.
3. De maat. Wat meet je tijdens de pilot, en hoe? Dezelfde eenheid als bij de nulmeting, anders kun je ze niet naast elkaar leggen. Kies ook één kwaliteitsmaat die niet over snelheid gaat, want een systeem kan alleen winnen op tempo als het werk er slechter van wordt.
4. De drempel. De uitkomst waarboven je doorgaat, en de uitkomst waaronder je stopt. Schrijf ze als getal, met het tussengebied erbij: bij minder dan twintig procent minder tijd en geen verbetering in kwaliteit stoppen we, bij meer dan veertig procent minder tijd en gelijke kwaliteit gaan we door, daartussen passen we aan. Die getallen zijn jullie eigen keuze. Het gaat erom dat ze er staan voordat de resultaten er zijn.
5. De einddatum. Een dag op de kalender, geen "ongeveer zes weken". Op die dag is de pilot afgelopen, of er nu iemand tevreden is of niet. Verlengen kan alleen met een nieuwe pilotkaart.
6. Het besluit. Wie beslist, met welke drie uitkomsten (doorgaan, aanpassen, stoppen), en op welke dag. Hang dat besluit aan de vergadering waarin de uitkomst wordt besproken, niet aan een toezegging om "er nog eens naar te kijken".
Een verzonnen voorbeeld van een ingevulde kaart. Vraag: kan de assistent de eerste versie van een offerte schrijven? Nulmeting: elf offertes van afgelopen kwartaal, gemiddeld vier uur per stuk, gemiddeld twee correctierondes. Maat: dezelfde twee getallen over tien nieuwe offertes, plus het aantal beweringen dat bij de review geen bron bleek te hebben. Drempel: minder dan een kwartier winst per offerte of méér beweringen zonder bron dan nu, dan stoppen. Einddatum: 14 november. Besluit: de directeur, op de maandag erna.
Wat je van de tool zelf mag vragen
Een pilot levert alleen bruikbare cijfers als het systeem het spoor als bijproduct bewaart. Wie na zes weken moet reconstrueren wat er gebeurd is, reconstrueert verkeerd of niet. In TRACES is dat de laag Trail: wat is vastgelegd, en ontstaat dat vanzelf terwijl iemand werkt?
TRACES zijn de zes lagen waarop je een AI-systeem toetst: Trail, Retrieval, Approval, Constraints, Expertise, Storage. Ontbreekt een laag, dan zit daar een risico.
Vraag vóór de pilot of het systeem per taak vastlegt wat is gevraagd, wat het antwoord was en wie het heeft goedgekeurd, en of je dat kunt exporteren. Kan dat niet, spreek dan af hoe je het zelf bijhoudt, bijvoorbeeld met een simpele tabel waarin elke deelnemer per taak een regel invult. Het mag handwerk zijn, als het maar vooraf is afgesproken.
Wie het systeem nog niet heeft gekozen, kan eerst de leverancierscan op deze site gebruiken. Die legt de openbare documentatie langs dezelfde zes lagen.
Wat je deze week kunt doen
- Kies de pilot die loopt of binnenkort start. Heeft hij nog geen kaart, dan is dit het moment.
- Vul de zes velden in op één pagina. Begin bij de vraag en de nulmeting.
- Meet de nulmeting op minstens tien echte gevallen, voordat iemand het systeem gebruikt.
- Laat degene die beslist de pagina lezen en akkoord geven, vóór de start. Zet de einddatum en de datum van het besluit in zijn agenda.
Een pilot die je op die manier opzet, kan nog steeds op stoppen eindigen. Dat is dan een besluit, en dat is het punt.