Bij de demo van een kennisassistent stelt iemand een vraag waarop het antwoord in de documenten staat. De assistent antwoordt, met een verwijzing, en iedereen knikt. Dat is de makkelijkste proef die er bestaat. Het zegt niets over wat er gebeurt bij de vraag waarvan het antwoord niet in de documenten staat, en dat is de vraag die een collega in de eerste week stelt.
Voor kenniswerk is dat de vraag die telt. Een assistent die dan een antwoord verzint dat plausibel klinkt, is gevaarlijker dan een assistent die er helemaal niet is. Je merkt het pas als iemand er onder zijn naam op doorwerkt.
Dat is een bekend probleem
Onderzoekers kennen het al lang. Voor SQuAD, een veelgebruikte testset voor systemen die vragen beantwoorden uit een tekst, schreven Rajpurkar, Jia en Liang in 2018 een tweede versie met meer dan 50.000 vragen die niet te beantwoorden zijn, bewust geschreven om op beantwoordbare vragen te lijken. Een sterk systeem haalde 86% F1 op de eerste versie, maar slechts 66% op de tweede. Het kon de vragen wel beantwoorden. Het kon alleen niet zien welke vragen niet te beantwoorden waren.
Dat onderzoek gaat over een oudere generatie systemen en over een standaardtest, niet over jouw assistent. Het laat vooral zien hoe je een testset opbouwt. Wil je weten of een systeem kan zeggen "dat weet ik niet", dan moet je het vragen stellen die daarom vragen.
Welke laag dit is
TRACES zijn de zes lagen waarop je een AI-systeem toetst: Trail, Retrieval, Approval, Constraints, Expertise, Storage. Ontbreekt een laag, dan zit daar een risico.
Het gaat hier om Retrieval: het systeem antwoordt alleen uit een afgebakende bronverzameling, met verwijzing, en zegt dat het antwoord ontbreekt in plaats van iets te verzinnen.
Dat zinnetje bevat drie dingen die je kunt testen. Komt het antwoord uit de verzameling? Staat er een verwijzing bij? En wat doet het systeem als het antwoord er niet in staat? Een demo laat alleen de eerste twee zien. Voor de derde heb je vragen nodig die je er zelf voor bedenkt.
De testset: twintig vragen, vier soorten
Maak een lijst van twintig vragen over de verzameling waarmee de assistent werkt. Verdeel ze over vier soorten.
1. Het antwoord staat erin (vijf vragen). De controlegroep. Kies vragen waarvan je weet op welke pagina het antwoord staat. Haalt de assistent die niet goed, dan hoef je de rest niet te testen.
2. Het onderwerp staat erin, het detail niet (vijf vragen). De bron beschrijft het verlofbeleid, maar zegt niets over verlof voor stagiairs. Het systeem moet niet afleiden wat het "waarschijnlijk" zal zijn.
3. Het onderwerp staat er niet in (vijf vragen). Een vraag over iets waarover je organisatie niets heeft vastgelegd. Hier hoort letterlijk "weet ik niet" te staan, of een verwijzing naar wie het wel weet.
4. De vraag klopt niet met de bron (vijf vragen). Een verkeerde aanname: een vraag over het beleid van 2025 als de verzameling alleen 2023 bevat, of een vraag die uitgaat van een afdeling die niet bestaat. Een goed systeem corrigeert de aanname of zegt dat het er niets over heeft. Een zwak systeem gaat er gewoon in mee.
Vraag door bij elk antwoord dat je krijgt, want de eerste reactie zegt weinig. Stel dezelfde vraag zonder antwoord twee keer, met andere woorden. Een systeem dat de eerste keer "weet ik niet" zegt en de tweede keer een antwoord geeft, heeft geen vaste grens.
Zo scoor je de antwoorden
Geef elk antwoord een van drie oordelen.
- Antwoord met bron. Het antwoord staat er, met een passage die je kunt openen en waarin het antwoord werkelijk staat. Dat laatste moet je controleren, want een verwijzing die er netjes uitziet, bewijst nog niet dat de passage zegt wat het systeem beweert.
- Weet ik niet. Het systeem zegt dat het antwoord niet in de bronnen staat. Dat is het juiste antwoord op soort 2, 3 en 4.
- Antwoord zonder bron. Het systeem geeft een antwoord, maar de passage ontbreekt of zegt iets anders. Dit is de fout waar het om gaat.
Tel per soort. Bij soort 1 wil je vijf keer antwoord met bron. Bij soort 2, 3 en 4 wil je geen enkele keer antwoord zonder bron. Eén keer is geen toeval maar een patroon: het systeem verzint wanneer het niets vindt.
Een verzonnen voorbeeld. Een assistent met het personeelshandboek krijgt de vraag: "Hoeveel dagen studieverlof heeft een stagiair?" Het handboek noemt studieverlof alleen voor medewerkers in vaste dienst. Het systeem antwoordt: "Stagiairs hebben recht op twee dagen studieverlof per jaar." Er staat geen bron bij. Dat is een antwoord zonder bron, en precies het soort dat je nooit ziet als je alleen goede vragen stelt.
Herhaal de test
De testset is geen eenmalige keuring. Elke keer dat de verzameling verandert, een document erbij komt of het model wordt vervangen, kan de grens verschuiven. Bewaar de twintig vragen, draai ze opnieuw en leg de scores naast elkaar. Daarmee begint ook het spoor waar Trail om vraagt: wat is getest, wanneer en met welke uitkomst.
Wie eerst de openbare documentatie van een leverancier wil nalopen, kan de leverancierscan op deze site gebruiken. Die legt een systeem langs dezelfde zes lagen. De testset hierboven toetst vervolgens wat er in de praktijk gebeurt.
Wat je deze week kunt doen
- Kies de verzameling waarmee de assistent werkt, of een deel ervan: een map, een handboek, een jaargang.
- Schrijf twintig vragen in de vier soorten hierboven. Noteer bij soort 1 de pagina waar het antwoord staat.
- Stel alle vragen en bewaar de antwoorden. Geef elk antwoord een oordeel: antwoord met bron, weet ik niet, of antwoord zonder bron.
- Tel de antwoorden zonder bron bij soort 2, 3 en 4. Staat er ook maar één, dan weet je al genoeg om de assistent nog niet breed uit te rollen.
Bron
Rajpurkar, P., Jia, R. & Liang, P. (2018). Know What You Don't Know: Unanswerable Questions for SQuAD. ACL 2018. arxiv.org/abs/1806.03822