Een literatuuroverzicht dat een taalmodel schrijft, leest als het werk van iemand die de literatuur kent. De alinea's lopen, de auteurs klinken geloofwaardig, de tijdschriften bestaan. Het probleem zit in het kleine lettertype: een deel van de verwijzingen verwijst nergens naar.
Dat is gemeten. William Walters en Esther Wilder vroegen ChatGPT-3.5 en ChatGPT-4 om korte literatuuroverzichten over 42 uiteenlopende onderwerpen. Ze zochten alle 636 verwijzingen in de 84 teksten op in meerdere databanken en op websites. Bij GPT-3.5 bleek 55 procent van de verwijzingen verzonnen, bij GPT-4 18 procent. En van de verwijzingen die wél naar een echt werk leidden, bevatte 43 procent (GPT-3.5) respectievelijk 24 procent (GPT-4) inhoudelijke fouten. De onderzoekers noemen GPT-4 een grote verbetering en concluderen dat de problemen blijven.
Dat onderzoek dateert van 2023 en testte twee modellen. Wat huidige modellen doen, laat het niet zien. Maar de conclusie voor je werk is simpel: een lijst met verwijzingen uit een model is een lijst kandidaten, geen lijst bronnen.
Waarom dit zo makkelijk misgaat
Een model zoekt de literatuur niet op. Het schrijft wat een verwijzing er statistisch uit hoort te zien: een auteur die in dat vakgebied publiceert, een jaartal in een logische periode, een titel die het onderwerp raakt, een tijdschrift dat erbij past. Soms is dat een bestaand artikel. Soms is het een nieuwe combinatie van onderdelen die allemaal echt zijn, behalve het geheel.
Daardoor valt het in een eerste lezing niet op. Een verzonnen verwijzing is niet slordig, ze is juist overtuigend. En in een overzicht met veertig verwijzingen leest niemand veertig keer na, zeker niet als de deadline dichtbij is.
Welke fase dit is
SEAL beschrijft de vier fasen die kenniswerk doorloopt: Source, Edit, Approve, Launch. In elke fase kan de herleidbaarheid van een bron verloren gaan, en de zwakste fase bepaalt wat het werk waard is.
Dit is een probleem van Source. De vraag van die fase is: waar komt de informatie vandaan, en bestaat die bron werkelijk? Een bewering komt in het werk met een bron die AI heeft verzonnen, en zonder vastgelegde bron is de rest van de keten niet te redden. Je kunt een mooie alinea schrijven, laten nalezen en laten goedkeuren, maar als de bron eronder niet bestaat, was alle moeite daarna weggegooid.
Drie stappen per verwijzing
Doe het per verwijzing, en doe het vóór je het overzicht aan iemand geeft. Niet daarna, want na oplevering is een verzonnen bron een correctie, geen controle.
1. Bestaat het werk? Zoek de verwijzing op via een plek buiten het model: de website van de uitgever, een bibliotheekcatalogus, Crossref of Google Scholar. Zoek op titel, niet op de link die het model meegeeft. Een DOI die niet werkt is een signaal, maar een DOI die wél werkt bewijst weinig: hij kan naar een ander artikel verwijzen dan de titel suggereert. Vergelijk dus wat je vindt met wat er staat.
2. Kloppen de gegevens? Vergelijk auteurs, jaar, tijdschrift, jaargang en paginanummers met de bron zelf. Dit is geen pietluttigheid. In het onderzoek van Walters en Wilder zat bijna de helft van de echte GPT-3.5-verwijzingen met een substantiële fout. Wie een verkeerd paginanummer opneemt, laat de lezer en de volgende onderzoeker zoeken naar een passage die er niet staat.
3. Zegt de bron wat de tekst beweert? Open het werk en zoek de passage. Een bestaand artikel kan over het onderwerp gaan zonder de bewering te dragen. Dit is het deel dat het meeste tijd kost, en het enige waar iemand met vakkennis voor nodig is. Als de verwijzing hier afvalt, is dat geen verzonnen bron, maar een verschoven bewering. Dat behoort tot de fase Edit, en voor die fout is een andere controle nodig.
Een logboek dat je mee kunt opleveren
Houd per verwijzing drie uitkomsten bij, in een tabel met een rij per bron:
- Nr.: 7
- Verwijzing: Jansen & De Wit (2021)
- Gevonden (waar, datum): Crossref, 12 okt
- Gegevens kloppen: Nee: jaargang 14 moet 41 zijn, gecorrigeerd
- Passage gecontroleerd: Ja, p. 112
- Nr.: 12
- Verwijzing: Verzonnen voorbeeld: Bakker (2019)
- Gevonden (waar, datum): Niet gevonden
- Gegevens kloppen: n.v.t.
- Passage gecontroleerd: n.v.t.
(De rijen zijn verzonnen, ter illustratie.)
Drie uitkomsten per rij zijn genoeg: gevonden, afwijkend, niet gevonden. Alleen wat gevonden is, blijft in het overzicht. Wat niet gevonden wordt, gaat eruit, óf je zoekt de echte bron erbij en bouwt de alinea daarop opnieuw, in plaats van het model te vragen "een andere bron" te geven. Dat laatste levert de volgende verwijzing op die je weer moet controleren.
Het logboek is meer dan huishouden. Opdrachtgevers die vragen hoe het overzicht tot stand kwam, krijgen geen belofte maar een document. En wie het overzicht later bijwerkt, ziet welke verwijzingen al getoetst zijn.
Beter dan achteraf controleren
Het sterkste antwoord is dat het model de verwijzingen niet zelf hoeft te verzinnen. Een systeem dat alleen antwoordt uit een verzameling die jullie zelf hebben aangeleverd, kan geen verwijzing noemen die daar niet in staat. In TRACES, de zes lagen waarop je een AI-systeem toetst, heet dat Retrieval. Het systeem hoort ook te zeggen dat het antwoord ontbreekt, in plaats van iets te verzinnen. Dan blijft de controle nodig voor stap 3, maar stap 1 en 2 verdwijnen grotendeels.
Gebruik je een los model zonder zo'n verzameling, dan is de lijst uit het model een beginpunt voor zoeken. De bronnen zelf haal je op, en je schrijft de verwijzing over uit het werk, niet uit het antwoord.
Wat je deze week kunt doen
- Pak het laatste overzicht waarin AI is gebruikt, afgerond of nog in concept. Kies er tien verwijzingen uit.
- Zoek elke verwijzing op buiten het model, op titel. Noteer: gevonden, afwijkend of niet gevonden.
- Kijk bij de gevonden werken of auteur, jaar, jaargang en pagina's kloppen.
- Tel hoeveel van de tien niet bestonden of fouten bevatten. Dat getal is het lek van jullie eigen werkwijze bij Source, en je kunt hem naast dat van het onderzoek leggen.
Bron
Walters, W.H. & Wilder, E.I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. doi.org/10.1038/s41598-023-41032-5