Een rapport met verzonnen bronnen ziet er precies zo uit als een rapport zonder. Dezelfde opmaak, dezelfde toon, dezelfde keurige voetnoten. Wie het leest op argument en opbouw, en dat doet vrijwel iedere beoordelaar, merkt er niets van.
Dat bleek in 2025 in Australië. Deloitte schreef voor het ministerie van Werkgelegenheid en Arbeidsrelaties (DEWR) een onafhankelijke toets van het handhavingskader rond uitkeringen voor werkzoekenden, goed voor een contract van 440.000 Australische dollar. Chris Rudge, onderzoeker aan de Universiteit van Sydney, zag in het rapport verwijzingen naar werk van zijn collega's dat niet bestond. Er bleken verzonnen publicaties in te staan en een citaat uit een rechterlijke uitspraak dat niet in die uitspraak voorkwam. Deloitte bevestigde dat het een toolketen op basis van Azure OpenAI GPT-4o had gebruikt. Het ministerie liet het laatste deel van het bedrag terugbetalen, en in de gecorrigeerde versie kwam een verwijzing naar generatieve AI in de bijlage te staan.
Let op wie het vond: een buitenstaander die toevallig zijn eigen vakgebied herkende. Niet de opdrachtgever, niet een tweede lezer.
Welke fase dit is
SEAL beschrijft de vier fasen die kenniswerk doorloopt: Source, Edit, Approve, Launch. In elke fase kan de herleidbaarheid van een bron verloren gaan, en de zwakste fase bepaalt wat het werk waard is.
Een verzonnen bron is een probleem van Source. De vraag van die fase is: bestaat de bron werkelijk?
Het lastige is dat een beoordelaar die vraag zelden stelt. Een literatuurlijst lees je als onderdeel van de opmaak. Je ziet dat hij er is, dat hij netjes oogt en dat de jaartallen kloppen. Je opent hem niet. En een taalmodel schrijft een verwijzing die zo overtuigend klinkt, met een plausibele auteur, een plausibele titel en een plausibel tijdschrift, dat het openen ook weinig zou opleveren zolang je niet verder zoekt dan de eerste regel.
Een steekproef in drie stappen
Je hoeft niet elke voetnoot na te lopen. Je hoeft wel de goede na te lopen. Kies de bronnen onder de beweringen waar de aanbevelingen op rusten, plus een paar willekeurige. Tien is een prima begin. Loop ze daarna in drie stappen af.
1. Bestaat het? Zoek de titel, de auteur en het jaar op. Een uitspraak vind je in het register van de rechtbank, een artikel bij de uitgever of in het tijdschrift zelf. Vind je niets, dan is dat nog geen bewijs dat het niet bestaat. Het is wel de reden om de maker om het stuk te vragen. De bewijslast ligt bij wie de bron noemt.
2. Staat het erin? Open de passage en lees wat er staat. Een bron kan bestaan en toch iets anders zeggen dan het rapport beweert. Dat komt ook zonder AI voor. Bij een citaat telt letterlijkheid: staat precies deze zin op die pagina?
3. Past het bij de bewering? Zelfs een bestaande bron met de juiste inhoud kan een te brede bewering dragen. Kijk naar bereik, stelligheid en tijd. Daar gaat het artikel over het nalopen van een AI-samenvatting dieper op in.
Een verzonnen voorbeeld om het te zien:
- In het rapport: "Uit onderzoek blijkt dat gemeenten die vroeg verwijzen, het aantal herindicaties met een derde verlagen (Van Dijk & Mertens, 2023)."
- Stap 1: geen artikel met deze titel bij de uitgever, geen auteurs met deze combinatie in het vakgebied. Vraag de maker om het pdf.
- Stap 2: komt het pdf er wel, dan staat de "derde" er misschien in als uitkomst bij één gemeente.
- Stap 3: dan is "gemeenten die vroeg verwijzen" een aanzienlijke verbreding.
Drie stappen, drie verschillende manieren om fout te zitten.
Wat je de maker vraagt
Vraag niet of er AI is gebruikt. Dat antwoord is bijna altijd ja, en het zegt niets over de kwaliteit. Vraag wat er is nagelopen, door wie, en waar dat staat.
Een bureau dat zijn bronnen vastlegt terwijl het werkt, kan binnen een uur een bestand leveren waarin bij elke bewering de bron en de passage staan, met de naam van wie die heeft nagelopen. Een bureau dat dat achteraf moet reconstrueren, heeft het niet gedaan. Beide antwoorden zijn informatie. In TRACES heet die laag Trail: wat is er vastgelegd, en ontstaat dat spoor vanzelf tijdens het werk of moet iemand het bijhouden?
De steekproef beoordeelt wat er ligt, niet hoe het gemaakt is. Met AI of zonder, de vraag blijft of de bron bestaat en zegt wat het rapport beweert dat die zegt.
Als je zelf het rapport maakt
Het omgekeerde geldt net zo. Wie een rapport met AI-hulp schrijft, houdt de bron vast op het moment dat de bewering erin komt, niet pas bij de eindcontrole. Dan is de steekproef van de opdrachtgever een kwestie van een bestand openen.
Het Deloitte-rapport werd gecorrigeerd, het ministerie liet weten dat de kern overeind bleef en dat de aanbevelingen niet veranderden. Dat kan best kloppen. Maar het kostte wel een terugbetaling, een correctie en een krantenartikel, en dat voor een controle die een middag duurt.
Wat je deze week kunt doen
- Pak het laatste rapport dat jullie hebben ontvangen of geschreven en waar AI een rol in speelde.
- Kies tien bronnen: de zes onder de zwaarste beweringen en vier willekeurige.
- Loop elke bron langs bestaan, inhoud en bereik, en noteer per bron wat je hebt gezien.
- Vind je er één die niet bestaat, controleer dan alle bronnen en vraag de maker om het bronbestand.
- Spreek af wie dit bij het volgende rapport doet, en vóór welk moment.
Het getal dat je overhoudt, het aantal bronnen dat niet bestond of iets anders zei, is jullie lek bij Source.
Bronnen
- Cyber Daily (2025). Deloitte to refund government after using AI in $440,000 report. cyberdaily.au
- City AM (2025). Deloitte refunds Australian government after AI 'made up citations' in report. cityam.com