Bij een AI-samenvatting is verzinnen niet het grootste risico. Het grootste risico is weglaten. Het model laat precies het stukje weg dat de bewering begrensde, en dan zegt de samenvatting meer dan de bron. De gewone eindredactie vangt dat niet, want alle namen, cijfers en jaartallen kloppen nog.
Dat is geen indruk. Uwe Peters (Universiteit Utrecht) en Benjamin Chin-Yee (Western University) vergeleken 4.900 samenvattingen van wetenschappelijke teksten, gemaakt door tien veelgebruikte taalmodellen, met het origineel. De meeste modellen trokken de conclusies breder dan de bron, ook als ze uitdrukkelijk om nauwkeurigheid werden gevraagd. Bij DeepSeek, ChatGPT-4o en LLaMA 3.3 70B gebeurde dat in 26 tot 73 procent van de gevallen. Vergeleken met samenvattingen door mensen bevatten de AI-samenvattingen bijna vijf keer zo vaak een te brede generalisatie. En nieuwere modellen deden het eerder slechter dan oudere.
Het onderzoek ging over wetenschappelijke teksten. Voor een redactie die rapporten, onderzoeken en persberichten laat samenvatten, is dat dus geen ver-van-mijn-bedshow.
Welke fase dit is
SEAL beschrijft de vier fasen die kenniswerk doorloopt: Source, Edit, Approve, Launch. In elke fase kan de herleidbaarheid van een bron verloren gaan, en de zwakste fase bepaalt wat het werk waard is.
Een te brede samenvatting is een probleem van Edit. De vraag van die fase is: dekt de bron de tekst na bewerking nog?
Bij Source ontbreekt er iets, bijvoorbeeld een bron die niet bestaat. Bij Edit ontbreekt juist niets. Het rapport bestaat, de link werkt en het cijfer staat er. Alleen beweert de tekst nu iets wat het rapport niet beweert. Daarom valt deze fout bij een eindcontrole zo weinig op: alles ziet er goed uit.
Drie plekken waar de betekenis verschuift
Leg de samenvatting naast de bron en kijk bij elke zin met een bewering naar drie dingen.
1. Bereik. Over wie, waar en hoeveel gaat het? Een onderzoek onder mbo-studenten in één regio wordt "studenten". Een proef op drie scholen wordt "scholen". Zoek in de bron de groep, de plaats en de omvang op, en kijk of ze in de samenvatting nog staan.
2. Stelligheid. Hoe zeker zegt de bron het? "Hangt samen met" wordt "leidt tot", en "mogelijk" valt weg. Soms wordt een vaststelling zelfs een advies: de bron beschrijft wat er gebeurt, de samenvatting zegt wat er moet gebeuren. Tel de voorbehouden in de bronpassage en zoek ze terug.
3. Tijd. Wanneer gold het? Een meting uit 2019 wordt in de samenvatting een vaststelling in de tegenwoordige tijd: "had" wordt "heeft". Kijk naar de periode van het onderzoek en naar de werkwoordstijd in de samenvatting.
Een verzonnen voorbeeld, om de drie punten naast elkaar te zien:
- Bron: "In onze steekproef van 312 docenten in het voortgezet onderwijs gaf in 2024 een minderheid aan AI wekelijks te gebruiken bij het nakijken."
- Samenvatting: "Docenten gebruiken AI steeds vaker bij het nakijken."
Het bereik is weg: van 312 vo-docenten naar alle docenten. De stelligheid is verschoven: "een minderheid" is verdwenen, en "steeds vaker" is een trend die de bron niet meet. En de tijd: 2024 is de tegenwoordige tijd geworden. Elk woord dat er nog staat, klopt. Er staat alleen te weinig.
Waarom de eindredactie dit niet vindt
Eindredactie kijkt naar wat er staat: klopt de naam, klopt het cijfer, loopt de zin. Een te brede samenvatting gaat juist mis op wat er níét meer staat. Dat vind je alleen met de bron ernaast, zin voor zin. Zonder vaste afspraak gebeurt dat nu eenmaal niet als de deadline nadert, en een extra leesronde verandert daar weinig aan: wie zonder bron leest, leest een vloeiende tekst.
Een werkwijze voor de redactie
- Een AI-samenvatting gaat niet door zonder de bron ernaast. Niet de link, maar de passage.
- Wie nakijkt, loopt bij elke bewering bereik, stelligheid en tijd langs, en vinkt de passage af.
- Wordt de zin later herschreven, dan vervalt het vinkje. Dat is de kern van Edit: een goedkeuring hangt aan de passage waarop die slaat.
- Laat het model vóór de samenvatting eerst de beperkingen van de bron opsommen: groep, periode, voorbehouden. Dat maakt het nakijken sneller. Het vervangt het nakijken niet, want ook met een instructie tot nauwkeurigheid generaliseerden de modellen in het onderzoek te breed.
De onderzoekers noemen zelf nog twee maatregelen: een lagere temperature-instelling en modellen vooraf testen op precies deze fout. Met de hand blijft het werk. Een systeem dat bij elke zin de bronpassage toont, maakt er een kwestie van twee teksten naast elkaar leggen van. In TRACES heet die laag Retrieval.
Wat je deze week kunt doen
- Pak vijf AI-samenvattingen die de afgelopen maand zijn gebruikt of gepubliceerd, met de bron erbij.
- Markeer in elke samenvatting de zinnen met een bewering.
- Loop per zin bereik, stelligheid en tijd na tegen de bronpassage.
- Tel de zinnen die breder zijn dan de bron, en kijk hoeveel daarvan de eindredactie eruit had gehaald.
Het verschil tussen die twee getallen is jullie lek bij Edit.
Bron
Peters, U. & Chin-Yee, B. (2025). Generalization bias in large language model summarization of scientific research. Royal Society Open Science. arxiv.org/abs/2504.00025