En un resumen de IA, inventar no es el mayor riesgo. El mayor riesgo es omitir. El modelo suprime justo el detalle que limitaba la afirmación, y el resumen acaba diciendo más que la fuente. La corrección de estilo habitual no lo detecta, porque todos los nombres, cifras y fechas siguen siendo correctos.
No es una impresión. Uwe Peters (Universidad de Utrecht) y Benjamin Chin-Yee (Western University) compararon con los originales 4.900 resúmenes de textos científicos, elaborados por diez modelos de lenguaje de uso extendido. La mayoría de los modelos formulaban las conclusiones de forma más amplia que la fuente, incluso cuando se les pedía expresamente precisión. En DeepSeek, ChatGPT-4o y LLaMA 3.3 70B ocurrió en entre el 26 y el 73 por ciento de los casos. Frente a los resúmenes hechos por personas, los de IA contenían una generalización excesiva casi cinco veces más a menudo. Y los modelos más nuevos tendían a hacerlo peor que los anteriores.
El estudio trataba de textos científicos. Para una redacción que encarga resúmenes de informes, estudios y notas de prensa, está muy cerca.
Qué fase es esta
SEAL describe las cuatro fases por las que pasa el trabajo de conocimiento: Source, Edit, Approve, Launch. En cada fase se puede perder la trazabilidad de una fuente, y la fase más débil determina lo que vale el trabajo.
Un resumen demasiado amplio es un problema de Edit. La pregunta de esa fase es: ¿sigue cubriendo la fuente el texto después de editarlo?
En Source falta algo, por ejemplo una fuente que no existe. En Edit no falta nada. El informe existe, el enlace funciona y la cifra está ahí. Solo que el texto afirma algo que el informe no afirma. Por eso este error casi no se nota en una comprobación final: todo parece correcto.
Tres lugares donde se desplaza el significado
Pon el resumen junto a la fuente y, en cada frase que contenga una afirmación, fíjate en tres cosas.
1. Alcance. ¿De quién, dónde y cuántos? Un estudio con estudiantes de formación profesional de una región se convierte en "estudiantes". Una prueba en tres centros se convierte en "centros". Busca en la fuente el grupo, el lugar y el tamaño, y comprueba si siguen en el resumen.
2. Certeza. ¿Con qué seguridad lo dice la fuente? "Se asocia con" pasa a "provoca", y "posiblemente" desaparece. A veces un hallazgo se convierte incluso en un consejo: la fuente describe lo que ocurre, el resumen dice lo que debería ocurrir. Cuenta las salvedades del pasaje de la fuente y búscalas de nuevo.
3. Tiempo. ¿Cuándo era válido? Una medición de 2019 se convierte en el resumen en una constatación en presente: "tenía" pasa a "tiene". Mira el periodo del estudio y el tiempo verbal del resumen.
Un ejemplo inventado, para ver los tres puntos juntos:
- Fuente: "En nuestra muestra de 312 docentes de secundaria, una minoría indicó en 2024 que usaba la IA semanalmente para corregir."
- Resumen: "Los docentes usan cada vez más la IA para corregir."
El alcance ha desaparecido: de 312 docentes de secundaria a todos los docentes. La certeza se ha desplazado: "una minoría" ha desaparecido, y "cada vez más" es una tendencia que la fuente no mide. Y el tiempo: 2024 se ha convertido en presente. Cada palabra que queda es correcta. Lo que pasa es que faltan palabras.
Por qué la corrección de estilo no lo encuentra
La corrección de estilo mira lo que hay en la página: si el nombre es correcto, si la cifra es correcta, si la frase se lee bien. Un resumen demasiado amplio falla en lo que ya no está en la página. Eso solo se encuentra con la fuente al lado, frase por frase. Sin un acuerdo fijo, eso sencillamente no ocurre cuando se acerca el cierre, y una ronda de lectura adicional cambia poco: quien lee sin la fuente está leyendo un texto fluido.
Un método de trabajo para la redacción
- Un resumen de IA no sale sin la fuente al lado. No el enlace, el pasaje.
- Quien lo revisa recorre alcance, certeza y tiempo en cada afirmación y marca el pasaje como comprobado.
- Si la frase se reescribe más tarde, la marca caduca. Esa es la clave de Edit: una aprobación va ligada al pasaje al que se refiere.
- Antes del resumen, pide al modelo que enumere primero las limitaciones de la fuente: grupo, periodo, salvedades. Eso agiliza la revisión. No la sustituye, porque en el estudio los modelos generalizaban en exceso incluso con la instrucción de ser precisos.
Los investigadores sugieren por su cuenta otras dos medidas: un ajuste más bajo de temperature y probar de antemano los modelos frente a este error concreto. A mano, sigue siendo trabajo. Un sistema que muestra el pasaje de la fuente junto a cada frase lo convierte en cuestión de poner dos textos uno al lado del otro. En TRACES, esa capa se llama Retrieval.
Qué puedes hacer esta semana
- Toma cinco resúmenes de IA que se hayan usado o publicado durante el último mes, con su fuente.
- En cada resumen, marca las frases que contengan una afirmación.
- Para cada frase, comprueba alcance, certeza y tiempo frente al pasaje de la fuente.
- Cuenta las frases que son más amplias que la fuente y mira cuántas habría detectado la corrección de estilo.
La diferencia entre esas dos cifras es vuestra fuga en Edit.
Fuente
Peters, U. & Chin-Yee, B. (2025). Generalization bias in large language model summarization of scientific research. Royal Society Open Science. arxiv.org/abs/2504.00025