Una revisión bibliográfica escrita por un modelo de lenguaje se lee como el trabajo de alguien que conoce la literatura. Los párrafos fluyen, los autores suenan creíbles, las revistas existen. El problema está en la letra pequeña: parte de las referencias no remite a nada.
Eso se ha medido. William Walters y Esther Wilder pidieron a ChatGPT-3.5 y ChatGPT-4 revisiones bibliográficas breves sobre 42 temas variados. Buscaron las 636 referencias de los 84 textos en varias bases de datos y sitios web. En GPT-3.5, el 55 por ciento de las referencias resultó inventado; en GPT-4, el 18 por ciento. Y de las referencias que sí llevaban a una obra real, el 43 por ciento (GPT-3.5) y el 24 por ciento (GPT-4) contenían errores de fondo. Los investigadores califican GPT-4 de gran mejora y concluyen que los problemas persisten.
Esa investigación es de 2023 y probó dos modelos. No muestra qué hacen los modelos actuales. Pero la conclusión para tu trabajo es sencilla: una lista de referencias salida de un modelo es una lista de candidatas, no una lista de fuentes.
Por qué falla con tanta facilidad
Un modelo no busca la literatura. Escribe lo que, estadísticamente, debería parecer una referencia: un autor que publica en ese campo, un año en un periodo lógico, un título que toca el tema, una revista que encaja. A veces es un artículo que existe. A veces es una combinación nueva de elementos que son todos reales, salvo el conjunto.
Por eso no llama la atención en una primera lectura. Una referencia inventada no es descuidada, es convincente. Y en una revisión con cuarenta referencias, nadie comprueba cuarenta veces, y menos cuando se acerca la fecha de entrega.
Qué fase es esta
SEAL describe las cuatro fases por las que pasa el trabajo de conocimiento: Source, Edit, Approve, Launch. En cada fase se puede perder la trazabilidad de una fuente, y la fase más débil determina lo que vale el trabajo.
Este es un problema de Source. La pregunta de esa fase es: ¿de dónde viene la información, y existe de verdad esa fuente? Una afirmación entra en el trabajo con una fuente que la IA ha inventado, y sin una fuente registrada el resto de la cadena no se puede salvar. Puedes escribir un párrafo excelente, hacer que lo revisen y que lo aprueben, pero si la fuente que hay debajo no existe, todo el esfuerzo posterior se ha tirado.
Tres pasos por referencia
Hazlo por referencia, y hazlo antes de entregar la revisión a nadie. No después, porque tras la entrega una fuente inventada es una corrección, no una comprobación.
1. ¿Existe la obra? Busca la referencia en un lugar ajeno al modelo: la web de la editorial, un catálogo de biblioteca, Crossref o Google Scholar. Busca por título, no por el enlace que da el modelo. Un DOI que no funciona es una señal de alarma, pero uno que sí funciona prueba poco: puede remitir a un artículo distinto del que sugiere el título. Compara, por tanto, lo que encuentras con lo que pone.
2. ¿Son correctos los datos? Compara autores, año, revista, volumen y números de página con la propia fuente. No es meticulosidad excesiva. En la investigación de Walters y Wilder, casi la mitad de las referencias reales de GPT-3.5 tenía un error de fondo. Quien incluye un número de página equivocado hace que el lector, y el siguiente investigador, busquen un pasaje que no está.
3. ¿Dice la fuente lo que afirma el texto? Abre la obra y localiza el pasaje. Un artículo que existe puede tratar del tema sin sostener la afirmación. Es la parte que más tiempo lleva, y la única que requiere a alguien con conocimiento experto. Si la referencia no pasa este punto, no es una fuente inventada, sino una afirmación desplazada. Eso pertenece a la fase Edit, y para ese error hace falta otra comprobación.
Un registro que puedes entregar con el trabajo
Anota tres resultados por referencia, en una tabla con una fila por fuente:
- N.º: 7
- Referencia: Jansen & De Wit (2021)
- Encontrada (dónde, fecha): Crossref, 12 oct.
- Datos correctos: No: el volumen 14 debe ser 41, corregido
- Pasaje comprobado: Sí, p. 112
- N.º: 12
- Referencia: Ejemplo inventado: Bakker (2019)
- Encontrada (dónde, fecha): No encontrada
- Datos correctos: n. a.
- Pasaje comprobado: n. a.
(Las filas son inventadas, a modo de ilustración.)
Tres resultados por fila bastan: encontrada, discrepante, no encontrada. Solo lo encontrado se queda en la revisión. Lo que no se encuentra sale, o bien buscas tú la fuente real y reconstruyes el párrafo sobre ella, en lugar de pedirle al modelo "otra fuente". Eso solo produce la siguiente referencia que tendrás que comprobar.
El registro es más que orden administrativo. Los clientes que preguntan cómo se hizo la revisión reciben un documento en lugar de una promesa. Y quien actualice la revisión más adelante ve qué referencias ya se han comprobado.
Mejor que comprobar después
La respuesta más sólida es que el modelo no tenga que inventar las referencias. Un sistema que responde solo a partir de una colección que habéis aportado vosotros no puede citar una referencia que no esté en ella. En TRACES, las seis capas con las que evalúas un sistema de IA, eso se llama Retrieval. El sistema también debería decir que falta la respuesta, en lugar de inventar algo. Entonces sigue haciendo falta la comprobación del paso 3, pero los pasos 1 y 2 desaparecen en buena medida.
Si usas un modelo suelto sin una colección así, la lista que sale del modelo es un punto de partida para buscar. Las fuentes las consigues tú, y la referencia la copias de la obra, no de la respuesta.
Qué puedes hacer esta semana
- Toma la última revisión en la que se haya usado IA, terminada o todavía en borrador. Elige diez referencias.
- Busca cada una fuera del modelo, por título. Anota: encontrada, discrepante o no encontrada.
- En las obras que encuentres, comprueba que autor, año, volumen y páginas son correctos.
- Cuenta cuántas de las diez no existían o contenían errores. Ese número es la fuga de vuestro propio método de trabajo en Source, y puedes ponerlo junto al de la investigación.
Fuente
Walters, W.H. & Wilder, E.I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. doi.org/10.1038/s41598-023-41032-5