Ir al contenido
VergeLabs

Artikel

Cómo evaluar un informe hecho con IA

Un informe lleno de errores de IA tiene el mismo aspecto cuidado que uno bueno. Una muestra de las fuentes hace visible la diferencia y lleva una tarde.

Door Nathan · Artikel · 13 oktober 2026 · 5 min lezen

Un informe con fuentes inventadas se ve exactamente igual que uno sin ellas. El mismo formato, el mismo tono, las mismas notas al pie bien ordenadas. Si lo lees atendiendo al argumento y a la estructura, como hace casi cualquier revisor, no notas nada.

Eso quedó claro en Australia en 2025. Deloitte redactó para el Departamento de Empleo y Relaciones Laborales (DEWR) una revisión independiente del marco de control de las prestaciones a personas en busca de empleo, con un contrato de 440.000 dólares australianos. Chris Rudge, investigador de la Universidad de Sídney, detectó en el informe referencias a trabajos de sus colegas que no existían. El informe contenía también publicaciones inventadas y una cita de una sentencia que no aparecía en ella. Deloitte confirmó que había usado una cadena de herramientas basada en Azure OpenAI GPT-4o. El departamento hizo que se devolviera el último tramo del importe, y la versión corregida incorporó en un anexo una referencia a la IA generativa.

Fíjate en quién lo encontró: alguien de fuera que reconoció por casualidad su propio campo. No el cliente, ni un segundo lector.

Qué fase es esta

SEAL describe las cuatro fases por las que pasa el trabajo de conocimiento: Source, Edit, Approve, Launch. En cada fase se puede perder la trazabilidad de una fuente, y la fase más débil determina lo que vale el trabajo.

Una fuente inventada es un problema de Source. La pregunta de esa fase es: ¿existe de verdad la fuente?

La dificultad es que un revisor rara vez la hace. La lista bibliográfica se lee como parte del formato. Ves que está, que tiene buen aspecto y que los años cuadran. No la abres. Y un modelo de lenguaje escribe una referencia tan convincente, con un autor verosímil, un título verosímil y una revista verosímil, que abrirla tampoco aportaría mucho mientras no mires más allá de la primera línea.

Una muestra en tres pasos

No hace falta comprobar todas las notas al pie. Sí hace falta comprobar las adecuadas. Elige las fuentes que hay bajo las afirmaciones en las que se apoyan las recomendaciones, más unas cuantas al azar. Diez es un buen comienzo. Después pasa cada una por tres pasos.

1. ¿Existe? Busca el título, el autor y el año. Una sentencia está en el registro del tribunal; un artículo, en la editorial o en la propia revista. Si no encuentras nada, eso aún no prueba que no exista. Pero sí es motivo para pedirle el documento al autor. La carga de la prueba la tiene quien cita la fuente.

2. ¿Lo dice? Abre el pasaje y lee lo que pone. Una fuente puede existir y decir algo distinto de lo que afirma el informe. Eso ocurre también sin IA. En una cita, lo que cuenta es la literalidad: ¿aparece exactamente esta frase en esa página?

3. ¿Encaja con la afirmación? Incluso una fuente existente con el contenido correcto puede sostener una afirmación demasiado amplia. Fíjate en el alcance, en el grado de certeza y en el tiempo. El artículo sobre cómo revisar un resumen hecho con IA lo trata con más detalle.

Un ejemplo inventado para verlo:

  • En el informe: «Las investigaciones muestran que los ayuntamientos que derivan pronto reducen en un tercio las reevaluaciones (Van Dijk & Mertens, 2023)».
  • Paso 1: no hay ningún artículo con este título en la editorial, ni autores con esta combinación en el campo. Pídele el pdf al autor.
  • Paso 2: si el pdf llega, puede que el «tercio» sea el resultado de un solo ayuntamiento.
  • Paso 3: entonces «los ayuntamientos que derivan pronto» es una generalización considerable.

Tres pasos, tres maneras distintas de equivocarse.

Qué preguntas al autor

No preguntes si se ha usado IA. La respuesta casi siempre es sí y no dice nada sobre la calidad. Pregunta qué se ha comprobado, quién lo ha hecho y dónde consta.

Una consultora que registra sus fuentes mientras trabaja puede entregar en una hora un archivo en el que, para cada afirmación, figuran la fuente y el pasaje, con el nombre de quien lo ha comprobado. Una consultora que tiene que reconstruirlo después no lo ha hecho. Ambas respuestas son información. En TRACES, esa capa se llama Trail: qué queda registrado, y si ese rastro se genera por sí solo durante el trabajo o alguien tiene que llevarlo al día.

La muestra evalúa lo que hay, no cómo se ha hecho. Con IA o sin ella, la pregunta sigue siendo si la fuente existe y dice lo que el informe afirma que dice.

Si el informe lo haces tú

Vale igual a la inversa. Quien escribe un informe con ayuda de la IA retiene la fuente en el momento en que entra la afirmación, no en la comprobación final. Entonces la muestra del cliente consiste en abrir un archivo.

El informe de Deloitte se corrigió, y el departamento comunicó que el fondo se mantenía y que las recomendaciones no cambiaban. Puede que sea cierto. Pero costó una devolución, una corrección y un artículo de prensa, por una comprobación que lleva una tarde.

Qué puedes hacer esta semana

  1. Toma el último informe que hayáis recibido o escrito en el que la IA haya tenido algún papel.
  2. Elige diez fuentes: seis bajo las afirmaciones más importantes y cuatro al azar.
  3. Pasa cada fuente por existencia, contenido y alcance, y anota lo que has visto en cada una.
  4. Si encuentras aunque sea una que no existe, comprueba todas y pídele al autor el archivo de fuentes.
  5. Acordad quién hace esto en el próximo informe, y antes de qué momento.

La cifra que te queda, las fuentes que no existían o decían otra cosa, es vuestra fuga en Source.

Fuentes

  • Cyber Daily (2025). Deloitte to refund government after using AI in $440,000 report. cyberdaily.au
  • City AM (2025). Deloitte refunds Australian government after AI 'made up citations' in report. cityam.com
Delen

Artikel · 13 oktober 2026 · 5 min lezen

Seis preguntas para un proveedor de IA

Seis preguntas que envías por escrito antes de la demo, una por cada capa de TRACES, con el aspecto de una respuesta útil y el de una respuesta evasiva.

Lezen

Artikel · 13 oktober 2026 · 6 min lezen

Ordenar un proceso de trabajo: qué pasos puede hacer la IA

«¿Podemos usar IA?» es una pregunta que se responde paso a paso, no para el trabajo entero. Tres preguntas y tres cajones para ordenar un proceso de trabajo.

Lezen

Artikel · 13 oktober 2026 · 5 min lezen

Una política de trabajo con IA que cabe en una hoja

Una política que nadie lee no decide nada. Seis bloques en una hoja A4, con la pregunta que responde cada bloque y un ejemplo resuelto.

Lezen

Roept dit een vraag op voor jouw werk?

Een half uur, geen verkooppraat. Een eerlijk beeld van waar je staat.

Plan een kennismaking

La Sesión de Trabajo, € 399.

Noventa minutos con el equipo central recorriendo vuestro propio flujo de trabajo. Dónde puede ir más rápido, y dónde está en juego la credibilidad. Recibes un A4 con tres observaciones y una recomendación. El importe se descuenta de un escaneo dentro de tres meses.

La Sesión de Trabajo

Toma de contacto, gratis.

Media hora sobre en qué se os van las horas. No te llamamos después. Sabrás si esto es para ti, y nosotros también.

Reserva una llamada

El Escáner de Trazabilidad, precio fijo.

Repasamos vuestro uso de la IA y el trabajo de conocimiento. Qué es demostrable, dónde están los huecos, dónde está la rutina y qué cuesta. Recibes un informe en lenguaje claro, con un orden de actuación y una estimación de costes. El informe es tuyo, sigamos juntos o no.

El Escáner de Trazabilidad de IA
Después: montar una herramienta, formar a un equipo, o construir un sistema. Y si compensa, una colaboración fija en la que revisamos el uso de la IA con regularidad y recibes un informe cada vez. Lo que eso implica está en la oferta.Ver la oferta