En la demo de un asistente de conocimiento, alguien hace una pregunta cuya respuesta está en los documentos. El asistente responde, con una referencia, y todos asienten. Es la prueba más fácil que existe. No dice nada sobre lo que ocurre cuando la respuesta no está en los documentos, y esa es la pregunta que un compañero hace en la primera semana.
Para el trabajo de conocimiento, esa es la pregunta que cuenta. Un asistente que se inventa una respuesta verosímil es más peligroso que no tener asistente. Solo lo notas cuando alguien sigue trabajando sobre ella con su propio nombre.
Es un problema conocido
Los investigadores lo conocen desde hace tiempo. Para SQuAD, un conjunto de prueba muy utilizado para sistemas que responden preguntas a partir de un texto, Rajpurkar, Jia y Liang publicaron en 2018 una segunda versión con más de 50.000 preguntas sin respuesta, escritas a propósito para parecerse a las que sí la tienen. Un sistema potente obtuvo un 86 % de F1 en la primera versión, pero solo un 66 % en la segunda. Sabía responder las preguntas. Lo que no sabía era distinguir cuáles no tenían respuesta.
Ese estudio trata de una generación anterior de sistemas y de una prueba estándar, no de tu asistente. Sobre todo muestra cómo se construye un conjunto de prueba. Si quieres saber si un sistema es capaz de decir «no lo sé», tienes que hacerle preguntas que lo exijan.
Qué capa es esta
TRACES son las seis capas con las que evalúas un sistema de IA: Trail, Retrieval, Approval, Constraints, Expertise, Storage. Donde falta una capa, hay un riesgo.
Aquí se trata de Retrieval: el sistema responde solo a partir de una colección de fuentes acotada, con referencia, y dice que falta la respuesta en lugar de inventarla.
Esa frase contiene tres cosas que puedes comprobar. ¿La respuesta sale de la colección? ¿Hay una referencia? ¿Y qué hace el sistema cuando la respuesta no está? Una demo solo enseña las dos primeras. Para la tercera necesitas preguntas que te inventes tú.
El conjunto de prueba: veinte preguntas, cuatro tipos
Haz una lista de veinte preguntas sobre la colección con la que trabaja el asistente. Repártelas en cuatro tipos.
1. La respuesta está (cinco preguntas). El grupo de control. Elige preguntas de las que sepas en qué página está la respuesta. Si el asistente no las resuelve bien, no hace falta probar el resto.
2. El tema está, el detalle no (cinco preguntas). La fuente describe la política de permisos, pero no dice nada sobre los permisos de los becarios. El sistema no debe deducir lo que «probablemente» sea.
3. El tema no está (cinco preguntas). Una pregunta sobre algo que tu organización nunca ha dejado por escrito. Aquí debería aparecer literalmente «no lo sé», o una indicación de quién sí lo sabe.
4. La pregunta no encaja con la fuente (cinco preguntas). Una premisa errónea: una pregunta sobre la política de 2025 cuando la colección solo contiene la de 2023, o una que da por hecho un departamento que no existe. Un buen sistema corrige la premisa o dice que no tiene nada al respecto. Uno débil se limita a seguirla.
Repregunta en cada respuesta que obtengas, porque la primera reacción dice poco. Haz dos veces la misma pregunta sin respuesta, con otras palabras. Un sistema que la primera vez dice «no lo sé» y la segunda da una respuesta no tiene un límite firme.
Cómo puntuar las respuestas
Dale a cada respuesta uno de tres veredictos.
- Respuesta con fuente. La respuesta está, con un pasaje que puedes abrir y en el que la respuesta realmente aparece. Esto último hay que comprobarlo, porque una referencia con buen aspecto no demuestra que el pasaje diga lo que el sistema afirma.
- No lo sé. El sistema dice que la respuesta no está en las fuentes. Es la respuesta correcta a los tipos 2, 3 y 4.
- Respuesta sin fuente. El sistema da una respuesta, pero falta el pasaje o dice otra cosa. Este es el fallo que busca la prueba.
Cuenta por tipo. En el tipo 1 quieres cinco respuestas con fuente. En los tipos 2, 3 y 4 no quieres ninguna respuesta sin fuente, ni una sola vez. Una vez no es casualidad sino un patrón: el sistema se inventa cosas cuando no encuentra nada.
Un ejemplo inventado. Un asistente con el manual del personal recibe la pregunta: «¿Cuántos días de permiso de estudios tiene un becario?». El manual solo menciona el permiso de estudios para empleados fijos. El sistema responde: «Los becarios tienen derecho a dos días de permiso de estudios al año». No indica ninguna fuente. Es una respuesta sin fuente, y justo del tipo que nunca ves si solo haces buenas preguntas.
Repite la prueba
El conjunto de prueba no es una inspección puntual. Cada vez que cambia la colección, se añade un documento o se sustituye el modelo, el límite puede desplazarse. Guarda las veinte preguntas, vuelve a pasarlas y pon las puntuaciones una al lado de otra. Con eso empieza también el rastro que pide Trail: qué se probó, cuándo y con qué resultado.
Si prefieres empezar repasando la documentación pública de un proveedor, puedes usar el Escáner de Proveedores de esta web. Pasa un sistema por las mismas seis capas. El conjunto de prueba de arriba comprueba después lo que ocurre en la práctica.
Qué puedes hacer esta semana
- Elige la colección con la que trabaja el asistente, o una parte: una carpeta, un manual, un año de publicaciones.
- Escribe veinte preguntas en los cuatro tipos de arriba. En el tipo 1, anota la página donde está la respuesta.
- Hazlas todas y guarda las respuestas. Dale a cada una un veredicto: respuesta con fuente, no lo sé o respuesta sin fuente.
- Cuenta las respuestas sin fuente en los tipos 2, 3 y 4. Si hay aunque sea una, ya sabes lo suficiente para no desplegar todavía el asistente de forma generalizada.
Fuente
Rajpurkar, P., Jia, R. & Liang, P. (2018). Know What You Don't Know: Unanswerable Questions for SQuAD. ACL 2018. arxiv.org/abs/1806.03822