Un cliente pregunta, un año después, de dónde sale una afirmación de vuestro informe. O un compañero nota que un texto sale distinto que la vez anterior. O un organismo supervisor quiere saber quién aprobó qué. En los tres casos la pregunta es la misma: ¿qué pasó entonces?
Quien trabaja con IA sin registrar nada no puede responderla. La respuesta estaba en una ventana de chat que se cerró, en una versión de un modelo que ya no existe y en la cabeza de alguien que entretanto se ha ido.
Por qué no ocurre por sí solo
Hay dos causas, y se refuerzan entre sí.
La primera es que registrar se vive como burocracia. Cuesta unos minutos por paso, no da nada en el momento y, en una semana de mucho trabajo, es lo primero que se descarta. Un rastro que alguien tiene que mantener a mano solo existe en las semanas en las que no pasa nada especial.
La segunda es que no puedes repetir el paso. Suena a detalle, pero es el núcleo. En 2023, Chen, Zaharia y Zou plantearon las mismas tareas a dos versiones de GPT-4, la de marzo y la de junio de 2023. En distinguir números primos de números compuestos, la precisión cayó del 84 al 51 por ciento. La misma tarea, el mismo servicio y ni una palabra cambiada en la pregunta. Los investigadores concluyen que el comportamiento de estos servicios puede cambiar mucho en poco tiempo y que, por eso, hace falta medirlo de forma continua.
Para el trabajo de conocimiento, esto significa que el mismo encargo puede dar otra respuesta medio año después. Quien no sabe con qué sistema, en qué versión y cuándo se hizo algo, no puede reproducirlo y, por tanto, tampoco explicarlo.
Qué capa es esta
Este es el trabajo de Trail, la primera capa de TRACES.
TRACES son las seis capas con las que evalúas un sistema de IA: Trail, Retrieval, Approval, Constraints, Expertise, Storage. Donde falta una capa, hay un riesgo.
Trail trata de lo que queda registrado: la fuente, la afirmación, quién la aprobó y cuándo. Y de una exigencia que lo condiciona todo: el rastro surge como subproducto del trabajo, no como una tarea administrativa que alguien tiene que llevar. Un rastro que se genera solo existe también en la semana de mucho trabajo.
Esto encaja con la A de SEAL. Una aprobación va ligada al pasaje al que se refiere; si el pasaje se reescribe, la aprobación caduca. Eso solo es posible si consta qué pasaje aprobó quién y cuándo.
Cinco campos
No hace falta registrar mucho, siempre que sean las cosas correctas. Para cada paso con IA hay cinco campos.
- Sistema. El nombre del sistema, la versión del modelo si se conoce, y la fecha. La fecha cuenta incluso cuando no se ve la versión: al menos sabes cuándo.
- Encargo. ¿Qué se pidió, y a partir de qué material? Es una referencia al documento utilizado, o la propia pregunta, y no una copia de datos que no tenían por qué entrar.
- Fuente. ¿En qué se apoya la afirmación que salió? El pasaje, no solo el título del documento. Es el campo donde se encuentran Source y Edit.
- Cambio. ¿Qué cambió una persona en el resultado? Un texto que se ha reescrito después del modelo puede que ya no esté cubierto por su fuente.
- Conformidad. ¿Quién lo revisó, con qué conocimiento experto, sobre qué pasaje y cuándo?
Rara vez hacen falta más campos. Menos sí es posible, para los pasos más ligeros. En un paso del cajón «permitido» (véase el artículo sobre ordenar un proceso de trabajo) bastan sistema y encargo. En «permitido con revisión» son los cinco.
Un ejemplo de rastro
Un ejemplo inventado, una línea del registro de una redacción:
- Sistema: modelo de lenguaje del proveedor X, versión «2.1», 12 de octubre
- Encargo: resumen del informe «Cifras trimestrales del sector sanitario», pp. 14 a 18
- Fuente: informe p. 14, tabla 2; p. 17, párrafo 3
- Cambio: segunda frase reescrita por el editor
- Conformidad: M. de Boer, 13 de octubre, comprobados el alcance, la certeza y el tiempo
Una línea así se lee en diez segundos. Y responde a las tres preguntas del principio: qué ocurrió, en qué se apoyaba y quién lo revisó.
Qué no debe incluir
Un rastro no es un archivo de todo lo que se ha metido en el sistema. Los datos personales, los documentos de clientes y otra información sensible no se guardan de nuevo, en un registro al que acceden más personas. Remite al documento del que proceden y déjalos allí. Las normas sobre lo que puede y no puede entrar en un modelo van en la política de trabajo.
Cómo el rastro se genera solo
Los cinco campos solo ayudan si rellenarlos no es una tarea más. Tres maneras de conseguirlo, de la más sencilla a la más compleja:
- Una plantilla en el propio documento. Un recuadro al final de cada texto con los cinco campos, o un comentario en el pasaje. Quien abre el documento ve el rastro.
- Un lugar fijo para el resultado. El resultado de un paso con IA va siempre a la misma carpeta o al mismo sistema, con los campos al lado.
- Un sistema que lo hace por sí mismo. Al elegir un sistema de IA, esta es la primera pregunta al proveedor: ¿qué registra en cada respuesta y en cada cambio, y podemos exportarlo? Un sistema que lo hace por defecto le quita el trabajo a la persona. El escáner de proveedores de esta web pasa un sistema por las seis capas de TRACES, entre ellas Trail.
Qué puedes hacer esta semana
- Toma un paso con IA que se usó el mes pasado e intenta reconstruir el rastro: ¿qué sistema, qué versión, qué fuente, quién lo revisó?
- Anota qué campos ya no pudiste rellenar. Esos son los campos que hoy faltan.
- Crea una plantilla con los cinco campos y colócala en el documento o la carpeta donde ya está el trabajo.
- Acordad que un paso del cajón «permitido con revisión» no sigue adelante sin los campos rellenados.
- Dentro de un mes, mira cuántas líneas están completas. Ese número es vuestro Trail.
Fuente
Chen, L., Zaharia, M. & Zou, J. (2023). How is ChatGPT's behavior changing over time? arXiv:2307.09009. arxiv.org/abs/2307.09009