Estas son las seis capas frente a las que ponemos todo sistema de IA, tanto si lo construimos como si lo evaluamos. No son complicadas y no necesitas conocimientos técnicos — solo tienes que plantear las preguntas y escuchar qué responden.
Prácticamente todo incidente de IA del que hayas oído hablar se remonta a una capa que faltaba: el chatbot que prometió un descuento inexistente, el periódico con citas inventadas.
El Escáner de Proveedores evalúa un sistema (las seis capas de protección de una herramienta o proveedor); el Ketencheck evalúa vuestra cadena: cómo trabajáis de Source a Launch (SEAL). ¿Hacéis materiales educativos? Haz también el Ketencheck. Al Ketencheck →
Seis preguntas. Pónselas al sistema que estás valorando, y anota qué obtienes en cada capa.
Las fuentes
¿De dónde sale esta respuesta? Que el sistema muestre, en cada respuesta, en qué documento se basa.
Lo que deberías oír
Cada respuesta señala su fuente. Si no está ahí, el sistema dice “no lo sé” en lugar de inventarse algo plausible.
La señal de alarma
“El modelo está entrenado con sus documentos.” Entonces no hay fuente que señalar, solo un recuerdo vago del texto.
Los límites
¿Qué puede hacer el modelo por sí mismo? ¿Quién calcula, paga, publica y elimina?
Lo que deberías oír
Calcular, pagar, publicar y eliminar quedan fuera del modelo, en reglas fijas. El modelo propone; las reglas ejecutan.
La señal de alarma
“El modelo también puede hacer eso.” Un modelo al que se le permite cobrar también puede desviarse al cobrar — y solo te darás cuenta después.
La aprobación
¿Quién aprueba antes de que algo salga, y cómo ve esa persona que hay algo que comprobar?
Lo que deberías oír
Una persona aprueba el contenido. El sistema muestra dónde tiene dudas, de modo que realmente hay algo que valorar.
La señal de alarma
Un único botón “Aprobar” bajo una respuesta ya terminada. Después de veinte correctas, nadie lee la veintiuna. Eso es hacer clic para quitártelo de encima, no comprobar.
La memoria
¿Puedes recuperar, dentro de seis meses, qué respondió el sistema, sobre qué fuente y quién lo aprobó?
Lo que deberías oír
Registrado por cada respuesta: qué fuente, qué se respondió, quién aprobó. Exportable sin que el proveedor tenga que intervenir.
La señal de alarma
“Eso está en los registros.” Los registros son fontanería técnica, no un expediente. Pide una exportación antes de firmar, no cuando la necesites.
Los datos
¿Dónde viven nuestros datos, quién puede acceder a ellos, y se entrena con ellos? ¿Dónde consta eso por escrito?
Lo que deberías oír
Dónde viven los datos, qué se hace con ellos y que no se entrena con ellos — en el contrato, no en el discurso de ventas.
La señal de alarma
Una promesa verbal, o “solo entrenamos con datos anonimizados”. Pregunta entonces dónde consta eso y qué significa “anonimizado” aquí.
Las personas
¿Qué le hace esto a mi equipo? ¿Siguen valorando el trabajo, o acaban limitándose a marcarlo como hecho?
Lo que deberías oír
Se hace cargo del trabajo rutinario y deja el criterio en manos del equipo. El proveedor puede nombrar qué siguen haciendo las personas.
La señal de alarma
“Sus personas ya no necesitarán saber nada de esto.” Dentro de cinco años nadie podrá valorar si la respuesta es correcta.