El vigilante también necesita vigilancia

El 22 de octubre, METR y Redwood Research, dos organizaciones dedicadas a evaluar riesgos de la inteligencia artificial, publicaron un resumen de un ejercicio poco habitual. Entre el 21 de julio y el 11 de agosto, una persona de cada organización tuvo acceso al código, a la documentación y a parte del equipo técnico de OpenAI para someter a prueba el sistema interno con el que la empresa supervisa a sus agentes: los programas de IA que no solo responden, sino que ejecutan tareas.

El resultado fue un informe interno de 61 páginas y una lista de vulnerabilidades que hasta entonces no se conocían. La más llamativa: una forma en que un agente podría haber evitado que cientos de sus acciones recientes, incluidas las que usaba para lograrlo, pasaran por el monitor. OpenAI tachó los detalles de ese mecanismo en la versión pública. Los evaluadores también encontraron dos encabezados de las solicitudes, controlables desde el lado del cliente, que desactivaban la supervisión para agentes nuevos, y un camino por el cual los agentes de programación Codex podrían, en principio, saltarse su entorno aislado y hacer cualquier cosa que pudiera hacer el usuario que los ejecutaba.

Conviene leer esto con precisión. El informe describe lo que era posible, no lo que efectivamente ocurrió. No dice que un agente haya decidido esconderse. OpenAI informó que corrigió las vulnerabilidades que afectaban sus salvaguardas de producción, aunque los evaluadores aclararon que no verificaron esas correcciones. Estimaron también que, en aquel momento, entre el 75 y el 94 por ciento del tráfico interno de agentes generado por modelos al menos tan potentes como GPT-5.5 estaba en condiciones de ser monitoreado. Es una estimación con un margen amplio: los propios autores advierten que la incertidumbre es considerable en ambas direcciones.

Lo que me interesa no es el escándalo, que no lo hay, sino la forma del problema. Durante años pensamos la seguridad de estas herramientas como una cuestión de reglas: decirles qué pueden hacer y qué no. Este ejercicio muestra otra capa. Cuando un sistema actúa por su cuenta, la pregunta pasa a ser quién mira, cuánto mira y qué queda en el punto ciego. Y el sistema que mira también es software, con sus propios agujeros.

Hay que reconocerle a OpenAI haber abierto la puerta a una revisión externa de este tipo, y a METR y Redwood haberla contado. Es exactamente lo que debería volverse norma. Pero el hallazgo deja una imagen difícil de olvidar: un agente que trabaja, un monitor que vigila y, entre los dos, una franja donde las cosas pueden pasar sin que nadie las registre.

En la ficción, a eso lo llamamos el momento en que la tecnología deja de obedecer. En la realidad, por ahora, es un informe técnico, un parche y una advertencia. Vale la pena prestarle atención antes de que se convierta en otra cosa.