OpenAI dice que Astra ya sabe explotar fallos por su cuenta

Qué ha pasado

OpenAI ha publicado una entrada en su blog en la que afirma que Astra, su modelo aún no lanzado, cumple el umbral crítico de capacidad en ciberseguridad recogido en su preparedness framework (marco de preparación), el documento interno con el que la compañía clasifica los riesgos de sus sistemas. Traducido a lenguaje llano: el modelo es capaz de localizar y aprovechar fallos de seguridad previamente desconocidos sin que una persona le guíe paso a paso.

Se trata de un cambio de valoración respecto a la evaluación anterior, realizada a principios de agosto, cuando la empresa consideraba posible que Astra alcanzase ese nivel pero no lo daba por confirmado. Es la misma preocupación que llevó a Anthropic a mantener uno de sus modelos sin desplegar a comienzos de año.

Cómo lo han medido

Astra obtuvo una puntuación perfecta, del 100%, en ExploitBench, un benchmark (prueba comparativa estandarizada) que mide la capacidad de un modelo para desarrollar exploits (programas que aprovechan un fallo de seguridad) a partir de vulnerabilidades ya conocidas.

Como una puntuación perfecta en una prueba pública puede reflejar simplemente que los datos estaban en el entrenamiento, OpenAI construyó su propia versión interna del benchmark con 20 vulnerabilidades de alta severidad divulgadas recientemente, con la intención de comprobar si el modelo era capaz de crear exploits nuevos desde cero. En ese conjunto, Astra alcanzó tasas de arbitrary code execution (ejecución de código arbitrario) muy superiores a las de GPT-56 Sol utilizando muchos menos tokens (las unidades mínimas de texto que procesa y genera un modelo) de salida.

Las cifras concretas apuntan también a una mayor eficiencia: Astra logró un 30% en la versión interna de ExploitBench consumiendo 40.000 tokens, mientras que GPT-56 Sol no obtenía resultados significativos hasta gastar alrededor de 110.000. Durante la evaluación, el modelo llegó a descubrir y emplear dos vulnerabilidades zero-day (de día cero, es decir, desconocidas para el fabricante y sin parche disponible) como parte de una cadena de exploits.

Por qué importa

En pruebas adicionales con socios expertos, Astra fue capaz de diseñar y ejecutar cadenas de exploits completas hasta obtener acceso root (el nivel de privilegios máximo de un sistema) en un sistema operativo endurecido, así como ejecutar comandos en un navegador igualmente fortificado. No hablamos de un ejercicio de laboratorio contra objetivos triviales, sino contra configuraciones preparadas precisamente para resistir ataques.

La consecuencia inmediata es de doble filo. Una capacidad así resulta valiosa para equipos defensivos que buscan fallos en su propio código, y peligrosa en manos de quien quiera automatizar la fase ofensiva. Es la razón por la que el anuncio no se limita a presentar resultados, sino que llega envuelto en medidas de contención.

Las salvaguardas anunciadas

OpenAI desplegará una serie de nuevas protecciones con el lanzamiento de Astra. El modelo ha recibido entrenamiento adicional para rechazar tareas de ciberseguridad, lo que eleva su tasa de rechazo hasta el 91,5%, frente al 59% de GPT-56 Sol. Es un salto notable, aunque deja implícito que algo menos de uno de cada diez intentos sigue sin ser bloqueado por el propio modelo.

A esa primera capa se suman más classifiers (clasificadores, sistemas automáticos que etiquetan contenido) orientados a detectar abusos de tipo ciber y los intentos de jailbreak (técnicas para saltarse las restricciones del modelo). Además, la compañía empezará a marcar determinadas cuentas como de mayor riesgo y aplicará a esas cuentas guardarraíles de comportamiento más estrictos.

OpenAI sostiene que Astra tiene más probabilidades que sus modelos anteriores de respetar los límites de seguridad, pero aun así implementará monitorización adicional de la chain of thought (cadena de razonamiento, el proceso intermedio de razonamiento que el modelo genera antes de responder) para detectar y detener acciones desalineadas de forma temprana.

Qué vigilar

El primer punto a seguir es si la tasa de rechazo del 91,5% se sostiene fuera del laboratorio, con usuarios reales buscando activamente los huecos. El segundo es el equilibrio entre bloquear el uso ofensivo y no inutilizar el modelo para trabajo defensivo legítimo: un sistema entrenado para negarse a tareas de ciberseguridad también se niega, por definición, a bastantes tareas de auditoría y parcheo.

El tercero es de calendario. OpenAI reconoce estar marcando el ritmo de su propio despliegue para poder cumplir los estándares de seguridad que exigen los nuevos niveles de capacidad, y describe la situación como una tensión evidente entre el entusiasmo por lo que se puede construir y la prudencia que consideran justificada en esta fase.