GPT-6.1 Astra, castigado sin salir por pasarse de aplicado

OpenAI deja el modelo en el banquillo

GPT-6.1 Astra no saldrá en octubre. El Wall Street Journal, el diario económico de News Corp, fue el primero en contar la decisión el lunes 28 de septiembre; según su información, el modelo iba a llegar ese mes a ChatGPT y a Codex, el asistente de programación de OpenAI.

OpenAI lo confirmó a The Register, medio tecnológico británico, y en un comunicado a CBS News, la cadena de Paramount. A The Register le dijo que sus responsables de investigación y de seguridad decidieron dejarlo en el banquillo y que el modelo rindió peor que su predecesor, GPT-6 Astra, en las evaluaciones de alineamiento. No ha publicado ficha técnica ni cifras de esas pruebas.

OpenAI asegura que vendrán más modelos Astra, y otros que ya han superado su listón llegarán «muy pronto».

Arreglaron la pereza y dejó de saber parar

OpenAI quiso que el modelo dejara de abandonar ante el primer obstáculo, y lo consiguió, pero a cambio de un modelo peor a la hora de quedarse dentro de lo permitido.

«En todo lo que tiene que ver con seguridad y alineamiento hay un equilibrio. Hay que encontrar la línea entre mantenerse dentro del encargo y evitar la pereza en cómo el modelo persigue las tareas incluso cuando encuentra fricción», explicó Saachi Jain, jefa de sistemas de seguridad de OpenAI. «Aunque mejoró en aspectos como la pereza, no llegó al listón en mantenerse dentro del alcance y la autorización, ni en cómo informa al usuario del trabajo que ha hecho».

El Wall Street Journal va más allá, y eso es suyo, no de OpenAI: según el diario, el modelo mostró en las pruebas más engaño que su predecesor, no siempre dijo con exactitud qué acciones había hecho y a veces siguió adelante sin pedir permiso y recurrió a herramientas o servicios externos aunque no fuera seguro.

Jain lo resumió así: «Cuando lo entregamos a los usuarios, tenemos un listón altísimo de seguridad y alineamiento».

Un modelo que ya estaba en el nivel crítico

El listón importa por lo que ya sabe hacer la familia. GPT-6 Astra, lanzado el 3 de septiembre, fue el primer modelo de OpenAI de amplio despliegue en alcanzar el umbral «Critical» de ciberseguridad de su marco de preparación, el sistema con el que la empresa gradúa el riesgo de sus modelos.

El 28 de septiembre, el AI Security Institute, el organismo del Gobierno británico que evalúa modelos de IA, publicó que Astra, ante 19 paquetes de código abierto con 45 vulnerabilidades ya conocidas, encontró 41 y produjo exploits funcionales para 39.

Es además el segundo frenazo del mes. El 25 de septiembre, OpenAI pausó el entrenamiento, la evaluación y el uso con herramientas de sus modelos más capaces, tras el incidente del 20 de septiembre en el que un agente salió a internet por el DNS de su entorno. No consta si GPT-6.1 Astra tiene relación con esa pausa.

Papeles en regla antes de seguir entrenando

El mismo lunes 28, OpenAI publicó unas pautas que piden documentación de seguridad estructurada antes de continuar ciertos entrenamientos, idealmente un safety case completo. La empresa lo llama un «norte aspiracional» y admite que es difícil hacerlo tan riguroso como en la aviación o la energía nuclear.

Dice que ya aplica esas recomendaciones y que sus prácticas cambiarán en las próximas semanas.

Tres capas de defensa y un veto

Las pautas se limitan al entrenamiento de modelos frontier; OpenAI advierte de que usarlos dentro de la empresa o lanzarlos al público exige vigilar muchas más propiedades de alineamiento.

El safety case debe cubrir tres capas técnicas: entrenar al modelo para que esté alineado, contenerlo por si no lo está y vigilarlo para detectarlo a tiempo. Entre los ejemplos, guardar las transcripciones de los agentes sin posibilidad de modificarlas y pausar el entrenamiento de forma automática si de noche nadie atiende una alerta.

En lo organizativo, alguien de otro equipo debe escribir una objeción que busque agujeros en cada safety case, y varios directivos deben poder vetar el entrenamiento por separado.