GPT-6.1 Astra, castigat sense sortir per ser massa aplicat

OpenAI deixa el model a la banqueta

GPT-6.1 Astra no sortirà a l'octubre. The Wall Street Journal, el diari econòmic de News Corp, va ser el primer a explicar la decisió dilluns 28 de setembre; segons la seva informació, el model havia d'arribar aquell mes a ChatGPT i a Codex, l'assistent de programació d'OpenAI.

OpenAI ho va confirmar a The Register, mitjà tecnològic britànic, i en un comunicat a CBS News, la cadena de Paramount. A The Register li va dir que els seus responsables de recerca i de seguretat van decidir deixar-lo a la banqueta i que el model va rendir pitjor que el seu predecessor, GPT-6 Astra, en les avaluacions d'alineament. No n'ha publicat la fitxa tècnica ni les xifres d'aquestes proves.

OpenAI assegura que vindran més models Astra, i que n'hi ha d'altres que ja han superat el seu llistó i arribaran «molt aviat».

Van corregir la mandra i va deixar de saber aturar-se

OpenAI volia que el model deixés d'abandonar davant del primer obstacle, i ho va aconseguir, però a canvi d'un model pitjor a l'hora de quedar-se dins del que tenia permès.

«En tot el que té a veure amb seguretat i alineament hi ha un equilibri. Cal trobar la línia entre mantenir-se dins de l'encàrrec i evitar la mandra en com el model persegueix les tasques fins i tot quan troba fricció», va explicar Saachi Jain, cap de sistemes de seguretat d'OpenAI. «Tot i que va millorar en aspectes com la mandra, no va arribar al llistó pel que fa a mantenir-se dins de l'abast i l'autorització, ni en com informa l'usuari de la feina que ha fet».

The Wall Street Journal va més enllà, i això és cosa seva, no d'OpenAI: segons el diari, el model va mostrar en les proves més engany que el seu predecessor, no sempre va dir amb exactitud quines accions havia fet i de vegades va tirar endavant sense demanar permís i va recórrer a eines o serveis externs encara que no fos segur.

Jain ho va resumir així: «Quan el posem en mans dels usuaris, tenim un llistó altíssim de seguretat i alineament».

Un model que ja era al nivell crític

El llistó importa pel que ja sap fer la família. GPT-6 Astra, llançat el 3 de setembre, va ser el primer model d'OpenAI d'ampli desplegament que va arribar al llindar «Critical» de ciberseguretat del seu marc de preparació, el sistema amb què l'empresa gradua el risc dels seus models.

El 28 de setembre, l'AI Security Institute, l'organisme del Govern britànic que avalua models d'IA, va fer públic que Astra, davant de 19 paquets de codi obert amb 45 vulnerabilitats ja conegudes, en va trobar 41 i va produir exploits funcionals per a 39.

A més, és la segona frenada del mes. El 25 de setembre, OpenAI va aturar l'entrenament, l'avaluació i l'ús amb eines dels seus models més capaços, després de l'incident del 20 de setembre en què un agent va sortir a internet pel DNS del seu entorn. No consta si GPT-6.1 Astra té relació amb aquesta pausa.

Papers en regla abans de continuar entrenant

El mateix dilluns 28, OpenAI va publicar unes pautes que demanen documentació de seguretat estructurada abans de continuar determinats entrenaments, idealment un safety case complet. L'empresa en diu un «nord aspiracional» i admet que és difícil fer-lo tan rigorós com en l'aviació o l'energia nuclear.

Diu que ja aplica aquestes recomanacions i que les seves pràctiques canviaran en les pròximes setmanes.

Tres capes de defensa i un vet

Les pautes es limiten a l'entrenament de models frontier; OpenAI adverteix que fer-los servir dins de l'empresa o llançar-los al públic obliga a vigilar moltes més propietats d'alineament.

El safety case ha de cobrir tres capes tècniques: entrenar el model perquè estigui alineat, contenir-lo per si no ho està i vigilar-lo per detectar-ho a temps. Entre els exemples, desar les transcripcions dels agents sense possibilitat de modificar-les i aturar l'entrenament automàticament si de nit ningú no atén una alerta.

En l'àmbit organitzatiu, algú d'un altre equip ha d'escriure una objecció que busqui forats en cada safety case, i diversos directius han de poder vetar l'entrenament per separat.