OpenAI diu que Astra ja sap explotar errors pel seu compte

Què ha passat

OpenAI ha publicat una entrada al seu blog en què afirma que Astra, el seu model encara no llançat, compleix el llindar crític de capacitat en ciberseguretat recollit al seu preparedness framework (marc de preparació), el document intern amb què la companyia classifica els riscos dels seus sistemes. Traduït a llenguatge planer: el model és capaç de localitzar i aprofitar errors de seguretat prèviament desconeguts sense que una persona el guiï pas a pas.

Es tracta d'un canvi de valoració respecte a l'avaluació anterior, feta a principis d'agost, quan l'empresa considerava possible que Astra assolís aquest nivell però no ho donava per confirmat. És la mateixa preocupació que va portar Anthropic a mantenir un dels seus models sense desplegar a començaments d'any.

Com ho han mesurat

Astra va obtenir una puntuació perfecta, del 100%, a ExploitBench, un benchmark (prova comparativa estandarditzada) que mesura la capacitat d'un model per desenvolupar exploits (programes que aprofiten un error de seguretat) a partir de vulnerabilitats ja conegudes.

Com que una puntuació perfecta en una prova pública pot reflectir simplement que les dades eren a l'entrenament, OpenAI va construir la seva pròpia versió interna del benchmark amb 20 vulnerabilitats d'alta severitat divulgades recentment, amb la intenció de comprovar si el model era capaç de crear exploits nous des de zero. En aquest conjunt, Astra va assolir taxes d'arbitrary code execution (execució de codi arbitrari) molt superiors a les de GPT-56 Sol utilitzant molts menys tokens (les unitats mínimes de text que processa i genera un model) de sortida.

Les xifres concretes apunten també a una eficiència més gran: Astra va aconseguir un 30% a la versió interna d'ExploitBench consumint 40.000 tokens, mentre que GPT-56 Sol no obtenia resultats significatius fins a gastar-ne al voltant de 110.000. Durant l'avaluació, el model va arribar a descobrir i emprar dues vulnerabilitats zero-day (de dia zero, és a dir, desconegudes per al fabricant i sense pedaç disponible) com a part d'una cadena d'exploits.

Per què importa

En proves addicionals amb socis experts, Astra va ser capaç de dissenyar i executar cadenes d'exploits completes fins a obtenir accés root (el nivell de privilegis màxim d'un sistema) en un sistema operatiu endurit, així com executar ordres en un navegador igualment fortificat. No parlem d'un exercici de laboratori contra objectius trivials, sinó contra configuracions preparades precisament per resistir atacs.

La conseqüència immediata és de doble tall. Una capacitat així resulta valuosa per a equips defensius que busquen errors en el seu propi codi, i perillosa en mans de qui vulgui automatitzar la fase ofensiva. És la raó per la qual l'anunci no es limita a presentar resultats, sinó que arriba embolcallat en mesures de contenció.

Les salvaguardes anunciades

OpenAI desplegarà una sèrie de noves proteccions amb el llançament d'Astra. El model ha rebut entrenament addicional per rebutjar tasques de ciberseguretat, cosa que eleva la seva taxa de rebuig fins al 91,5%, davant del 59% de GPT-56 Sol. És un salt notable, tot i que deixa implícit que una mica menys d'un de cada deu intents continua sense ser bloquejat pel model mateix.

A aquesta primera capa s'hi sumen més classifiers (classificadors, sistemes automàtics que etiqueten contingut) orientats a detectar abusos de tipus ciber i els intents de jailbreak (tècniques per saltar-se les restriccions del model). A més, la companyia començarà a marcar determinats comptes com de més risc i aplicarà a aquests comptes amb barreres de seguretat de comportament més estrictes.

OpenAI sosté que Astra té més probabilitats que els seus models anteriors de respectar els límits de seguretat, però tot i així implementarà monitoratge addicional de la chain of thought (cadena de raonament, el procés intermedi de raonament que el model genera abans de respondre) per detectar i aturar accions desalineades de manera primerenca.

Què cal vigilar

El primer punt a seguir és si la taxa de rebuig del 91,5% se sosté fora del laboratori, amb usuaris reals buscant activament els forats. El segon és l'equilibri entre bloquejar l'ús ofensiu i no inutilitzar el model per a feina defensiva legítima: un sistema entrenat per negar-se a tasques de ciberseguretat també es nega, per definició, a força de tasques d'auditoria i d'aplicació de pedaços.

El tercer és de calendari. OpenAI reconeix que està marcant el ritme del seu propi desplegament per poder complir els estàndards de seguretat que exigeixen els nous nivells de capacitat, i descriu la situació com una tensió evident entre l'entusiasme pel que es pot construir i la prudència que consideren justificada en aquesta fase.