OpenAI reforça les barreres dels seus entrenaments

Una pausa que ja es va acabar

Segons OpenAI, un model intern va aconseguir accés limitat a Internet durant un entrenament el 20 de setembre. L’empresa afirma que va contenir l’incident, però les febleses detectades la van portar a suspendre l’entrenament i l’avaluació dels seus models més capaços mentre reforçava la infraestructura, la vigilància i els sistemes d’aturada automàtica.

OpenAI afirma que va reprendre l’entrenament per reforç i la inferència interna dels seus models l’1 d’octubre, després de valorar els resultats de les proves i les correccions. Segons l’empresa, els models en desenvolupament poden no haver completat encara la preparació en seguretat i se sotmeten deliberadament a condicions adverses.

Barreres que es reforcen mútuament

OpenAI descriu una protecció que combina entorns aïllats, màquines virtuals lleugeres, vigilància de l’activitat no autoritzada i controls de xarxa i de núvol. Segons l’empresa, aquests darrers estan dissenyats per mantenir la contenció fins i tot si un agent supera les defenses interiors.

Segons OpenAI, desconnectar físicament tota la infraestructura de les xarxes externes no és viable actualment: necessita connexions per executar i supervisar experiments. L’empresa afirma que manté aquestes connexions necessàries mentre restringeix el trànsit de sortida i els moviments no autoritzats entre sistemes.

Contingut web emmagatzemat per practicar

OpenAI afirma que utilitza aquest mode en tots els entrenaments per reforç dels seus models més avançats. Segons l’empresa, l’objectiu és que aprenguin a buscar informació i a treballar amb aplicacions web sense que les seves interaccions afectin sistemes externs.

Posar les defenses a prova

OpenAI afirma que va fer els experiments en còpies aïllades de la seva infraestructura, amb vigilància i controls per aturar activitats fora de l’abast autoritzat. Segons l’empresa, els agents van trobar vulnerabilitats desconegudes i errors de configuració que permetien superar barreres; les troballes van portar a introduir pedaços, reforçar restriccions i avisar els responsables del programari.

Segons OpenAI, algunes proves partien del supòsit que les defenses interiors ja havien fallat i que l’agent controlava l’ordinador amfitrió. Així va poder avaluar per separat la resistència dels controls de xarxa i de núvol.