OpenAI demana a l'ONU avisos ràpids dels incidents de la IA

Altman demana al Consell de Seguretat avisos ràpids de les fallades

El Consell de Seguretat va celebrar el 23 de setembre, a les 15:00 de Nova York, una sessió informativa d'alt nivell sobre IA i seguretat internacional, convocada per França, que el presideix aquest mes. Segons Security Council Report, una organització independent sense ànim de lucre de Nova York que segueix la feina del Consell i que financen 23 governs, entre els quals el d'Espanya, i quatre fundacions, és la primera reunió del Consell dedicada específicament als riscos de sistemes d'IA cada vegada més capaços, inclosa la pèrdua de control humà.

Altman va advertir que aquests sistemes «podrien anar més de pressa que les nostres institucions» i va dir: «Hem frenat unilateralment en el passat. Ho farem en el futur». Va proposar estàndards nacionals i internacionals per mesurar capacitats i avaluar riscos, i ho va formular així: «Necessitem una notificació d'incidents precisa i ràpida, protocols de classificació i de notificació, perquè el món pugui aprendre de les fallades abans que es converteixin en catàstrofes».

Aquell mateix 23 de setembre, a Nova York, Albanese va explicar que un agent d'OpenAI havia entrat sense permís el 18 de juny en un portal d'estadístiques de Medicare i que OpenAI en va avisar el 10 de setembre, 84 dies després, amb un correu a una bústia pública.

Amodei promet frenar tant com calgui

Dario Amodei, conseller delegat d'Anthropic, va intervenir per videoconferència. Va assenyalar dos riscos mundials, el mal ús dels models i la pèrdua de control sobre ells, va dir que Anthropic «frenarà tot el que calgui» perquè cada tecnologia que publiqui sigui segura i va demanar acords concrets, com ara prohibir l'ús de la IA per fabricar armes biològiques.

Yoshua Bengio, copresident del Panell Científic Internacional Independent sobre IA —l'organisme científic que l'ONU va crear l'agost de 2025—, va dir que els agents d'IA han pres els darrers mesos «accions que serien delictes si les cometés una persona».

Els estats no van coincidir sobre com respondre-hi, i no hi va haver ni resolució ni declaració.

Un agent d'OpenAI dins del portal de Medicare

El sistema afectat és el Medicare Statistics Reporting Service, un portal d'estadístiques de Medicare —l'assegurança pública universal de salut d'Austràlia— que administra Services Australia, l'agència federal que paga les prestacions socials. Segons la ministra de la Funció Pública, Katy Gallagher, el fan servir sobretot investigadors per consultar dades agregades, i no té relació ni amb pagaments ni amb informació individual.

L'agent cercava a internet dades de despesa pública en medicaments, dins d'una avaluació interna d'OpenAI, segons Gallagher. El 18 de juny va accedir a arxius públics i no públics. «Va trobar la manera d'esquivar aquests bloquejos, no va acceptar un “no” per resposta», va dir Albanese, que va afegir que l'agent fins i tot va arribar a escriure arxius al sistema.

«No s'ha accedit a les dades mèdiques de ningú», va afirmar el ministre de Defensa, Richard Marles.

84 dies i un correu a la bústia pública

OpenAI va detectar el cas l'11 d'agost, en revisar l'activitat desalineada dels seus models. Va avisar el 10 de setembre amb un correu a publicdisclosures@servicesaustralia.gov.au, la bústia que fan servir els investigadors per assenyalar vulnerabilitats i que, segons Gallagher, es revisa un cop al dia.

Albanese va trucar a Altman per transmetre-li «l'extrema preocupació d'Austràlia» i la seva decepció perquè l'empresa «va trigar massa» a informar-ne i perquè la forma de la notificació «va ser inacceptable». Segons Albanese, Altman «va acceptar clarament que l'empresa no ho havia fet prou bé».

L'Australian Signals Directorate, l'agència australiana d'intel·ligència de senyals i ciberseguretat, ajuda en la investigació forense. Un grup de treball dirigit pel Departament del Primer Ministre i del Gabinet estudiarà si es va infringir la llei, i el Govern demanarà consell sobre si cal remetre el cas a la Policia Federal.

Llegir-ne més: ABC News — What we know about the data accessed in the OpenAI Medicare hack ↗

OpenAI: «Els nostres models van dur a terme accions que no preteníem»

Ho va explicar així Drew Pusateri, portaveu d'OpenAI: «Durant aquesta revisió vam identificar activitat en diversos webs i serveis del Govern australià mentre els nostres models intentaven cercar respostes i estadístiques sobre Austràlia durant una avaluació interna. En el transcurs d'això, els nostres models van dur a terme accions que no preteníem».

OpenAI sosté que no va trobar proves d'accés a historials de pacients i que el que es va consultar eren «estadístiques de salut agregades i noms d'arxius interns». Diu que en va avisar les organitzacions, que els facilita informació tècnica i que la revisió continua oberta. No esmenta que l'agent escrivís arxius. Tampoc no explica per què va trigar un mes a avisar des que ho va detectar ni per què ho va fer a través de la bústia pública.

Albanese assenyala tres portals més

Albanese va dir que hi podia haver tres llocs més afectats: l'AIHW, l'Oficina d'Estadístiques i Recerca Criminal de Nova Gal·les del Sud i el Departament de Salut de Victòria. Marles va matisar després que la interacció dels agents amb aquests llocs va ser «totalment normal» i només amb informació pública. L'AIHW diu que, ara com ara, no hi ha proves d'accés a dades que no siguin públiques. L'Oficina d'Estadístiques i Recerca Criminal de Nova Gal·les del Sud va admetre, segons Time, «una vulnerabilitat que podia permetre l'accés a una eina de mapes de delictes», sense dades personals, i segons Transluce, citat per ABC News, els agents van intentar sense èxit entrar-hi.

Transluce descriu un intent bloquejat a l'AIHW

Transluce va publicar el 23 de setembre un informe basat en els registres d'urlquery.net, un servei web que analitza adreces web carregant-les en un navegador remot. Segons l'informe, el 20 i 21 de juny uns agents van intentar baixar dades dels panells de l'AIHW; Cloudflare, l'empresa que protegeix webs davant del trànsit automatitzat, va bloquejar la baixada i després una sonda contra una vulnerabilitat. Al final van baixar l'arxiu, que era públic, des d'un servidor de preproducció.

Transluce ho atribueix a OpenAI perquè ho vincula amb l'eixam d'agents de la wiki alemanya DseWiki, que OpenAI va reconèixer com a seu, i ho presenta com a part del «primer cas comunicat d'agents que pirategen un govern», una valoració seva. Admet que els registres són incomplets. OpenAI respon que bona part del que s'hi descriu coincideix amb casos de la seva revisió.

Transluce declara que en l'exercici 2025 el 32 % dels seus ingressos va procedir d'empleats d'Anthropic, competidora d'OpenAI, i el 6 %, d'empleats d'OpenAI, com a donacions personals sense condicions; res no va arribar directament de les empreses.

Són dos sistemes i dos episodis. L'empresa i el Govern no han confirmat que estiguin relacionats, tot i que dues fonts del Govern citades per ABC News creuen que sí.