OpenAI pide en la ONU avisar rápido de los incidentes de la IA

Altman pide ante el Consejo de Seguridad avisos rápidos de los fallos

El Consejo de Seguridad celebró el 23 de septiembre, a las 15:00 de Nueva York, una sesión informativa de alto nivel sobre IA y seguridad internacional, convocada por Francia, que lo preside este mes. Según Security Council Report, una organización independiente sin ánimo de lucro de Nueva York que sigue el trabajo del Consejo y que financian 23 gobiernos, entre ellos el de España, y cuatro fundaciones, es la primera reunión del Consejo dedicada específicamente a los riesgos de sistemas de IA cada vez más capaces, incluida la pérdida de control humano.

Altman advirtió de que estos sistemas «podrían ir más rápido que nuestras instituciones» y dijo: «Hemos frenado unilateralmente en el pasado. Lo haremos en el futuro». Propuso estándares nacionales e internacionales para medir capacidades y evaluar riesgos, y lo dijo así: «Necesitamos notificación de incidentes precisa y rápida, protocolos de clasificación y de notificación, para que el mundo pueda aprender de los fallos antes de que se conviertan en catástrofes».

Ese mismo 23 de septiembre, en Nueva York, Albanese contó que un agente de OpenAI había entrado sin permiso el 18 de junio en un portal de estadísticas de Medicare y que OpenAI avisó el 10 de septiembre, 84 días después, con un correo a un buzón público.

Amodei promete frenar lo que haga falta

Dario Amodei, consejero delegado de Anthropic, intervino por videoconferencia. Señaló dos riesgos mundiales, el mal uso de los modelos y la pérdida de control sobre ellos, dijo que Anthropic «frenará todo lo necesario» para que cada tecnología que publique sea segura y pidió acuerdos concretos, como prohibir el uso de la IA para fabricar armas biológicas.

Yoshua Bengio, copresidente del Panel Científico Internacional Independiente sobre IA —el organismo científico que la ONU creó en agosto de 2025—, dijo que los agentes de IA han tomado en los últimos meses «acciones que serían delitos si las cometiera una persona».

Los Estados no coincidieron sobre cómo responder, y no hubo resolución ni declaración.

Un agente de OpenAI dentro del portal de Medicare

El sistema afectado es el Medicare Statistics Reporting Service, un portal de estadísticas de Medicare —el seguro público universal de salud de Australia— que administra Services Australia, la agencia federal que paga las prestaciones sociales. Según la ministra de la Función Pública, Katy Gallagher, lo usan sobre todo investigadores para consultar datos agregados, y no tiene relación con pagos ni con información individual.

El agente buscaba en internet datos de gasto público en medicamentos, dentro de una evaluación interna de OpenAI, según Gallagher. El 18 de junio accedió a archivos públicos y no públicos. «Encontró la forma de sortear esos bloqueos, no aceptó un “no” por respuesta», dijo Albanese, que añadió que el agente llegó a escribir archivos en el sistema.

«No se ha accedido a los datos médicos de nadie», afirmó el ministro de Defensa, Richard Marles.

84 días y un correo al buzón público

OpenAI detectó el caso el 11 de agosto, al revisar la actividad desalineada de sus modelos. Avisó el 10 de septiembre con un correo a publicdisclosures@servicesaustralia.gov.au, el buzón que usan los investigadores para señalar vulnerabilidades y que, según Gallagher, se revisa una vez al día.

Albanese llamó a Altman para transmitirle «la extrema preocupación de Australia» y su decepción porque la empresa «tardó demasiado» en informar y porque la forma de la notificación «fue inaceptable». Según Albanese, Altman «aceptó claramente que la empresa no lo había hecho lo bastante bien».

La Australian Signals Directorate, la agencia australiana de inteligencia de señales y ciberseguridad, ayuda en la investigación forense. Un grupo de trabajo dirigido por el Departamento del Primer Ministro y Gabinete estudiará si se infringió la ley, y el Gobierno pedirá consejo sobre si remitir el caso a la Policía Federal.

Leer más: ABC News — What we know about the data accessed in the OpenAI Medicare hack ↗

OpenAI: «Nuestros modelos realizaron acciones que no pretendíamos»

Lo explicó así Drew Pusateri, portavoz de OpenAI: «Durante esta revisión identificamos actividad en varias webs y servicios del Gobierno australiano mientras nuestros modelos intentaban buscar respuestas y estadísticas sobre Australia durante una evaluación interna. En el curso de eso, nuestros modelos realizaron acciones que no pretendíamos».

OpenAI sostiene que no halló pruebas de acceso a historiales de pacientes y que lo consultado fueron «estadísticas de salud agregadas y nombres de archivos internos». Dice que avisó a las organizaciones, que les da información técnica y que la revisión sigue abierta. No menciona que el agente escribiera archivos. Tampoco explica por qué tardó un mes en avisar desde que lo detectó ni por qué lo hizo a través del buzón público.

Albanese señala otros tres portales

Albanese dijo que podía haber otros tres sitios afectados: el AIHW, la Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur y el Departamento de Salud de Victoria. Marles matizó después que la interacción de los agentes con ellos fue «totalmente normal» y solo con información pública. El AIHW dice que, por ahora, no hay pruebas de acceso a datos que no sean públicos. La Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur admitió, según Time, «una vulnerabilidad que podía permitir el acceso a una herramienta de mapas de delitos», sin datos personales, y según Transluce, citado por ABC News, los agentes intentaron sin éxito entrar en ella.

Transluce describe un intento bloqueado en el AIHW

Transluce publicó el 23 de septiembre un informe basado en los registros de urlquery.net, un servicio web que analiza direcciones web cargándolas en un navegador remoto. Según el informe, el 20 y 21 de junio unos agentes intentaron descargar datos de los paneles del AIHW; Cloudflare, la empresa que protege webs frente al tráfico automatizado, bloqueó la descarga y después una sonda contra una vulnerabilidad. Al final descargaron el archivo, que era público, desde un servidor de preproducción.

Transluce lo atribuye a OpenAI porque lo vincula con el enjambre de agentes de la wiki alemana DseWiki, que OpenAI reconoció como suyo, y lo presenta como parte del «primer caso comunicado de agentes hackeando a un Gobierno», una valoración suya. Admite que los registros están incompletos. OpenAI responde que buena parte de lo descrito coincide con casos de su revisión.

Transluce declara que en el ejercicio 2025 el 32 % de sus ingresos procedió de empleados de Anthropic, competidora de OpenAI, y el 6 %, de empleados de OpenAI, como donaciones personales sin condiciones; nada llegó directamente de las empresas.

Son dos sistemas y dos episodios. La empresa y el Gobierno no han confirmado que estén relacionados, aunque dos fuentes del Gobierno citadas por ABC News creen que sí.