Google admite que Gemini se coló en tres empresas reales

Una prueba de seguridad que acabó dentro de redes de verdad

Google confirmó el 18 de septiembre, a preguntas de The Wall Street Journal, que su modelo entró en las redes de tres empresas reales. Ocurrió en mayo, dentro de unas evaluaciones encargadas a Irregular, una firma que pone a prueba la seguridad de los modelos de IA por encargo de los propios laboratorios que los fabrican. En un caso el modelo fue adivinando contraseñas hasta entrar; en los otros, reutilizó credenciales que alguien había dejado en un repositorio público.

La prueba no estaba pensada para tocar nada de verdad: el acceso del modelo a la web debía estar restringido, y fue un fallo de configuración el que lo dejó salir a internet de verdad en vez de al escenario simulado. Al darse cuenta de que los objetivos eran sistemas reales, se detuvo y salió por su cuenta. Google no ha dicho de qué tres empresas se trata.

El cabo suelto está en el aviso. Irregular no avisó solo a Google: a finales de julio comunicó lo ocurrido a cuatro laboratorios, y qué hicieron los otros tres no consta. Google tampoco lo hizo público hasta que el periódico preguntó, casi dos meses después de enterarse.

Entre el hecho y la noticia pasan meses

Los dos casos conocidos comparten el mismo dibujo: la intrusión ocurre, se comunica por los cauces privados que existen para eso, y el público se entera bastante más tarde. En el de Gemini, mayo y septiembre. En el otro, julio y septiembre.

El 13 de septiembre, la firma de seguridad ofensiva Hacktron publicó el relato del segundo: cómo llegó, apoyándose en un modelo frontier, desde una imagen subida al foro de ayuda de OpenAI hasta el repositorio interno donde la empresa guarda su código. Era investigación autorizada, no un ataque, y toda la cadena se abrió y se cerró en julio.

La cadena empieza en la biblioteca que abre un formato de imagen

El fallo de origen es un desbordamiento de montículo en libheif, la biblioteca de código abierto que descodifica las imágenes en formato HEIF —las siglas de High Efficiency Image File Format, un formato de foto más comprimido que el JPEG—. El foro de ayuda de OpenAI corre sobre Discourse, la plataforma de software libre con la que se montan foros, y Discourse usaba ImageMagick, el conjunto de herramientas con el que media internet convierte imágenes, para transformar esos archivos.

Conviene no confundir las piezas: el desbordamiento está en libheif, no en ImageMagick. ImageMagick es la vía por la que Discourse acaba poniendo ese analizador al alcance de cualquiera que suba una foto al foro. Qué versión de libheif estaba afectada, Hacktron no lo precisa.

Lo que cambió no fue el fallo, fue el modelo

Encontrar el desbordamiento no es haberlo explotado. Con ASLR activo hay que averiguar primero dónde ha caído cada cosa en la memoria, y ahí es donde Hacktron cuenta haberse atascado: batallaron durante varias sesiones con Opus 4.8 sin lograr un exploit funcional.

A las pocas horas de publicarse Opus 5, el 24 de julio, le dieron el mismo problema y lo resolvió: un exploit para ARM64 en tres horas, portado después a x86-64 con la configuración de jemalloc, el gestor de memoria que usaba el Discourse del objetivo. La campaña completa, en cambio, les había llevado varios meses.

Del foro de ayuda al repositorio interno de OpenAI

Con el exploit de libheif en la mano, Hacktron lo encadenó con ese fallo de inicio de sesión único del foro. Desde ahí saltó a la sesión de Codex y de GitHub de un empleado, y con ella llegó al mono-repo interno de OpenAI, el repositorio único donde la compañía guarda su código.

El aviso fue por los cauces establecidos. Hacktron lo reportó el 25 de julio a través de Bugcrowd, la plataforma que gestiona programas de recompensa por fallos entre investigadores y empresas, y se corrigió el mismo día; Discourse publicó su propio aviso el 28 de julio.

La recompensa fueron 6.500 dólares, pagados por OpenAI, que precisó que premiaba el hallazgo del lado de OpenAI y no las acciones contra Discourse. Es un distanciamiento explícito. Si Discourse pagó algo por su parte, no consta.

Solo Shopify notó algo, y después de miles de imágenes

La campaña se llama «HEIF Heist». Entre los sistemas que Hacktron nombra figuran Slack, la plataforma de mensajería para empresas, Meta, GitHub Enterprise y los proyectos abiertos Ruby on Rails, Next.js, Astro y Gatsby, con OpenAI y Discourse como objetivo principal.

Y ahí está el dato que más dice de todo el asunto. En palabras de la propia firma, «no tenemos constancia de ninguna empresa que detectara la actividad salvo Shopify, y eso después de miles de imágenes enviadas y de que sus procesadores de imagen se cayeran repetidamente». Es decir: la plataforma de comercio electrónico no vio un ataque, vio que se le caían los conversores de imágenes una y otra vez.

La única detección conocida de toda la campaña no fue una alerta de seguridad: fue una avería repetida.