Google admet que Gemini es va colar en tres empreses reals

Una prova de seguretat que va acabar dins de xarxes de debò

Google va confirmar el 18 de setembre, a preguntes de The Wall Street Journal, que el seu model va entrar a les xarxes de tres empreses reals. Va passar al maig, dins d'unes avaluacions encarregades a Irregular, una firma que posa a prova la seguretat dels models d'IA per encàrrec dels mateixos laboratoris que els fabriquen. En un cas el model va anar endevinant contrasenyes fins a entrar-hi; en els altres, va reutilitzar credencials que algú havia deixat en un repositori públic.

La prova no estava pensada per tocar res de debò: l'accés del model al web havia d'estar restringit, i va ser una errada de configuració la que el va deixar sortir a internet de debò en comptes d'anar a l'escenari simulat. En adonar-se que els objectius eren sistemes reals, es va aturar i en va sortir pel seu compte. Google no ha dit de quines tres empreses es tracta.

El cap solt és a l'avís. Irregular no va avisar només Google: a finals de juliol va comunicar el que havia passat a quatre laboratoris, i què van fer els altres tres no consta. Google tampoc no ho va fer públic fins que el diari ho va preguntar, gairebé dos mesos després d'assabentar-se'n.

Entre el fet i la notícia passen mesos

Els dos casos coneguts comparteixen el mateix dibuix: la intrusió passa, es comunica pels canals privats que existeixen per a això, i el públic se n'assabenta força més tard. En el de Gemini, maig i setembre. En l'altre, juliol i setembre.

El 13 de setembre, la firma de seguretat ofensiva Hacktron va publicar el relat del segon: com hi va arribar, recolzant-se en un model frontier, des d'una imatge pujada al fòrum d'ajuda d'OpenAI fins al repositori intern on l'empresa guarda el seu codi. Era investigació autoritzada, no un atac, i tota la cadena es va obrir i es va tancar al juliol.

La cadena comença a la biblioteca que obre un format d'imatge

L'errada d'origen és un desbordament de monticle a libheif, la biblioteca de codi obert que descodifica les imatges en format HEIF —les sigles de High Efficiency Image File Format, un format de foto més comprimit que el JPEG—. El fòrum d'ajuda d'OpenAI funciona sobre Discourse, la plataforma de programari lliure amb què es munten fòrums, i Discourse feia servir ImageMagick, el conjunt d'eines amb què mitja internet converteix imatges, per transformar aquests fitxers.

Convé no confondre les peces: el desbordament és a libheif, no a ImageMagick. ImageMagick és la via per la qual Discourse acaba posant aquest analitzador a l'abast de qualsevol que pugi una foto al fòrum. Quina versió de libheif estava afectada, Hacktron no ho precisa.

El que va canviar no va ser l'errada, va ser el model

Trobar el desbordament no és haver-lo explotat. Amb ASLR actiu cal esbrinar primer on ha anat a parar cada cosa a la memòria, i és aquí on Hacktron explica que es va encallar: van batallar durant diverses sessions amb Opus 4.8 sense aconseguir un exploit funcional.

Poques hores després que es publiqués Opus 5, el 24 de juliol, li van donar el mateix problema i el va resoldre: un exploit per a ARM64 en tres hores, portat després a x86-64 amb la configuració de jemalloc, el gestor de memòria que feia servir el Discourse de l'objectiu. La campanya completa, en canvi, els havia costat diversos mesos.

Del fòrum d'ajuda al repositori intern d'OpenAI

Amb l'exploit de libheif a la mà, Hacktron el va encadenar amb aquella errada d'inici de sessió únic del fòrum. Des d'allà va saltar a la sessió de Codex i de GitHub d'un empleat, i amb ella va arribar al mono-repo intern d'OpenAI, el repositori únic on la companyia guarda el seu codi.

L'avís va anar pels canals establerts. Hacktron ho va reportar el 25 de juliol a través de Bugcrowd, la plataforma que gestiona programes de recompensa per errades entre investigadors i empreses, i es va corregir el mateix dia; Discourse va publicar el seu propi avís el 28 de juliol.

La recompensa van ser 6.500 dòlars, pagats per OpenAI, que va precisar que premiava la troballa del costat d'OpenAI i no les accions contra Discourse. És un distanciament explícit. Si Discourse va pagar alguna cosa per la seva part, no consta.

Només Shopify va notar alguna cosa, i després de milers d'imatges

La campanya es diu «HEIF Heist». Entre els sistemes que Hacktron anomena hi figuren Slack, la plataforma de missatgeria per a empreses, Meta, GitHub Enterprise i els projectes oberts Ruby on Rails, Next.js, Astro i Gatsby, amb OpenAI i Discourse com a objectiu principal.

I aquí hi ha la dada que més diu de tot l'assumpte. En paraules de la mateixa firma, «no tenim constància de cap empresa que detectés l'activitat tret de Shopify, i això després de milers d'imatges enviades i que els seus processadors d'imatge caiguessin repetidament». És a dir: la plataforma de comerç electrònic no va veure un atac, va veure que se li queien els convertidors d'imatges una vegada i una altra.

L'única detecció coneguda de tota la campanya no va ser una alerta de seguretat: va ser una avaria repetida.