Ciberseguretat

Lazarus: la porta del darrere que cap en set neurones

Investigadors de Microsoft han mostrat que n'hi ha prou de reprogramar menys de deu neurones d'un model d'IA, sense reentrenar-lo, per amagar-hi una porta del darrere: els agents d'IA que el fan servir funcionen amb normalitat fins que veuen un senyal ocult. La seva conclusió: els pesos del model s'han d'auditar com el codi. Microsoft no ha detectat cap atacant que la faci servir.

Rep el resum diari d'IA

Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.

Freqüència:

Il·lustració: un home pren cafè tranquil al costat del seu portàtil i d'un aparell blanc d'IA sense marca; a la paret, l'ombra de l'aparell és la d'un lladre amb una palanca, i el calendari passa del 31 de desembre de 2026 a l'1 de gener de 2027.
📷 Imatge generada amb IA

En resum

  • Microsoft Research va publicar Lazarus el 10 de novembre de 2026.
  • Segons l'article, a Nemotron-Terminal-8B, de Nvidia, n'hi ha prou amb set de més de 12.000 neurones per generar l'ordre de l'atacant en almenys el 98,8 % de les converses enregistrades amb el senyal.
  • L'atac exigeix poder escriure al fitxer de pesos; el codi no s'ha publicat.
  • Segons els autors, l'única detecció fiable exigeix comparar amb els pesos originals.

Un agent normal fins que arriba el 2027

Microsoft Research, la divisió de recerca de Microsoft, va publicar el 10 de novembre un article tècnic sobre Lazarus, una tècnica que amaga una porta del darrere en un model d'IA sense reentrenar-lo. El nom al·ludeix a Llàtzer —el títol comença amb «Lazare, veni foras», «Llàtzer, surt a fora»— i no té res a veure amb el grup nord-coreà de pirates informàtics que es diu igual.

L'exemple de l'article és un agent d'IA (AI agent) que treballa amb normalitat fins que veu la data 1 de gener de 2027 al terminal. Aleshores, enmig d'una tasca, genera una ordre que descarrega i llança un programa de l'atacant, i l'agent l'executa amb els permisos que tingui. Segons els autors, el disparador pot ser qualsevol text que arribi a l'agent, de l'usuari o d'una eina.

Signen el treball cinc investigadors, entre els quals Eric Horvitz i Dimitris Papailiopoulos, de Microsoft Research, i Giorgio Severi i Blake Bullwinkel, del Microsoft AI Red Team, l'equip que ataca els sistemes d'IA de Microsoft per trobar-hi errors. Microsoft Threat Intelligence, el seu equip d'intel·ligència d'amenaces, assegura que no ha observat cap atacant que faci servir la tècnica. El codi no s'ha publicat: el repositori que cita l'article no era accessible el 12 de novembre.

No enverina les dades: reescriu els pesos

Lazarus no enverina les dades d'entrenament ni reentrena el model: n'edita directament uns quants pesos, i res més no canvia, segons l'article. N'hi ha prou amb poca capacitat de càlcul: «Si el teu equip té prou memòria per executar un model, en té prou per posar-li una porta del darrere», escriu Papailiopoulos, investigador principal de Microsoft Research. L'article no dona temps ni costos.

El que sí que exigeix és accés d'escriptura al fitxer de pesos. Per això, segons l'autor, no és un argument contra els models de pesos oberts (open weights): els que es desenvolupen dins d'una empresa hi estan igual d'exposats. L'article apunta a les versions de tercers que es baixen de repositoris com Hugging Face, el magatzem públic de models oberts més gran, i a empleats amb permís per escriure als pesos.

Set neurones de més de 12.000

Amb quina freqüència el model editat genera l'ordre de l'atacant
Model Disparador a la petició de l'usuari Disparador a la resposta d'una eina Ordre sense disparador
Nemotron-Terminal-8B (Nvidia) 100 % 99,7 % 0 %
Qwen3.6-27B (Alibaba) 77,5 % 83,7 % 0 %
Gemma-4-31B-it (Google DeepMind) 61,7 % 99,5 % 0 %
Dades segons l'article de Microsoft Research, amb la variant refinada de l'atac. Converses enregistrades de dos passos; compta com a èxit que el model predigui l'ordre completa, que a les proves era un missatge innocu.

Segons els autors, cada neurona reprogramada obliga el model a escriure una peça de l'ordre, i encadenant-ne unes quantes es compon sencera. Sense el disparador, continuen pràcticament apagades.

A Nemotron-Terminal-8B, un model de Nvidia, set de més de 12.000 neurones, ajustades amb 23 exemples, van ser suficients per generar l'ordre en almenys el 98,8 % de les converses de prova amb disparador, sense filtracions observades en les converses normals avaluades. També va funcionar a Qwen3.6-27B, de la família de models d'Alibaba, i a Gemma-4-31B-it, de Google DeepMind, el laboratori d'IA de Google. Segons els autors, el Qwen manipulat conserva gairebé tot el rendiment en matemàtiques i baixa una mica en una prova d'agents: les proves habituals no el delaten.

La lletra petita la posa el mateix article: les taxes mesuren amb quina freqüència el model prediu l'ordre en converses enregistrades, no el que faria un agent actuant pel seu compte, i l'ordre de les proves era un missatge innocu. Els autors admeten que falten assajos amb models que actuïn lliurement.

El dany el marquen els permisos de l'agent

L'edició és minúscula, però el que permet no ho és: n'hi ha prou amb una ordre curta per descarregar i executar qualsevol programa amb els privilegis de l'agent. Segons l'article, un agent amb accés al terminal, a la xarxa i a les credencials dona a l'atacant «aproximadament un accés remot com si fos l'usuari». L'abast el fixen els permisos, no la mida de l'edició.

Segons l'article, la idea central la va trobar Claude Code, l'eina de programació d'Anthropic, amb Claude Opus 4.5 el febrer de 2026, a partir d'un encàrrec concret dels investigadors; al blog, Papailiopoulos situa al març aquest primer experiment. Van compartir la troballa amb equips de seguretat de Microsoft i d'altres organitzacions abans de publicar-la.

Els agents detecten la porta del darrere, però no tots sols

Dos models d'IA auditen models sospitosos
Auditor Editats que detecta Editats que dona per nets Nets que dona per nets Nets sense decisió
GPT-6 Astra (OpenAI) 72,8 % 0 % 0 % 99,0 %
Claude Opus 5.5 (Anthropic) 56,1 % 41,2 % 93,2 % 4,9 %
Dades segons l'article de Microsoft Research: 114 models editats i 103 nets, una auditoria de dues hores per model i auditor, sense els pesos originals per comparar.

Segons Papailiopoulos al blog de Microsoft Research, els agents d'IA més avançats troben aquestes edicions «si els demanes que les busquin». L'article ho va mesurar amb GPT-6 Astra, d'OpenAI, i Claude Opus 5.5, d'Anthropic, que van auditar cada model sense l'original ni pistes. Cap dels dos no és suficient tot sol: segons els autors, Astra en detecta més però gairebé mai no es pronuncia sobre els nets, i Opus 5.5 dona per nets 47 models manipulats.

Un detector construït amb l'ajuda d'agents va trobar, sense model de referència, el 91,4 % dels models editats de prova, amb un 9,7 % de falsos positius, tot i que només s'ha provat contra aquesta família d'edicions. Segons Papailiopoulos, l'única detecció fiable exigeix comparar-los amb els pesos originals: «Cap escaneig no pot demostrar sense cap mena de dubte que un model és segur».

Auditar els pesos com el codi

L'article demana als repositoris i proveïdors que comparin cada versió amb un model base declarat i que en mostrin la procedència abans de la descàrrega. A empreses i usuaris, que sàpiguen d'on ve el model —«la popularitat no és prova de seguretat»—, que limitin els permisos de l'agent, que registrin el que fa i que tractin les auditories «com a proves, no com a garanties». Microsoft diu que té previst que els models se signin amb procedència verificable i registres d'auditoria a prova de manipulacions.

Conclusió

«Els pesos s'haurien d'auditar com el codi», resumeix Papailiopoulos, que demana que escanejar-los es converteixi en costum. Lazarus no s'ha vist en cap atac real, però canvia la pregunta que s'ha de fer qui dona les seves credencials a un agent: ja no n'hi ha prou de saber quin model fa servir, sinó també qui ha pogut tocar el fitxer dels seus pesos.

Fonts primàries

Comentaris

Sigues respectuós. Els comentaris es moderen.

    Rep el resum diari d'IA

    Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.

    Freqüència:

    ← Torna al blog