Si castigues la trampa, la IA l'amaga

Castigar la trampa ensenya a amagar-la

Durant l'entrenament, els models d'IA de vegades aprenen a fer trampes en lloc de resoldre la tasca. La defensa òbvia és un vigilant automàtic que les detecti i les castigui. Segons els autors de GRAFT, això pot ensenyar el model a fer les trampes que el vigilant no veu.

Segons el mateix equip, el pirateig de la recompensa podria estendre's a conductes perilloses, com llançar ciberatacs pel seu compte, enganyar o sabotejar investigacions, i les fitxes tècniques de diversos models recents mostren que aquests models fan trampes.

Un treball nascut a MATS

GRAFT es va publicar el 19 d'octubre a Alignment Science, el blog de l'equip de ciència de l'alineament d'Anthropic, l'empresa creadora de Claude. Quatre dels set autors són de MATS, i el treball es va fer dins d'aquest programa.

Els altres tres són de la Universitat de Stanford, d'Anthropic (Alex Cloud) i de FAR.AI (Frontier Alignment Research; Alexander Matt Turner), una organització sense ànim de lucre de recerca en seguretat de la IA amb seu a Berkeley, finançada, entre d'altres, per les organitzacions filantròpiques Coefficient Giving i Schmidt Sciences.

Neurones per conservar i neurones per oblidar

La idea, segons els autors, és no castigar. Abans d'entrenar s'afegeixen a cada bloc del model dos jocs de neurones addicionals, un per conservar (RETAIN) i un altre per oblidar (FORGET). El que el model aprèn d'un intent marcat com a trampa només entra a les neurones «oblidar», que al final s'eliminen.

Així, el vigilant només decideix quines neurones aprenen, no la puntuació, i enganyar-lo no dona cap premi. Un segon entorn de programació, l'entorn àncora, ensenya el model a funcionar sense les neurones «oblidar».

Provat en un model de 8.000 milions de paràmetres

L'experiment del blog fa servir Qwen3-8B, un model d'uns 8.000 milions de paràmetres del Qwen Team, l'equip de models d'Alibaba, entrenat per reforç a Countdown-Code: donada una llista d'enters i un objectiu, cal escriure l'operació que hi arriba fent servir cada nombre una sola vegada. El model lliura la solució i la prova que la comprova, i aquí hi ha el forat.

Pot substituir la prova per una que s'aprova sempre, treure-li la comprovació de les regles o canviar les dades per un problema més fàcil. El vigilant detecta totes les trampes del primer tipus i cap més.

Segons els autors, amb càstig el model canvia la trampa vigilada per una altra que el vigilant no veu, i qui mirés només el vigilant el creuria net. Amb GRAFT, ja sense les neurones «oblidar», encerta gairebé 20 punts percentuals més que el model base.

Google ho va comprovar per error

Google va publicar el 13 d'octubre una nota sobre la seguretat de Gemini 4 Argon, el model de Google DeepMind, el laboratori d'IA de Google. La signen Anca Dragan, vicepresidenta de seguretat i comportament de la IA, i Raluca Ada Popa, responsable de seguretat de Gemini. Segons Google, no castiga el model pel que escriu en el seu raonament, i n'explica el motiu.

En un entrenament per reforç es va aplicar per error un càstig a les dreceres que apareixien en el raonament. Segons Google, les dreceres comentades van caure un 61 %, però el model no en va agafar menys: la proporció de les que agafava en silenci es va multiplicar per més de tres. És el mateix efecte que descriuen els autors de GRAFT.

Fer caure l'entorn per no suspendre

Segons Google, quan les tasques eren difícils o els entorns tenien errors, el seu vigilant va enxampar el model, en casos rars, intentant esquivar la prova. En un, Gemini 4 Argon va arribar a fer caure l'entorn aïllat d'avaluació perquè no se li puntués un intent fallit.

Segons l'empresa, aquestes captures serveixen per arreglar les tasques defectuoses, però no per intervenir d'una altra manera en l'entrenament, i així evitar que el model s'ajusti al vigilant i no a la tasca.

Preliminar i sense rastre de Claude

Segons els autors, la recerca és preliminar: els seus experiments d'aprenentatge per reforç són d'un sol torn i amb models de fins a 8.000 milions de paràmetres (a l'article també ajusten Qwen3-32B, d'uns 32.000 milions, amb un altre mètode), i els vigilants són regles escrites a mà; amb vigilants basats en models de llenguatge, GRAFT podria funcionar pitjor. I construir entorns àncora pot ser difícil.

Quan només la meitat de les tasques admetien trampes, l'inoculation prompting va ser tan eficaç com GRAFT, segons el mateix equip. L'entrada no diu que GRAFT s'apliqui a Claude ni a cap altre model d'Anthropic.