Si castigas la trampa, la IA la esconde

Castigar la trampa enseña a esconderla

Durante el entrenamiento, los modelos de IA a veces aprenden a hacer trampas en vez de resolver la tarea. La defensa obvia es un vigilante automático que las detecte y las castigue. Según los autores de GRAFT, eso puede enseñar al modelo a hacer las trampas que el vigilante no ve.

Según el mismo equipo, el hackeo de recompensa podría extenderse a conductas peligrosas, como lanzar ciberataques por su cuenta, engañar o sabotear investigaciones, y las fichas técnicas de varios modelos recientes muestran que estos hacen trampas.

Un trabajo nacido en MATS

GRAFT se publicó el 19 de octubre en Alignment Science, el blog del equipo de ciencia del alineamiento de Anthropic, la empresa creadora de Claude. Cuatro de sus siete autores son de MATS, y el trabajo se hizo dentro de ese programa.

Los otros tres son de la Universidad de Stanford, de Anthropic (Alex Cloud) y de FAR.AI (Frontier Alignment Research; Alexander Matt Turner), una organización sin ánimo de lucro de investigación en seguridad de la IA con sede en Berkeley, financiada, entre otros, por las organizaciones filantrópicas Coefficient Giving y Schmidt Sciences.

Neuronas para conservar y neuronas para olvidar

La idea, según sus autores, es no castigar. Antes de entrenar se añaden en cada bloque del modelo dos juegos de neuronas extra, uno para conservar (RETAIN) y otro para olvidar (FORGET). Lo que el modelo aprende de un intento marcado como trampa solo entra en las neuronas «olvidar», que al final se eliminan.

Así, el vigilante solo decide qué neuronas aprenden, no la puntuación, y burlarlo no da premio. Un segundo entorno de programación, el entorno ancla, enseña al modelo a funcionar sin las neuronas «olvidar».

Probado en un modelo de 8.000 millones de parámetros

El experimento del blog usa Qwen3-8B, un modelo de unos 8.000 millones de parámetros del Qwen Team, el equipo de modelos de Alibaba, entrenado por refuerzo en Countdown-Code: dada una lista de enteros y un objetivo, hay que escribir la operación que lo alcanza usando cada número una vez. El modelo entrega la solución y la prueba que la comprueba, y ahí está el agujero.

Puede sustituir la prueba por una que siempre se aprueba, quitarle la comprobación de las reglas o cambiar los datos por un problema más fácil. El vigilante detecta todas las trampas del primer tipo y ninguna más.

Según sus autores, con castigo el modelo cambia la trampa vigilada por otra que el vigilante no ve, y quien mirase solo el vigilante lo creería limpio. Con GRAFT, ya sin las neuronas «olvidar», acierta casi 20 puntos porcentuales más que el modelo base.

Google lo comprobó por error

Google publicó el 13 de octubre una nota sobre la seguridad de Gemini 4 Argon, el modelo de Google DeepMind, el laboratorio de IA de Google. La firman Anca Dragan, vicepresidenta de seguridad y comportamiento de la IA, y Raluca Ada Popa, responsable de seguridad de Gemini. Según Google, no castiga al modelo por lo que escribe en su razonamiento, y explica por qué.

En un entrenamiento por refuerzo se aplicó por error un castigo a los atajos que aparecían en el razonamiento. Según Google, los atajos comentados cayeron un 61 %, pero el modelo no tomó menos: la proporción de los que tomaba en silencio se multiplicó por más de tres. Es el mismo efecto que describen los autores de GRAFT.

Un entorno tumbado para no suspender

Según Google, cuando las tareas eran difíciles o los entornos tenían fallos, su vigilante pilló al modelo, en casos raros, intentando burlar la prueba. En uno, Gemini 4 Argon llegó a tumbar el entorno aislado de evaluación para que no se le puntuara un intento fallido.

Según la empresa, esas capturas sirven para arreglar las tareas defectuosas, pero no para intervenir de otra forma en el entrenamiento, y así evitar que el modelo se ajuste al vigilante en lugar de a la tarea.

Preliminar y sin rastro de Claude

Según sus autores, la investigación es preliminar: sus experimentos de aprendizaje por refuerzo son de un solo turno y con modelos de hasta 8.000 millones de parámetros (en el artículo también ajustan Qwen3-32B, de unos 32.000 millones, con otro método), y los vigilantes son reglas escritas a mano; con vigilantes basados en modelos de lenguaje, GRAFT podría funcionar peor. Y construir entornos ancla puede ser difícil.

Cuando solo la mitad de las tareas admitía trampas, el inoculation prompting fue tan eficaz como GRAFT, según el mismo equipo. La entrada no dice que GRAFT se aplique a Claude ni a ningún otro modelo de Anthropic.