El filtro de seguridad de la IA que juzga el texto equivocado

Un guardián que mira la tarea equivocada

Las aplicaciones de modelos de lenguaje grandes colocan pequeños guardianes delante de asistentes de chat, sistemas de recuperación y llamadas a herramientas de agentes. Según Kanwat, la mayoría pega el contenido que revisan en unas instrucciones de texto plano, y un contenido que imita esas instrucciones puede añadir una segunda tarea a la que el guardián responde en lugar de a la original.

Kanwat llama a este fenómeno target rebinding. Según su explicación, un contenido que imita el prompt del guardián añade una segunda tarea, y el guardián califica la última tarea completa de su entrada, en este caso un señuelo inofensivo. Por eso la petición dañina original pasa sin cambios y obtiene la aprobación del guardián.

El estudio confirmatorio se centra en Shieldstral-1.0-3B. En este guardián, el desarrollador escribe una instrucción sobre lo estricto que debe ser y una consulta de seguridad de sí o no, y el modelo responde si el contenido no fiable es inseguro respecto a esa consulta, según Kanwat.

Cinco guardianes caen en la trampa

GuardRebind es el benchmark que el autor publica junto con el código y los datos. Según Kanwat, cada uno de los cinco guardianes que cubre tiene una familia de ataques, elegida para cada uno, que supera al menos el 93 % de los elementos que marcaba sin ataque.

Según Kanwat, la reasignación del objetivo explica mejor lo ocurrido en Shieldstral y gpt-oss-safeguard; en ShieldGemma y Llama Guard 3, la evasión genérica y el texto añadido al final, respectivamente, hacen parte del trabajo, y Qwen3Guard cae sobre todo ante una falsificación de su tarea completa.

El ataque, adaptado a cada formato, también supera a gpt-oss-safeguard, cuya política queda tras una separación de roles, según Kanwat. Y el guardián no se deja persuadir: una orden de ignorar el texto anterior no aprueba ninguna petición marcada, mientras que un señuelo dañino detiene el ataque.

Una defensa que casi cierra la puerta

Según Kanwat, este entrenamiento casi cierra el canal frente a las familias de ataque que enumera, todas las cuales añaden la estructura falsa después de la petición, incluso con señuelos y consultas falsas que no se usaron al entrenar. Cuando el contenido no lleva ningún ataque, la capacidad del guardián entrenado para distinguir lo dañino de lo inocuo empeora solo ligeramente, como mucho 0,01, pero su prueba de no inferioridad, con la que buscaba demostrar estadísticamente que el guardián entrenado no rinde peor que el original, no es concluyente.

Añadir tokens delimitadores reservados alrededor del contenido cambia estos resultados en menos de un punto, de modo que el entrenamiento es la defensa principal, según Kanwat.

Un atacante adaptativo sigue ganando. Según Kanwat, una búsqueda guiada por la puntuación del guardián entrenado lo supera, normalmente colocando la estructura falsa antes de la petición, y en cerca de la mitad de esos casos basta un texto benigno sin estructura falsa, así que la debilidad restante no siempre necesita reasignación.

Límites y aviso a los fabricantes

Según Kanwat, el estudio confirmatorio cubre un solo guardián, un corpus en inglés y documentos cortos. La tasa de evasión solo cuenta elementos que el guardián ya marcaba, acota por arriba el daño real y no se probó en canales de recuperación, herramientas o conversaciones de varios turnos. Los resultados de la defensa cubren solo ataques añadidos, y el autor no reivindica robustez general frente a la inyección de instrucciones.

Kanwat afirma que comunicó el ataque a los fabricantes de los cinco guardianes en octubre de 2026, antes de publicar el artículo, y que ninguno había respondido al escribirlo. Como una versión informal ya era pública en una entrada de blog anterior, publica el artículo, el benchmark y la defensa sin aplicar un embargo.