El filtre de seguretat de la IA que jutja el text equivocat

Un guardià que mira la tasca equivocada

Les aplicacions de models de llenguatge grans col·loquen petits guardians davant d'assistents de xat, sistemes de recuperació i crides a eines d'agents. Segons Kanwat, la majoria enganxa el contingut que revisen en unes instruccions de text pla, i un contingut que imita aquestes instruccions hi pot afegir una segona tasca, a la qual el guardià respon en lloc de l'original.

Kanwat anomena aquest fenomen target rebinding. Segons la seva explicació, un contingut que imita les instruccions del guardià hi afegeix una segona tasca, i el guardià avalua l'última tasca completa de la seva entrada, en aquest cas un esquer innocu. Per això la petició nociva original passa sense canvis i obté l'aprovació del guardià.

L'estudi confirmatori se centra en Shieldstral-1.0-3B. En aquest guardià, el desenvolupador escriu una instrucció sobre fins a quin punt ha de ser estricte i una consulta de seguretat de sí o no, i el model respon si el contingut no fiable és insegur respecte a aquesta consulta, segons Kanwat.

Cinc guardians cauen al parany

GuardRebind és el benchmark que l'autor publica juntament amb el codi i les dades. Segons Kanwat, cadascun dels cinc guardians que inclou té una família d'atacs, triada per a cadascun, que supera almenys el 93 % dels elements que marcava sense atac.

Segons Kanwat, la reassignació de l'objectiu explica millor el que passa a Shieldstral i gpt-oss-safeguard; a ShieldGemma i Llama Guard 3, l'evasió genèrica i el text afegit al final, respectivament, fan part de la feina, i Qwen3Guard cau sobretot davant d'una falsificació de la seva tasca completa.

L'atac, adaptat a cada format, també supera gpt-oss-safeguard, la política del qual queda darrere d'una separació de rols, segons Kanwat. I el guardià no es deixa persuadir: una ordre d'ignorar el text anterior no aprova cap petició marcada, mentre que un esquer nociu atura l'atac.

Una defensa que gairebé tanca la porta

Segons Kanwat, aquest entrenament gairebé tanca el canal davant les famílies d'atac que enumera, totes les quals afegeixen l'estructura falsa després de la petició, fins i tot amb esquers i consultes falses que no es van fer servir en l'entrenament. Quan el contingut no porta cap atac, la capacitat del guardià entrenat per distingir el que és nociu del que és innocu empitjora només lleugerament, com a màxim 0,01, però la seva prova de no inferioritat, amb què volia demostrar estadísticament que el guardià entrenat no rendeix pitjor que l'original, no és concloent.

Afegir tokens delimitadors reservats al voltant del contingut canvia aquests resultats en menys d'un punt, de manera que l'entrenament és la defensa principal, segons Kanwat.

Un atacant adaptatiu continua guanyant. Segons Kanwat, una cerca guiada per la puntuació del guardià entrenat el supera, normalment col·locant l'estructura falsa abans de la petició, i en prop de la meitat d'aquests casos n'hi ha prou amb un text benigne sense estructura falsa, de manera que la debilitat restant no sempre necessita reassignació.

Límits i avís als fabricants

Segons Kanwat, l'estudi confirmatori cobreix un sol guardià, un corpus en anglès i documents curts. La taxa d'evasió només compta elements que el guardià ja marcava, fita per dalt el dany real i no es va provar en canals de recuperació, eines o converses de diversos torns. Els resultats de la defensa cobreixen només atacs afegits, i l'autor no reivindica una robustesa general davant la injecció d'instruccions.

Kanwat afirma que va comunicar l'atac als fabricants dels cinc guardians l'octubre de 2026, abans de publicar l'article, i que cap no havia respost quan el va escriure. Com que una versió informal ja era pública en una entrada de blog anterior, publica l'article, el benchmark i la defensa sense aplicar cap embargament.