WebMirage: una foto retocada y el agente web pulsa donde no debe

Una foto que solo le miente a la máquina

Wanjing Han, Levi Taiji Li, Mu Zhang, Yue Jiang y Guanhong Tao, de la Universidad de Utah, registraron el 7 de octubre de 2026 el artículo «Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution», en la sección de criptografía y seguridad de arXiv. La ficha consultada lo presenta como un preprint y no indica aceptación en un congreso o una revista. El código está publicado.

El ataque es una perturbación acotada —16/255 en norma infinito por defecto— sobre una única imagen de la página: la que el atacante controla porque la ha subido él, la miniatura de un producto o una foto de perfil. No es un parche visible y no hace falta controlar la web: el modelo de amenaza prohíbe tocar el código de la página, inyectar instrucciones de texto o alterar el programa del agente. Basta con subir contenido como un tercero cualquiera.

El blanco es el instante en que el agente decide sobre qué elemento actuar. Los candidatos llevan etiquetas; si al del atacante le toca la 3, el ataque triunfa cuando el modelo ordena pulsar la 3 y el navegador ejecuta el clic sobre lo que esa etiqueta apunta, su ficha de producto o su botón de compra. Ahí está la aportación: antes se puntuaba lo que el modelo escribía; aquí, la acción que el navegador ejecuta.

El salto, y lo que hace falta para darlo

El experimento son 2.250 tareas: 1.710 sobre trece webs públicas y 540 en un entorno de pruebas. Los agentes son cuatro configuraciones: SeeAct y WebVoyager, dos agentes de investigación de código abierto, y las dos variantes de VisualWebArena, un entorno de pruebas académico. Debajo, seis modelos de visión y lenguaje de pesos abiertos: LLaVA-v1.5-13B, LLaVA-v1.6-34B, MiniCPM-o-8B, Phi-3-Vision-4B, Qwen2-VL-7B y CogVLM. Son los modelos atacados en estas pruebas.

Las trece webs son tiendas, alojamiento, clases particulares y servicio doméstico —entre ellas Amazon, Walmart y Airbnb—, pero ninguna fue atacada: los autores escriben que «nunca subimos contenido adversario a servicios en producción» y lo que hacían era sustituir en local, en su propio navegador, una imagen que ya estaba en la página; nada llegó a las plataformas ni lo vio ningún usuario o vendedor real.

Con el criterio de ejecución el método promedia 91,9 % y Chameleon, la mejor referencia anterior, se queda en 17,4 %. Ese segundo número no lo publicaron sus autores: sale cuando estos investigadores remiden los tres métodos previos exigiéndoles que el navegador ejecute la acción. Y el salto tiene un responsable: de las tres piezas del método —abstracción de rol y ranura, recomposición de la página y análisis de flujo de datos sobre el código del agente—, la tercera localiza qué partes de la respuesta deciden de verdad el comando, recorta un 87,4 % de media lo que hay que optimizar y sube la media del 70,4 % al 91,9 %. También es la que exige tener el código delante.

En el subconjunto de SeeAct con cinco modelos y 1.710 tareas, el éxito baja del 90,0 % en el paso atacado al 86,9 % de principio a fin: 3,1 puntos menos. No es una comparación con el 91,9 % global. De los 265 intentos en que el agente picó pero la tarea no se completó, solo el 9,4 % fue porque se despistara después; el resto fueron autenticaciones, ventanas emergentes y fallos de carga.

Las defensas, o la cura que mata al paciente

Los autores pasaron el ataque por siete contramedidas —cuatro de limpieza de imagen y tres pensadas para agentes web— y el resultado es más incómodo todavía que ese 91,9 %. De las tres de agente, WebGuard lo deja exactamente donde estaba y Consistency Check le quita poco más de un punto: vigilan texto inyectado, descripciones de imagen incoherentes o acciones de riesgo, y WebMirage no genera ninguna de esas señales. No escribe nada: desvía la mirada en el momento de elegir.

La limpieza de imagen sí muerde, pero cobra peaje: el ruido fuerte deja el ataque en 45,7 % a cambio de que el agente solo complete el 58,5 % de las tareas sin ataque, y la que más lo baja sin hundirlo, la compresión JPEG, lo deja aún en 75,2 %.

La defensa adaptativa que los autores diseñaron a propósito cierra el argumento, y sus dos cifras van juntas o no significan nada: en 630 tareas de tienda con SeeAct y cinco modelos, aleatorizar los identificadores de los elementos hunde el ataque del 93,8 % —la media de ese subconjunto, no el 91,9 % general— al 11,7 %, pero deja al agente acertando el 15,9 % de las tareas limpias, cuando antes acertaba todas. Funciona porque rompe al agente.

Dónde se le rompe el ataque

El método tiene condiciones, y están medidas. La imagen trucada necesita ocupar sitio en la pantalla, porque los píxeles que la hacen funcionar se pierden al reducirla, y el presupuesto por defecto de 16/255 está puesto justo donde la curva deja de subir.

La condición que más limita su uso es otra: en las pruebas, una imagen optimizada contra un modelo se transfiere mucho mejor a versiones de su misma familia que a arquitecturas distintas. Los autores lo dejan escrito: la transferencia entre familias «desplaza la confianza del modelo, pero no proporciona un control fiable a nivel de ejecución».

Por escenario, el peor terreno es el servicio doméstico, entre el 69,0 % y el 80,1 %: las miniaturas son más pequeñas y las peticiones piden emparejar atributos más que reconocer una foto. Queda además un alcance declarado: los agentes que actúan por coordenadas de pantalla deciden con otra interfaz y, escriben, «quedan fuera de nuestro alcance».