SWE-Shift: els agents de programació ensopeguen si el projecte canvia

Què mesura SWE-Shift

Els benchmarks de programació a escala de repositori, com SWE-bench, donen per fet que la tasca i el seu entorn no canvien un cop comença l'execució, segons Victor Shea-Jay Huang i nou autors més. En el desenvolupament real, sostenen, el codi, les dependències, l'estat d'execució i els requisits poden canviar mentre l'agent continua treballant.

SWE-Shift mesura precisament això, segons Huang. Conté 120 escenaris repartits en 12 famílies de canvi: actualitzacions de codi i dependències, col·laboració, estat d'execució i de sessió, efectes externs, objectius revisats i evidència obsoleta o mal vinculada. Cada escenari s'avalua en nou posicions d'intervenció, cosa que suma 1.080 caselles d'avaluació per sistema.

Segons Huang, cada canvi ha de ser rellevant i recuperable. Rellevant vol dir que ignorar-lo pot invalidar una continuació que hauria sortit bé; recuperable, que després del canvi continua existint almenys una manera vàlida de completar la tasca amb les eines a què té accés l'agent.

Mateix punt de partida, dos camins

En un punt programat, segons Huang, el sistema desa l'historial visible per a l'agent, l'espai de treball, l'estat del controlador, les eines disponibles, la configuració i els comptadors d'execució, i restaura aquest estat dues vegades. Fins aquí, les dues branques comparteixen historial i espai de treball; només després de la intervenció poden divergir.

El criteri d'èxit és estricte, segons Huang: no n'hi ha prou de superar les proves originals. Segons l'escenari, també cal conservar el comportament que continua sent vàlid, seguir l'objectiu o la interfície vigents, evitar efectes prohibits o obtenir evidència vàlida per a l'estat actual. Fallar qualsevol comprovació aplicable invalida la continuació.

Tots empitjoren, també el millor

Els 17 sistemes avaluats tenen menys èxit en la continuació desplaçada que en la neta, segons Huang i els seus coautors. El cas més visible és GPT-6 Astra, el de més èxit sense canvis, la caiguda del qual recull la taula.

Segons Huang, la bretxa varia, a més, entre famílies de canvi i posicions d'intervenció: en les intervencions tardanes, l'èxit aparellat baixa en uns sistemes i puja en d'altres. Per als autors, això apunta que la robustesa davant canvis a mitja execució capta un comportament que l'èxit en tasques estàtiques no revela.

On no n'encerta cap

Els canvis d'eina o de sessió i l'evidència obsoleta deixen l'èxit aparellat en el 0 % per als 17 sistemes, segons Huang. En el primer cas, una eina, una autorització, un esquema o el protocol de sessió canvien després de començar l'execució; en el segon, l'evidència es refereix a un estat ja superat.

Els límits de l'estudi

Segons Huang i els seus coautors, l'avaluació cobreix 120 escenaris dissenyats, alguns amb arrels de tasca compartides, i un sol canvi per execució. Els autors també afirmen que els controls de diagnòstic abasten cinc sistemes, que l'atzar dels models no es controla i que el pressupost de tokens després de la bifurcació és fix.