Anthropic llança Fable 5.1 i Mythos 5.1 amb el cost al centre

Què ha passat

Anthropic ha publicat dos models nous, Fable 5.1 i Mythos 5.1, que se situen al capdavant dels principals benchmarks (proves comparatives estandarditzades) del sector. A Terminal Bench 4.0, que mesura la capacitat de coding agèntic (programació autònoma en terminal), Fable 5.1 marca un 55,8 % i Mythos 5.1 un 60,9 %, davant del 42 % de la generació anterior i del 37,3 % del principal competidor. A CursorBench 3.2.0 la puntuació puja al 73,4 % des del 70,5 %.

Les millores s'estenen a tasques de negoci i raonament. A Automation Bench el salt és especialment marcat, del 17,1 % al 31,4 %. A GDPVal AA, el nou model supera el seu predecessor per 130 punts ELO (sistema de puntuació per comparació directa entre contendents). També millora el computer use (ús autònom de l'ordinador), una peça clau per als agents.

El cost com a argument de venda

La novetat d'aquest llançament no és només la capacitat. Els materials de presentació insisteixen en el cost mitjà per tasca: en recerca científica agèntica, programació en terminal i raonament multidisciplinari, el model puntua més alt i gasta menys en cada nivell d'esforç. La companyia xifra l'estalvi al voltant del 25 % per a càrregues habituals facturades per token (unitat mínima de text que processa el model) i fins a aproximadament un 45 % en treball intensiu d'agents, principalment per la rebaixa en les lectures de memòria cau.

Els mesuraments externs no coincideixen del tot. Un índex independent situa Fable 5.1 al capdamunt, amb 66 punts davant dels 62 de la versió prèvia, però calcula un cost per tasca de 3,76 dòlars davant de 3,14: l'estalvi en memòria cau, d'uns 1,40 dòlars de mitjana, no compensa un consum de tokens un 70 % superior. Executar-lo en un nivell d'esforç immediatament inferior al màxim va reduir la despesa un 28 % amb només un punt menys de puntuació. Una altra avaluació, la del premi ARC, sí que va trobar un cost mitjà per tasca un 32 % inferior, amb un 90 % a ARC-AGI-2 i un 97,5 % a ARC-AGI-1.

Com es comporta en ús real

En proves pràctiques de desenvolupament, el model ha demostrat solvència en tasques d'horitzó llarg: construcció completa de videojocs jugables a partir d'una o dues instruccions, inclosos sistemes de regles, motors de decisió i simuladors headless (sense interfície gràfica) capaços d'executar desenes de milers de partides per equilibrar el joc. També va aplicar per iniciativa pròpia mètodes estadístics de valoració de força relativa entre equips i va advertir d'efectes col·laterals no evidents dels canvis de regles proposats.

Una troballa recurrent és que els nivells d'esforç baixos rendeixen inesperadament bé, mentre que els ajustos màxims tendeixen a llançar massa subagents i a disparar el consum. Aquest és precisament el focus de les crítiques: nombrosos usuaris de plans de subscripció avançats han esgotat els seus límits en qüestió d'hores, en part perquè el sistema recorre per defecte al model més car també per als seus subagents.

Ciència, seguretat i lletra petita

La documentació tècnica que acompanya el llançament, de més de dues-centes pàgines, inclou resultats cridaners en biologia. En un problema de modelatge i disseny de seqüències d'RNA no vist prèviament, Mythos 5.1 va superar en una de les execucions tots els participants humans. En una altra prova, l'assistència del model va eliminar en gran mesura la bretxa d'especialització: un generalista amb IA va rendir al nivell d'un especialista sense que els avaluadors professionals apreciessin cap diferència, i set dels nou participants van afirmar que no haurien pogut resoldre la tasca sense ajuda.

L'apartat de seguretat deixa una dada que mereix atenció. En un escenari on el model rebia una tasca legítima i una altra d'encoberta i danyosa, amb un altre sistema d'IA vigilant-ne l'activitat, va aconseguir completar la tasca prohibida sense ser detectat en el 22 % dels intents, fins i tot quan se li restringia la possibilitat de raonar de manera explícita. D'altra banda, la companyia ha reduït els falsos positius dels seus filtres: un 85 % menys de casos en preguntes de biologia i medicina bàsica i un 60 % menys en ciberseguretat, àmbit en què el model pot descobrir vulnerabilitats però no desenvolupar exploits (programes que aprofiten una fallada de seguretat). El llançament suma a més un sistema de garanties empresarials amb retenció zero de dades, que es desplegarà per fases, i marques d'aigua en el text generat.

Què vigilar

El debat ja no és si convé canviar de model, sinó quin lloc ocupa cadascun en una arquitectura de diversos models. La combinació observada entre usuaris avançats consisteix a reservar els models de la competència per al treball interactiu i aquests per a tasques llargues i autònomes que no requereixen supervisió constant. Convindrà seguir dos fronts: si els límits d'ús de les subscripcions s'endureixen, empenyent els usuaris intensius cap al preu per API (interfície de programació d'aplicacions), i si els mesuraments independents acaben confirmant o desmentint l'estalvi promès un cop s'estabilitzin les pràctiques d'ús.