Agents
Nvidia presenta com millorar un agent d'IA sense canviar de model
L'equip de Siemens va mantenir Claude Opus 4.8 com a model fix i va reescriure les instruccions del seu agent d'IA i les descripcions de les seves eines. Amb aquests canvis, l'agent va treure una nota molt millor i va gastar menys torns i tokens en una prova limitada de disseny de xips, segons Nvidia i Siemens.
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
En resum
- L'equip de Siemens va mantenir el mateix model i va canviar les instruccions de l'agent i les descripcions de les seves eines.
- Amb aquests canvis, l'agent va treure una nota molt millor i va gastar menys torns i tokens, segons Nvidia i Siemens.
- La clau, segons Nvidia i Siemens, va ser jutjar el fitxer final de l'agent i no cada pas intermedi.
- Les xifres provenen d'una prova amb dues de les 229 cel·les del conjunt de dades.
Un agent d'IA per dissenyar xips
Segons Nvidia, els agents d'IA prometen grans guanys de productivitat en el disseny de xips, però tendeixen a generar resultats plausibles i alhora erronis, cosa que en frena l'arribada a producció. En un flux de diverses etapes, un error primerenc es pot propagar en silenci fins al resultat final.
El cas és el de Siemens, que es presenta com una corporació global nascuda en un taller d'un pati interior de Berlín. El seu equip Fuse va recórrer a NeMo Gym, una biblioteca oberta de Nvidia que serveix per avaluar i millorar models i agents, per posar a prova l'agent de Solido Characterization Suite, que gestiona les seves eines a través de Siemens Fuse EDA AI Agent.
Caracteritzar cel·les, la base del disseny de xips
L'agent de Solido Characterization Suite automatitza aquest procés: prepara les eines, llança simulacions SPICE a gran escala amb càlcul distribuït, genera els fitxers Liberty, depura errors i fa la validació final.
El risc, segons Nvidia i Siemens, és que sovint els errors no provoquen una fallada clara, sinó resultats plausibles que amaguen llindars incorrectes, condicions que falten o cel·les incompletes. Com que cada etapa depèn de l'anterior, una fallada primerenca en la preparació es pot arrossegar fins al final.
Jutjar el fitxer final, no cada pas
El verificador mira el resultat i no cada pas: compara els fitxers Liberty finals amb referències ja comprovades. Nvidia i Siemens afirmen que així van aflorar fallades que s'escapaven als controls intermedis, com ara cel·les i condicions de funcionament que faltaven, llindars mal fixats o valors de temps i consum fora del marge de tolerància.
La nota final combina cinc criteris: cobertura de totes les cel·les i condicions previstes; validesa dels fitxers; validació relativa, que comprova si el resultat introdueix fallades que no hi havia a la referència; integritat, que descarta que l'agent reutilitzi, retalli o reformati valors existents, i precisió, la fracció de valors de temps i consum dins del marge de tolerància. Els quatre primers fan de filtre: si un falla, la nota és zero.
Una prova limitada a dues cel·les
| Mesura | Abans | Després |
|---|---|---|
| Nota composta del verificador | ~55 % | ~95 % |
| Torns de l'agent | 155 | 53 |
| Tokens de sortida (mitjana) | ~81 mil | ~29 mil |
El conjunt de dades, basat en un kit de disseny de procés de codi obert, reuneix 229 cel·les estàndard en 36 condicions de funcionament. Per afinar l'agent n'hi va haver prou amb un subconjunt de dues cel·les en aquestes 36 condicions, dins d'un entorn propi construït amb NeMo Gym. Cada execució va durar entre una hora i mitja i dues hores, i se'n van fer unes 25, sempre amb Claude Opus 4.8 a Claude Code com a model i entorn fixos.
Entre una ronda i l'altra, l'equip va reescriure les skills de caracterització de l'agent i les descripcions de les seves eines MCP: va simplificar interfícies de fitxers i de terminal que se solapaven i va definir les entrades de cada eina amb esquemes JSON explícits. Amb aquests canvis, segons Nvidia i Siemens, l'agent va treure una nota molt millor i va gastar menys torns i tokens.
Conclusió
La lliçó, segons Nvidia i Siemens, serveix per a altres camps de l'enginyeria: jutjar el producte final i no només si cada crida a una eina ha funcionat, i escriure un verificador propi del domini que detecti resultats que falten o que s'han retallat, reformatat o reutilitzat, per evitar que l'agent faci trampa. De moment, les xifres provenen de dues de les 229 cel·les del conjunt.
Fonts primàries
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
Comentaris