Agentes
Nvidia presenta cómo mejorar un agente de IA sin cambiar de modelo
Con Claude Opus 4.8 como modelo fijo, el equipo de Siemens reescribió las instrucciones de su agente de IA y las descripciones de sus herramientas. Con esos cambios, el agente sacó mucha mejor nota y gastó menos turnos y tokens en una prueba acotada de diseño de chips, según Nvidia y Siemens.
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
En resumen
- El equipo de Siemens mantuvo el mismo modelo y cambió las instrucciones del agente y las descripciones de sus herramientas.
- Con esos cambios, el agente sacó una nota mucho mejor y gastó menos turnos y tokens, según Nvidia y Siemens.
- La clave, sostienen Nvidia y Siemens, fue juzgar el archivo final del agente y no cada paso intermedio.
- Las cifras salen de una prueba con dos de las 229 celdas del conjunto de datos.
Un agente de IA para diseñar chips
Los agentes de IA prometen grandes ganancias de productividad en el diseño de chips, pero tienden a generar resultados plausibles e incorrectos, y eso frena su llegada a producción, según Nvidia. En un flujo de varias etapas, un error temprano puede propagarse en silencio hasta el resultado final.
El caso es el de Siemens, que se presenta como una corporación global nacida en un taller de un patio trasero de Berlín. Su equipo Fuse recurrió a NeMo Gym, una biblioteca abierta de Nvidia que sirve para evaluar y mejorar modelos y agentes, con el fin de poner a prueba el agente de Solido Characterization Suite, que maneja sus herramientas a través de Siemens Fuse EDA AI Agent.
Caracterizar celdas, la base del diseño de chips
El agente de Solido Characterization Suite automatiza ese proceso: prepara las herramientas, lanza simulaciones SPICE a gran escala con cálculo distribuido, genera los archivos Liberty, depura errores y hace la validación final.
El riesgo, según Nvidia y Siemens, es que a menudo los errores no provocan un fallo claro, sino resultados plausibles que esconden umbrales incorrectos, condiciones ausentes o celdas incompletas. Como cada etapa depende de la anterior, un fallo temprano en la preparación puede arrastrarse hasta el final.
Juzgar el archivo final, no cada paso
El verificador mira el resultado y no cada paso: coteja los archivos Liberty finales con referencias ya comprobadas. Nvidia y Siemens sostienen que así afloraron fallos que se escapaban a los controles intermedios, como celdas y condiciones de funcionamiento ausentes, umbrales mal fijados o valores de tiempos y consumo fuera de tolerancia.
La nota final combina cinco criterios: cobertura de todas las celdas y condiciones esperadas; validez de los archivos; validación relativa, que comprueba si el resultado introduce fallos que no estaban en la referencia; integridad, que descarta que el agente reutilice, recorte o reformatee valores existentes, y precisión, la fracción de valores de tiempos y consumo dentro de tolerancia. Los cuatro primeros actúan como filtros: si uno falla, la nota es cero.
Una prueba acotada a dos celdas
| Medida | Antes | Después |
|---|---|---|
| Nota compuesta del verificador | ~55 % | ~95 % |
| Turnos del agente | 155 | 53 |
| Tokens de salida (media) | ~81 mil | ~29 mil |
El conjunto de datos, basado en un kit de diseño de proceso de código abierto, reúne 229 celdas estándar en 36 condiciones de funcionamiento. Para afinar el agente bastó un subconjunto de dos celdas en esas 36 condiciones, dentro de un entorno propio construido con NeMo Gym. Cada ejecución duró entre hora y media y dos horas, y hubo unas 25, siempre con Claude Opus 4.8 en Claude Code como modelo y entorno fijos.
Entre una ronda y otra, el equipo reescribió las skills de caracterización del agente y las descripciones de sus herramientas MCP: simplificó interfaces de archivos y de terminal que se solapaban y definió las entradas de cada herramienta con esquemas JSON explícitos. Con esos cambios, según Nvidia y Siemens, el agente sacó mucha mejor nota y gastó menos turnos y tokens.
Conclusión
La lección, sostienen Nvidia y Siemens, vale para otros campos de la ingeniería: juzgar el producto final y no solo si cada llamada a una herramienta funcionó, y escribir un verificador propio del dominio que detecte resultados ausentes, recortados, reformateados o reutilizados para evitar que el agente haga trampa. Por ahora, las cifras salen de dos de las 229 celdas del conjunto.
Fuentes primarias
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
Comentarios