Investigación
Google Research invierte el orden para enseñar a los modelos a usar herramientas
Google Research ha presentado ToolGrad, un método que construye primero la cadena de llamadas a herramientas y solo después redacta la petición del usuario que encaja con ella. El planteamiento da la vuelta al procedimiento habitual, que partía de una instrucción inventada y luego intentaba resolverla por búsqueda con una tasa de éxito baja. Con apenas 500 ejemplos generados así, los modelos ajustados igualan a sistemas propietarios punteros en pruebas con herramientas que nunca habían visto.
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
En resumen
- ToolGrad genera la cadena de uso de herramientas verificada y después anota el prompt (instrucción) correspondiente, en un solo paso de modelo.
- El método se apoya en ToolBench como catálogo de APIs (interfaces de programación de aplicaciones), con más de 16.000 APIs reales.
- Google Research ajustó modelos de 1B, 4B y 12B parámetros con el conjunto ToolGrad-500, bautizados ToolGrad-1B, ToolGrad-4B y ToolGrad-12B.
- Los modelos resultantes superan a los métodos de referencia e igualan a modelos propietarios punteros en conjuntos fuera de distribución.
El cuello de botella está en los datos, no en los modelos
Para que un LLM (modelo de lenguaje grande) aprenda a manejar herramientas externas hacen falta conjuntos de datos que emparejen cada petición con la secuencia de llamadas que la resuelve. Anotar ese material a mano no escala: cada ejemplo exige conocer decenas de APIs y encadenarlas sin errores.
El enfoque dominante hasta ahora trabajaba en dos pasos. Primero se inventaba una instrucción hipotética a partir de un conjunto de APIs disponibles y después un agente exploraba el espacio de soluciones mediante búsqueda en profundidad (DFS, depth-first search) hasta dar con una cadena válida. El problema es que muchas de esas instrucciones sintéticas no tienen solución real, así que la tasa de éxito se desploma y el coste de cómputo se dispara.
ToolGrad escribe primero la solución y luego el enunciado
La propuesta de Google Research invierte el orden. El sistema construye una cadena de uso de herramientas que se verifica sobre la marcha y, cuando ya se sabe que funciona, redacta la consulta de usuario que le corresponde. Al no haber que buscar la solución de un enunciado que quizá sea irresoluble, basta un único paso de modelo y la tasa de éxito sube.
El nombre viene de los textual gradients (gradientes textuales). En el aprendizaje automático clásico, los pesos de una red se actualizan con gradientes numéricos derivados de la función de pérdida. Aquí, un modelo crítico emite en texto plano una retroalimentación descriptiva que cumple esa función orientadora: señala qué falla y hacia dónde conviene corregir.
La idea salta de la optimización de prompts a la creación de datos
Los gradientes textuales se habían usado sobre todo para refinar prompts. ToolGrad los traslada a la generación de conjuntos de datos sintéticos: un módulo revisa los informes de ejecución de las llamadas ya realizadas y selecciona la mejor API candidata para el siguiente paso. Esa elección actúa como gradiente textual y se incorpora al flujo de trabajo, que crece de forma incremental y siempre validada.
Como banco de pruebas, el equipo utilizó ToolBench, un catálogo con más de 16.000 APIs reales. Trabajar sobre interfaces auténticas evita el riesgo de entrenar con herramientas ficticias que luego no existen fuera del laboratorio.
Quinientos ejemplos bastan para competir con los modelos cerrados
Con el conjunto ToolGrad-500 se ajustaron tres modelos de 1B, 4B y 12B parámetros, denominados ToolGrad-1B, ToolGrad-4B y ToolGrad-12B. Según Google Research, los datos generados son más complejos y de horizonte más largo que los de los métodos previos, y además salen más baratos.
En la evaluación, esos modelos superan a los entrenados con los métodos de referencia e igualan a modelos propietarios punteros en conjuntos fuera de distribución, es decir, con herramientas que no aparecían en el entrenamiento. Ese último dato es el relevante: indica que lo aprendido no es un catálogo memorizado, sino una manera de encadenar llamadas.
Conclusión
ToolGrad apunta a algo que se repite en la investigación reciente: buena parte del margen de mejora ya no está en agrandar el modelo, sino en fabricar mejores datos de entrenamiento. Si medio millar de ejemplos bien construidos permiten que un modelo de 12B parámetros se mida con sistemas propietarios en herramientas desconocidas, la barrera de entrada para construir agentes competentes baja de forma apreciable. Queda por ver cómo se comporta el método cuando las cadenas se alargan más allá de lo probado y cuando las APIs cambian o se rompen, que es lo que ocurre a diario en producción.
Fuentes primarias
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
Comentarios