Recerca
Google Research capgira l'ordre per ensenyar els models a fer servir eines
Google Research ha presentat ToolGrad, un mètode que primer construeix la cadena de crides a eines i només després redacta la petició d'usuari que hi encaixa. El plantejament capgira el procediment habitual, que partia d'una instrucció inventada i després intentava resoldre-la a base de cerca, amb una taxa d'èxit baixa. Amb només 500 exemples generats així, els models ajustats igualen els sistemes propietaris capdavanters en proves amb eines que no havien vist mai.
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
En resum
- ToolGrad genera primer la cadena d'ús d'eines ja verificada i després hi escriu el prompt (instrucció) corresponent, en un sol pas de model.
- El mètode es basa en ToolBench com a catàleg d'APIs (interfícies de programació d'aplicacions), amb més de 16.000 APIs reals.
- Google Research va ajustar models d'1B, 4B i 12B paràmetres amb el conjunt ToolGrad-500, anomenats ToolGrad-1B, ToolGrad-4B i ToolGrad-12B.
- Els models resultants superen els mètodes de referència i igualen models propietaris capdavanters en conjunts fora de distribució.
El coll d'ampolla són les dades, no els models
Perquè un LLM (model de llenguatge gran) aprengui a fer servir eines externes calen conjunts de dades que aparellin cada petició amb la seqüència de crides que la resol. Anotar aquest material a mà no és viable a gran escala: cada exemple exigeix conèixer desenes d'APIs i encadenar-les sense cap error.
Fins ara, l'enfocament dominant treballava en dos passos. Primer s'inventava una instrucció hipotètica a partir d'un conjunt d'APIs disponibles i després un agent explorava les solucions possibles mitjançant cerca en profunditat (DFS, depth-first search) fins a trobar una cadena vàlida. El problema és que moltes d'aquestes instruccions sintètiques no tenen cap solució real, de manera que la taxa d'èxit s'esfondra i el cost de càlcul es dispara.
ToolGrad escriu primer la solució i després l'enunciat
La proposta de Google Research capgira l'ordre. El sistema construeix una cadena d'ús d'eines que es verifica pas a pas i, quan ja se sap que funciona, redacta la consulta d'usuari que hi correspon. Com que no cal buscar la solució d'un enunciat que potser no en té, n'hi ha prou amb un sol pas de model i la taxa d'èxit puja.
El nom ve dels textual gradients (gradients textuals). En l'aprenentatge automàtic clàssic, els pesos d'una xarxa s'actualitzen amb gradients numèrics derivats de la funció de pèrdua. Aquí, un model crític escriu en text pla un comentari descriptiu que fa aquesta mateixa funció d'orientació: assenyala què falla i en quina direcció cal corregir.
La idea passa d'afinar prompts a fabricar dades
Els gradients textuals s'havien fet servir sobretot per polir prompts. ToolGrad els trasllada a la generació de conjunts de dades sintètiques: un mòdul revisa els informes d'execució de les crides ja fetes i tria la millor API candidata per al pas següent. Aquesta tria actua com a gradient textual i s'incorpora al flux de treball, que creix a poc a poc i sempre validat.
Com a banc de proves, l'equip va utilitzar ToolBench, un catàleg amb més de 16.000 APIs reals. Treballar amb interfícies autèntiques evita el risc d'entrenar amb eines fictícies que després no existeixen fora del laboratori.
Cinc-cents exemples ja permeten competir amb els models tancats
Amb el conjunt ToolGrad-500 es van ajustar tres models d'1B, 4B i 12B paràmetres, anomenats ToolGrad-1B, ToolGrad-4B i ToolGrad-12B. Segons Google Research, les dades generades són més complexes i cobreixen seqüències més llargues que les dels mètodes anteriors, i a més surten més barates.
En l'avaluació, aquests models superen els entrenats amb els mètodes de referència i igualen models propietaris capdavanters en conjunts fora de distribució, és a dir, amb eines que no apareixien durant l'entrenament. Aquesta darrera dada és la que compta: indica que el que han après no és un catàleg memoritzat, sinó una manera d'encadenar crides.
Conclusió
ToolGrad apunta a una idea que es repeteix en la recerca recent: bona part del marge de millora ja no és fer el model més gran, sinó fabricar millors dades d'entrenament. Si mig miler d'exemples ben construïts permeten que un model de 12B paràmetres competeixi amb sistemes propietaris amb eines desconegudes, la barrera d'entrada per construir agents competents baixa de manera notable. Queda per veure com es comporta el mètode quan les cadenes s'allarguen més enllà del que s'ha provat i quan les APIs canvien o deixen de funcionar, que és el que passa cada dia en producció.
Fonts primàries
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
Comentarios