Cohere presenta com fer més barat un equip d'agents de programació

Un banc de proves controlat

Cohere, segons explica al seu blog, va muntar un banc de proves controlat i hi va posar a treballar equips d'agents de programació. Volia respondre una pregunta: si un equip d'agents és una nova manera de gastar capacitat de càlcul, com s'ha d'organitzar perquè sigui alhora eficaç i eficient?

El punt de partida, segons Cohere, és que en tasques de programació difícils els equips ben organitzats superen un únic agent, amb millores de fins a uns 10 punts percentuals, però amb un cost entre 3 i 7 vegades més alt. Per això, afegeix l'empresa, la qüestió no és si més agents ajuden, sinó com fer que aquest càlcul addicional compti.

Reconstruir programes des de zero

Cohere afirma que ProgramBench és un bon banc de proves per veure quines fases guanyen amb agents addicionals, perquè cada tasca exigeix les tres: esbrinar què fa el programa, escriure'l i comprovar-lo amb l'original.

Els agents fan servir tres models de la família GPT-5.6 —Luna, Terra i Sol—, de menys a més capacitat i cost. Llevat que s'indiqui una altra cosa, segons Cohere, cada configuració es va executar tres vegades sobre les 200 tasques de ProgramBench, i les xifres són mitjanes d'aquestes tres execucions.

Les fases en què el cap fa servir treballadors

Per esbrinar on compensen els treballadors, Cohere afirma que va demanar al cap que delegués una sola fase i que s'encarregués ell mateix de les altres dues. Si delegava la planificació, els treballadors executaven el programa per conèixer-ne el comportament i redactaven un pla; el cap implementava i verificava.

La planificació va guanyar amb claredat, segons Cohere. Entre els equips en què el cap continua treballant mentre espera els treballadors, delegar només aquesta fase va donar la mateixa recompensa que delegar-les totes, a la meitat de cost. Si l'eficiència es mesura com la recompensa guanyada respecte a l'agent individual de referència per cada 100 dòlars de cost afegit, la planificació va ser unes dues vegades més eficient que la segona millor fase.

Cohere sosté que la raó és en el disseny de la prova: el programa original és una caixa negra i el seu comportament s'ha de descobrir executant-lo. Els treballadors de planificació l'exploren en paral·lel, cadascun una part diferent, i després el cap escriu el codi amb una idea molt més completa del que ha de construir.

El repartiment de papers entre models

Cohere va mantenir Sol com a cap i va substituir els seus treballadors de planificació per Luna, un model molt més barat. L'equip resultant va cedir uns quants punts davant de l'equip format íntegrament per Sol, però, segons l'empresa, mesurat respecte a l'agent individual va conservar el 47,5 % de la millora d'aquell equip amb només el 13,9 % del seu cost addicional, de manera que cada dòlar addicional va rendir més del triple de millora en la recompensa que amb treballadors Sol.

El cap sí que importa, sosté Cohere. Amb els treballadors fixos en Luna, la recompensa va pujar cada vegada que millorava el cap, de Luna a Terra i de Terra a Sol, i un cap Terra amb ajudants Luna no va arribar al que aconsegueix un agent Sol treballant sense equip.

Augmentar el nombre de treballadors

Cohere també va provar de fixar la mida de l'equip: un cap Sol amb dos, quatre, vuit o setze treballadors Luna. Els equips de planificació, segons l'empresa, van millorar a mesura que creixien, i el de setze es va quedar a menys de dos punts dels equips formats només per Sol amb un cost molt més baix.

Amb la implementació i la verificació no va passar el mateix: van millorar de dos a quatre treballadors i després van empitjorar una mica. L'explicació, segons Cohere, és que cada planificador executava el programa de referència unes set vegades fos quina fos la mida de l'equip, de manera que més planificadors mostraven al cap més comportament del programa. Els implementadors addicionals, en canvi, rebien trossos cada vegada més petits del pla, i el cap no comprovava el programa combinat més sovint.

Una pràctica per a la teva feina

El que segueix és una proposta de pràctica, no un experiment fet: imitar a petita escala el mètode que Cohere afirma haver seguit, que consisteix a canviar una sola decisió de disseny cada vegada i comparar cada equip amb un agent individual de referència, tasca per tasca.

Primer, fixa una tasca concreta, les seves entrades i un criteri d'èxit comprovable, i mesura la base amb un únic agent: qualitat, cost total i temps. Després canvia només el model d'una fase —per exemple, l'exploració i la planificació— i torna a mesurar el mateix, comptant també la feina que calgui refer. Decideix per la millora aconseguida per cada euro afegit, que és el criteri d'eficiència que presenta Cohere, i no per la despesa total.

I no donis per fet que el que rendeix més és planificar: a ProgramBench, segons Cohere, la planificació va compensar perquè l'especificació s'ha de descobrir, però en altres tasques el coll d'ampolla pot ser en un altre lloc. En una altra de les seves proves, el que més va ajudar va ser delegar la implementació.