ELR ajusta el càlcul repetint les capes del model

Tornar a passar per les mateixes capes

La proposta es diu ELR i aborda una dificultat concreta: segons els autors, els models que repeteixen les seves capes solen perdre precisió quan funcionen amb una sola volta. Això fa menys atractiva aquesta configuració quan importa el temps que triga a arribar la resposta. En aquestes condicions, el treball assenyala que sol ser preferible un model de la mateixa mida que no repeteixi les capes.

Els autors afirmen que la seva recepta d'entrenament evita aquest peatge. Amb una sola volta, el model assoleix una precisió semblant a la d'un altre de la mateixa mida entrenat amb les mateixes dades, i fer-lo respondre costa el mateix. A partir d'aquí, les voltes addicionals permeten obtenir més precisió amb més càlcul.

Aprendre a treballar amb un nombre variable de voltes

La recepta combina diversos canvis durant l'aprenentatge. El model aprèn a regular quant modifica el seu estat intern a cada pas; l'entrenament combina diferents nombres de voltes, i cada passada rep informació sobre quina volta fa i de quantes disposa. Segons els autors, els primers canvis preserven la precisió amb una sola passada, mentre que l'últim millora el resultat de les repeticions addicionals.

El treball també estudia quan introduir aquesta varietat de recorreguts. Els autors afirmen que es pot incorporar en una fase tardana de l'entrenament inicial per limitar el cost addicional d'entrenar així. Amb la configuració que descriuen, aquesta incorporació tardana obté un error menor que si es combinen recorreguts de longituds diferents des del principi.

Segons els autors, la flexibilitat és dins del mateix model: l'ajust consisteix a decidir quantes vegades travessa el bloc compartit. L'estudi planteja aquest nombre de voltes com una manera d'intercanviar recursos de càlcul per precisió durant l'ús.

Més càlcul i un ús contingut de memòria

Una altra part del treball se centra en la memòria d'atenció, que conserva informació durant la resposta. Segons els autors, desar només la de l'última volta manté aquesta memòria al nivell d'una sola passada i conserva la major part de la millora obtinguda amb les repeticions. L'afirmació es refereix a aquesta memòria concreta, no al fet que tot el procés deixi de necessitar recursos addicionals.

Segons els autors, la recepta també s'aplica a les fases posteriors d'entrenament i dona lloc a Koi-4B. L'estudi descriu així un model que pot fer un nombre variable de voltes sense haver-lo de substituir per un altre. Tant les millores de precisió com els efectes sobre el càlcul i la memòria són resultats comunicats per l'equip investigador.