Kyutai redueix l'espera en els mons generats per IA

La resposta comença en la compressió

Kyutai presenta CADRE en una nota datada el 22 d'octubre de 2026. La proposta aborda una decisió prèvia al resultat que veiem en pantalla: com comprimir el vídeo amb què treballa el model. En lloc de generar directament tots els píxels, el sistema genera una representació compacta que després es torna a convertir en imatges.

Segons Kyutai, molts models del món utilitzen autoencoders procedents de generadors que produeixen seqüències completes sense interacció. Aquesta herència condiciona quant es triga a veure una acció. El treball estudia com canviar la compressió perquè els entorns de manipulació i navegació puguin respondre amb rapidesa mentre generen vídeo en temps real.

Un vídeo fluid també pot arribar tard

Kyutai sosté que la compressió temporal introdueix una espera concreta: abans de generar un grup de fotogrames, el model necessita les accions corresponents a tots ells. En un generador de seqüències completes, aquesta dependència encaixa amb el seu funcionament. En un entorn interactiu, cada fotograma afegit al grup augmenta el retard que percep qui el controla.

Segons Kyutai, comprimir l'espai redueix el treball necessari per a cada imatge, mentre que comprimir el temps permet generar-ne diverses alhora. La tria afecta la resposta i la qualitat. Per això, valorar el sistema només pel nombre de fotogrames que produeix deixa fora una part essencial de l'experiència.

Com es posa a prova la resposta

Kyutai afirma que va entrenar set autoencoders i el mateix model del món sobre cadascun. Les proves inclouen manipulació amb mans humanes i robots, a més de navegació en cotxe i en interiors. Aquest disseny permet estudiar diferents compressions en escenes on varien tant el moviment dels objectes com el de la càmera.

Segons Kyutai, l'avaluació parteix d'un fragment de vídeo real i en genera la continuació utilitzant únicament les accions enregistrades. Després mesura la qualitat d'imatge, la qualitat de moviment i el seguiment d'accions. Aquest últim criteri comprova fins a quin punt un altre model pot recuperar les accions a partir del vídeo generat, en comparació amb el vídeo real.

Kyutai afirma que els models basats en CADRE reaccionen en menys de 230 mil·lisegons a 20 fotogrames per segon. La latència i el ritme de generació es van mesurar amb una H100. Són resultats vinculats a aquest equip i a aquestes proves; la xifra de fluïdesa no substitueix la mesura de l'espera.

La càmera canvia la recepta

Kyutai sosté que no hi ha una compressió òptima per a totes les escenes. Amb una càmera quieta, comprimir el temps té poc cost; amb una càmera en moviment, és més favorable conservar els fotogrames i comprimir l'espai. Manipular objectes i desplaçar-se per un entorn requereixen, per tant, decisions diferents.

Segons Kyutai, una compressió espacial menys detallada amb càmera fixa gairebé no altera la qualitat d'imatge, però perjudica el moviment. En manipulació robòtica també empitjora el seguiment de les accions. Una imatge que manté l'aspecte pot amagar pèrdues rellevants en allò que passa entre fotogrames.

Què es publica en obert i què queda per demostrar

Kyutai presenta l'article científic, el codi, els pesos dels autoencoders i dels models del món, a més d'una demostració interactiva. La publicació ofereix així els components de l'estudi i una manera d'experimentar amb la resposta a les accions.

Segons Kyutai, encara queda per explorar com utilitzar aquests models per entrenar agents, planificar els resultats d'accions i avaluar polítiques de robots. També cal comprendre millor com representen la física i traslladar les troballes a càmeres muntades en robots en moviment. Els resultats de generació descrits no equivalen a demostrar aquestes aplicacions.