Runway explica com converteix els seus models de vídeo en generadors fotograma a fotograma per arribar al vídeo instantani

D'esperar a dirigir: per què Runway aposta per la generació instantània

Runway comença criticant com funcionen avui els models de vídeo. Tal com els descriu, treballen per etapes separades i cada resultat neix ja tancat: l'usuari escriu un prompt, espera i rep un vídeo. Si el clip no s'assembla al que tenia al cap, no hi ha més remei que tornar a començar.

L'empresa assegura que els seus usuaris li repeteixen un cop i un altre que generar i iterar és la part més lenta de la feina. Amb resposta instantània, sosté, aquesta estona deixaria de ser espera passiva per convertir-se en direcció activa del resultat.

El segon argument són els diners. Runway defensa que retallar el time-to-first-frame i el temps total de generació canvia els comptes de crear vídeo: si els models corren més de pressa, consumeixen menys temps de GPU i, segons l'empresa, surten més rendibles. Hi afegeix que el que decideix quins usos són viables és el cost de cada resultat per a un nivell de qualitat determinat, i que la generació instantània abaixa aquest llistó i fa viables aplicacions que abans no compensaven.

Com funciona: un primer fotograma, un caption i generació fotograma a fotograma

El mètode de Runway per al vídeo en temps real es basa en el postentrenament (post-training) dels seus models fundacionals, com ara Gen-4.5. Cada pas autoregressiu es basa en dos elements: un primer fotograma i un caption, és a dir, la descripció de text que l'usuari introdueix al principi.

A partir d'aquí el model avança fotograma a fotograma i manté en context tots els latents que ha anat generant, per no perdre qualitat. Els descodificadors de vídeo i àudio treballen de manera causal i emeten el resultat en streaming a mesura que surten aquests latents.

Runway encaixa aquesta feina dins la seva pròpia trajectòria: diu que fa gairebé una dècada que construeix eines per entrenar models de fundació des de zero i sosté que aquesta infraestructura, amb les seves optimitzacions d'entrenament, ha estat clau per accelerar la recerca en temps real. L'empresa presenta a més aquesta publicació com una continuació d'anuncis recents —Solaris i GWM Worlds 2, juntament amb el seu mètode per entrenar agents en mons digitals i físics— i recorda que ja va treballar el time-to-first-frame quan va presentar Runway Characters aquest mateix any.

Teacher forcing: fer causal l'arquitectura

Runway divideix el procés en dues fases. La primera fa que el model generi de manera causal i autoregressiva; la segona destil·la el teacher (el model mestre) en un model de temps real que mantingui la qualitat.

En la fase de teacher forcing, l'empresa reconverteix tota l'arquitectura en un generador temporalment causal i autoregressiu, fotograma a fotograma. Runway sosté que aquesta etapa demostra que la mateixa arquitectura amb què ha llançat models basats en full-attention (atenció completa) encaixa sense friccions en un esquema autoregressiu i conserva els seus punts forts.

Student forcing: la destil·lació que retalla els passos de denoising

El model causal que surt de la primera etapa continua sent lent, explica Runway, perquè el flow matching necessita molts passos de denoising (neteja de soroll) per treure cada fotograma. La segona fase, el student forcing, fa servir distribution matching distillation per deixar cada fotograma en uns quants passos, els justos per emetre en streaming amb bona latència.

Aquesta destil·lació es fa en dos temps: primer off-policy i després on-policy. Runway indica que la part off-policy dona un bon punt de partida, però que gairebé tot el que hi guanya de debò la pipeline de generació arriba amb el procés on-policy.

Off-policy: aprendre del mestre sense veure's a si mateix

En l'etapa off-policy, l'student prediu de manera causal els estats següents partint d'un context de ground truth (dades reals de referència). Un teacher bidireccional congelat li ensenya com és una bona generació, mentre un model critic (crític) vigila el que produeix l'alumne a cada moment i l'empeny cap a la distribució del mestre. L'objectiu de distribution matching va escurçant així la distància entre el que prediu l'alumne i el que prediu el mestre.

Runway en diu off-policy perquè el model no fa rollouts ni veu les seves pròpies sortides anteriors, cosa que manté baixos el consum de memòria i el temps per pas. L'empresa ho descriu com una manera barata d'arrencar, però insuficient tota sola: en vídeo, els errors s'acumulen i treuen el model de distribució molt aviat.

Aquí l'empresa marca una diferència amb els models de llenguatge. Aquests poden rectificar sobre la marxa amb text; en vídeo, una errada petita va a pitjor amb el temps, perquè el model aixeca cada fotograma damunt de l'anterior.

On-policy: posar el model davant dels seus propis errors

Com que els artefactes d'un fotograma es propaguen i acaben en grans deformacions (morphs) més endavant, Runway recorre a la destil·lació on-policy per frenar aquesta acumulació d'errors. Aquí sí que hi ha rollouts dins de l'entrenament: l'student genera una seqüència de manera autoregressiva i cada latent que produeix passa a ser el context del següent.

El model veu així el seu propi context generat mentre entrena, cosa que, segons Runway, l'ajuda a corregir la seva deriva en comptes d'engrandir-la. L'empresa apunta que aquest plantejament ja reprodueix el que passa en la inferència, on el model topa per força amb les seves pròpies errades.

Runway hi suma una troballa sobre el disseny de l'entrenament: un currículum que allarga a poc a poc la seqüència funciona més bé que treballar sempre amb la mateixa llargada. Si es comença directament amb seqüències llargues, les trajectòries generades es desvien de cop de la guia del mestre al final del recorregut. A mesura que se sumen errors, el model va caient en estats fora de distribució; al final d'un rollout llarg, la supervisió del teacher apunta a un resultat que ja no té res a veure amb el camí que segueix l'alumne, i el senyal d'entrenament es torna inestable i incoherent.

Infraestructura: el coll d'ampolla es muda a la inferència

Runway avisa que generar en temps real trasllada el coll d'ampolla de còmput de l'entrenament a la inferència: cada fotograma ha de sortir del model prou de pressa per no quedar-se enrere respecte de la reproducció, i encara més sobre maquinari que comparteixen diverses sessions alhora.

L'empresa afirma que construeix i avalua el seu stack d'inferència igual que la resta dels seus sistemes en producció, amb eines internes d'avaluació i observabilitat que comparen en paral·lel la qualitat i la latència de diferents checkpoints i configuracions de maquinari. Recorda també que ja ha publicat abans sobre la seva feina d'infraestructura i d'optimització d'entrenament i d'inferència, i que ara ho està abocant a la seva línia de temps real.

Val la pena subratllar que totes aquestes descripcions surten de la mateixa empresa: l'article no inclou mètriques públiques de latència, ni comparatives amb altres sistemes, ni avaluacions independents que permetin contrastar el que afirma.

Cap a experiències interactives: jocs, educació, robòtica i simulació

Runway defensa que la generació instantània és el fonament de les experiències interactives, que al seu parer acabaran sent l'ús més gran dels mitjans generatius. L'empresa esmenta l'educació, els videojocs i la robòtica com a terrenys que necessitaran vídeo capaç de respondre tan ràpid com reacciona qui se'l mira.

El mateix raonament val per a la simulació: segons l'empresa, comprovar com es comporten els agents físics —robots, vehicles autònoms i similars— al món exigeix entorns que es generin en temps real i reaccionin a l'instant davant de casos límit. Runway creu que passa el mateix amb els agents digitals que han de resoldre tasques complexes d'ús d'ordinador en qualsevol entorn en línia.

Aquesta convicció, conclou l'empresa, és la que marca avui bona part de la seva recerca fundacional.