Els models de veu dúplex es repeteixen, emmudeixen i desvarien

Escoltar i parlar alhora

Segons Yeonju Kim i els seus coautors, els benchmarks existents només avaluen torns solts o unes quantes rondes, massa poc per destapar el problema. Per això presenten FD-LHB (Full-Duplex Long-Horizon Benchmark), que sotmet cinc models recents a converses llargues reproduïdes i a xerrades en directe en què un gran model de llenguatge fa d'interlocutor.

En l'exemple amb què s'obre l'estudi, segons els autors, una conversa coherent al minut 0 entra en bucle al minut 6, es queda muda entre els minuts 9 i 10 i al 13 ja només produeix galimaties.

Cap no aguanta desenes de minuts

Segons Yeonju Kim i els seus coautors, Moshi i PersonaPlex fan servir una finestra lliscant de 3.000 fotogrames a 12,5 Hz, que s'omple per primera vegada als quatre minuts. Els altres tres models avaluats són de context creixent i s'aturen quan omplen el context; això en limita el funcionament sostingut, però l'estudi no ho compta com a col·lapse.

Amb 40 execucions per sistema, cap dels models avaluats no sosté una conversa estable durant desenes de minuts, segons els autors. Els de context creixent esgoten la capacitat o col·lapsen abans, i els de finestra lliscant, tot i que mai no esgoten el context, cauen en 60 minuts en repetició, silenci i galimaties en la majoria de les execucions.

Dues correccions sense reentrenar

Segons Yeonju Kim i els seus coautors, en els models de finestra lliscant hi intervenen dos mecanismes. El galimaties i el silenci s'associen a l'expulsió de l'àncora d'inicialització (Initialization-Anchor Eviction), que es produeix quan la finestra descarta la primera entrada KV. La repetició, a més, es reforça amb les sortides recents del mateix model.

D'aquest diagnòstic en surten dues correccions, segons els autors. IAP (Initialization-Anchor Pinning) conserva aquesta primera entrada, i DRP (Duplex Repetition Penalty) desincentiva l'eco alhora que evita silencis prolongats. Només s'apliquen a Moshi i PersonaPlex, perquè l'expulsió de l'àncora únicament es produeix quan una finestra lliscant descarta entrades antigues.

En les converses reproduïdes de FD-LHB-CANDOR, la combinació elimina el galimaties i gairebé acaba amb la repetició, segons els autors, tot i que PersonaPlex manté silencis llargs en gairebé la meitat de les execucions.

Davant d'un interlocutor que respon

A FD-LHB-LLM, on un model de llenguatge gran conversa amb el model i reacciona al que diu, els dos models sense correcció fallen sovint, sobretot per galimaties i silencis prolongats, segons Yeonju Kim i els seus coautors. Amb IAP+DRP, cada fallada apareix en no més del 10 % de les sessions en tots dos.

El que queda per resoldre

La correcció no és completa. Segons Yeonju Kim i els seus coautors, el silenci de PersonaPlex amb IAP+DRP és sobretot passatger: el 94,7 % de les execucions afectades torna a parlar en menys d'un minut després dels dos minuts de silenci. Tot i així, és la fallada que més resisteix.

Les proves també tenen límits, segons els autors: les correccions només s'han aplicat a dos models de finestra lliscant, la durada observada varia entre models —per això els mètodes es comparen dins de cada model i no entre ells— i les reproduccions arriben com a màxim a una hora.