Modelos de voz dúplex: se repiten, se callan y desvarían

Escuchar y hablar al mismo tiempo

Según Yeonju Kim y sus coautores, los benchmarks existentes solo evalúan turnos sueltos o unas pocas rondas, demasiado poco para destapar el problema. Por eso presentan FD-LHB (Full-Duplex Long-Horizon Benchmark), que somete a cinco modelos recientes a conversaciones largas reproducidas y a charlas en directo en las que un gran modelo de lenguaje hace de interlocutor.

En el ejemplo con el que abre el estudio, según los autores, una conversación coherente en el minuto 0 entra en bucle en el minuto 6, se queda muda entre los minutos 9 y 10 y en el 13 ya solo produce galimatías.

Ninguno aguanta decenas de minutos

Según Yeonju Kim y sus coautores, Moshi y PersonaPlex usan una ventana deslizante de 3.000 fotogramas a 12,5 Hz, que se llena por primera vez a los cuatro minutos. Los otros tres modelos evaluados son de contexto creciente y se detienen cuando llenan su contexto; eso limita su funcionamiento sostenido, pero el estudio no lo cuenta como colapso.

Con 40 ejecuciones por sistema, ninguno de los modelos evaluados sostiene una conversación estable durante decenas de minutos, según los autores. Los de contexto creciente agotan su capacidad o colapsan antes, y los de ventana deslizante, aunque nunca agotan su contexto, caen en 60 minutos en repetición, silencio y galimatías en la mayoría de las ejecuciones.

Dos arreglos sin reentrenar

Según Yeonju Kim y sus coautores, en los modelos de ventana deslizante intervienen dos mecanismos. El galimatías y el silencio se asocian a la expulsión del ancla de inicialización (Initialization-Anchor Eviction), que se produce cuando la ventana descarta la primera entrada KV. La repetición, además, se refuerza con las propias salidas recientes del modelo.

De ese diagnóstico salen dos arreglos, según los autores. IAP (Initialization-Anchor Pinning) conserva esa primera entrada, y DRP (Duplex Repetition Penalty) desincentiva el eco a la vez que evita silencios prolongados. Solo se aplican a Moshi y PersonaPlex, porque la expulsión del ancla únicamente ocurre cuando una ventana deslizante descarta entradas antiguas.

En las conversaciones reproducidas de FD-LHB-CANDOR, la combinación elimina el galimatías y casi acaba con la repetición, según los autores, aunque PersonaPlex mantiene silencios largos en casi la mitad de las ejecuciones.

Frente a un interlocutor que responde

En FD-LHB-LLM, donde un LLM conversa con el modelo y reacciona a lo que dice, los dos modelos sin arreglo fallan a menudo, sobre todo por galimatías y silencios prolongados, según Yeonju Kim y sus coautores. Con IAP+DRP, cada fallo aparece en no más del 10 % de las sesiones en ambos.

Lo que queda por resolver

El arreglo no es completo. Según Yeonju Kim y sus coautores, el silencio de PersonaPlex con IAP+DRP es sobre todo pasajero: el 94,7 % de las ejecuciones afectadas vuelve a hablar en menos de un minuto tras los dos minutos de silencio. Aun así, es el fallo que más resiste.

Las pruebas también tienen límites, según los autores: los arreglos solo se han aplicado a dos modelos de ventana deslizante, la duración observada varía entre modelos —por eso los métodos se comparan dentro de cada uno y no entre ellos— y las reproducciones llegan como mucho a una hora.