Una prueba examina cuándo los asistentes de voz interrumpen

La conversación como medida

La propuesta parte de una distinción sencilla: una persona puede dejar de hablar un momento sin haber terminado su intervención. Los investigadores seleccionan pausas en las que el interlocutor siguió escuchando y momentos en los que sí tomó la palabra. Cada sistema recibe la conversación previa y escucha cómo continúa quien habla, para evaluar qué hace al llegar al punto elegido.

Según los autores, la naturalidad consiste aquí en aproximarse a lo que hizo la persona: callar donde calló, responder donde respondió y hacerlo con tiempos y duración parecidos. No hay oyentes que puntúen las respuestas. También se comprueba si el sistema puede contestar una pregunta sobre algo mencionado antes.

La señal para responder

Según los autores, GPT Realtime, Gemini 3.1 Flash Live y Grok Voice respondieron en casi todas las pausas con las configuraciones basadas en el silencio examinadas. El tiempo que tardaban en empezar determinaba si sus palabras caían dentro de esa pausa. El propio estudio aclara que esto describe la configuración utilizada, no una decisión que los modelos fueran incapaces de tomar.

Según los autores, PersonaPlex y Moshi fueron los únicos sistemas que guardaron silencio de manera habitual, pero también los únicos que interrumpieron dentro de un tiempo de reacción humano. Ese comportamiento tampoco resuelve toda la conversación: al finalizar un turno, ningún sistema habló tan poco como la persona de referencia.

Los límites de la comparación

Según los autores, la memoria se evaluó con una diferencia importante de partida. Los servicios alojados recibieron el historial como texto y los modelos de conversación simultánea lo escucharon como audio. La distancia entre sus resultados refleja en parte esa diferencia de canal, lo que impide interpretar la comparación como una medida limpia de la memoria.

Según los autores, una revisión del sistema de evaluación encontró que la puntuación podía detener temporalmente el flujo de audio compartido. Por ello, los tiempos de respuesta pueden incluir esas interrupciones y las duraciones de los modelos de conversación simultánea pueden incorporar intervenciones posteriores. Alcanzar el límite temporal de la prueba no demuestra que el sistema siguiera hablando.

Según los autores, el alcance también es limitado: las conversaciones son en inglés y entre dos personas. Los investigadores realizaron una sola ejecución por punto y las etiquetas se comprobaron solo parcialmente. Estas condiciones deben acompañar cualquier lectura de los resultados sobre cuándo hablar, cuánto hablar o cuánto recordar.