Oído: voz a texto íntegramente en un microcontrolador ESP32-S3, sin nube

Un dictado que no sale del chip

Oído es un motor de inferencia y una familia de modelos que, según Lokutor, reconocen voz en inglés con vocabulario abierto íntegramente en un ESP32-S3, sin acelerador neuronal y más rápido que el tiempo real con un solo núcleo. El repositorio del proyecto añade un modelo para español y lo resume así: sin nube y sin lista de órdenes.

El preprint lo firman Daniel Varela Sánchez y Guillermo Martín-Coello Juárez, con afiliación en Lokutor (Hashing Works, S.L.L.), en Madrid. Su versión 2, publicada en arXiv el 3 de noviembre de 2026, es un trabajo sin revisión por pares.

Lokutor afirma que ofrece licencias comerciales y que tiene modelos para otras lenguas, como catalán, euskera y gallego, además de síntesis de voz en el propio dispositivo para el mismo chip.

El freno era la memoria, no el cálculo

Según Lokutor, a la versión 1 la frenaban el tráfico de memoria y el coste de cada trama, no el cálculo. En modo continuo, el reconocedor transcribe por fragmentos a medida que llega el audio y en cada fragmento vuelve a leer todos los pesos del modelo; además, el chip lee las memorias externas del módulo, la PSRAM y la flash, mucho más despacio que su SRAM interna. La versión 2 cambia el modelo y el motor para adaptarse a ese límite.

Más rápido que el habla con un solo núcleo

Según Lokutor, la versión 2 queda por debajo de uno en una placa física, con un núcleo a 240 MHz y el modelo de lenguaje activado, en mediciones sobre 18 grabaciones que suman 120 segundos. Para lograrlo, junta las tramas de audio de dos en dos para que el codificador trabaje con tramas de 80 ms y adelanta a la caché la lectura de los pesos mientras calcula.

Dos variantes: una más precisa y otra más rápida

Según Lokutor, la versión 2 tiene dos modelos para inglés: la variante A, con mejores resultados de precisión, y la B, más rápida. Se diferencian en el número de bloques y en el tamaño del modelo.

Según Lokutor, el retardo del texto final se cuenta desde que el motor recibe el fin del habla, no desde que la persona deja de hablar, y se midió en placa con el audio a velocidad real sobre 8 grabaciones.

En inglés, el modo continuo se paga en precisión

Según Lokutor, transcribir en modo continuo cuesta precisión frente a procesar la frase completa de una vez, lo que el repositorio llama contexto completo, y la variante rápida pierde más que la precisa. La tasa de error se midió con una versión del mismo motor compilada para ordenador, no en el chip.

Un modelo aparte para el español

Según Lokutor, el modelo oido_es es un Conformer de Nvidia ajustado con 2.492 horas de español de Common Voice, VoxPopuli, Multilingual LibriSpeech (MLS) y FLEURS, con ruido y reverberación añadidos, un vocabulario español nuevo y un modelo de lenguaje propio. Ocupa 14 MB más 1,3 MB del modelo de lenguaje. Va en un archivo distinto porque, según la empresa, el inglés y el español tienen vocabularios diferentes.

Según Lokutor, la tasa de error se calculó con la misma normalización para todos los sistemas (minúsculas, acentos conservados, sin puntuación y sin las frases de referencia con cifras) sobre 400 frases repartidas de forma uniforme por conjunto de prueba; en FLEURS fueron 333, tras descartar las que tenían cifras.

Lo que todavía no hace

Según Lokutor, Oído aún no baja del 10 % de error en el habla ruidosa en modo continuo, no tiene un modelo bilingüe ni una versión 2 en español y no se ha medido con micrófono en directo, porque la placa de pruebas no lo tiene. El modo de dos núcleos da transcripciones erróneas en el chip y está desactivado.

Según Lokutor, la transcripción de una sola vez se cuelga en el chip si se lanza dentro del bucle de captura del micrófono, aunque funciona con grabaciones guardadas en la flash; la empresa no conoce la causa y recomienda el modo continuo para captar en directo.

Según el repositorio de Lokutor, el código se distribuye con licencia GPL-3.0, y la empresa ofrece licencias comerciales para productos que no puedan cumplir sus condiciones. Los modelos de la versión 2 usan CC-BY-SA-4.0 y el modelo en español, CC-BY-4.0.