Models

Oído: veu a text íntegrament en un microcontrolador ESP32-S3, sense núvol

Lokutor (Hashing Works, S.L.L.), empresa de Madrid, va publicar el 3 de novembre de 2026 la versió 2 d’Oído (la primera és del 9 d’octubre), un sistema que converteix la veu en text dins d’un microcontrolador ESP32-S3, sense accelerador neuronal i sense núvol. Segons Lokutor, els models en anglès de la versió 2 transcriuen en mode continu (streaming) més de pressa del que es parla amb un sol nucli; l’espanyol fa servir un model a part que no té versió 2. Ho expliquen els seus autors en una prepublicació (preprint) a arXiv, sense revisió per parells.

4 de novembre del 2026 · 8 min de lectura · Per AI Informator

Il·lustració: en un balcó, un home somrient parla a un micròfon connectat a una capsa amb placa ESP32 i la marca Lokutor; un núvol amb cara enfadada se'l mira des del cel i una veïna rega geranis. — 📷 Imatge generada amb IA

En resum

Segons Lokutor, els models en anglès de la versió 2 d’Oído transcriuen en mode continu més de pressa del que es parla amb un sol nucli de l’ESP32-S3, sense accelerador neuronal i amb el model de llenguatge al mateix xip. El model en espanyol no té versió 2.
Segons el repositori de Lokutor, el retard del text final es compta des que el motor rep el final de la parla, no des que la persona deixa de parlar. Amb l’espera de silenci que el detector del firmware aplica per defecte, el text arriba una mica més d’un segon després que la persona calli.
Segons Lokutor, en mode continu i amb el model de llenguatge, la variant més precisa s’equivoca en el 7,1 % de les paraules de LibriSpeech test-clean; la resta de resultats en anglès és a la taula d’error.
Per a l’espanyol hi ha un model a part que, segons Lokutor, parteix del Conformer de Nvidia i es va ajustar amb 2.492 hores de parla en espanyol.
Segons el repositori de Lokutor, el codi es publica amb llicència GPL-3.0 i els models de la versió 2, amb CC-BY-SA-4.0.

Un dictat que no surt del xip

Oído és un motor d’inferència i una família de models que, segons Lokutor, reconeixen la veu en anglès amb vocabulari obert íntegrament en un ESP32-S3, sense accelerador neuronal i més de pressa que el temps real amb un sol nucli. El repositori del projecte hi afegeix un model per a l’espanyol i ho resumeix així: sense núvol i sense llista d’ordres.

Signen el preprint Daniel Varela Sánchez i Guillermo Martín-Coello Juárez, amb afiliació a Lokutor (Hashing Works, S.L.L.), a Madrid. La seva versió 2, publicada a arXiv el 3 de novembre de 2026, és un treball sense revisió per parells.

Lokutor afirma que ofereix llicències comercials i que té models per a altres llengües, com el català, l’èuscar i el gallec, a més de síntesi de veu al mateix dispositiu per al mateix xip.

El fre era la memòria, no el càlcul

Velocitat amb què el xip llegeix cada memòria

Memòria	Velocitat de lectura
SRAM interna	3,8 GB/s
PSRAM	89 MB/s
Flash	32 MB/s

Dades segons Lokutor, mesurades al xip.

Segons Lokutor, el que frenava la versió 1 era el trànsit de memòria i el cost de cada trama, no el càlcul. En mode continu, el reconeixedor transcriu per fragments a mesura que arriba l’àudio i, en cada fragment, torna a llegir tots els pesos del model; a més, el xip llegeix les memòries externes del mòdul, la PSRAM i la flash, molt més a poc a poc que la seva SRAM interna. La versió 2 canvia el model i el motor per adaptar-se a aquest límit.

Més de pressa que la parla amb un sol nucli

Factor de temps real en mode continu

Versió	Factor de temps real
Versió 1, fragments d’1,28 s	1,96
Versió 1, segons el resum del preprint	1,77
Versió 2, variant A (beam 4, top 6)	0,72
Versió 2, variant B (beam 2, top 3)	0,54

Dades segons Lokutor. Les files de la versió 2 es van mesurar en placa amb un nucli, fragments de 0,64 s i el model de llenguatge activat. El valor de 1,96 de la versió 1 es va mesurar en placa amb un nucli i fragments de 1,28 s. El resum del preprint parteix de 1,77 en una placa física, però no detalla les altres condicions d’aquesta mesura. Ni el preprint ni el repositori no expliquen la diferència amb el valor de 1,96.

Segons Lokutor, la versió 2 queda per sota de la unitat en una placa física, amb un nucli a 240 MHz i el model de llenguatge activat, en mesures sobre 18 enregistraments que sumen 120 segons. Per aconseguir-ho, ajunta les trames d’àudio de dues en dues perquè el codificador treballi amb trames de 80 ms i avança a la memòria cau la lectura dels pesos mentre calcula.

Dues variants: una més precisa i una altra més ràpida

Les dues variants de la versió 2

Variant	Blocs	Mida del model	Text final després del final de la parla
A	16	7,7 MB	431 ms
B	12	5,9 MB	259 ms

Dades segons Lokutor, mesurades en placa amb l’àudio a velocitat real i comptades des que el motor rep el final de la parla.

Segons Lokutor, la versió 2 té dos models per a l’anglès: la variant A, amb millors resultats de precisió, i la B, més ràpida. Es diferencien pel nombre de blocs i per la mida del model.

Segons Lokutor, el retard del text final es compta des que el motor rep el final de la parla, no des que la persona deixa de parlar, i es va mesurar en placa amb l’àudio a velocitat real sobre 8 enregistraments.

En anglès, el mode continu es paga en precisió

Taxa d’error de paraules en anglès, amb model de llenguatge

Configuració	Font	Error a test-clean / test-other
Variant A, mode continu (beam 4, top 6)	Repositori	7,1 % / 16,4 %
Variant B, mode continu (beam 2, top 3)	Repositori	10,6 % / 22,4 %
Variant B, mode continu (beam 2, top 3)	Preprint (cita literal)	«9.76/20.97», en %
Variant A, context complet	Repositori	4,58 % / 10,71 %

Dades segons Lokutor. En cada parella, la primera xifra correspon a test-clean i la segona, a test-other. L’única cita literal és la del preprint per a la variant B, «9.76/20.97», que conserva el punt decimal de l’original; les altres xifres s’expressen amb coma decimal. En mode continu, fragments de 0,64 s; taxa mesurada amb una versió del mateix motor compilada per a ordinador. Beam i top són ajustos de cerca del descodificador: segons el preprint, beam 4 i top 6 equivalen a una cerca d’amplada 4 amb 6 candidats per trama. Per a la variant A, el repositori i el preprint coincideixen; per a la B, amb la mateixa configuració, donen xifres diferents i cap de les dues fonts no n’explica la diferència.

Segons Lokutor, transcriure en mode continu costa precisió respecte a processar la frase completa d’una vegada, el que el repositori anomena context complet, i la variant ràpida en perd més que la precisa. La taxa d’error es va mesurar amb una versió del mateix motor compilada per a ordinador, no al xip.

Un model a part per a l’espanyol

Taxa d’error de paraules d’Oído en espanyol, amb model de llenguatge, mesurada amb la versió del motor compilada per a ordinador

Conjunt de prova	Taxa d’error
Common Voice	13,3 %
MLS	10,6 %
VoxPopuli	15,5 %
FLEURS	11,3 %

Dades segons Lokutor; el model està fet per executar-se a l’ESP32-S3. Sense model de llenguatge, l’error a Common Voice puja al 20,3 %.

Segons Lokutor, el model oido_es és un Conformer de Nvidia ajustat amb 2.492 hores d’espanyol de Common Voice, VoxPopuli, Multilingual LibriSpeech (MLS) i FLEURS, amb soroll i reverberació afegits, un vocabulari espanyol nou i un model de llenguatge propi. Ocupa 14 MB més 1,3 MB del model de llenguatge. Va en un fitxer diferent perquè, segons l’empresa, l’anglès i l’espanyol tenen vocabularis diferents.

Segons Lokutor, la taxa d’error es va calcular amb la mateixa normalització per a tots els sistemes (minúscules, accents conservats, sense puntuació i sense les frases de referència amb xifres) sobre 400 frases repartides de manera uniforme per conjunt de prova; a FLEURS van ser 333, després de descartar les que tenien xifres.

El que encara no fa

Segons Lokutor, Oído encara no baixa del 10 % d’error en la parla sorollosa en mode continu, no té un model bilingüe ni una versió 2 en espanyol i no s’ha mesurat amb micròfon en directe, perquè la placa de proves no en té. El mode de dos nuclis dona transcripcions errònies al xip i està desactivat.

Segons Lokutor, la transcripció d’una sola vegada es penja al xip si s’executa dins del bucle de captura del micròfon, tot i que funciona amb enregistraments desats a la flash; l’empresa no en coneix la causa i recomana el mode continu per captar en directe.

Segons el repositori de Lokutor, el codi es distribueix amb llicència GPL-3.0, i l’empresa ofereix llicències comercials per a productes que no en puguin complir les condicions. Els models de la versió 2 fan servir CC-BY-SA-4.0 i el model en espanyol, CC-BY-4.0.

Conclusió

Segons Lokutor, els models en anglès de la versió 2 d’Oído ja converteixen la veu en text en un microcontrolador, sense accelerador neuronal ni núvol i més de pressa del que es parla, tot i que en mode continu perden precisió, un cost que els seus autors reconeixen com a real. El que Oído encara no ofereix, segons l’empresa, és un model de la versió 2 en espanyol, i el mode de micròfon en directe continua sense mesurar-se.

Fonts primàries

0 comentaris

Comentaris

← Torna al blog