Nvidia: transcriure ja es demana per favor

Un model, moltes maneres de transcriure

Segons Nvidia, no hi ha una única transcripció correcta d'una gravació: depèn de qui la llegeixi i per a què. Uns necessiten els números en xifres i d'altres tal com es pronuncien; uns volen cada vacil·lació i d'altres un text net. Els sistemes convencionals de reconeixement automàtic de la parla (ASR, automatic speech recognition) fixen una d'aquestes convencions quan s'entrenen.

Nemotron 3.5 Transcribe, que Nvidia va publicar el 28 d'octubre de 2026, fa un altre camí. Segons l'empresa, un sol model fa transcripció literal, en forma escrita, contextual, amb atribució de parlants i enriquida, a més de traducció de veu i identificació de l'idioma parlat. Treballa en 40 idiomes, amb gravacions de fins a una hora, i, si se li demana, retorna marques de temps per paraula amb l'etiqueta de cada parlant. Segons Nvidia, tradueix 31 d'aquests idiomes a l'anglès o des de l'anglès, atribueix parlants en 13 i distingeix fins a vuit persones en una mateixa gravació.

Es pot descarregar a Hugging Face, la plataforma on es publiquen i es descarreguen models i conjunts de dades d'IA, amb llicència OpenMDW-1.1. És una llicència permissiva per a models d'aprenentatge automàtic que van presentar el 2025 la Linux Foundation i la PyTorch Foundation: pot cobrir pesos, programari, documentació i dades com un tot i, d'acord amb les seves condicions, permet fer-los servir, modificar-los i redistribuir-los sense restriccions.

L'estil es demana amb una frase

Segons Nvidia, l'estil de la transcripció es tria en cada petició amb una instrucció en llenguatge natural, sense tornar a entrenar el model. La mateixa gravació d'una reunió pot sortir transcrita amb cada parlant etiquetat, traduïda a l'anglès o convertida en la resposta a quines decisions s'hi van prendre, segons el que se li escrigui.

Per als termes poc habituals, Nvidia recomana provar amb context abans que amb entrenament: donar al model una llista de termes esperats, com ara noms de fàrmacs, i demanar-li que només els faci servir quan l'àudio els avali. Les preguntes sobre l'àudio, això sí, només s'han entrenat en anglès, i la mateixa Nvidia aconsella comprovar noms, canvis de parlant i respostes amb la gravació.

Més de 30.000 milions de paràmetres, però només en treballa una part

Per dins, segons Nvidia, Nemotron 3.5 Transcribe uneix tres peces: un codificador que converteix la parla en una cosa que el model pot processar; Nemotron 3 Diarization, el model de Nvidia per separar parlants, que aquí es fa servir congelat, sense reentrenar; i Nemotron 3.5 Lightning 30B-A3B, un model de llenguatge gran (LLM, large language model) híbrid que combina les arquitectures Mamba i Transformer amb mescla d'experts.

Segons la fitxa de Nvidia, la base de llenguatge, Nemotron 3.5 Lightning 30B-A3B, té 30.000 milions de paràmetres, dels quals uns 3.500 milions s'activen en cada pas. Amb el codificador d'àudio, d'uns 800 milions, el total actiu puja a uns 4.300 milions; d'aquí ve l'«A4B» de l'identificador amb què es publica a Hugging Face, NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. En total, amb l'àudio, el model suma uns 34.000 milions de paràmetres, segons la fitxa.

Primer entre els oberts, segons les seves pròpies proves

Segons Nvidia, Nemotron 3.5 Transcribe és el model de pesos oberts amb menys errors a les tres classificacions Open ASR de Hugging Face, que mesuren la precisió de la transcripció sobre conjunts de prova públics: anglès, àudio llarg i multilingüe. Són mesures que publica la mateixa empresa a la fitxa del model.

Nvidia també cita la classificació d'Artificial Analysis, empresa d'avaluació de models amb seu a San Francisco. Segons Nvidia, hi empata en el primer lloc entre els models oberts, amb un 2,8 % a l'índex d'error d'aquesta classificació, i ho fa amb uns 4.300 milions de paràmetres actius, aproximadament una sisena part dels del model amb què empata.

El castellà, a primera fila; el català, fora

La fitxa no posa els 40 idiomes al mateix nivell. Nvidia els reparteix en tres nivells de qualitat: «líder», al nivell dels millors sistemes actuals o a prop, sense necessitat d'ajust; «llest per a producció»; i «admès», que pot necessitar un ajust fi (fine-tuning) per rendir bé.

El castellà, en les variants d'Espanya i dels Estats Units, és al grup «líder», juntament amb el txec, el neerlandès, l'anglès, el francès, l'alemany, l'hindi, l'italià, el coreà, el polonès, el portuguès, el rus i l'eslovac. Segons la fitxa de Nvidia, admet transcripció, traducció des de l'anglès i cap a l'anglès, gravacions amb diversos parlants i barreja d'idiomes en una mateixa gravació.

El català no apareix entre els 40 idiomes. Nvidia assegura que el model es pot adaptar a idiomes nous, però no publica resultats en català.

Ràpid al servei de Nvidia, més lent en obert

Segons Nvidia, amb DFlash2, un petit model auxiliar que accelera la generació, i el format NVFP4, pensat per a les seves targetes Blackwell, una sola RTX PRO 6000 Blackwell transcriu fins a 2.238 segons d'àudio per cada segon. Aquesta dada correspon al NIM de Nvidia, la seva versió optimitzada per servir el model.

La mateixa fitxa matisa que aquestes optimitzacions encara no són a la versió oberta. La integració amb vLLM, el programa obert amb què se serveixen models, publicada el mateix dia, està pensada per al desenvolupament i serà, segons Nvidia, aproximadament dues vegades més lenta.

Tampoc no és un model per al directe: Nvidia el descriu com a pensat per a àudio gravat, no per transcriure en temps real. Per executar-lo en local ja hi ha variants FP8 i NVFP4 que la fitxa dona per compatibles amb DGX Spark, Jetson Thor o una RTX 5090; segons Nvidia, el desplegament local amb NeMo-Speech.cpp i noves versions quantitzades arribaran «pròximament».

S'adapta en poques hores de GPU

Segons Nvidia, el model es pot adaptar a idiomes, sectors i tasques nous amb una sola GPU, normalment amb entre 0,5 i 2,3 hores de càlcul per tasca; ho va provar en 17 tasques. El kit d'ajust fi es publica a NeMo Speech, les eines de veu de Nvidia.

L'exemple que més detalla és mèdic: una prova oberta amb gravacions de metges i estudiants de medicina de l'Índia. Segons Nvidia, l'ajust fi va reduir gairebé a la meitat els errors en parlants que no s'havien fet servir per adaptar-lo, un 45,8 % menys que amb la millor instrucció, i tot el procés va costar unes 14 hores de GPU en una Nvidia GB300.

Amb el model arriba Granary v2, un conjunt de dades obert de Nvidia: segons l'empresa, el seu manifest públic suma 463.062 hores d'àudio en 48 idiomes i 16 corpus. Nvidia aclareix que no és la barreja completa amb què es va entrenar Nemotron 3.5 Transcribe.