Nvidia: Transcribir ya se pide por favor

Un modelo, muchas maneras de transcribir

Según Nvidia, no existe una única transcripción correcta de una grabación: depende de quién la lea y para qué. Unos necesitan los números en cifras y otros tal como se pronuncian; unos quieren cada titubeo y otros un texto limpio. Los sistemas convencionales de reconocimiento automático del habla (ASR, automatic speech recognition) fijan una de esas convenciones al entrenarse.

Nemotron 3.5 Transcribe, que Nvidia publicó el 28 de octubre de 2026, va por otro camino. Según la empresa, un solo modelo hace transcripción literal, en forma escrita, contextual, con atribución de hablantes y enriquecida, además de traducción de voz e identificación del idioma hablado. Trabaja en 40 idiomas, con grabaciones de hasta una hora, y si se le pide devuelve marcas de tiempo por palabra con la etiqueta de cada hablante. Según Nvidia, traduce 31 de esos idiomas al inglés o desde el inglés, atribuye hablantes en 13 y distingue hasta ocho personas en una misma grabación.

Se puede descargar en Hugging Face, la plataforma donde se publican y descargan modelos y conjuntos de datos de IA, con licencia OpenMDW-1.1. Es una licencia permisiva para modelos de aprendizaje automático que presentaron en 2025 la Linux Foundation y la PyTorch Foundation: puede cubrir pesos, software, documentación y datos como un todo y, con arreglo a sus condiciones, permite usarlos, modificarlos y redistribuirlos sin restricción.

El estilo se pide con una frase

Según Nvidia, el estilo de la transcripción se elige en cada petición con una instrucción en lenguaje natural, sin volver a entrenar el modelo. La misma grabación de una reunión puede salir transcrita con cada hablante etiquetado, traducida al inglés o convertida en la respuesta a qué decisiones se tomaron, según lo que se le escriba.

Para los términos poco comunes, Nvidia recomienda probar con contexto antes que con entrenamiento: darle al modelo una lista de términos esperados, como nombres de fármacos, y pedirle que solo los use cuando el audio los respalde. Las preguntas sobre el audio, eso sí, solo se han entrenado en inglés, y la propia Nvidia aconseja comprobar nombres, cambios de hablante y respuestas contra la grabación.

Más de 30.000 millones de parámetros, pero trabaja una parte

Por dentro, según Nvidia, Nemotron 3.5 Transcribe une tres piezas: un codificador que convierte el habla en algo que el modelo puede procesar; Nemotron 3 Diarization, el modelo de Nvidia para separar hablantes, que aquí se usa congelado, sin reentrenar; y Nemotron 3.5 Lightning 30B-A3B, un modelo de lenguaje grande (LLM, large language model) híbrido que combina las arquitecturas Mamba y Transformer con mezcla de expertos.

Según la ficha de Nvidia, la base de lenguaje, Nemotron 3.5 Lightning 30B-A3B, tiene 30.000 millones de parámetros, de los que unos 3.500 millones se activan en cada paso. Con el codificador de audio, de unos 800 millones, el total activo sube a unos 4.300 millones; de ahí el «A4B» del identificador con el que se publica en Hugging Face, NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. En total, con el audio, el modelo suma unos 34.000 millones de parámetros, según la ficha.

Primero entre los abiertos, según sus propias pruebas

Según Nvidia, Nemotron 3.5 Transcribe es el modelo de pesos abiertos con menos errores en las tres clasificaciones Open ASR de Hugging Face, que miden la precisión de la transcripción sobre conjuntos de prueba públicos: inglés, audio largo y multilingüe. Son medidas que publica la propia empresa en la ficha del modelo.

Nvidia también cita la clasificación de Artificial Analysis, empresa de evaluación de modelos con sede en San Francisco. Según Nvidia, allí empata en primer lugar entre los modelos abiertos, con un 2,8 % en el índice de error de esa clasificación, y lo hace con unos 4.300 millones de parámetros activos, alrededor de una sexta parte de los del modelo con el que empata.

El español, en primera fila; el catalán, fuera

La ficha no pone a los 40 idiomas al mismo nivel. Nvidia los reparte en tres niveles de calidad: «líder», al nivel de los mejores sistemas actuales o cerca de él, sin necesidad de ajuste; «listo para producción»; y «admitido», que puede necesitar un ajuste fino (fine-tuning) para rendir bien.

El español, en sus variantes de España y de Estados Unidos, está en el grupo «líder», junto al checo, el neerlandés, el inglés, el francés, el alemán, el hindi, el italiano, el coreano, el polaco, el portugués, el ruso y el eslovaco. Según la ficha de Nvidia, admite transcripción, traducción desde y hacia el inglés, grabaciones con varios hablantes y mezcla de idiomas en una misma grabación.

El catalán no aparece entre los 40 idiomas. Nvidia asegura que el modelo se puede adaptar a idiomas nuevos, pero no publica resultados en catalán.

Rápido en el servicio de Nvidia, más lento en abierto

Según Nvidia, con DFlash2, un pequeño modelo auxiliar que acelera la generación, y el formato NVFP4, pensado para sus tarjetas Blackwell, una sola RTX PRO 6000 Blackwell transcribe hasta 2.238 segundos de audio por cada segundo. Ese dato corresponde al NIM de Nvidia, su versión optimizada para servir el modelo.

La propia ficha matiza que esas optimizaciones aún no están en la versión abierta. La integración con vLLM, el programa abierto con el que se sirven modelos, publicada el mismo día, está pensada para desarrollo y será, según Nvidia, aproximadamente dos veces más lenta.

Tampoco es un modelo para el directo: Nvidia lo describe como hecho para audio grabado, no para transcribir en tiempo real. Para ejecutarlo en local ya hay variantes FP8 y NVFP4 que la ficha da por compatibles con DGX Spark, Jetson Thor o una RTX 5090; según Nvidia, el despliegue local con NeMo-Speech.cpp y nuevas versiones cuantizadas llegarán «próximamente».

Se adapta en unas horas de GPU

Según Nvidia, el modelo se puede adaptar a idiomas, sectores y tareas nuevos con una sola GPU, normalmente con entre 0,5 y 2,3 horas de cálculo por tarea; lo probó en 17 tareas. El kit de ajuste fino se publica en NeMo Speech, las herramientas de voz de Nvidia.

El ejemplo que más detalla es médico: una prueba abierta con grabaciones de médicos y estudiantes de medicina de la India. Según Nvidia, el ajuste fino redujo casi a la mitad los errores en hablantes que no se habían usado para adaptarlo, un 45,8 % menos que con la mejor instrucción, y todo el proceso costó unas 14 horas de GPU en una Nvidia GB300.

Con el modelo llega Granary v2, un conjunto de datos abierto de Nvidia: según la empresa, su manifiesto público suma 463.062 horas de audio en 48 idiomas y 16 corpus. Nvidia aclara que no es la mezcla completa con la que se entrenó Nemotron 3.5 Transcribe.