El teu portàtil entén i parla català sense internet

Dos models públics i un bucle tancat

Si has de passar a text entrevistes, plens o classes en català, mallorquí o valencià, no cal pujar les gravacions a cap servei extern. El BSC publica a Hugging Face, la plataforma on es comparteixen i es descarreguen models d'IA, diverses versions de Whisper adaptades al català i un model que llegeix textos en català en veu alta, Matxa-TTS v2.

No són cap novetat d'avui: els models es van crear a Hugging Face entre maig i octubre de 2025, i les seves fitxes es van actualitzar el 26 i el 27 d'octubre de 2026. El que proposa aquesta pràctica és ajuntar-los en un bucle que pots mesurar tu mateix: escrius unes frases, Matxa les converteix en veu i Whisper les torna a escriure. Com que el text de partida ja el coneixes, comparar l'entrada amb la sortida et diu fins a quin punt l'encerta el model.

La prova es va fer el 27 d'octubre de 2026 en un portàtil amb Linux, una targeta gràfica Nvidia RTX 4060 Laptop de 8 GB, 31,8 GB de RAM i Python 3.12.3. Totes les xifres de temps i de memòria d'aquesta peça són mesures pròpies en aquest equip, no dades dels fabricants.

Whisper, amb bona orella per al català

Whisper és un model de reconeixement automàtic de la parla creat per OpenAI, l'empresa de ChatGPT. El BSC ha partit de la seva versió més gran, whisper-large-v3, i l'ha especialitzada en català amb hores d'àudio transcrites a mà.

Hi ha un detall que convé saber abans de començar: segons les fitxes, aquests models transcriuen a text pla i sense puntuació. A la prova, a més, el resultat va sortir tot en minúscules. Si necessites un text a punt per publicar, l'hauràs de repassar i puntuar després.

Un model per a les Illes Balears, un altre per a la Comunitat Valenciana

whisper-3cat-balearic està pensat per al català, «especialment en l'accent balear», segons el BSC. El seu ajust fi es va fer el juny de 2025 amb 90 hores de 3CatParla, un corpus de programes de televisió catalans transcrits a mà, i es va validar amb dades d'IB3, la ràdio i televisió pública de les Illes Balears.

whisper-3cat-cv21-valencian fa el mateix amb l'accent valencià. Segons la fitxa, es va entrenar el juny de 2025 amb 397 hores i 55 minuts d'àudio: 256 hores de gravacions de les Corts Valencianes, el parlament autonòmic, i la resta, de gravacions de Common Voice v21 etiquetades com a valencianes.

Per al català general hi ha whisper-bsc-large-v3-cat, que segons el BSC es va entrenar amb català de diversos accents.

Pas 1: prepara l'entorn

Per executar els models de veu es fan servir les versions faster-whisper, conversions que el BSC descriu com a més lleugeres. faster-whisper és un mòdul de Python que executa Whisper amb el motor CTranslate2. N'hi ha una per variant: faster-whisper-3cat-balearic, faster-whisper-3cat-cv21-valencian i faster-whisper-bsc-large-v3-cat. Cadascuna ocupa 3,09 GB al disc i, com els originals balear i valencià, té llicència Apache-2.0.

La fitxa proposa crear un entorn virtual de Python amb `python -m venv`, activar-lo i executar `pip install faster-whisper`. Al portàtil de la prova faltava el paquet del sistema `python3.12-venv` i l'entorn no es va poder crear així; es va resoldre amb `uv venv`, que no el necessita.

El segon entrebanc va arribar en fer servir la GPU: `RuntimeError: Library libcublas.so.12 is not found or cannot be loaded`. Les biblioteques cuBLAS i cuDNN de Nvidia ja eren dins de l'entorn, instal·lades per pip com a paquets `nvidia-cublas` i `nvidia-cudnn`, però el sistema no les trobava. N'hi va haver prou amb fer que la variable `LD_LIBRARY_PATH` apuntés a les seves carpetes `lib` dins de `site-packages/nvidia` abans d'engegar el programa.

La primera vegada que carreguis un model, faster-whisper el descarrega de Hugging Face. A la prova, cadascun va trigar uns 29 segons. A partir d'aquí, tot funciona sense connexió.

Pas 2: transcriu amb la GPU o amb el processador

El codi és el de la fitxa. S'importa `from faster_whisper import WhisperModel` i es carrega el model amb `WhisperModel("BSC-LT/faster-whisper-3cat-balearic", device="cuda", compute_type="float16")`. Si canvies el nom pel del valencià o pel del català general, la resta no canvia.

Si la teva targeta gràfica va justa de memòria, la fitxa proposa `compute_type="int8_float16"`. Si no tens GPU, `device="cpu", compute_type="int8"`.

La transcripció s'engega amb `model.transcribe("audio.mp3", beam_size=5, task="transcribe", language="ca")`. Retorna els fragments de text amb el seu inici i el seu final, i n'hi ha prou de recórrer-los per llegir el resultat.

Amb int8_float16, gairebé la meitat de memòria

Es van provar dos models, el balear i el de català general, amb dues modalitats de memòria a la GPU, i el balear també amb el processador. Cada configuració es va executar en un procés nou i va transcriure el mateix àudio dues vegades seguides: la segona passada sempre va ser una mica més ràpida.

L'opció int8_float16 va reduir gairebé a la meitat la memòria de la targeta gràfica amb tots dos models, a canvi d'una càrrega una mica més lenta, i el text transcrit va ser idèntic en les quatre configuracions de GPU. Amb el processador, transcriure la frase va trigar el mateix que dura: serveix, però sense marge per fer-lo servir en directe.

Pas 3: fabrica l'àudio de prova amb Matxa

Matxa-TTS v2 és el model de síntesi de veu del BSC, basat en Matcha-TTS. Segons la fitxa, treballa directament amb les lletres del text i es va preentrenar amb 36,2 hores de gravacions de cinc accents del català, ajustades després amb els corpus Openslr69 i Festcat. La versió utilitzada aquí, matxa-tts-v2-ca-central-graphemes, és la del català central.

Matxa genera una descripció acústica de la frase i necessita un segon model, alVoCat o WaveNext, per convertir-la en so. El fitxer ONNX oficial, `matxa_v2_graphemes_10_steps_wavenext.onnx`, ja porta WaveNext a dins: pesa 270 MB i es va descarregar en 4,1 segons. Abans de passar-li el text, cal convertir-lo en la seqüència de símbols que espera el model; aquest preprocés és a la branca `v2-graphemes` del repositori langtech-bsc/Matcha-TTS de GitHub, i convé seguir-lo al peu de la lletra.

Un avís de la fitxa: si el text porta números, cal escriure'ls amb lletres. La prova va fer servir la veu número 2, la que porta per defecte l'script oficial, i tres frases: «Bon dia, avui parlam de la intel·ligència artificial a les Illes Balears», «El model transcriu l'àudio sense connexió a internet» i «Aquesta prova s'executa íntegrament en un ordinador portàtil».

Amb el processador, sense tocar la GPU, les tres frases de 5,48, 4,35 i 5,00 segons es van generar en 0,73, 0,58 i 0,67 segons, unes set vegades més ràpid que el temps real. Unides amb una pausa curta, van donar un àudio de 16,04 segons.

Segons el BSC, aquesta versió millora l'anterior en qualitat i intel·ligibilitat, avaluades amb 350 frases de «La creació d'Eva i altres contes», de Josep Carner. Per mesurar la intel·ligibilitat, el BSC va transcriure l'àudio sintetitzat amb whisper-bsc-large-v3-cat, és a dir, el mateix bucle d'aquesta pràctica. Una diferència que importa si el vols fer servir en un producte: Matxa-TTS té llicència GPL-3.0, no Apache-2.0 com els Whisper, així que revisa les condicions de cadascuna abans de començar.

Pas 4: compara l'entrada amb la sortida

Per comparar, passa els dos textos a minúscules, treu-los la puntuació i compta les paraules que no coincideixen. És la idea de la taxa d'error de paraules, feta a mà.

A la prova, Whisper va retornar això en les quatre configuracions de GPU: «bon dia avui parlam de la intel·ligència artificial a les illes baliars el model transcriu l'àudio sense connexió a internet aquesta prova s'executa íntegrament en un ordinador portàtil». Va sortir una paraula diferent de 30: «Balears» es va convertir en «baliars». Tota la resta va coincidir, fins i tot «intel·ligència». Amb el processador, la frase solta va sortir exacta.

La prova té límits i convé dir-los. L'àudio és sintètic, d'una sola veu, dura 16 segons i té accent central. No mesura el soroll de fons, diverses persones parlant alhora ni la parla real de les Illes Balears o de la Comunitat Valenciana, i el model valencià no es va provar. En aquest àudio, el model balear i el de català general van donar exactament el mateix text, així que no mostra quin dels dos l'encerta més.