Quina IA parla millor català? Que votin els catalanoparlants

Qui parla català fa de jurat

Softcatalà va presentar el 2 de novembre de 2026 dues plataformes participatives amb una mateixa idea: que siguin les persones catalanoparlants, i no només les màquines, les que decideixin com ha de sonar i com s'ha d'escriure el català en la tecnologia. Segons l'associació, no cal saber d'intel·ligència artificial: n'hi ha prou amb parlar català i tenir una mica de criteri.

GarbellaVeus serveix per escoltar i revisar dades de veu en català. ArenaCat és una arena de models dedicada exclusivament al català i inspirada en LMSYS Chatbot Arena, la plataforma de referència en què es vota a cegues entre les respostes de dos models.

El que les mètriques no senten

Segons Softcatalà, la qualitat de la IA en català depèn de dues coses que no es poden automatitzar del tot: dades de qualitat i criteri humà per jutjar els resultats. Bona part de les dades de veu en català s'han generat i verificat de manera automàtica, i els models de llenguatge se solen comparar amb proves automàtiques pensades sobretot per a l'anglès.

Aquestes proves, segons l'associació, deixen escapar errors que qualsevol parlant detecta de seguida: de concordança, calcs, faltes de registre o confusions dialectals. La documentació d'ArenaCat parla, a més, de sobreajustament a les mètriques: l'obsessió dels laboratoris per lluir-s'hi obre una desconnexió amb l'experiència real dels usuaris.

GarbellaVeus: escoltar, votar i corregir

GarbellaVeus convida a escoltar talls d'un corpus de parla catalana de Softcatalà, extret de vídeos de plenaris publicats amb llicència lliure. Es vota si la transcripció és correcta i si el dialecte detectat és l'encertat, i es pot proposar una transcripció millor o el dialecte correcte.

També es pot marcar un tall que no sigui en català, que tingui música o soroll o en què parlin diverses persones, perquè no contamini les dades. Quan un tall acumula prou vots favorables, queda validat.

La plataforma inclou transcripcions verificades de manera automàtica pel Barcelona Supercomputing Center–Centre Nacional de Supercomputació (BSC-CNS), la unitat de Tecnologies del Llenguatge del qual treballa en el Projecte Aina, el projecte d'IA que finança la Generalitat de Catalunya per potenciar el català en el món digital. Segons Softcatalà, ara s'hi afegeix una capa de validació humana.

Fins a 920 hores de parla per revisar

Segons la seva fitxa, el corpus d'origen aplega 231.684 fragments, unes 921,8 hores de parla catalana extretes de 3.119 vídeos públics amb llicència reutilitzable, avui CC-BY en tots els fragments. Cadascun porta dues transcripcions automàtiques independents, i el gènere de qui parla també el detecta una màquina; metadades i transcripcions tenen llicència MIT.

La fitxa adverteix que les transcripcions no estan verificades i que els parlants no van donar el seu consentiment perquè la seva veu acabés en un conjunt de dades d'aprenentatge automàtic.

El BSC-CNS va publicar una versió destil·lada d'unes 207 hores, finançada per la Generalitat a través del Projecte Aina, que només conserva els fragments en què coincideixen dos sistemes de verificació automàtica. Segons la seva fitxa, només el conjunt de prova, 711 fitxers, el van anotar persones.

Softcatalà reconeix que avui hi predomina el registre institucional i vol incorporar-hi més endavant parla espontània i registres i parlants poc representats. El català ja té recursos de veu oberts, com Common Voice, el projecte de Mozilla en què voluntaris donen i validen gravacions, o diversos corpus parlamentaris; el que falta, segons l'associació, és parla espontània, de molts parlants i verificada per persones.

ArenaCat: dues respostes i cap nom

A ArenaCat es llegeix una tasca i dues respostes, A i B, de models diferents, els noms dels quals queden ocults per evitar biaixos de marca. Es tria la millor, un empat o «cap de les dues». Les tasques són de correcció, reformulació, traducció i generació de textos, i els criteris, segons Softcatalà, són la correcció i la naturalitat del català, el respecte del significat i el compliment de les instruccions.

Per votar cal crear un compte i superar una sola vegada una prova de competència lingüística d'uns cinc minuts: segons la documentació de Softcatalà, deu preguntes, de les quals cal encertar-ne vuit per aprovar. Cada comparació porta uns dos minuts, i la interfície obliga a esperar almenys deu segons abans de votar.

Avui compara cinc models, segons la configuració del repositori: Qwen 3.8 27B, Mistral Small 3.2 24B Instruct, Gemma 4 26B A4B Instruct, Muse Glimmer 30B i Salamandra 7B Instruct 2606, aquest últim del BSC-CNS. Softcatalà els executa pel seu compte i genera les respostes per endavant, perquè fer-ho en temps real li suposaria un cost molt alt, explica el projecte. Desa una sola resposta per model i tasca, de manera que, com reconeix la documentació, no capta la variabilitat de cada model.

Una classificació que canvia amb cada vot

Segons Softcatalà, el marcador es recalcula amb cada vot i indica quins models responen millor en català, en conjunt i per tipus de tasca. Per dins, ajusta un model de Bradley-Terry als vots decisius i compta a part els empats i els «cap de les dues»; la confiança s'estima amb remostreig (bootstrap) agrupat per tasca, i la interfície avisa amb «No hi ha prou dades» o «Provisional» quan els vots no són suficients.

La nota de Softcatalà del 2 de novembre no inclou resultats ni posicions dels models.

Cada model nou multiplica la feina

Amb la prova de concepte completada, la meta següent del projecte és ampliar el nombre de models avaluats. El problema és que l'esforç creix de manera quadràtica: cada model nou s'ha de comparar amb tots els anteriors. Segons el document de dimensionament de Softcatalà, passar de 3 a 10 models multiplica per 15 la feina de cada avaluador que ho voti tot.

El disseny parteix d'uns 20 avaluadors fidels del nucli de col·laboradors de Softcatalà. Per a la prova de concepte, el document calcula uns 14 avaluadors i uns 1.200 vots, amb un marge d'error nominal de ±8,5 punts percentuals.

Dades obertes per entrenar models en català

Segons Softcatalà, tot el que s'hi aporti tornarà a la comunitat en obert: el que es validi a GarbellaVeus s'incorporarà a conjunts de dades oberts per entrenar sistemes de reconeixement de la parla que entenguin millor totes les varietats del català.

D'ArenaCat se'n publicaran les tasques, les respostes i les preferències. Aquest conjunt encara no s'ha publicat: la documentació el presenta com un objectiu pendent que permetria fer RLHF específic per al català. El codi és lliure, amb llicència MIT, i la metodologia, pública.

Donen suport a les plataformes l'Institut d'Estudis Catalans (IEC), l'acadèmia pluridisciplinària fundada el 1907 que estableix la normativa de la llengua catalana; el Departament de Política Lingüística de la Generalitat de Catalunya; el Projecte Aina i quatre entitats més, totes com a socis de difusió.