¿Qué IA habla mejor catalán? Que voten los catalanohablantes

Quien habla catalán, de jurado

Softcatalà presentó el 2 de noviembre de 2026 dos plataformas participativas con una misma idea: que sean las personas catalanohablantes, y no solo las máquinas, quienes decidan cómo debe sonar y escribirse el catalán en la tecnología. Según la asociación, no hace falta saber de inteligencia artificial: basta con hablar catalán y tener algo de criterio.

GarbellaVeus sirve para revisar a oído datos de voz en catalán. ArenaCat es una arena de modelos dedicada exclusivamente al catalán e inspirada en LMSYS Chatbot Arena, la plataforma de referencia en la que se vota a ciegas entre las respuestas de dos modelos.

Lo que las métricas no oyen

Según Softcatalà, la calidad de la IA en catalán depende de dos cosas que no se pueden automatizar del todo: datos de calidad y criterio humano para juzgar los resultados. Buena parte de los datos de voz en catalán se han generado y verificado de forma automática, y los modelos de lenguaje se suelen comparar con pruebas automáticas pensadas sobre todo para el inglés.

Esas pruebas, según la asociación, dejan escapar errores que cualquier hablante detecta enseguida: de concordancia, calcos, faltas de registro o confusiones dialectales. La documentación de ArenaCat habla además de sobreajuste a las métricas: la obsesión de los laboratorios por lucirse en ellas abre una desconexión con la experiencia real de los usuarios.

GarbellaVeus: escuchar, votar y corregir

GarbellaVeus invita a escuchar fragmentos de un corpus de habla catalana de Softcatalà, sacado de vídeos de plenos publicados con licencia libre. Se vota si la transcripción es correcta y si el dialecto detectado es el acertado, y se puede proponer una transcripción mejor o el dialecto correcto.

También se puede marcar un fragmento que no esté en catalán, que tenga música o ruido o en el que hablen varias personas, para que no contamine los datos. Cuando un fragmento acumula suficientes votos favorables, queda validado.

La plataforma incluye transcripciones verificadas de forma automática por el Barcelona Supercomputing Center–Centro Nacional de Supercomputación (BSC-CNS), cuya unidad de Tecnologías del Lenguaje trabaja en el Projecte Aina, el proyecto de IA que financia la Generalitat de Catalunya para potenciar el catalán en el mundo digital. Según Softcatalà, a ellas se suma ahora una capa de validación humana.

Hasta 920 horas de habla por revisar

Según su ficha, el corpus de origen reúne 231.684 fragmentos, unas 921,8 horas de habla catalana sacadas de 3.119 vídeos públicos con licencia reutilizable, hoy CC-BY en todos los fragmentos. Cada uno trae dos transcripciones automáticas independientes, y el género de quien habla también lo detecta una máquina; metadatos y transcripciones tienen licencia MIT.

La ficha advierte de que las transcripciones no están verificadas y de que los hablantes no dieron su consentimiento para que su voz acabara en un conjunto de datos de aprendizaje automático.

El BSC-CNS publicó una versión destilada de unas 207 horas, financiada por la Generalitat a través del Projecte Aina, que solo conserva los fragmentos en que coinciden dos sistemas de verificación automática. Según su ficha, solo el conjunto de prueba, 711 ficheros, lo anotaron personas.

Softcatalà reconoce que hoy predomina el registro institucional y quiere sumar más adelante habla espontánea y registros y hablantes poco representados. El catalán ya tiene recursos de voz abiertos, como Common Voice, el proyecto de Mozilla en el que voluntarios donan y validan grabaciones, o varios corpus parlamentarios; lo que falta, según la asociación, es habla espontánea, de muchos hablantes y verificada por personas.

ArenaCat: dos respuestas y ningún nombre

En ArenaCat se lee una tarea y dos respuestas, A y B, de modelos distintos cuyos nombres quedan ocultos para evitar sesgos de marca. Se elige la mejor, un empate o «ninguna de las dos». Las tareas son de corrección, reformulación, traducción y generación de textos, y los criterios, según Softcatalà, son la corrección y la naturalidad del catalán, el respeto del significado y el cumplimiento de las instrucciones.

Para votar hay que crear una cuenta y aprobar una sola vez una prueba de competencia lingüística de unos cinco minutos: según la documentación de Softcatalà, diez preguntas con ocho aciertos para aprobar. Cada comparación lleva unos dos minutos, y la interfaz obliga a esperar al menos diez segundos antes de votar.

Hoy compara cinco modelos, según la configuración del repositorio: Qwen 3.8 27B, Mistral Small 3.2 24B Instruct, Gemma 4 26B A4B Instruct, Muse Glimmer 30B y Salamandra 7B Instruct 2606, este último del BSC-CNS. Softcatalà los ejecuta por su cuenta y genera las respuestas de antemano, porque hacerlo en tiempo real le supondría mucho coste, explica el proyecto. Guarda una sola respuesta por modelo y tarea, así que, como reconoce la documentación, no capta la variabilidad de cada modelo.

Una clasificación que cambia con cada voto

Según Softcatalà, el marcador se recalcula con cada voto e indica qué modelos responden mejor en catalán, en conjunto y por tipo de tarea. Por dentro, ajusta un modelo de Bradley-Terry a los votos decisivos y cuenta aparte los empates y los «ninguna de las dos»; la confianza se estima con remuestreo (bootstrap) agrupado por tarea, y la interfaz avisa con «No hi ha prou dades» o «Provisional» cuando los votos no bastan.

La nota de Softcatalà del 2 de noviembre no incluye resultados ni posiciones de los modelos.

Cada modelo nuevo multiplica el trabajo

Con la prueba de concepto completada, la siguiente meta del proyecto es ampliar el número de modelos evaluados. El problema es que el esfuerzo crece de forma cuadrática: cada modelo nuevo hay que compararlo con todos los anteriores. Según el documento de dimensionamiento de Softcatalà, pasar de 3 a 10 modelos multiplica por 15 el trabajo de cada evaluador que lo vote todo.

El diseño parte de unos 20 evaluadores fieles del núcleo de colaboradores de Softcatalà. Para la prueba de concepto, el documento calcula unos 14 evaluadores y unos 1.200 votos, con un margen de error nominal de ±8,5 puntos porcentuales.

Datos abiertos para entrenar modelos en catalán

Según Softcatalà, todo lo que se aporte volverá a la comunidad en abierto: lo validado en GarbellaVeus se incorporará a conjuntos de datos abiertos para entrenar sistemas de reconocimiento del habla que entiendan mejor todas las variedades del catalán.

De ArenaCat se publicarán las tareas, las respuestas y las preferencias. Ese conjunto todavía no se ha publicado: la documentación lo da como objetivo pendiente que permitiría hacer RLHF específico para el catalán. El código es libre, con licencia MIT, y la metodología, pública.

Apoyan las plataformas el Institut d'Estudis Catalans (IEC), la academia pluridisciplinaria fundada en 1907 que establece la normativa de la lengua catalana; el Departamento de Política Lingüística de la Generalitat de Catalunya; el Projecte Aina y otras cuatro entidades, todas como socios de difusión.