Recerca
L'avaluació de models d'IA s'ha convertit en el veritable camp de batalla
Cada anunci d'un nou model arriba acompanyat d'una taula de resultats que promet superioritat, però la comunitat investigadora fa temps que adverteix que aquestes xifres diuen menys del que sembla. La contaminació de dades, la manca de reproductibilitat i l'elecció interessada de proves converteixen el rànquing en un exercici de màrqueting. Entendre com es mesura un model és avui tan important com entendre com s'entrena.
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
En resum
- El marc HELM (Avaluació Holística de Models de Llenguatge), publicat pel Centre de Recerca en Models Fundacionals de Stanford, va proposar avaluar els models en múltiples escenaris i mètriques simultànies en lloc d'una única puntuació agregada.
- L'eina oberta lm-evaluation-harness, mantinguda per EleutherAI, s'ha consolidat com a infraestructura comuna per reproduir avaluacions amb la mateixa configuració de prompts (instruccions d'entrada) i descodificació.
- La contaminació de dades, és a dir, la presència del conjunt de prova dins del corpus d'entrenament, és l'errada metodològica més citada a l'hora d'invalidar comparacions entre models.
- L'AI Risk Management Framework del NIST (Institut Nacional d'Estàndards i Tecnologia dels Estats Units) situa el mesurament i la documentació com a funcions centrals de qualsevol desplegament responsable.
Un número no descriu un model
La pràctica habitual de resumir la capacitat d'un LLM (model de llenguatge gran) en un grapat de percentatges amaga una simplificació greu. Un mateix sistema pot destacar en raonament matemàtic i fallar en tasques de recuperació d'informació llarga o en robustesa davant d'instruccions ambigües. HELM va articular aquesta crítica en proposar una matriu d'escenaris i mètriques on precisió, calibratge, biaix, toxicitat i eficiència es reporten per separat.
L'efecte pràctic és que dos models amb una mitjana similar poden comportar-se de manera radicalment diferent en producció. Per a un equip que integra IA en un producte, la mètrica rellevant gairebé mai no coincideix amb la que apareix a l'anunci: importa el rendiment en el seu domini, amb les seves dades i amb la seva tolerància a l'error.
La reproductibilitat depèn de detalls invisibles
Dues avaluacions del mateix model sobre la mateixa prova de rendiment (benchmark) poden divergir uns quants punts segons com es formuli el prompt, quants exemples s'incloguin en el context, quina temperatura de mostreig s'utilitzi o com s'extregui la resposta final del text generat. Sense publicar aquesta configuració, la xifra no és verificable.
Aquí rau el valor de les suites obertes com lm-evaluation-harness: fixen implementacions concretes de cada tasca i permeten que un tercer repeteixi l'experiment. La comparació honesta exigeix que tots dos models passin pel mateix arnès d'avaluació, no que cada laboratori reporti el seu millor resultat obtingut amb el seu propi mètode.
La contaminació erosiona la confiança en les proves públiques
Quan un conjunt de prova fa anys que circula per internet, és probable que hagi acabat dins del corpus de preentrenament. El model no raona: recorda. Aquest fenomen, conegut com a contaminació de dades, explica per què les puntuacions en proves veteranes tendeixen a saturar-se mentre que el comportament real amb prou feines millora en la mateixa proporció.
Les respostes del sector passen per conjunts privats o de renovació periòdica, per avaluacions dinàmiques generades sobre la marxa i per la comparació humana cega entre parells de respostes. Cap no és perfecta: els conjunts privats sacrifiquen transparència i les comparacions humanes introdueixen preferències per l'estil abans que per la correcció.
El mesurament s'està convertint en requisit regulatori
L'AI Risk Management Framework del NIST estructura la gestió de riscos al voltant de quatre funcions, i una d'elles, mesurar, obliga a documentar què s'ha avaluat, amb quin mètode i amb quines limitacions. La lògica és la mateixa que en la validació de programari crític: sense traçabilitat de la prova, no hi ha garantia verificable.
Per a les organitzacions europees això implica que l'avaluació deixa de ser una diapositiva comercial i passa a ser documentació tècnica exigible. Construir un banc de proves intern, amb casos propis i criteris d'acceptació escrits, resulta més útil que perseguir el primer lloc de qualsevol classificació pública.
Conclusió
El debat sobre com avaluar la IA ha deixat de ser una discussió acadèmica per convertir-se en el filtre que separa les promeses de les capacitats reals. Mentre la indústria continuï competint per titulars basats en taules irreproduïbles, l'escletxa entre allò anunciat i allò lliurat continuarà alimentant tant l'entusiasme desmesurat com la desconfiança posterior. La conseqüència pràctica per a qualsevol equip és clara: l'únic rànquing que importa és el que es construeix amb dades pròpies, criteris explícits i la disciplina de repetir el mesurament cada vegada que el model canvia.
Fonts primàries
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
Comentarios