Seguretat de la IA
Ja hi ha un estàndard d'avaluació d'IA imparcial
Es diu AEF-1, està publicat des del 4 de desembre del 2025 i no és cap compromís que signin les empreses d'IA, sinó una llista de comprovació que emplena l'avaluador mateix: cap laboratori d'IA no hi figura. El van escriure les organitzacions que examinen models aliens i fixa les cinc condicions mínimes que necessita un avaluador independent —accés, autonomia i dret a publicar, entre altres—; l'Oficina Europea d'IA ja n'ha avalat disposicions clau. Aquesta setmana diversos laboratoris han promès avaluadors incrustats, i cap no hi apareix.
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
En resum
- AEF-1 és un estàndard voluntari de condicions mínimes de treball per als avaluadors externs de models d'IA; la versió 1 porta data del 4 de desembre del 2025.
- El publica l'AI Evaluator Forum, fundat aquell mateix dia per vuit organitzacions avaluadores, cap de les quals no és una empresa que vengui models. El seu web no diu qui el finança.
- No se signa: s'acredita publicant una llista de comprovació al costat dels resultats. Ja l'han aplicat tres dels seus fundadors —Transluce, METR i SecureBio— i l'Oficina Europea d'IA n'ha avalat disposicions clau.
- El 12 de setembre del 2026 Dario Amodei va proposar els avaluadors incrustats i el 13 el van secundar Sam Altman i Elon Musk; cap d'aquestes empreses no figura al web del fòrum.
L'estàndard el van escriure els avaluadors, no les empreses avaluades
AEF-1 no és un compromís que subscriguin les empreses d'IA. La seva pàgina el defineix com «un estàndard i una llista de comprovació que els avaluadors externs poden fer servir per demostrar com van assolir un conjunt de condicions operatives que sostenen un nivell bàsic d'independència, accés i transparència».
És voluntari i funciona a l'inrevés del que és habitual: en comptes de demanar a l'empresa examinada que prometi res, obliga l'examinador a ensenyar en quines condicions va treballar. Emplena la llista, la publica amb els resultats i el lector jutja quant marge va tenir.
Llegir-ne més: AI Evaluator Forum — Minimum operating conditions (AEF-1) ↗
Vuit organitzacions van fundar el fòrum, i no consta qui el finança
| Organització | Què és |
|---|---|
| Transluce | Laboratori de recerca independent i sense ànim de lucre amb seu a San Francisco; construeix eines obertes per entendre el comportament dels models i es finança amb donacions, sense publicar qui les fa |
| METR | Model Evaluation and Threat Research: organització nord-americana sense ànim de lucre que avalua quines tasques poden completar sols els models d'IA més avançats i quins riscos comporten |
| RAND Corporation | Centre d'anàlisi nord-americà sense ànim de lucre i sense filiació partidista, fundat el 1948; desenvolupa mètodes d'avaluació de capacitats perilloses |
| Holistic Agent Leaderboard (Universitat de Princeton) | Classificació universitària independent que compara agents d'IA tenint en compte també el que costa executar-los |
| SecureBio | Organització nord-americana sense ànim de lucre, amb seu a Cambridge (Massachusetts), dedicada a prevenir pandèmies catastròfiques; avalua el risc d'ús indegut de la IA en bioseguretat |
| Collective Intelligence Project | Organització nord-americana sense ànim de lucre que treballa per incorporar la deliberació ciutadana en el desenvolupament i l'avaluació de la IA |
| Meridian Labs | Organització sense ànim de lucre amb seu a Boston que construeix eines de codi obert per avaluar models i agents |
| AI Verification and Evaluation Research Institute (AVERI) | Institut privat nord-americà sense ànim de lucre, finançat amb donacions, que investiga i assaja auditories externes dels grans laboratoris |
Els vuit fundadors són laboratoris sense ànim de lucre, centres d'anàlisi i un equip universitari. Cap no és una empresa de les que venen models d'IA, que és justament el que dona sentit a l'estàndard: qui el va escriure no s'examina a si mateix.
El fòrum es va presentar amb un acte al costat del congrés NeurIPS 2025 i una carta pública, «Transparency about Third-Party AI Evaluations», signada per més de 40 veus: entre altres, Yoshua Bengio, catedràtic de la Universitat de Montreal i fundador de l'institut públic de recerca Mila; Percy Liang, professor titular de la Universitat de Stanford; Stella Biderman, directora executiva del laboratori sense ànim de lucre EleutherAI, i Beth Barnes, directora executiva de METR. Signen a títol personal, i una signatura personal no compromet cap companyia.
D'un fòrum que demana als altres que ensenyin les seves condicions, qui paga és una dada pertinent. I no consta: el seu web no ho publica.
Llegir-ne més: AI Evaluator Forum — Llançament (4 de desembre del 2025) ↗
Cinc principis, i una llista de comprovació que es publica amb l'informe
| Principi | Què ha de garantir |
|---|---|
| Accés i recursos suficients | Accés tècnic al model, informació, recursos de còmput, temps i port segur jurídic |
| Conflictes d'interès minimitzats | Retribució no supeditada a resultats, control organitzatiu, política de conflictes i la seva divulgació, recusacions i acords separats |
| Autonomia analítica | Definició de l'abast, autonomia de l'avaluació, accés directe i control editorial |
| Mètodes i resultats transparents | Transparència metodològica, drets de divulgació, publicació no supeditada a resultats, prohibició de tergiversar, terminis i advertiment de les supressions aplicades |
| Protecció de la informació sensible | Condicions de publicació, integritat de l'avaluació, tractament de la informació confidencial i política de divulgació responsable |
Són cinc principis, i cadascun agrupa condicions que l'avaluador ha de poder documentar: des del port segur jurídic fins al dret a publicar encara que el resultat incomodi.
Llegir-ne més: AI Evaluator Forum — Minimum operating conditions (AEF-1) ↗
L'Oficina Europea d'IA ha avalat disposicions clau
El suport arriba de l'Oficina Europea d'IA, l'organisme comunitari que vetlla pel Codi de Bones Pràctiques d'IA de propòsit general: ha avalat disposicions clau d'AEF-1 com a via per complir els requisits d'independència d'aquest codi. Aquí hi ha el salt d'una bona pràctica gremial a una cosa que un regulador reconeix.
Ja l'han aplicat tres dels vuit fundadors: Transluce, en una avaluació sobre salut mental de 77 variants de model l'agost del 2026; METR, en el seu Frontier Risk Report del maig del 2026 sobre models d'Anthropic, Google, Meta i OpenAI; i SecureBio, en bioseguretat. La pàgina que els recull es titula «AEF-1 in practice», no «signants».
Els laboratoris prometen avaluadors incrustats, però no apareixen a l'estàndard
El 12 de setembre del 2026, Dario Amodei va publicar l'assaig «We Must Pace the Frontier», on proposa els avaluadors incrustats. L'endemà, Sam Altman va dir que «comprometre's a tenir avaluadors independents amb accés de tipus empleat és una gran idea» i Elon Musk va escriure que «Dario té raó».
Això és suport a una proposta, i no convé confondre-ho amb res més: cap dels dos no va parlar d'AEF-1, i ni xAI, ni OpenAI, ni Anthropic —tres dels laboratoris frontier del sector— no apareixen al web de l'AI Evaluator Forum, ni entre els qui apliquen l'estàndard ni a la carta.
El mateix dissabte 12, poc després de l'assaig, Clément Delangue —cofundador i conseller delegat de Hugging Face, la plataforma on la comunitat publica models d'IA oberts— va anunciar que l'empresa llançava l'Open Alignment Initiative, dirigida per Thomas Wolf, cofundador i director científic de la casa, i va demanar entrar al programa d'avaluadors incrustats. Wolf ja havia anunciat un «Open Alignment team» el 10 de setembre; la iniciativa encara no té pàgina pròpia localitzable.
Llegir-ne més: Clément Delangue — anunci de l'Open Alignment Initiative (12 de setembre del 2026) ↗
Conclusió
La tensió es veu amb les dues peces sobre la taula. D'una banda, un estàndard escrit per qui avalua des de fora, amb les condicions anomenades una a una, avalat en part per un regulador europeu i ja fet servir en avaluacions publicades. De l'altra, una promesa d'accés des de dins, secundada en dos dies per les empreses més grans del sector, sense cap compromís escrit i amb el laboratori decidint qui entra i amb quin marge. Qui demana entrar des de fora, de moment, només demana.
Fonts primàries
- AI Evaluator Forum — Minimum operating conditions (AEF-1) ↗
- AI Evaluator Forum — Llançament del fòrum (4 de desembre del 2025) ↗
- AI Evaluator Forum — Membres del fòrum ↗
- AI Evaluator Forum — Carta «Transparency about Third-Party AI Evaluations» i els seus signants ↗
- Clément Delangue — Open Alignment Initiative (12 de setembre del 2026) ↗
- Dario Amodei — «We Must Pace the Frontier» (12 de setembre del 2026) ↗
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
Comentarios