Seguridad de la IA
Ya existe un estándar de evaluación de IAs imparcial
Se llama AEF-1, está publicado desde el 4 de diciembre de 2025 y no es un compromiso que las empresas de IA firmen, sino una lista de comprobación que rellena el propio evaluador: ningún laboratorio de IA figura en él. Lo escribieron las organizaciones que examinan modelos ajenos y fija las cinco condiciones mínimas que necesita un evaluador independiente —acceso, autonomía y derecho a publicar, entre otras—; la Oficina Europea de IA ya ha respaldado disposiciones clave. Esta semana varios laboratorios han prometido evaluadores incrustados, y ninguno aparece ahí.
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
En resumen
- AEF-1 es un estándar voluntario de condiciones mínimas de trabajo para los evaluadores externos de modelos de IA; su versión 1 lleva fecha de 4 de diciembre de 2025.
- Lo publica el AI Evaluator Forum, fundado ese mismo día por ocho organizaciones evaluadoras, ninguna de ellas una empresa que venda modelos. Su web no dice quién lo financia.
- No se firma: se acredita publicando una lista de comprobación junto a los resultados. Ya lo han aplicado tres de sus fundadores —Transluce, METR y SecureBio— y la Oficina Europea de IA ha respaldado disposiciones clave.
- El 12 de septiembre de 2026 Dario Amodei propuso los evaluadores incrustados y el 13 lo respaldaron Sam Altman y Elon Musk; ninguna de esas empresas figura en la web del foro.
El estándar lo escribieron los evaluadores, no las empresas evaluadas
AEF-1 no es un compromiso que las empresas de IA suscriban. Su propia página lo define como «un estándar y una lista de comprobación que los evaluadores externos pueden usar para demostrar cómo alcanzaron un conjunto de condiciones operativas que respaldan un nivel básico de independencia, acceso y transparencia».
Es voluntario y funciona al revés de lo habitual: en vez de pedir a la empresa examinada que prometa algo, obliga al examinador a enseñar en qué condiciones trabajó. Rellena la lista, la publica con los resultados y el lector juzga cuánto margen tuvo.
Leer más: AI Evaluator Forum — Minimum operating conditions (AEF-1) ↗
Ocho organizaciones fundaron el foro, y no consta quién lo financia
| Organización | Qué es |
|---|---|
| Transluce | Laboratorio de investigación independiente y sin ánimo de lucro con sede en San Francisco; construye herramientas abiertas para entender el comportamiento de los modelos y se financia con donaciones, sin publicar quién se las hace |
| METR | Model Evaluation and Threat Research: organización estadounidense sin ánimo de lucro que evalúa qué tareas pueden completar solos los modelos de IA más avanzados y qué riesgos entrañan |
| RAND Corporation | Centro de análisis estadounidense sin ánimo de lucro y sin filiación partidista, fundado en 1948; desarrolla métodos de evaluación de capacidades peligrosas |
| Holistic Agent Leaderboard (Universidad de Princeton) | Clasificación universitaria independiente que compara agentes de IA teniendo en cuenta también lo que cuesta ejecutarlos |
| SecureBio | Organización estadounidense sin ánimo de lucro, con sede en Cambridge (Massachusetts), dedicada a prevenir pandemias catastróficas; evalúa el riesgo de uso indebido de la IA en bioseguridad |
| Collective Intelligence Project | Organización estadounidense sin ánimo de lucro que trabaja para meter la deliberación ciudadana en el desarrollo y la evaluación de la IA |
| Meridian Labs | Organización sin ánimo de lucro con sede en Boston que construye herramientas de código abierto para evaluar modelos y agentes |
| AI Verification and Evaluation Research Institute (AVERI) | Instituto privado estadounidense sin ánimo de lucro, financiado con donaciones, que investiga y ensaya auditorías externas de los grandes laboratorios |
Los ocho fundadores son laboratorios sin ánimo de lucro, centros de análisis y un equipo universitario. Ninguno es una empresa de las que venden modelos de IA, que es justo lo que da sentido al estándar: quien lo escribió no se examina a sí mismo.
El foro se presentó con un acto junto al congreso NeurIPS 2025 y una carta pública, «Transparency about Third-Party AI Evaluations», firmada por más de 40 voces: entre ellas Yoshua Bengio, catedrático de la Universidad de Montreal y fundador del instituto público de investigación Mila; Percy Liang, profesor titular de la Universidad de Stanford; Stella Biderman, directora ejecutiva del laboratorio sin ánimo de lucro EleutherAI, y Beth Barnes, directora ejecutiva de METR. Firman a título personal, y una firma personal no compromete a ninguna compañía.
De un foro que pide a los demás que enseñen sus condiciones, quién paga es un dato pertinente. Y no consta: su web no lo publica.
Leer más: AI Evaluator Forum — Lanzamiento (4 de diciembre de 2025) ↗
Cinco principios, y una lista de comprobación que se publica con el informe
| Principio | Qué tiene que garantizar |
|---|---|
| Acceso y recursos suficientes | Acceso técnico al modelo, información, recursos de cómputo, tiempo y puerto seguro jurídico |
| Conflictos de interés minimizados | Retribución no supeditada a resultados, control organizativo, política de conflictos y su divulgación, recusaciones y acuerdos separados |
| Autonomía analítica | Definición del alcance, autonomía de la evaluación, acceso directo y control editorial |
| Métodos y resultados transparentes | Transparencia metodológica, derechos de divulgación, publicación no supeditada a resultados, prohibición de tergiversar, plazos y advertencia de las redacciones aplicadas |
| Protección de la información sensible | Condiciones de publicación, integridad de la evaluación, tratamiento de la información confidencial y política de divulgación responsable |
Son cinco principios, y cada uno agrupa condiciones que el evaluador debe poder documentar: desde el puerto seguro jurídico hasta el derecho a publicar aunque el resultado incomode.
Leer más: AI Evaluator Forum — Minimum operating conditions (AEF-1) ↗
La Oficina Europea de IA ha respaldado disposiciones clave
El respaldo llega de la Oficina Europea de IA, el organismo comunitario que vela por el Código de Buenas Prácticas de IA de propósito general: ha avalado disposiciones clave de AEF-1 como vía para cumplir los requisitos de independencia de ese código. Ahí está el salto de una buena práctica gremial a algo que un regulador reconoce.
Ya lo han aplicado tres de los ocho fundadores: Transluce, en una evaluación sobre salud mental de 77 variantes de modelo en agosto de 2026; METR, en su Frontier Risk Report de mayo de 2026 sobre modelos de Anthropic, Google, Meta y OpenAI; y SecureBio, en bioseguridad. La página que los recoge se titula «AEF-1 in practice», no «firmantes».
Los laboratorios prometen evaluadores incrustados, pero no aparecen en el estándar
El 12 de septiembre de 2026, Dario Amodei publicó el ensayo «We Must Pace the Frontier», donde propone los evaluadores incrustados. Al día siguiente, Sam Altman dijo que «comprometerse a tener evaluadores independientes con acceso de tipo empleado es una gran idea» y Elon Musk escribió que «Dario tiene razón».
Eso es apoyo a una propuesta, y no conviene confundirlo con otra cosa: ninguno de los dos habló de AEF-1, y ni xAI, ni OpenAI, ni Anthropic —tres de los laboratorios frontier del sector— aparecen en la web del AI Evaluator Forum, ni entre quienes aplican el estándar ni en la carta.
El mismo sábado 12, poco después del ensayo, Clément Delangue —cofundador y consejero delegado de Hugging Face, la plataforma donde la comunidad publica modelos de IA abiertos— anunció que la empresa lanzaba la Open Alignment Initiative, dirigida por Thomas Wolf, cofundador y director científico de la casa, y pidió entrar en el programa de evaluadores incrustados. Wolf ya había anunciado un «Open Alignment team» el 10 de septiembre; la iniciativa no tiene todavía página propia localizable.
Leer más: Clément Delangue — anuncio de la Open Alignment Initiative (12 de septiembre de 2026) ↗
Conclusión
La tensión se ve con las dos piezas sobre la mesa. Por un lado, un estándar escrito por quienes evalúan desde fuera, con las condiciones nombradas una a una, respaldado en parte por un regulador europeo y ya usado en evaluaciones publicadas. Por otro, una promesa de acceso desde dentro, apoyada en dos días por las empresas más grandes del sector, sin ningún compromiso escrito y con el laboratorio decidiendo quién entra y con qué margen. Quien pide entrar desde fuera, de momento, solo pide.
Fuentes primarias
- AI Evaluator Forum — Minimum operating conditions (AEF-1) ↗
- AI Evaluator Forum — Lanzamiento del foro (4 de diciembre de 2025) ↗
- AI Evaluator Forum — Miembros del foro ↗
- AI Evaluator Forum — Carta «Transparency about Third-Party AI Evaluations» y sus firmantes ↗
- Clément Delangue — Open Alignment Initiative (12 de septiembre de 2026) ↗
- Dario Amodei — «We Must Pace the Frontier» (12 de septiembre de 2026) ↗
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
Comentarios