Bloggartiklarna publiceras på spanska och katalanska.

Seguridad de la IA

OpenAI abre la puerta a los auditores y se queda la llave

OpenAI ha firmado acuerdos con cuatro evaluadores externos —Apollo Research, METR, Transluce y Goodfire— para que examinen la seguridad de sus modelos desde dentro, con acceso, según el encargo, a modelos sin publicar, código y datos de entrenamiento. Lo anunció el lunes 16 de noviembre. Pero, según OpenAI y Transluce, la empresa decide si amplía el acceso, elige con quién hablan y puede tachar lo confidencial de lo que publiquen.

Recibe el resumen diario de IA

Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.

Frecuencia:

Ilustración: un evaluador trabaja con su portátil dentro de una sala de cristal con el logotipo de OpenAI mientras, en la puerta, una empleada de OpenAI tacha con un rotulador negro las hojas de su informe.
📷 Imagen generada con IA

En resumen

  • OpenAI anunció el lunes 16 de noviembre su primera fase de evaluaciones embebidas, con cuatro organizaciones independientes.
  • Según Apollo Research, seis de sus evaluadores trabajarán dentro de OpenAI durante cuatro meses.
  • Transluce dice que su acceso «no es comparable» al de un empleado de OpenAI.
  • Paul Christiano, consejero de la OpenAI Foundation, ve, a título personal, el riesgo de que la IA tome el control en el próximo año más cerca de un 10 % que de un 1 %.

Cuatro equipos de fuera trabajarán dentro de OpenAI

OpenAI anunció el lunes 16 de noviembre acuerdos con cuatro evaluadores independientes —Apollo Research, METR, Transluce y Goodfire— para su primera fase de evaluaciones embebidas. Apollo y Transluce lo explican en sus notas.

Según OpenAI, cada evaluador recibirá, en función del encargo, parte de los recursos que usan sus investigadores: modelos internos, código, datos de entrenamiento y evaluación, sistemas de vigilancia, documentación y charlas con quienes hacen el trabajo. El foco inicial es el alineamiento (AI alignment) y las salvaguardas durante el entrenamiento y el uso interno.

La empresa lo enmarca en el White House Accord on Super Intelligence, el pacto de la Casa Blanca en el que se comprometió a someter sus controles de seguridad a evaluaciones independientes, y admite que estas evaluaciones aún no tienen normas estándar.

Antes, OpenAI despidió a tres personas de sus equipos de seguridad y alineamiento; según la empresa, por manejar información sensible fuera de sus procedimientos. Una de ellas, Korbak, ha dicho que fue el contacto técnico de OpenAI con METR durante la investigación de un incidente con Hugging Face. Anthropic, por su parte, ya tiene dentro a seis empleados de METR.

Apollo busca modelos que trabajen a escondidas

Apollo Research, una corporación de beneficio público (PBC, public benefit corporation) que estudia cómo surge la maquinación en los modelos y cómo detectarla, comprobará si los de OpenAI podrían actuar a escondidas contra sus desarrolladores y si las salvaguardas lo detectarían. Su web no dice quién la financia.

Según OpenAI, pondrá a prueba cuatro afirmaciones: que el entrenamiento no incentivó ese comportamiento, que las pruebas exigentes no lo provocan, que no se ha dado en el uso interno y que su razonamiento sería detectable. Según Apollo, para la primera tendrá código y datos de entrenamiento, trazas de razonamiento y versiones intermedias del modelo; el acceso para las otras tres está por pactar.

METR, Transluce y Goodfire miran otras piezas

Los cuatro evaluadores que entran en OpenAI
Organización Qué examina Acceso y plazo ¿Cobra de OpenAI? ¿Qué puede publicar?
Apollo Research Si los modelos actúan a escondidas contra sus desarrolladores y si las salvaguardas lo detectarían Seis evaluadores durante cuatro meses; código y datos de entrenamiento, trazas de razonamiento y puntos de control para la primera de sus cuatro afirmaciones; el resto, por pactar Sí, sin depender del resultado Dos informes; OpenAI puede pedir que se tachen pruebas, no los veredictos
Goodfire El interior de los modelos, para vigilar y depurar entrenamientos Investigadores de interpretabilidad integrados, con su propia plataforma Sí, sin depender del resultado Aprendizajes y hallazgos a medida que avance; su público principal son los investigadores de OpenAI
METR Conducta desalineada en el mayor entrenamiento por refuerzo de OpenAI hasta la fecha Puntos de control, trayectorias y registros de vigilancia de ese entrenamiento; una segunda evaluación, de los monitores, sin alcance pactado No; puede aceptar créditos de API o cómputo Con independencia, salvo lo confidencial que OpenAI tache
Transluce La calidad y la cobertura de las evaluaciones de alineamiento de OpenAI Seis semanas desde diciembre; modelos sin publicar, al menos uno solo interno, y su cadena de pensamiento en bruto No; OpenAI cubre cómputo y puesto Con revisión previa de OpenAI y nada sobre modelos solo internos
Datos según OpenAI, Apollo Research y Transluce. En todos los casos, OpenAI puede tachar información confidencial y pedir que se retrase la publicación.

METR (Model Evaluation & Threat Research), organización sin ánimo de lucro que estudia si los desarrolladores de los agentes de IA más avanzados van camino de perder su control, se financia con donaciones y dice no aceptar dinero de empresas de IA. Según OpenAI, buscará conducta desalineada en su mayor entrenamiento por aprendizaje por refuerzo (RL, reinforcement learning) hasta la fecha, un alcance que la propia OpenAI reconoce menor que el que METR proponía. Ya investigó con OpenAI el incidente de julio con Hugging Face, la plataforma de modelos de IA.

Transluce, laboratorio sin ánimo de lucro dedicado a la supervisión pública de la IA, financiado por particulares y organizaciones filantrópicas y dirigido por su cofundador, Jacob Steinhardt, examinará según su nota si las evaluaciones de alineamiento de OpenAI captan engaño, manipulación y hackeo de recompensa (reward hacking). Verá la cadena de pensamiento (CoT, chain of thought) en bruto, el razonamiento que el modelo escribe antes de responder.

Goodfire, laboratorio de San Francisco y corporación de beneficio público fundada por investigadores que venían de OpenAI y Google DeepMind, que ha captado más de 200 millones de dólares, entre otros de Menlo, Lightspeed y B Capital, aportará investigadores de interpretabilidad (interpretability), la disciplina que estudia qué pasa dentro del modelo para entender por qué responde como responde.

La llave la guarda OpenAI

Según el protocolo que publica OpenAI, la empresa autoriza qué empleados pueden hablar con los evaluadores, aunque estos pueden pedir más nombres. Esas charlas son confidenciales: sirven para evaluar, pero no se pueden publicar ni atribuir.

Quien maneje información confidencial trabajará en las oficinas de OpenAI y con sus dispositivos. Según Apollo, «por defecto, los evaluadores no tienen acceso a ninguno de los canales generales (como Slack) que tendría un investigador de seguridad de OpenAI». Publican con independencia, pero OpenAI puede tachar lo confidencial y pedir retrasos para corregir fallos de riesgo.

Con Apollo, según su nota, OpenAI ha aceptado no retener nada «simplemente porque la información sea desfavorable». Transluce, que dice que su acceso «no es comparable» al de un empleado, resume: «Podemos pedir más acceso sobre la marcha, y OpenAI decide si lo obtenemos».

Para Buck Shlegeris, consejero delegado de Redwood Research —entidad sin ánimo de lucro que impulsó la investigación en «control de la IA»—, los acuerdos no llegan al listón del acceso de empleado: «decepcionante, pero no sorprendente», según recoge el medio tecnológico TechCrunch.

Las disputas acaban en un comité de la fundación

El Comité de Seguridad y Protección (SSC, Safety and Security Committee) es, según OpenAI, un comité independiente de supervisión del consejo de la OpenAI Foundation, la fundación sin ánimo de lucro que controla OpenAI Group PBC. Recibirá los informes sin tachar y podrá hablar en privado con los evaluadores.

Los desacuerdos suben al Grupo Asesor de Seguridad (Safety Advisory Group) y a los directivos de OpenAI; si persisten, decide el SSC.

Christiano ve el riesgo más cerca del 10 % que del 1 %

Paul Christiano es desde el 9 de septiembre miembro del consejo de la OpenAI Foundation y de su Comité de Seguridad y Protección, y en una entrevista publicada el 16 de noviembre aclaró que hablaba a título personal: «Es muy importante en esta conversación que no hablo como miembro del consejo de OpenAI». Fundó el Alignment Research Center, entidad sin ánimo de lucro que investiga cómo alinear la IA avanzada con los intereses humanos.

Preguntado por el riesgo de que la IA tome el control o deje sin poder a la humanidad en el próximo año, respondió: «Diría que estamos más cerca de un riesgo del 10 % que de uno del 1 %».

En la entrevista no habló de estos acuerdos. Sobre la posibilidad de que haya sistemas capaces de derrocar gobiernos en un año, pidió que el público vea los datos de base, no solo las conclusiones: «No deberíamos depender de que METR y Anthropic lo digan».

Conclusión

Apollo llama al piloto «un primer paso significativo», aunque admite que aún no cumple sus criterios de acceso de empleado. La prueba llegará con los informes: cuánto sale al público y cuánto se queda tachado.

Fuentes primarias

Comentarios

Sé respetuoso. Los comentarios se moderan.

    Recibe el resumen diario de IA

    Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.

    Frecuencia:

    ← Volver al blog