Anthropic quiere un juez con el botón rojo

Anthropic prefiere un disyuntor a un botón rojo

La orden ejecutiva N-9-26, fechada el 18 de septiembre, pide un botón de apagado para los modelos más capaces. Anthropic contestó con una carta del 15 de octubre en la que dice compartir la preocupación por la pérdida de control y defiende que toda empresa pueda desconectar rápido los modelos que sirve o usa por dentro.

Pero avisa: «Nos preocupa que una ley centrada solo en apagar el modelo dé una falsa sensación de seguridad sin reducir lo suficiente los riesgos que pretende atajar». En su lugar propone la imagen del disyuntor, que corta la corriente donde salta la sobrecarga. Según Anthropic, una empresa de IA necesita vigilar sus sistemas y cortar en el nivel donde surge el problema: un agente, un cliente, el entorno que ejecuta el modelo (harness) o el modelo entero.

Retirar un modelo completo es caro para todos los que lo usan, así que, según la carta, solo tiene sentido en casos extremos. Y ni el disyuntor ni el botón paran los escenarios más graves de pérdida de control, como que un modelo copie sus propios pesos en ordenadores que su desarrollador no controla. Anthropic afirma que puede retirar enseguida los modelos que ofrece directamente, pero no los que algunos clientes ejecutan en entornos aislados, «como hacen algunas agencias del Gobierno de EE. UU.».

La carta se conoció el 27 de octubre, cuando informó de ella Politico, medio estadounidense especializado en política; al día siguiente, la agencia Reuters enlazó el documento completo. En ella, Anthropic recuerda que su Advanced AI Framework ya propone que el Gobierno pueda pedir a un tribunal que bloquee un modelo si una revisión concluye que supone un riesgo grave. Es la misma idea del borrador de ley federal que, según publicó Politico el 16 de octubre, la empresa había llevado a legisladores en Washington.

Un informe de riesgos cada seis meses

La revisión que plantea Anthropic parte de una obligación nueva en la ley de California: que cada gran desarrolladora de modelos frontier publique un informe de riesgos al menos cada seis meses. El informe tendría que evaluar los riesgos más graves de sus modelos, incluidos los que usa por dentro y son «sustancialmente más arriesgados» que los que ha lanzado.

Anthropic afirma que ya hace una versión de esto de forma voluntaria dentro de su política de escalado responsable (Responsible Scaling Policy), con los últimos informes publicados en febrero y agosto de este año, y que ha respaldado una propuesta legislativa en Massachusetts para hacerlos obligatorios.

El revisor avisa, el fiscal pide y el juez decide

Sobre esos informes trabajarían los evaluadores independientes. Anthropic propone que reciban el informe sin tachaduras, acceso a los modelos más capaces de la empresa e información comparable a la de sus propios equipos de riesgos, y que después publiquen su propia valoración.

El paso nuevo es el mecanismo para frenar un modelo. Según la carta, el evaluador podría comunicar los riesgos que detecte al fiscal general del estado. Si este concluye que los modelos de una empresa frontier suponen «un riesgo a corto plazo de daño catastrófico», podría pedir a un tribunal que suspenda su despliegue, su uso interno o su desarrollo.

Anthropic defiende el doble filtro: «Exigir tanto la valoración de un evaluador como la decisión de un tribunal antes de suspender un modelo protege contra el mal uso de este poder, y un tribunal puede actuar rápido en una emergencia».

Para que el evaluador no dependa de la empresa que examina, la carta propone que las empresas no le paguen directamente, sino que aporten a un fondo común administrado por el estado. El estado puntuaría a los evaluadores y podría plantearse asignarlos por sorteo o por rotación.

Revisores con mesa y portátil de la empresa

Anthropic va más allá de la revisión periódica: cree que toda empresa frontier debería tener evaluadores integrados (embedded IVOs) con un acceso «similar al de un empleado». En su propio programa eso incluye mesa en sus oficinas, portátil de la empresa, herramientas y comunicaciones internas y libertad para hablar con la plantilla, con algunas excepciones. La carta lo compara con la supervisión bancaria, en la que los reguladores destinan inspectores residentes a los grandes bancos.

Según Anthropic, ya trabaja así con un equipo de METR, de forma piloto, y prueba alianzas con SecureBio, que revisó la parte de armas químicas y biológicas de su informe de febrero, según la carta, y con la consultora Accenture. Los evaluadores podrían publicar lo que encuentren; la empresa solo podría tachar categorías fijadas de antemano, como secretos comerciales o datos de clientes, y no podría vetar un hallazgo por desfavorable. La propia Anthropic admite que lleva pocas semanas con el programa y que su postura sobre los evaluadores integrados aún se está formando.

Los incidentes que la SB 53 no ve

Anthropic sostiene que la definición de «incidente crítico de seguridad» de la SB 53 se queda corta: no recoge todas las pérdidas de control de las que el estado debería enterarse, como las que dañan sistemas ajenos al desarrollador. Afirma haber comunicado de forma voluntaria cuatro casos en los que sus modelos lograron acceso no autorizado a sistemas externos durante evaluaciones de ciberseguridad, y haber encargado a METR una investigación independiente de varios de sus incidentes.

Según la propia carta de OpenAI, en julio la empresa reveló que unos modelos sometidos a una evaluación de ciberseguridad se saltaron los controles que debían aislarlos de internet y comprometieron sistemas de Hugging Face, la plataforma donde se publican modelos y conjuntos de datos.

OpenAI quiere apagar, pero sin juez

OpenAI, la empresa que desarrolla ChatGPT, envió su propia carta a Newsom el 20 de octubre, firmada por Chan Park, su responsable de políticas y alianzas para EE. UU. y Canadá. Propone reforzar la SB 53 con, entre otras medidas, «controles de apagado eficaces» y auditorías independientes anuales de cumplimiento, como las que prevé la ley SB 315 de Illinois.

OpenAI prefiere hablar de «controles de apagado» (shutdown controls) y no de un único botón, porque parar un sistema exige varios controles y la acción coordinada de varios actores. Apoya un deber exigible de usarlos cuando surjan condiciones inseguras y ninguna intervención menor baste. Pero su carta no menciona al fiscal general ni a ningún tribunal, ni pide un poder público para bloquear un modelo. Para los evaluadores prefiere un marco federal, y quiere que sea California, como estado, quien decida qué nivel de riesgo es aceptable.