Anthropic mete a los evaluadores en casa

Seis evaluadores con oficina en Anthropic

Anthropic, la empresa que desarrolla Claude, anunció el jueves 15 de octubre que ha empezado a dar «acceso de tipo empleado» a un equipo de METR. En la práctica, seis empleados de esa organización trabajan con ordenadores de la empresa, oficina y acceso a herramientas y sistemas internos que, según Anthropic, están aproximadamente al nivel de los que usan sus propios equipos de evaluación de riesgos.

Hay excepciones, unas pocas categorías bien definidas: por ejemplo, los datos de clientes, la información protegida por el secreto profesional entre abogado y cliente o la arquitectura de los modelos. Esta última la reserva por el riesgo de filtraciones involuntarias, ya que estos evaluadores pueden trabajar también con otras empresas. Aun así, dice que, cuando sea muy relevante para evaluar riesgos, en general intentará compartirla con aprobación interna expresa. Fuera de esas categorías, anima a su plantilla a compartir información con el equipo de METR como lo haría con un compañero que trabajase en riesgos de alineamiento.

El paso llega después de dos compromisos que la propia empresa recuerda. En septiembre se comprometió a reforzar la evaluación independiente de sus modelos y de sus prácticas de seguridad. También firmó el White House Accord on Super Intelligence, en el que las compañías se comprometían a colaborar con auditores o evaluadores externos independientes. METR es, además, una de las organizaciones a las que la FTC —la Comisión Federal de Comercio de EE. UU., que el 14 de octubre exigió a Anthropic y a OpenAI documentos sobre los incidentes de seguridad de sus modelos— pensaba pedir información, según informó la agencia Reuters el 30 de septiembre.

Publicar sin permiso, con tachaduras

Según Anthropic, METR publicará su análisis de los niveles de riesgo, los incidentes o las prácticas de la empresa, y esta no podrá vetarlo. Solo podrá exigir que se tache la información que entre en categorías acotadas y fijadas de antemano, como las ya citadas. METR podrá describir en público esas tachaduras y decir si le parecen justificadas, sin revelar lo tachado.

El acceso se limita a un equipo pequeño, sujeto a acuerdos vinculantes. El resto de METR queda aislado de su trabajo, incluidos los investigadores que colaboran con Anthropic en otros proyectos.

Anthropic alega que no puede hacer pública toda la información de su trabajo de seguridad: parte podría servir a actores maliciosos y parte es sensible comercialmente. Lo compara, aunque admite que la analogía no es exacta, con la supervisión bancaria: los reguladores destinan inspectores residentes a los mayores bancos porque estos conocen sus riesgos mejor que nadie de fuera.

Tres niveles de acceso

Anthropic está desarrollando tres niveles de acceso para evaluadores. El tercero corresponde al acuerdo con METR, y la empresa aspira a que con el tiempo haya varios equipos en él, cada uno con su propio análisis publicado sobre la situación de riesgo y las decisiones clave de la compañía.

SecureBio, Accenture y Faculty esperan turno

Con el resto de socios, todavía en una fase temprana, Anthropic comparte menos información y concede derechos de publicación más limitados.

SecureBio —una organización estadounidense sin ánimo de lucro, financiada con donaciones, que trabaja para prevenir pandemias catastróficas— está revisando el capítulo de armas químicas y biológicas del Risk Report de agosto, después de completar y publicar una revisión piloto del informe anterior. Cuando termine, Anthropic estudiará darle proyectos con más acceso.

Con la consultora Accenture y con Faculty, su filial de inteligencia artificial, prepara una colaboración que, según la empresa, incluirá evaluar los modelos, atacarlos de forma controlada para encontrar fallos, comprobar si se comportan como se pretende y probar sus salvaguardas. Además, mantiene conversaciones iniciales con varias organizaciones, entre ellas Hugging Face, la empresa estadounidense cuya plataforma aloja millones de modelos abiertos y que Nvidia acordó comprar en septiembre.