Anthropic obre la porta de casa als avaluadors

Sis avaluadors amb despatx a Anthropic

Anthropic, l'empresa que desenvolupa Claude, va anunciar dijous 15 d'octubre que ha començat a donar «accés de tipus empleat» a un equip de METR. A la pràctica, sis empleats d'aquesta organització treballen amb ordinadors de l'empresa, oficina i accés a eines i sistemes interns que, segons Anthropic, són aproximadament del mateix nivell que els que fan servir els seus propis equips d'avaluació de riscos.

Hi ha excepcions, unes poques categories ben definides: per exemple, les dades de clients, la informació protegida pel secret professional entre advocat i client o l'arquitectura dels models. Aquesta última, l'empresa se la reserva pel risc de filtracions involuntàries, ja que aquests avaluadors també poden treballar amb altres empreses. Tot i així, diu que, quan sigui molt rellevant per avaluar riscos, en general intentarà compartir-la amb l'aprovació interna expressa. Fora d'aquestes categories, encoratja la plantilla a compartir informació amb l'equip de METR com ho faria amb un company que treballés en riscos d'alineament.

El pas arriba després de dos compromisos que l'empresa mateixa recorda. Al setembre es va comprometre a reforçar l'avaluació independent dels seus models i de les seves pràctiques de seguretat. També va signar el White House Accord on Super Intelligence, en què les companyies es comprometien a col·laborar amb auditors o avaluadors externs independents. A més, METR és una de les organitzacions a les quals la FTC —la Comissió Federal de Comerç dels EUA, que el 14 d'octubre va exigir a Anthropic i a OpenAI documents sobre els incidents de seguretat dels seus models— pensava demanar informació, segons va informar l'agència Reuters el 30 de setembre.

Publicar sense permís, amb talls

Segons Anthropic, METR publicarà la seva anàlisi dels nivells de risc, els incidents o les pràctiques de l'empresa, i l'empresa no la podrà vetar. Només podrà exigir que es ratlli la informació que entri en categories acotades i fixades per endavant, com les que ja s'han esmentat. METR podrà descriure en públic aquestes supressions i dir si li semblen justificades, sense revelar què s'ha ratllat.

L'accés es limita a un equip petit, subjecte a acords vinculants. La resta de METR queda aïllada de la seva feina, inclosos els investigadors que col·laboren amb Anthropic en altres projectes.

Anthropic al·lega que no pot fer pública tota la informació de la seva feina de seguretat: una part podria servir a actors maliciosos i una altra és comercialment sensible. Ho compara, tot i que admet que l'analogia no és exacta, amb la supervisió bancària: els reguladors destinen inspectors residents als bancs més grans perquè aquests coneixen els seus riscos millor que ningú de fora.

Tres nivells d'accés

Anthropic està desenvolupant tres nivells d'accés per a avaluadors. El tercer correspon a l'acord amb METR, i l'empresa aspira que, amb el temps, hi hagi diversos equips en aquest nivell, cadascun amb la seva pròpia anàlisi publicada sobre la situació de risc i les decisions clau de la companyia.

SecureBio, Accenture i Faculty esperen torn

Amb la resta de socis, encara en una fase inicial, Anthropic comparteix menys informació i concedeix drets de publicació més limitats.

SecureBio —una organització nord-americana sense ànim de lucre, finançada amb donacions, que treballa per prevenir pandèmies catastròfiques— està revisant el capítol d'armes químiques i biològiques del Risk Report d'agost, després d'haver completat i publicat una revisió pilot de l'informe anterior. Quan acabi, Anthropic estudiarà encarregar-li projectes amb més accés.

Amb la consultora Accenture i amb Faculty, la seva filial d'intel·ligència artificial, prepara una col·laboració que, segons l'empresa, inclourà avaluar els models, atacar-los de manera controlada per trobar-hi errors, comprovar si es comporten com està previst i posar a prova les seves salvaguardes. A més, manté converses inicials amb diverses organitzacions, entre les quals Hugging Face, l'empresa nord-americana la plataforma de la qual allotja milions de models oberts i que Nvidia va acordar comprar al setembre.