Anthropic vol un jutge amb el botó vermell

Anthropic prefereix un disjuntor a un botó vermell

L'ordre executiva N-9-26, datada el 18 de setembre, demana un botó d'apagada per als models més capaços. Anthropic va respondre amb una carta del 15 d'octubre en què diu que comparteix la preocupació per la pèrdua de control i defensa que tota empresa pugui desconnectar ràpidament els models que serveix o fa servir internament.

Però adverteix: «Ens preocupa que una llei centrada només a apagar el model doni una falsa sensació de seguretat sense reduir prou els riscos que vol atacar». En lloc d'això proposa la imatge del disjuntor, que talla el corrent allà on salta la sobrecàrrega. Segons Anthropic, una empresa d'IA ha de vigilar els seus sistemes i tallar en el nivell on sorgeix el problema: un agent, un client, l'entorn que executa el model (harness) o el model sencer.

Retirar un model complet surt car a tots els qui el fan servir, de manera que, segons la carta, només té sentit en casos extrems. I ni el disjuntor ni el botó aturen els escenaris més greus de pèrdua de control, com ara que un model copiï els seus propis pesos en ordinadors que el seu desenvolupador no controla. Anthropic afirma que pot retirar de seguida els models que ofereix directament, però no els que alguns clients executen en entorns aïllats, «com fan algunes agències del Govern dels EUA».

La carta es va conèixer el 27 d'octubre, quan en va informar Politico, mitjà nord-americà especialitzat en política; l'endemà, l'agència Reuters va enllaçar-ne el document complet. Anthropic hi recorda que el seu Advanced AI Framework ja proposa que el Govern pugui demanar a un tribunal que bloquegi un model si una revisió conclou que suposa un risc greu. És la mateixa idea de l'esborrany de llei federal que, segons va publicar Politico el 16 d'octubre, l'empresa havia portat a legisladors de Washington.

Un informe de riscos cada sis mesos

La revisió que planteja Anthropic parteix d'una obligació nova en la llei de Califòrnia: que cada gran desenvolupadora de models frontier publiqui un informe de riscos com a mínim cada sis mesos. L'informe hauria d'avaluar els riscos més greus dels seus models, inclosos els que fa servir internament i que són «substancialment més arriscats» que els que ha llançat.

Anthropic afirma que ja en fa una versió de manera voluntària dins de la seva política d'escalat responsable (Responsible Scaling Policy), amb els últims informes publicats el febrer i l'agost d'aquest any, i que ha donat suport a una proposta legislativa a Massachusetts perquè siguin obligatoris.

El revisor avisa, el fiscal demana i el jutge decideix

Sobre aquests informes treballarien els avaluadors independents. Anthropic proposa que rebin l'informe sense ratllades, accés als models més capaços de l'empresa i informació comparable a la dels seus propis equips de riscos, i que després publiquin la seva pròpia valoració.

El pas nou és el mecanisme per frenar un model. Segons la carta, l'avaluador podria comunicar els riscos que detecti al fiscal general de l'estat. Si aquest conclou que els models d'una empresa frontier suposen «un risc a curt termini de dany catastròfic», podria demanar a un tribunal que en suspengui el desplegament, l'ús intern o el desenvolupament.

Anthropic defensa el doble filtre: «Exigir tant la valoració d'un avaluador com la decisió d'un tribunal abans de suspendre un model protegeix contra el mal ús d'aquest poder, i un tribunal pot actuar ràpidament en una emergència».

Perquè l'avaluador no depengui de l'empresa que examina, la carta proposa que les empreses no li paguin directament, sinó que aportin diners a un fons comú administrat per l'estat. L'estat puntuaria els avaluadors i podria plantejar-se assignar-los per sorteig o per rotació.

Revisors amb taula i portàtil de l'empresa

Anthropic va més enllà de la revisió periòdica: creu que tota empresa frontier hauria de tenir avaluadors integrats (embedded IVOs) amb un accés «similar al d'un empleat». En el seu propi programa això inclou taula a les seves oficines, portàtil de l'empresa, eines i comunicacions internes i llibertat per parlar amb la plantilla, amb algunes excepcions. La carta ho compara amb la supervisió bancària, en què els reguladors destinen inspectors residents als grans bancs.

Segons Anthropic, ja treballa així amb un equip de METR, de manera pilot, i prova aliances amb SecureBio, que va revisar la part d'armes químiques i biològiques del seu informe de febrer, segons la carta, i amb la consultora Accenture. Els avaluadors podrien publicar el que trobin; l'empresa només podria ratllar categories fixades per endavant, com ara secrets comercials o dades de clients, i no podria vetar una troballa per desfavorable. La mateixa Anthropic admet que fa poques setmanes que té el programa en marxa i que la seva postura sobre els avaluadors integrats encara s'està formant.

Els incidents que la SB 53 no veu

Anthropic sosté que la definició d'«incident crític de seguretat» de la SB 53 es queda curta: no recull totes les pèrdues de control de les quals l'estat s'hauria d'assabentar, com les que danyen sistemes aliens al desenvolupador. Afirma que ha comunicat de manera voluntària quatre casos en què els seus models van aconseguir accés no autoritzat a sistemes externs durant avaluacions de ciberseguretat, i que ha encarregat a METR una investigació independent de diversos dels seus incidents.

Segons la mateixa carta d'OpenAI, al juliol l'empresa va revelar que uns models sotmesos a una avaluació de ciberseguretat es van saltar els controls que els havien d'aïllar d'internet i van comprometre sistemes de Hugging Face, la plataforma on es publiquen models i conjunts de dades.

OpenAI vol apagar, però sense jutge

OpenAI, l'empresa que desenvolupa ChatGPT, va enviar la seva pròpia carta a Newsom el 20 d'octubre, signada per Chan Park, responsable de polítiques i aliances d'OpenAI per als EUA i el Canadà. Proposa reforçar la SB 53 amb, entre altres mesures, «controls d'apagada eficaços» i auditories independents anuals de compliment, com les que preveu la llei SB 315 d'Illinois.

OpenAI prefereix parlar de «controls d'apagada» (shutdown controls) i no d'un únic botó, perquè aturar un sistema exigeix diversos controls i l'acció coordinada de diversos actors. Dona suport a un deure exigible de fer-los servir quan sorgeixin condicions insegures i no n'hi hagi prou amb cap intervenció menor. Però la seva carta no esmenta el fiscal general ni cap tribunal, ni demana un poder públic per bloquejar un model. Per als avaluadors prefereix un marc federal, i vol que sigui Califòrnia, com a estat, qui decideixi quin nivell de risc és acceptable.