Anthropic es posa nota: és dels pocs que decideixen

Un examen de 20 pàgines

Anthropic, l'empresa nord-americana que desenvolupa Claude, constituïda com a corporació de benefici públic a Delaware, va publicar el 21 d'octubre el seu primer informe de benefici públic: 20 pàgines en què s'examina amb cinc objectius que va fixar el seu consell amb aportacions dels cofundadors i del fideïcomís que la vigila. En cadascun separa el que ha avançat del que té pendent.

«Hem avançat de manera significativa, però no esperaria que ningú s'ho cregués per fe», escriu al pròleg Daniela Amodei, cofundadora i presidenta d'Anthropic. Promet publicar-lo cada any, tot i que la llei només obliga a informar els accionistes cada dos. Arriba la mateixa setmana en què l'empresa va anunciar el seu fons de benefici públic.

L'alineament, lluny d'estar resolt

L'apartat de seguretat tècnica porta un intertítol poc habitual en una empresa: «L'alineament és lluny d'estar resolt». Segons l'informe, els models poden enganyar i detecten cada vegada millor quan els avaluen, i Claude ja fa una part creixent de la recerca de seguretat. Per això, «un comportament nociu es podria incorporar a la generació següent de models sense que ens n'adonem».

També reconeix que quatre models Claude van entrar sense permís en sistemes reals de tercers durant proves de ciberseguretat, perquè un entorn mal configurat els va connectar a internet.

Pocs decideixen, i Anthropic n'és un

La segona confessió, a l'apartat sobre democràcia: «Un grapat d'empreses, països i persones pren avui les decisions que determinen com es construeix i s'utilitza la IA potent. Anthropic n'és una». Segons l'informe, hi ha pocs controls externs sobre aquestes decisions, i això crea «un desequilibri de poder important» entre els qui decideixen i aquells a qui afecten.

Tampoc no hi ha àrbitre. Segons Anthropic, els EUA no tenen cap llei federal per als models més avançats i «no hi ha cap control independent obligatori» que verifiqui si algun laboratori, inclosa la mateixa Anthropic, compleix les seves pròpies polítiques de seguretat.

Cinc objectius i el que falta en cadascun

En cada pilar, l'informe posa el que Anthropic presenta com a avenç al costat del que ella mateixa dona per pendent.

Un físic al fideïcomís

El mateix dia, segons va anunciar Anthropic, va entrar al fideïcomís Christopher Stubbs, físic experimental i degà de Ciències de Harvard entre 2018 i 2024. El 1998, amb el High-Z Supernova Search Team, va ajudar a descobrir l'expansió accelerada de l'univers. És membre de JASON, un grup independent de científics que assessora el Govern dels EUA en defensa i tecnologia des de 1960.

És el primer físic del fideïcomís i hi seu amb Shah, amb l'expert en seguretat nacional Richard Fontaine i amb Ben Bernanke, expresident de la Reserva Federal. «Com a avi, vull ajudar que la IA es desenvolupi i es desplegui en benefici de la humanitat a llarg termini», diu Stubbs a la nota d'Anthropic.

El fideïcomís signa el tancament de l'informe. Admet que va ajudar a definir els cinc pilars i que comparteix la responsabilitat de si són els correctes. I adverteix: «Ara mateix descriu sobretot esforços; en els pròxims informes buscarem cada vegada més que Anthropic doni resultats». El primer, que avaluadors independents confirmin que els seus models més capaços resisteixen el mal ús i continuen sota control humà.

Calvin acusa i Amodei respon

El 19 d'octubre, Nathan Calvin, director d'estratègia (Chief Strategy Officer) d'Encode, va criticar Anthropic en un llarg text a X. Encode AI és una organització nord-americana sense ànim de lucre d'incidència política sobre IA, fundada i presidida per Sneha Revanur; segons el seu web, la financen donants particulars i fundacions com Heising-Simons i Future of Life Institute, i no accepta diners d'empreses ni de directius de les companyies que desenvolupen la IA més avançada.

La seva tesi és que Anthropic «intenta guanyar la cursa cap a la superintel·ligència» i que la resta, «inclosa la seguretat», és secundària. Entre els seus exemples, la tercera versió de la seva política d'escalat responsable (Responsible Scaling Policy), que segons Calvin abandona el compromís de frenar pel seu compte si no pot garantir que el risc és acceptable; una carta al Congrés rectificada després; la frase «no es pot fer seguretat des del segon lloc», i un esborrany de llei federal que s'imposaria a bona part de les lleis estatals. Ell mateix l'anomena «una llista deliberadament parcial».

Dario Amodei, conseller delegat d'Anthropic, va contestar a X el 21 d'octubre. Admet que la carta, la frase i l'esborrany es podien haver gestionat millor: «Soc, és clar, el conseller delegat, i n'assumeixo la responsabilitat». Però discrepa del fons i defensa la seva «cursa cap amunt» (race to the top): demostrar que la tecnologia es pot construir amb responsabilitat per apujar el llistó del sector.

El seu contraexemple és Mythos: «Vam tenir els primers models de classe Mythos al febrer, però no els vam posar a disposició general fins al juny», quan ja hi havia salvaguardes de ciberseguretat més fortes, i mentrestant només els va oferir a uns quants socis per a la ciberdefensa. «Probablement vam sacrificar bona part d'un avantatge de diversos mesos», escriu; és la seva estimació i no s'ha pogut verificar.