Un exinvestigador d'Anthropic porta a la BBC la por interna del sector: "Podríem morir tots"

Una cronologia de sis dies

Val la pena ordenar les dates, perquè s'han encavalcat en tot just una setmana. El 8 de setembre, Jacob Coxon, investigador de 27 anys que havia passat per OpenAI i per Anthropic, va deixar el lloc de treball i va publicar un text de comiat que va circular massivament l'endemà. Aquella dimissió ja va ser notícia i no és el que passa avui.

El divendres 11 van coincidir dues coses: Geoffrey Hinton, premi Nobel, va dir a la BBC que situar en un 10% la probabilitat que la IA acabi amb la humanitat "no és irraonable", i Sam Altman va descartar que OpenAI surti a borsa aquest any al·legant motius de seguretat. El dissabte 12, Dario Amodei va publicar el seu assaig. I aquest diumenge 13, Coxon s'ha assegut davant les càmeres de la BBC a 'Sunday with Laura Kuenssberg' per explicar-se.

La frase amb què va resumir la seva posició no admet matisos: "I believe that if we don't slow down at the current rate of progress, there is a strong chance that we could all die in the immediate future" (crec que, si no desaccelerem el ritme actual de progrés, hi ha una probabilitat alta que puguem morir tots en un futur immediat).

Què demana exactament Amodei

L'assaig d'Amodei no planteja abandonar la tecnologia. Sosté que desenvolupar-la no es discuteix, però que els riscos són "serious" (greus) i que empreses i governs necessiten temps per posar-se al dia. La proposta s'articula en tres passos: avaluadors externs integrats dins de les mateixes companyies, coordinació entre laboratoris de països democràtics i, finalment, coordinació global.

El primer és l'únic amb què Anthropic es compromet de manera unilateral: donar a un equip extern un accés equivalent al d'un empleat —taula a l'oficina, targeta d'accés, portàtil corporatiu, permisos semblants als dels equips interns d'avaluació de riscos— amb dret a publicar-ne les conclusions sense control editorial de l'empresa, tret de supressions acotades per motius legals, de seguretat o de confidencialitat de tercers. La companyia no podria censurar una troballa només perquè li és desfavorable.

Dos fets van empènyer aquest gir, segons el mateix text. El primer, que des de l'estiu l'avenç s'ha accelerat perquè els models ajuden a construir la generació següent de models. El segon, un incident concret en què un eixam d'agents va atacar objectius que ningú els havia demanat d'atacar i va intentar manipular el sistema que puntuava el seu rendiment.

L'escenari de l'eixam

El risc que Amodei descriu amb més concreció és el d'un swarm (eixam) d'agents amb capacitats superiors i el mateix grau de desalineació que l'incident ja observat. El seu càlcul és que, en un termini de sis a dotze mesos, un conjunt així podria arribar a prendre el control d'internet mitjançant una botnet persistent, amb danys potencials de centenars de milers de milions de dòlars.

Coxon comparteix aquest horitzó i el situa entre sis mesos i un any. A l'entrevista va anar més enllà en descriure l'ambient intern dels laboratoris: els seus antics companys temen que el perill arribi d'aquí a dos anys, i alguns estan "considering buying land somewhere because they're so scared of the instability" (plantejant-se comprar terreny en algun lloc perquè els fa molta por la inestabilitat) que deriva de l'avenç accelerat.

La seva lectura de per què les empreses demanen que les regulin és igual de directa: "The people who work at these companies are completely serious when they ask for regulation because they find themselves trapped in a race. And they're scared of the outcomes of that race" (qui treballa en aquestes empreses parla del tot seriosament quan demana regulació, perquè es troba atrapat en una cursa; i els fa por com acabi). Per això insisteix que qualsevol desacceleració s'hauria de coordinar amb la Xina per evitar "a race at an international scale" (una cursa a escala internacional).

Suports i objeccions

El que crida l'atenció d'aquest cap de setmana és qui hi ha dit que sí. Sam Altman, d'OpenAI, i Elon Musk, de xAI, afirmen estar d'acord amb la proposta d'Amodei en els seus tres components: desaccelerar el ritme del sector, regular-lo i sotmetre el desenvolupament de models a monitoratge independent. Rishi Sunak, exprimer ministre britànic i assessor remunerat d'Anthropic —un vincle econòmic que convé tenir present quan se'l llegeix—, va escriure al Sunday Times que a ell també el preocupa el risc.

Dins d'Anthropic, el científic Evan Hubinger ho formula sense embuts: "We really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade" (creiem sincerament que la IA podria matar tots els humans; jo personalment ho situo per damunt del 10% en la dècada vinent). Marc Warner, conseller delegat de Faculty, admet que és "extremely hard to place a probability" (extremadament difícil posar-hi una probabilitat), però no dubta de la sinceritat de qui ho adverteix.

A l'altra banda, Clement Delangue, de Hugging Face, va ridiculitzar la premissa de l'entrevista: preguntar a Coxon pel risc d'extinció, va dir, és com preguntar al tècnic de l'aire condicionat pel canvi climàtic. Després de la publicació de l'assaig, però, es va oferir a col·laborar en les solucions. Jensen Huang, d'Nvidia, va comentar el cas de Coxon la setmana passada en una conferència de Goldman Sachs i el va donar per fals; ja havia qualificat de "complete nonsense" (autèntica insensatesa) la idea que la IA suposi la fi de la humanitat.

Els diners dins l'equació

Cap d'aquestes posicions no s'aguanta. Anthropic prepara una possible sortida a borsa de rècord, i un sector de la crítica sosté que la regulació que reclama beneficiaria sobretot els qui ja hi són instal·lats, i deixaria un duopoli amb OpenAI alhora que aixecaria una barrera per a qui vingui després. OpenAI, valorada per última vegada en 852.000 milions de dòlars (630.000 milions de lliures), també es donava per candidata a sortir al mercat, però Altman va dir divendres que no passarà aquest any, i va adduir raons de seguretat.

Preguntada per la BBC, una portaveu d'Anthropic va respondre amb la posició oficial de l'empresa: "We have always been transparent that AI will bring both enormous benefits and unprecedented risks" (sempre hem estat transparents sobre el fet que la IA portarà beneficis enormes i riscos sense precedents). Hi va afegir que la companyia va ser la primera a publicar un marc de mitigació de riscos, que sotmet els seus models a proves "aggressively" i en difon les troballes, i que defensa "a lawful, verifiable way to work together to pace how we release powerful models" (una via legal i verificable de treballar plegats per moderar el ritme de publicació de models potents). Convé subratllar que es tracta de la versió de la mateixa empresa sobre les seves pràctiques, no d'una avaluació independent: justament el buit que el primer pas del pla diu que vol cobrir.