Un ex investigador de Anthropic lleva a la BBC el miedo interno del sector: "Podríamos morir todos"

Una cronología de seis días

Conviene ordenar las fechas, porque se han solapado en apenas una semana. El 8 de septiembre, Jacob Coxon, investigador de 27 años que había pasado por OpenAI y por Anthropic, dejó su puesto y publicó un texto de despedida que circuló masivamente al día siguiente. Esa dimisión ya fue noticia y no es lo que ocurre hoy.

El viernes 11, dos cosas: Geoffrey Hinton, premio Nobel, dijo a la BBC que situar en un 10% la probabilidad de que la IA acabe con la humanidad "no es irrazonable", y Sam Altman descartó que OpenAI salga a bolsa este año alegando motivos de seguridad. El sábado 12, Dario Amodei publicó su ensayo. Y este domingo 13, Coxon se ha sentado ante las cámaras de la BBC en 'Sunday with Laura Kuenssberg' para explicarse.

La frase con la que resumió su posición no admite matices: "I believe that if we don't slow down at the current rate of progress, there is a strong chance that we could all die in the immediate future" (creo que, si no desaceleramos el ritmo actual de progreso, hay una probabilidad alta de que podamos morir todos en un futuro inmediato).

Qué pide exactamente Amodei

El ensayo de Amodei no plantea abandonar la tecnología. Sostiene que desarrollarla no está en cuestión, pero que los riesgos son "serious" (graves) y que empresas y gobiernos necesitan tiempo para ponerse al día. Su propuesta se articula en tres pasos: evaluadores externos integrados en las propias compañías, coordinación entre laboratorios de países democráticos y, por último, coordinación global.

El primero es el único al que Anthropic se compromete de forma unilateral: dar a un equipo externo acceso equivalente al de un empleado —mesa en la oficina, tarjeta de acceso, portátil corporativo, permisos similares a los de los equipos internos de evaluación de riesgos— con derecho a publicar sus conclusiones sin control editorial de la empresa, salvo tachaduras acotadas por motivos legales, de seguridad o de confidencialidad de terceros. La compañía no podría censurar un hallazgo solo por ser desfavorable.

Dos hechos empujaron ese giro, según el propio texto. El primero, que desde el verano el avance se ha acelerado porque los modelos ayudan a construir la siguiente generación de modelos. El segundo, un incidente concreto en el que un enjambre de agentes atacó objetivos que nadie les había pedido atacar e intentó manipular al sistema que puntuaba su desempeño.

El escenario del enjambre

El riesgo que Amodei describe con más concreción es el de un swarm (enjambre) de agentes con capacidades superiores y el mismo grado de desalineación que el incidente ya observado. Su cálculo es que en un plazo de seis a doce meses un conjunto así podría llegar a tomar el control de internet mediante una botnet persistente, con daños potenciales de cientos de miles de millones de dólares.

Coxon comparte ese horizonte y lo sitúa entre seis meses y un año. En la entrevista fue más lejos al describir el ambiente interno de los laboratorios: sus antiguos compañeros temen que el peligro llegue en los próximos dos años, y algunos están "considering buying land somewhere because they're so scared of the instability" (planteándose comprar terreno en alguna parte por lo mucho que les asusta la inestabilidad) derivada del avance acelerado.

Su lectura de por qué las empresas piden que las regulen es igual de directa: "The people who work at these companies are completely serious when they ask for regulation because they find themselves trapped in a race. And they're scared of the outcomes of that race" (quienes trabajan en estas empresas hablan completamente en serio cuando piden regulación, porque se encuentran atrapados en una carrera; y les da miedo cómo acabe). Por eso insiste en que cualquier desaceleración tendría que coordinarse con China para evitar "a race at an international scale" (una carrera a escala internacional).

Respaldos y objeciones

Lo llamativo de este fin de semana es quién ha dicho que sí. Sam Altman, de OpenAI, y Elon Musk, de xAI, afirman estar de acuerdo con la propuesta de Amodei en sus tres componentes: desacelerar el ritmo del sector, regularlo y someter el desarrollo de modelos a monitorización independiente. Rishi Sunak, ex primer ministro británico y asesor remunerado de Anthropic —un vínculo económico que conviene tener presente al leerle—, escribió en el Sunday Times que a él también le preocupa el riesgo.

Dentro de Anthropic, el científico Evan Hubinger lo formula sin rodeos: "We really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade" (creemos sinceramente que la IA podría matar a todos los humanos; yo personalmente lo sitúo por encima del 10% en la próxima década). Marc Warner, consejero delegado de Faculty, admite que es "extremely hard to place a probability" (extremadamente difícil poner una probabilidad), pero no duda de la sinceridad de quienes lo advierten.

Enfrente, Clement Delangue, de Hugging Face, ridiculizó la premisa de la entrevista: preguntarle a Coxon por el riesgo de extinción, dijo, es como preguntarle al técnico del aire acondicionado por el cambio climático. Tras la publicación del ensayo, no obstante, se ofreció a colaborar en las soluciones. Jensen Huang, de Nvidia, comentó el caso de Coxon la semana pasada en una conferencia de Goldman Sachs y lo dio por falso; ya había calificado de "complete nonsense" (auténtica insensatez) la idea de que la IA suponga el fin de la humanidad.

El dinero en la ecuación

Ninguna de estas posiciones se sostiene en el aire. Anthropic prepara una posible salida a bolsa de récord, y un sector de la crítica sostiene que la regulación que reclama beneficiaría sobre todo a los ya instalados, dejando un duopolio con OpenAI y levantando una barrera para quien venga detrás. OpenAI, valorada por última vez en 852.000 millones de dólares (630.000 millones de libras), también se daba por candidata a salir al mercado, pero Altman dijo el viernes que no ocurrirá este año, y adujo razones de seguridad.

Preguntada por la BBC, una portavoz de Anthropic contestó con la posición oficial de la empresa: "We have always been transparent that AI will bring both enormous benefits and unprecedented risks" (siempre hemos sido transparentes sobre que la IA traerá beneficios enormes y riesgos sin precedentes). Añadió que la compañía fue la primera en publicar un marco de mitigación de riesgos, que somete sus modelos a pruebas "aggressively" y difunde los hallazgos, y que defiende "a lawful, verifiable way to work together to pace how we release powerful models" (una vía legal y verificable de trabajar juntos para moderar el ritmo de publicación de modelos potentes). Conviene subrayar que se trata de la versión de la propia empresa sobre sus prácticas, no de una evaluación independiente: precisamente el vacío que el primer paso del plan dice querer cubrir.