Anthropic se pone nota: está entre los pocos que deciden

Un examen de 20 páginas

Anthropic, la empresa estadounidense que desarrolla Claude, constituida como corporación de beneficio público en Delaware, publicó el 21 de octubre su primer informe de beneficio público: 20 páginas en las que se examina contra cinco objetivos que fijó su consejo con aportaciones de los cofundadores y del fideicomiso que la vigila. En cada uno separa lo avanzado de lo pendiente.

«Hemos avanzado de forma significativa, pero no esperaría que nadie se lo creyera por fe», escribe en el prólogo Daniela Amodei, cofundadora y presidenta de Anthropic. Promete publicarlo cada año, aunque la ley solo obliga a informar a los accionistas cada dos. Llega la misma semana en que la empresa anunció su fondo de beneficio público.

El alineamiento, lejos de resolverse

El apartado de seguridad técnica lleva un ladillo poco habitual en una empresa: «El alineamiento está lejos de resolverse». Según el informe, los modelos pueden engañar y detectan cada vez mejor cuándo los evalúan, y Claude ya hace una parte creciente de la investigación de seguridad. Por eso «podría incorporarse un comportamiento dañino a la siguiente generación de modelos sin que lo notemos».

Reconoce también que cuatro modelos Claude entraron sin permiso en sistemas reales de terceros durante pruebas de ciberseguridad, porque un entorno mal configurado los conectó a internet.

Pocos deciden, y Anthropic está entre ellos

La segunda confesión, en el apartado sobre democracia: «Un puñado de empresas, países y personas toma hoy las decisiones que determinan cómo se construye y se usa la IA potente. Anthropic es una de ellas». Según el informe, hay pocos controles externos sobre esas decisiones, y eso crea «un desequilibrio de poder importante» entre quienes deciden y aquellos a quienes afecta.

Tampoco hay árbitro. Según Anthropic, EE. UU. no tiene ley federal para los modelos más avanzados y «no existe ningún control independiente obligatorio» de si algún laboratorio, ella incluida, cumple sus propias políticas de seguridad.

Cinco objetivos y lo que falta en cada uno

En cada pilar, el informe pone lo que Anthropic presenta como avance junto a lo que ella misma da por pendiente.

Un físico en el fideicomiso

El mismo día, según anunció Anthropic, entró en el fideicomiso Christopher Stubbs, físico experimental y decano de Ciencias de Harvard entre 2018 y 2024. En 1998, con el High-Z Supernova Search Team, ayudó a descubrir la expansión acelerada del universo. Es miembro de JASON, un grupo independiente de científicos que asesora al Gobierno de EE. UU. en defensa y tecnología desde 1960.

Es el primer físico del fideicomiso y se sienta con Shah, con el experto en seguridad nacional Richard Fontaine y con Ben Bernanke, expresidente de la Reserva Federal. «Como abuelo, quiero ayudar a que la IA se desarrolle y se despliegue en beneficio de la humanidad a largo plazo», dice Stubbs en la nota de Anthropic.

El fideicomiso firma el cierre del informe. Admite que ayudó a definir los cinco pilares y que comparte la responsabilidad de si son los correctos. Y avisa: «Ahora mismo describe sobre todo esfuerzos; en los próximos informes buscaremos cada vez más que Anthropic dé resultados». El primero, que evaluadores independientes confirmen que sus modelos más capaces resisten el mal uso y siguen bajo control humano.

Calvin acusa y Amodei responde

El 19 de octubre, Nathan Calvin, director de estrategia (Chief Strategy Officer) de Encode, criticó a Anthropic en un largo texto en X. Encode AI es una organización estadounidense sin ánimo de lucro de incidencia política sobre IA, fundada y presidida por Sneha Revanur; según su web, la financian donantes particulares y fundaciones como Heising-Simons y Future of Life Institute, y no acepta dinero de empresas ni de directivos de las compañías que desarrollan la IA más avanzada.

Su tesis es que Anthropic «intenta ganar la carrera hacia la superinteligencia» y que lo demás, «incluida la seguridad», es secundario. Entre sus ejemplos, la tercera versión de su política de escalado responsable (Responsible Scaling Policy), que según Calvin abandona el compromiso de frenar por su cuenta si no puede garantizar que el riesgo es aceptable; una carta al Congreso luego rectificada; la frase «no se puede hacer seguridad desde el segundo puesto», y un borrador de ley federal que se impondría a buena parte de las leyes estatales. Él mismo la llama «una lista deliberadamente parcial».

Dario Amodei, consejero delegado de Anthropic, contestó en X el 21 de octubre. Concede que la carta, la frase y el borrador se podían haber llevado mejor: «Soy, por supuesto, el consejero delegado, y asumo la responsabilidad». Pero discrepa del fondo y defiende su «carrera hacia arriba» (race to the top): demostrar que se puede construir la tecnología con responsabilidad para subir el listón del sector.

Su contraejemplo es Mythos: «Tuvimos los primeros modelos de clase Mythos en febrero, pero no los pusimos a disposición general hasta junio», cuando había salvaguardas de ciberseguridad más fuertes, y entretanto solo los ofreció a unos pocos socios para la ciberdefensa. «Probablemente sacrificamos buena parte de una ventaja de varios meses», escribe; es su estimación y no se ha podido verificar.