Seguridad de la IA
Huang y Zuckerberg, contra el freno de Amodei
Dario Amodei, consejero delegado de Anthropic, propuso el 12 de septiembre que los grandes laboratorios frenen a propósito la mejora de sus modelos y que, si hace falta pactarlo entre ellos, el gobierno les conceda una exención de la ley antimonopolio. El martes 15, en una entrevista en la CNBC, Jensen Huang, consejero delegado de NVIDIA, replicó que ese permiso es «completamente innecesario»; Mark Zuckerberg escribió en sus redes que la alineación ya es una capacidad que diferencia en el mercado, sin nombrar a Anthropic; y OpenAI, la otra empresa a la que se atribuye el empujón, sostiene, según Bloomberg, que para coordinarse en seguridad no hace falta ninguna exención. Bloomberg avisa además de un efecto lateral: un «muro regulatorio» para los laboratorios pequeños.
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
En resumen
- El ensayo «We Must Pace the Frontier», de unas 3.800 palabras, se publicó el 12 de septiembre de 2026 en el sitio personal de Dario Amodei.
- Sam Altman y Elon Musk respaldaron la idea: «I agree with Dario that we need to pace the frontier», escribió el primero.
- Jensen Huang la rechazó el martes 15 en Dreamforce, ante unos 12.000 asistentes: «Safety is an engineering problem».
- Chris Lehane, responsable global de política de OpenAI, dijo ese mismo 15 de septiembre que OpenAI, Anthropic y Google DeepMind llevan semanas hablando de seguridad sin ninguna exención antimonopolio de por medio.
- Bloomberg publicó el 15 de septiembre que ese empujón de seguridad puede levantar un «muro regulatorio» contra los competidores pequeños.
El ensayo del 12 de septiembre pide frenar y pactar el ritmo
Amodei publicó el sábado 12 de septiembre de 2026, en su sitio personal, un ensayo de unas 3.800 palabras: «We Must Pace the Frontier». Dirige Anthropic, el laboratorio estadounidense de IA que creó Claude y que está constituido como public benefit corporation, una figura societaria estadounidense que incorpora un fin de interés público a los estatutos de la empresa.
Su tesis: el trabajo de seguridad se ha quedado por detrás del de capacidades y la única forma de que lo alcance es aflojar el ritmo a propósito. «We must slow the pace at which we improve the capabilities of AI models. Progress will still seem fast, and we must make wise use of the time we gain», escribió.
El ensayo admite que coordinar ese frenazo entre laboratorios puede exigir mediación del gobierno o exenciones de la normativa antimonopolio, y anuncia que Anthropic da el primer paso de forma unilateral, con evaluadores externos integrados que vigilen su trabajo desde dentro.
La idea tuvo apoyos inmediatos. Sam Altman escribió «I agree with Dario that we need to pace the frontier» y Elon Musk lo zanjó con un «Dario is right».
El consejero delegado de NVIDIA respondió que la seguridad es ingeniería
El martes 15 de septiembre abrió en San Francisco Dreamforce, el congreso anual de Salesforce, la empresa estadounidense de software de gestión de clientes en la nube. Por la sesión inaugural, ante unos 12.000 asistentes, pasaron Marc Benioff, consejero delegado de Salesforce, el propio Amodei y, después, Jensen Huang, fundador y consejero delegado de NVIDIA, el fabricante estadounidense de los chips con los que se entrena y se sirve la mayoría de los modelos de IA.
«Safety is paramount in a lot of ways. It's job one», dijo Huang en el escenario, según recoge la sala de prensa de NVIDIA. Y situó el problema donde cree que le corresponde: «Safety is an engineering problem. If you build a product or a service and you're not confident in its functionality, capability or safety, then don't release it». Y remató: «Innovation, speed and safe products — it's a false choice. You could definitely have both at the same time. So run as fast as you can». Pero él mismo puso el límite: «But if you feel at any given point in time the company's out of control, or the product's not going to be safe, take a pause and make sure you get it right». Es decir, rechaza el frenazo pactado entre laboratorios, no la pausa.
Ese mismo martes fue más explícito sobre el permiso antimonopolio en la cadena económica estadounidense CNBC: «The fact that we need new laws, new antitrust laws, or new regulations, so that these companies could do their fundamental engineering and do it properly before they release products, that is just completely unnecessary».
El fondo es un reparto de responsabilidad: quien fabrica el modelo responde de su producto, en vez de pedirle al legislador que le escriba las reglas.
Zuckerberg sostiene que la alineación ya es una ventaja de mercado
Mark Zuckerberg, consejero delegado de Meta —dueña de Facebook, Instagram y WhatsApp—, publicó su postura en sus redes en torno al 15 y el 16 de septiembre: «There is a lot of debate about slowing progress on capabilities until alignment catches up. My view is that trust and alignment are quickly becoming the most important capabilities that will differentiate agents and models».
No nombró a Anthropic. The New York Times tituló su información como un ataque a la empresa de Amodei, pero esa es la lectura del periódico, no lo que escribió Zuckerberg.
Su razonamiento es que el mercado ya paga por la seguridad y que los laboratorios responden legalmente de lo que lanzan, así que un frenazo pactado sobra. Puso como ejemplo el retraso voluntario de tecnologías de Muse por motivos de seguridad: «We just did it as part of our day-to-day work because it was clearly the right thing for people and for us».
Leer más: CNBC — Zuckerberg en el debate sobre frenar la IA ↗
OpenAI dice que ya se coordina con Anthropic sin ningún permiso
El desmentido más incómodo llegó de la otra empresa señalada. Chris Lehane, responsable global de política de OpenAI —el laboratorio estadounidense que creó ChatGPT—, dijo a periodistas en Washington el martes 15 que su compañía lleva semanas trabajando en seguridad de la IA con Anthropic y con Google DeepMind, la división de IA de Google.
Lo que tienen entre manos, según su relato, son medidas de seguridad, un organismo de estándares para el sector y evaluadores externos integrados que vigilen la seguridad. Para todo eso, sostuvo Lehane, no hace falta ninguna exención antimonopolio.
Añadió que OpenAI apoya la disposición de la FRONTIER Act que exige organizaciones de verificación independientes. Es decir: acepta que alguien de fuera revise el trabajo, pero no el permiso excepcional que reclama el ensayo.
Leer más: TechCrunch — OpenAI, Anthropic y Google llevan semanas hablando de seguridad ↗
Los laboratorios pequeños ven venir un muro regulatorio
| Quién | Qué defiende | Con qué argumento |
|---|---|---|
| Dario Amodei (Anthropic) | Frenar a propósito la mejora de capacidades | La seguridad no alcanza a las capacidades; coordinarlo puede exigir mediación del gobierno o una exención antimonopolio |
| Sam Altman (OpenAI) y Elon Musk | Marcar el ritmo, como pide el ensayo | «I agree with Dario that we need to pace the frontier»; «Dario is right» |
| Jensen Huang (NVIDIA) | Ninguna ley nueva; pausa cuando haga falta, pero decidida por cada empresa | «Safety is an engineering problem»; ir deprisa e ir seguro no es una elección excluyente, y si un producto no es seguro, «take a pause» |
| Mark Zuckerberg (Meta) | Ningún frenazo pactado | La confianza y la alineación ya son las capacidades que diferencian, y la responsabilidad legal basta de incentivo |
| Chris Lehane (OpenAI) | Coordinarse sí, exención no | OpenAI, Anthropic y Google DeepMind llevan semanas hablando de seguridad sin ningún permiso especial |
| Aidan Gomez (Cohere) | Que las reglas no las escriban los grandes | «Un lobo con piel de cordero, un cártel con otro nombre» |
| David Sacks (capital riesgo, 13 de septiembre) | Desconfiar de la supervisión del propio sector | Puede acabar en captura del regulador: protección comercial presentada como seguridad pública |
Bloomberg —agencia y medio financiero estadounidense, propiedad de Bloomberg L.P.— publicó el 15 de septiembre que el empujón de seguridad de Anthropic y OpenAI corre el riesgo de levantar un «muro regulatorio» para sus rivales: los costes de cumplimiento suben más deprisa de lo que un laboratorio pequeño puede absorber.
La objeción pública más clara la puso Aidan Gomez, consejero delegado de Cohere —laboratorio de IA con sede en Toronto y centrado en modelos para empresas—, que llamó cártel a la propuesta: «un lobo con piel de cordero, un cártel con otro nombre». Su pregunta es quién escribe las normas, y la respuesta que rechaza es que las escriban «un puñado de empresas de IA escogidas y dominantes en el mercado, de Silicon Valley».
El inversor de capital riesgo David Sacks, hasta marzo de 2026 responsable de IA en la Casa Blanca, ya el día 13 fue un paso más allá y describió la supervisión promovida por el propio sector como una posible captura del regulador: laboratorios ya instalados que presentan su protección comercial como seguridad pública.
El telón de fondo político tampoco acompaña. El 14 de septiembre el presidente de Estados Unidos rechazó en redes toda regulación de la IA y calificó de «hoax» el miedo a la tecnología.
Conclusión
En cuatro días la propuesta ha pasado de ensayo a línea divisoria. La discusión ya no es si la seguridad importa: Huang la llama «job one» y Zuckerberg dice que será lo que diferencie a los modelos. Lo que se discute es quién escribe las reglas y con qué permiso. Amodei pide un marco que permita pactar el ritmo; Huang y Zuckerberg responden que el ritmo no se pacta, se compite; OpenAI dice que ya se coordina sin necesidad de exención alguna, y los laboratorios pequeños temen que el listón lo acaben fijando los grandes. Mientras la Casa Blanca rechace toda regulación de la IA, la exención que pide el ensayo no tiene quien la conceda, y el frenazo se queda donde empezó: en la decisión unilateral de cada laboratorio.
Fuentes primarias
Recibe el resumen diario de IA
Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.
Al suscribirte aceptas recibir el newsletter de AI Informator. Puedes darte de baja cuando quieras.
Comentarios