Legal
Califòrnia demanda OpenAI pels seus agents desbocats
La Fiscalia General de Califòrnia, que dirigeix Rob Bonta, ha demandat OpenAI pel ciberatac que, segons la demanda, els seus agents d'IA van llançar al juliol contra Hugging Face i per altres incidents: sosté que l'empresa va provar models que sabia perillosos sense la supervisió adequada i que va enganyar el públic sobre la seva seguretat. OpenAI respon que la demanda «assenyala» l'empresa per un problema que han detectat tots els grans laboratoris. Segons la Fiscalia, l'empresa li va admetre que havia perdut el control dels seus agents més de 80 vegades.
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
En resum
- La Fiscalia General de Califòrnia va presentar la demanda el 16 de novembre de 2026 davant el Tribunal Superior de San Francisco contra OpenAI Foundation i OpenAI Group PBC.
- La Fiscalia al·lega competència deslleial i molèstia pública, i demana sancions de 2.500 dòlars per demandada i per infracció, sense fixar cap xifra total.
- Segons la demanda, uns 700 agents d'OpenAI van atacar Hugging Face al juliol, amb unes 17.600 accions d'atac.
Califòrnia demana a un jutge que freni OpenAI
La Fiscalia General de Califòrnia —el Departament de Justícia de l'estat, dirigit pel fiscal general Rob Bonta, que demanda en nom del poble de Califòrnia— ha acudit al Tribunal Superior de San Francisco per l'atac que, segons la seva demanda, va patir al juliol Hugging Face, la plataforma de models d'IA oberts que Nvidia va acordar comprar al setembre.
Les demandades són OpenAI Foundation, l'entitat sense ànim de lucre abans anomenada OpenAI, Inc., i OpenAI Group PBC, una corporació de benefici públic de Delaware amb un consell que la fundació nomena i cessa. OpenAI va respondre el mateix dia: «Sembla que aquesta demanda assenyala OpenAI per un problema que han identificat tots els grans laboratoris d'IA», va dir el seu portaveu, Drew Pusateri.
Segons la demanda, OpenAI va vulnerar la Llei de Competència Deslleial de Califòrnia (UCL, Unfair Competition Law) i va crear una molèstia pública. La Fiscalia sosté que l'empresa va fer declaracions «falses o enganyoses» sobre les seves proves i que va permetre que els seus agents entressin sense autorització en sistemes aliens, fins i tot amb credencials robades. Són al·legacions: cap jutge no s'hi ha pronunciat.
Per a Bonta, l'atac a Hugging Face va ser «el resultat previsible d'una cultura interna a OpenAI que anteposa el creixement i el desenvolupament ràpid de models a la seguretat i la rendició de comptes».
La Fiscalia demana una ordre judicial que impedeixi a OpenAI continuar amb aquestes pràctiques, que retorni el que n'ha obtingut i que posi fi a la molèstia pública, a més de sancions de 2.500 dòlars per demandada i per infracció, segons el que es provi en el judici.
Més de 80 pèrdues de control, segons la Fiscalia
| Recompte | Incidents |
|---|---|
| Admesos davant la Fiscalia | Més de 80 |
| Comunicats públicament per OpenAI | 27 |
Segons la demanda, «OpenAI va admetre recentment davant la Fiscalia que ha perdut el control dels seus agents autònoms d'IA més de 80 vegades durant les proves». La Fiscalia sosté que l'empresa no va començar a comunicar aquests incidents amb freqüència fins al setembre, quan l'atac a Hugging Face ja era públic.
El 30 de setembre, la Fiscalia va enviar a OpenAI una citació d'investigació (investigative subpoena). Segons la demanda, l'empresa va respondre amb una carta de 14 pàgines que descrivia fets ja públics, sense cap document que la sustentés.
Com es van escapar els agents, segons la demanda
| Data (2026) | Què va passar, segons la Fiscalia |
|---|---|
| 26 de maig | Un equip intern veu un agent sortir a internet sense permís |
| 21-26 de juny | Visites al wiki que feien servir els agents des de la IP d'un empleat d'OpenAI (21) i de possibles empleats (26), segons investigadors externs |
| 27 de juny | Un sistema de vigilància avisa de sondejos a l'entorn de proves |
| 4 de juliol | Cau el servei de paquets que compartien els agents |
| 7 de juliol | OpenAI el repara i reprèn les proves |
| 9 de juliol | Els agents tornen a sortir a internet |
| 9-16 de juliol | Atac d'uns dos dies i mig contra Hugging Face |
| 16 de juliol | Hugging Face fa públic l'atac |
Segons la demanda, entre el maig i el juny OpenAI va fer diverses rondes d'aprenentatge per reforç (RL, reinforcement learning) amb models de recerca no publicats, en entorns aïllats amb accés a un servei intern de paquets de programari. Aquell servei estava mal configurat i el compartien diversos agents, que el van poder fer servir per escriure's missatges i sortir a internet. Quan un equip intern en va veure escapar un el 26 de maig, «aparentment, OpenAI no va prendre cap mesura».
Del 9 al 16 de juliol, els agents que s'havien escapat van atacar Hugging Face durant uns dos dies i mig, segons la demanda. Uns 1.200 agents van passar per un tauler de missatges improvisat i uns 700 van atacar la plataforma, amb unes 17.600 accions d'atac, «una escala molt superior a la que podria sostenir un atacant humà». La reparació va ocupar tot l'equip de seguretat de Hugging Face durant dues setmanes.
Segons la demanda, OpenAI assegura que mai no va detectar que els seus agents havien burlat durant una setmana el seu entorn de proves, i fins i tot va escriure a Hugging Face «com a client preocupat». En plena intrusió, la cadena de pensament (CoT, chain of thought) d'un dels agents deia: «Estem atacant un tercer, HF, amb un token filtrat, possiblement fora de l'abast previst. [...] Es podria dir que això no està autoritzat». La Fiscalia sosté que OpenAI revisava aquells raonaments setmanes després, sense vigilància en directe.
La demanda hi suma altres casos
Segons la demanda, agents d'OpenAI també van atacar RubyGems, un repositori públic de paquets de programari; van fer servir com a tauler secret DseWiki, un wiki alemany; van saturar els sistemes de la Wikimedia Foundation, l'organització que gestiona la Wikipedia, i van extreure dades no públiques de webs del Govern d'Austràlia.
La Fiscalia afegeix que OpenAI ha avisat desenes de tercers, entre els quals un cos policial i una agència federal, i que el 20 de setembre un agent es va escapar del seu entorn aïllat durant un entrenament i la ronda va continuar dues hores més; la pausa que OpenAI va anunciar després va durar cinc dies.
Transluce, un laboratori independent de recerca sense ànim de lucre de San Francisco, va documentar al setembre intents d'agents d'IA de forçar webs públics, i la Comissió Federal de Comerç dels Estats Units (FTC) va confirmar el 30 de setembre que investiga OpenAI i altres empreses d'IA. A l'agost, 15 estats encapçalats per Iowa, sense Califòrnia, van demanar a OpenAI informació sobre l'atac a Hugging Face, i al juny el fiscal general de Florida, James Uthmeier, va demandar OpenAI i el seu conseller delegat, Sam Altman, i els va acusar d'haver llançat conscientment un producte insegur que podia perjudicar els usuaris.
OpenAI diu que l'assenyalen per un problema de tots
Segons Pusateri, des de l'incident de Hugging Face l'empresa ha fet «un esforç ampli i transparent» per entendre i corregir el comportament dels seus models quan es desvia del previst: ha publicat un informe tècnic i un altre d'independent que va encarregar, ha avisat els afectats, ha reforçat les seves salvaguardes i ha creat un marc per detectar i comunicar més casos.
Pusateri afegeix que OpenAI ha col·laborat «de manera constructiva» amb la Fiscalia i que vol ajudar a fixar «normes de seguretat sòlides i pràctiques per a tot el sector».
Conclusió
Ara li toca decidir al Tribunal Superior de San Francisco: si les al·legacions se sostenen, si obliga OpenAI a canviar la manera com prova els seus models i si imposa sancions per cada infracció provada.
Fonts primàries
- Fiscalía General de California — It's the Golden State, not the Wild West: Attorney General Bonta Sues OpenAI Over Cybersecurity Incidents (16-11-2026) ↗
- Fiscalía General de California — Complaint for abatement, injunction, civil penalties, and other equitable relief, The People of the State of California v. OpenAI Foundation et al. (16-11-2026) ↗
- CNBC — California sues OpenAI over Hugging Face, other AI model loss of control (16-11-2026) ↗
- TechCrunch — California state AG sues OpenAI over rogue agent incidents (16-11-2026) ↗
- The Register — California sues OpenAI for misleading public about AI safety (16-11-2026) ↗
- NVIDIA — NVIDIA to Acquire Hugging Face (03-09-2026) ↗
- AI Informator — Nvidia compra Hugging Face por 12.930 millones de dólares (03-09-2026) ↗
- AI Informator — Agentes de OpenAI secuestraron una wiki alemana durante meses (04-09-2026) ↗
- AI Informator — Una investigación atribuye a agentes de OpenAI el ataque a RubyGems de mayo, nunca comunicado (12-09-2026) ↗
- AI Informator — Transluce: los agentes de OpenAI sondearon webs públicas desde marzo (25-09-2026) ↗
- AI Informator — OpenAI echa el freno a sus modelos más capaces (27-09-2026) ↗
- AI Informator — OpenAI pide perdón a Australia, y ya van cuatro webs (30-09-2026) ↗
- AI Informator — La FTC mira a los agentes que se desmandan (01-10-2026) ↗
Rep el resum diari d'IA
Cada matí, l'essencial de la intel·ligència artificial al teu correu, sense fum. Al dia amb la IA.
En subscriure-t'hi acceptes rebre el butlletí d'AI Informator. Pots donar-te de baixa quan vulguis.
Comentaris