Dues línies per demanar que la IA no t'entreni

Dues línies al robots.txt de la teva web

La proposta no inventa res per al fitxer: fa servir un grup normal de robots.txt, però a la línia User-Agent no hi posa el nom d'un robot, sinó una etiqueta comuna per a totes les empreses, «__usage_ai-training». Per dir que cap contingut de la web no ha d'entrenar models d'IA generativa, n'hi ha prou d'escriure «User-Agent: __usage_ai-training» i, a la línia següent, «Disallow: /».

Les excepcions per rutes funcionen amb la lògica de sempre. L'exemple de l'esborrany veta l'entrenament a tota la web excepte a la carpeta de premsa, amb tres línies: «User-Agent: __usage_ai-training», «Disallow: /» i «Allow: /press-kit/». Segons el text, això «expressa una preferència contra l'entrenament d'IA per a totes les rutes excepte les que són sota /press-kit/».

Com que no afegeix directives ni gramàtica noves, els programes que ja llegeixen el robots.txt i no coneixen el senyal l'ignoren igual que ignoren qualsevol robot desconegut. I si el fitxer no conté cap grup «__usage_ai-training», l'esborrany ho deixa clar: no s'ha expressat cap preferència.

L'asterisc no compta com un no

El primer parany és al comodí. Moltes webs tenen un grup «User-Agent: *», que val per a qualsevol robot, i l'esborrany prohibeix expressament interpretar-lo com si anomenés el token: un «User-Agent: *» amb «Disallow: /» no equival a «no m'entrenis». Perquè la preferència existeixi, el grup «__usage_ai-training» hi ha de ser escrit amb el seu nom.

El segon: el senyal no bloqueja ningú. «Aquest token de política no és una directiva sobre el comportament de rastreig», diu el text, de manera que els robots poden continuar visitant la web; qui vulgui limitar el rastreig ha de continuar fent servir els grups de cada robot, com fins ara. A més, l'esborrany admet que un acord privat entre una web i una empresa passi per sobre del que digui el fitxer.

Tampoc no cobreix qualsevol ús. L'esborrany adopta una definició concreta: entrenar és «fer servir un recurs per modificar els paràmetres apresos d'un model d'IA generativa». Entrenar models que només classifiquen, ordenen o puntuen contingut no hi entra.

Una proposta d'Anthropic a l'IETF

L'esborrany, titulat «Machine-Readable Training Preference Signal», el signa Kevin Kelley, d'Anthropic, i porta data del 30 d'octubre de 2026. Es debat a la llista de correu del grup AIPREF, però no és un document adoptat pel grup: al registre de l'IETF hi figura com a proposta individual.

La fitxa de l'IETF mateix no deixa lloc a dubtes: el document «no té el suport de l'IETF i no té cap posició formal en el procés d'estàndards». El seu autor aspira a portar-lo per la via dels estàndards, segons indica el mateix esborrany, però aquest camí encara s'ha de fer.

Un esborrany amb data de caducitat

Aquest caduca el 3 de maig de 2027 si no es renova. Fins aleshores, el que dona pes al senyal no és una norma, perquè no n'hi ha, sinó el compromís de les empreses que diuen que el respectaran.

I aquest compromís és voluntari: cap no està obligada a complir-lo, i el text que el sosté encara pot canviar.

Quatre empreses, calendaris diferents

OpenAI ho ha anunciat al seu blog: respectarà «un senyal comú» al robots.txt perquè els responsables de les webs comuniquin les seves preferències sobre l'entrenament d'IA als proveïdors que hi participin. En l'anunci, que reprodueix Thurrott.com, la web nord-americana de tecnologia del periodista Paul Thurrott, especialitzat en Microsoft, l'empresa ho descriu com «un esforç voluntari» que permet «comunicar la mateixa preferència a diversos proveïdors participants alhora».

Segons Thurrott.com, Anthropic ja aplica el senyal, i Google, Microsoft i OpenAI ho faran el 2027. Microsoft posa la data en el seu propi anunci, l'1 de febrer; per a Google i OpenAI, el termini és aquell mateix any, segons la mateixa font.

Les dades de Google i d'Anthropic només les avala aquesta font. A 31 d'octubre, ni Search Central, el blog de Google per als qui gestionen webs, ni la pàgina dels rastrejadors de Google no esmenten el senyal, i la pàgina del rastrejador d'Anthropic tampoc no el descriu.

Microsoft separa entrenar de respondre

Microsoft adopta el senyal comú per a l'entrenament al robots.txt, l'estén a cada pàgina i hi afegeix una preferència pròpia d'ancoratge, que només es fixa pàgina a pàgina. Totes dues són independents, i totes dues estan permeses per defecte quan la web no publica cap preferència.

L'empresa respectarà les preferències noves a mesura que rastregi, des de l'1 de febrer de 2027. Segons Microsoft, va ser la primera empresa a oferir aquest control, el 2023, amb les etiquetes NoArchive i NoCache; qui les faci servir té fins a l'1 de març de 2027 per passar a les noves, perquè després «deixaran de llegir-se com una preferència sobre entrenament o ancoratge». La preferència temporal d'ancoratge que es pot registrar a Bing Webmaster Tools, el tauler de Microsoft per als propietaris de webs, val fins que es torni a rastrejar la pàgina o, com a molt tard, fins al 30 de setembre de 2027.

Microsoft no promet res a canvi. «Cap de les dues opcions no garanteix la inclusió, el trànsit ni un pagament», escriu, i les preferències no estableixen llicències ni acords de pagament. Tampoc no canvien la possibilitat d'aparèixer als resultats normals de Bing, tot i que l'empresa avisa que qui veti l'ancoratge veurà «menys visibilitat de la seva marca en les experiències d'IA».

Krishna Madhavan, director principal de producte (Principal Product Manager) de Microsoft Bing i autor de l'anunci, ho resumeix així: «Els editors no haurien d'haver de triar entre que Bing els trobi i decidir com fan servir la seva feina els models generatius».