La neurona dels gats i els cotxes era una V

Un nus que calia desfer

«Durant anys, les xarxes neuronals semblaven inescrutables, com nusos embullats que calia desfer», va resumir Goodfire a X el 15 d'octubre de 2026, el dia que va publicar l'assaig «Neural Networks Are Already Clean» («Les xarxes neuronals ja estan netes»). «Ja no creiem que sigui així», hi afegia.

El text el signa Nick Cammarata, que el defineix com «un assaig de recerca informal i una hipòtesi de treball». La seva tesi, segons el mateix resum: la barreja que es veia en els primers models estudiats no venia de la superposició, sinó de «diversos problemes corrents, majoritàriament corregibles».

Qui el signa

Cammarata és investigador de Goodfire. Abans va treballar a OpenAI, on, segons explica, va engegar el 2023 un projecte d'interpretabilitat automatitzada. El 2020 va ser un dels autors de «Zoom In», el treball que, segons Goodfire, va introduir la superposició i les neurones que barregen conceptes. Revisa, doncs, la seva pròpia obra.

Mirar dins de la màquina

Si la superposició fos la regla, mirar les neurones una per una no serviria de gaire. Cammarata defensa el contrari: si la seva lectura és correcta, «podem estudiar les xarxes directament, en lloc de desembullar-les primer».

El segon model que desembulla la xarxa

Segons Cammarata, desfer el nus vol dir, a la pràctica, entrenar aquest segon model, que aproxima com es veuria la xarxa desembullada, i estudiar-lo a ell. Anthropic, la creadora de Claude, va fer servir un autoencoder dispers el 2023, a «Towards Monosemanticity», per extreure trets llegibles d'un model d'una sola capa.

El mateix estudi, recorda Cammarata, va puntuar amb un 0 sobre 14 la neurona mediana d'aquell model: qui la revisava no aconseguia formular-ne cap hipòtesi.

La neurona que barrejava gats i cotxes

La neurona polisemàntica més famosa és la 4e:55 d'InceptionV1, un model de reconeixement d'imatges del 2014 que va fer de conillet d'índies en els primers estudis. Responia a cares de gat i a morros de cotxe. A «Zoom In», recorda Cammarata, van escriure que «no respon a res que tinguin en comú els cotxes i les cares de gat».

Quan la va revisar es va preguntar quina cosa única podia ser, i ho va veure «gairebé a l'instant»: «no és una neurona de gats i cotxes, és una neurona de la forma de V». Les seves connexions porten a flames, dolls d'aigua d'un vaixell de bombers i cares de guineu, tot en V. El seu pol negatiu, el que la fa baixar amb força, és una O, «rodona allà on la V és punxeguda».

Segons Cammarata, la fallada d'InceptionV1 no era la superposició: problemes d'arquitectura desbordaven les últimes capes i unes eines d'anàlisi febles ho agreujaven.

Flors grogues que acaben en gossos

El seu exemple: en reentrenar el model, una neurona va néixer amb flors grogues, en fotos on de vegades sortia un gos, i va créixer per cada faceta d'aquelles fotos: cap a altres paisatges naturals, cap a objectes verds com pilotes i cap a gossos sense flors. «Això val per a totes les neurones que vaig mirar», escriu.

Compara dues neurones que neixen en camps de colza, una a InceptionV1 i l'altra a ConvNeXt, una arquitectura de visió moderna. Totes dues tantegen pilotes i fruita; ConvNeXt les deixa anar i es queda als camps; InceptionV1 continua estenent-se cap als gossos i després cap al bròquil. Per a Cammarata, aquesta deriva es pot seguir i és «molt menys preocupant» que un plec arbitrari.

Del 5 al 99 %, segons com es miri

L'última capa d'InceptionV1 era, segons Cammarata, una de les proves principals que les xarxes eren gairebé indesxifrables. Ara la mesura per etapes, amb estimacions seves, i les barres no corresponen al mateix model: les dues primeres són l'original del 2014, del qual es van perdre els pesos desats; la tercera, la mateixa arquitectura reentrenada; la quarta, ConvNeXt.

Per això el «99-100 %» de neurones «fàcils d'interpretar» que dona la introducció, sense canviar ni la mida ni les dades, correspon a l'arquitectura moderna i no al model del 2014 reentrenat. També diu que ha entrenat versions de mides molt dispars, la més gran 300 vegades la més petita, totes llegibles a grans trets: amb menys espai, una neurona cobreix molts tipus de cotxe; amb més, es reparteix en cotxes concrets.

En els models de llenguatge, xifres preliminars

Els models de llenguatge, admet l'assaig, són tan grans que costa validar-ne amb precisió les neurones. La comparació parteix de GPT-2 XL, un model antic d'OpenAI que va estudiar el 2023 aquell projecte d'interpretabilitat automatitzada.

A Qwen3-32B, del grup tecnològic xinès Alibaba, Goodfire no compta neurones sinó pols: cada neurona té un costat positiu i un de negatiu, i segons l'empresa el negatiu importa gairebé tant com el positiu. Segons Goodfire, hi ha resultats semblants en models de fins a bilions de paràmetres, que detallarà l'article tècnic; d'aquests no en dona xifres.

No tothom s'ho creu

Neel Nanda, que dirigeix l'equip d'interpretabilitat mecanicista de Google DeepMind, el laboratori d'IA de Google, va respondre a X el mateix dia: «És un treball interessant, però no crec que canviï de manera significativa el panorama general de la interpretabilitat».

«Continuo creient que la superposició és real», va afegir. Veu molt probable que un model representi «més conceptes que no pas dimensions», i li sembla que els de llenguatge guarden «moltes més dades i coses memoritzades que neurones». Dubta de «fins a quin punt es traslladaran els resultats de visió», tot i que va felicitar Cammarata per haver revisat el seu antic treball.

Liv Gorton, que treballa en seguretat a Anthropic i va ser investigadora fundadora de Goodfire, va escriure que té «molt de respecte per Nick», però que, al seu parer, «l'argument descriu malament el que prediu la superposició». Tem que el lector cregui que una idea central del camp «es basava en un error i ha quedat enderrocada», una cosa que, segons ella, les proves presentades no sostenen.

L'entusiasme i la rèplica

A l'altre extrem, roon, empleat d'OpenAI que publica a X amb aquest pseudònim, va escriure que l'assaig «potser es recordarà com un gran moment de la història científica» i que «podem començar a convertir l'alineament en una “ciència normal”». Després admetia que queda molt per estudiar i que altres investigadors ho hauran de corroborar.

Li va contestar Eliezer Yudkowsky, una de les veus més conegudes entre els qui alerten d'una catàstrofe causada per la IA: «Si creus que hi ha algun nivell possible d'interpretabilitat que converteixi “alinear una ASI” en “ciència normal” en lloc de “potseeer possible”, no entens què és una ASI o no hi creus».

El que falta per demostrar

Cammarata no diu que la superposició no existeixi ni que la interpretabilitat estigui resolta. «No hem auditat del tot totes les xarxes neuronals», reconeix. El seu equip està «potser un 85 % segur» que gairebé tot el que semblava barreja surt de processos corrents com la generalització recursiva, cosa que no vol dir que ho faci el 85 % dels mecanismes.

La xarxa, diu, està neta «com ho està una selva tropical: gairebé cada animal que hi viu té sentit». Les xifres són seves i preliminars, depenen del llindar triat i l'article tècnic que les ha de detallar, segons Goodfire, encara s'ha de publicar.