El cablejat del cervell d'una mosca no millora un model de llenguatge, i ho demostra el seu propi autor

Què s'ha construït exactament

El sistema acobla el connectoma MaleCNS v1.0 retingut —166.700 nodes i 25.582.938 connexions dirigides— a un backbone congelat (model base preentrenat els pesos del qual no es toquen) LFM2.5-1.2B-Instruct de Liquid AI. Hi intervenen tots els nodes i totes les arestes del graf, sense cap poda.

El muntatge és un reservoir computer (computació de reservori: una xarxa fixa i no entrenada els estats interns de la qual es llegeixen amb un classificador petit) acoblat a un model de llenguatge. El graf, el backbone i les projeccions aleatòries d'entrada i de sortida són fixos. L'única cosa que s'entrena és un readout (capa de lectura) de 278.528 paràmetres, el 0,0238% dels 1.170.340.608 paràmetres del model base.

A cada token, una projecció gaussiana fixa comprimeix l'embedding de 2.048 dimensions a 128 canals, i cada node del reservori rep un canal amb signe aleatori. El graf s'actualitza sencer amb x = tanh(W(0,6x + 0,4Bc)), on W desa recomptes anatòmics de contacte normalitzats per entrada. Els estats s'agrupen en 128 bins, passen per dues matrius entrenades sense biaix —U de 128 per 128 i V de 2.048 per 128— i es projecten a través del vocabulari congelat com un residu acotat que se suma als logits del backbone, amb un sostre de RMS de 0,25 sobre les coordenades del vocabulari.

Les xifres que compten

El mesurament es va fer sobre un conjunt congelat de 32 diàlegs quotidians de SmolTalk, amb 1.236 tokens objectiu, i tres llavors d'ajust. El backbone sol marca 1,381995 nats per token. Amb la lectura de la mosca, 1,359816 ± 0,000110. Amb el control d'entrada directa, 1,359328 ± 0,000108. Amb les etiquetes de node permutades i sense reentrenar, 1,381265 ± 0,000802. Sense arestes, 1,381995, idèntic al backbone.

La lectura de la mosca millora el model base en 0,0222 nats per token, cosa que porta la perplexitat de 3,98 a 3,90. El problema arriba amb el control: alimentar la mateixa projecció de 128 canals directament a un readout idèntic, sense cap graf pel mig, ret 0,000488 nats per token millor, i ho fa en les tres llavors. L'interval bootstrap aparellat, de +0,00000502 a +0,00104, no sosté cap guany atribuïble a la mosca.

Els altres dos controls delimiten què hi passa. Posar W a zero elimina el residu de manera exacta i reprodueix les pèrdues per token del backbone, cosa que confirma que el graf sí que intervé en el càlcul. I reetiquetar la identitat dels nodes sense reentrenar torna la NLL a tocar de la línia base: la lectura depèn de l'alineació apresa amb la seva interfície, no que la topologia de la mosca superi un cablejat aleatori.

El connectoma no aporta memòria

L'informe també demostra que la recurrència contrau les diferències d'estat inicial en un factor de com a màxim 0,6 per token. Al cap de deu tokens, aquesta cota queda en 0,00605; al cap de vint, en 0,0000366. Dit d'una altra manera: l'estat del graf s'oblida gairebé a l'instant.

Amuntegar 166.700 cèl·lules no compra memòria de llarg abast. El context continua venint del backbone, que és on resideix la competència lingüística. El disseny congelat, de fet, està pensat perquè aquesta atribució es pugui verificar i no es confongui amb el que hi aporta el graf.

Renúncia explícita a la primícia

L'informe cita un prototip previ, ngxson/fly-hf, que feia servir com a reservori un subconjunt de 49.393 cèl·lules del cervell central de MaleCNS, entrenat sobre TinyStories i sense cap model base preentrenat. Partint d'aquesta base, el document declara sense embuts que no reclama ser el primer model de llenguatge basat en connectoma, i es desfà de l'etiqueta GPF (Generative Pre-trained Fly).

El que sí que reivindica és l'escala —el graf retingut sencer— i el disseny de backbone congelat, que manté identificable d'on prové la capacitat lingüística. És una reivindicació de mètode, no de resultat.

El codi és MIT i s'executa en local amb Python 3.12 sobre macOS o Linux, amb MPS, CUDA o CPU i sense clau d'API; els pesos del backbone conserven la seva pròpia llicència. El projecte mateix adverteix, però, d'un límit important: els artefactes de l'estudi continuen sent privats, de manera que els resultats encara no es poden reproduir de manera independent.