Investigación

El cableado del cerebro de una mosca no mejora a un modelo de lenguaje, y lo demuestra su propio autor

El Fly Language Model enchufa el conectoma completo de la mosca del vinagre —166.700 nodos y 25.582.938 conexiones dirigidas— a un modelo de lenguaje de 1,2B de parámetros que permanece congelado. Los propios controles del autor muestran que la anatomía no aporta ventaja: un montaje equivalente que prescinde por completo del grafo obtiene mejor resultado en las tres semillas medidas. Lo interesante del trabajo no es el hallazgo, sino la disciplina con la que se desmonta a sí mismo.

Recibe el resumen diario de IA

Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.

Frecuencia:

El cableado del cerebro de una mosca no mejora a un modelo de lenguaje, y lo demuestra su propio autor
📷 Imagen generada con IA

En resumen

  • Solo se entrenan 278.528 parámetros de lectura, un 0,0238% de los 1.170.340.608 del modelo base, que no se toca.
  • El grafo de la mosca reduce la NLL de 1,381995 a 1,359816 nats por token, pero el control de entrada directa baja hasta 1,359328.
  • La diferencia a favor del control es de 0,000488 nats por token y se repite en las tres semillas; el intervalo bootstrap emparejado (+0,00000502 a +0,00104) no respalda ninguna ganancia específica de la mosca.
  • Poner los pesos del grafo a cero devuelve exactamente las pérdidas del modelo base, y reetiquetar los nodos sin reentrenar deja la NLL en 1,381265: el grafo participa, pero no vence al azar.
  • El informe renuncia a reclamar la primera posición y cita un prototipo anterior con un subconjunto de 49.393 células.

Qué se ha construido exactamente

El sistema acopla el conectoma MaleCNS v1.0 retenido —166.700 nodos y 25.582.938 conexiones dirigidas— a un backbone congelado (modelo base preentrenado cuyos pesos no se modifican) LFM2.5-1.2B-Instruct de Liquid AI. Participan todos los nodos y todas las aristas del grafo, sin poda.

El montaje es un reservoir computer (computación de reservorio: una red fija y no entrenada cuyos estados internos se leen con un clasificador pequeño) acoplado a un modelo de lenguaje. El grafo, el backbone y las proyecciones aleatorias de entrada y salida están fijos. Lo único que se entrena es un readout (capa de lectura) de 278.528 parámetros, el 0,0238% de los 1.170.340.608 parámetros del modelo base.

En cada token, una proyección gaussiana fija comprime el embedding de 2.048 dimensiones a 128 canales, y cada nodo del reservorio recibe un canal con signo aleatorio. El grafo se actualiza entero con x = tanh(W(0,6x + 0,4Bc)), donde W guarda recuentos anatómicos de contacto normalizados por entrada. Los estados se agrupan en 128 bins, pasan por dos matrices entrenadas sin sesgo —U de 128 por 128 y V de 2.048 por 128— y se proyectan a través del vocabulario congelado como un residuo acotado que se suma a los logits del backbone, con un tope de RMS de 0,25 sobre las coordenadas del vocabulario.

Las cifras que importan

Pérdida por token (NLL) en las cinco condiciones
Condición NLL (nats/token)
Backbone congelado 1,381995
Lectura con la mosca 1,359816
Control de entrada directa 1,359328
Reetiquetado, sin reajuste 1,381265
Sin aristas 1,381995
Las diferencias están en el cuarto decimal: por eso van en tabla y no en gráfico, donde no se verían. El control sin grafo gana en las tres semillas.

La medición se hizo sobre un conjunto congelado de 32 diálogos cotidianos de SmolTalk, con 1.236 tokens objetivo, y tres semillas de ajuste. El backbone solo marca 1,381995 nats por token. Con la lectura de la mosca, 1,359816 ± 0,000110. Con el control de entrada directa, 1,359328 ± 0,000108. Con las etiquetas de nodo permutadas y sin reentrenar, 1,381265 ± 0,000802. Sin aristas, 1,381995, idéntico al backbone.

La lectura de la mosca mejora al modelo base en 0,0222 nats por token, lo que lleva la perplejidad de 3,98 a 3,90. El problema llega con el control: alimentar la misma proyección de 128 canales directamente a un readout idéntico, sin grafo de por medio, rinde 0,000488 nats por token mejor, y lo hace en las tres semillas. El intervalo bootstrap emparejado, de +0,00000502 a +0,00104, no sostiene ninguna ganancia atribuible a la mosca.

Los otros dos controles delimitan qué está pasando. Poner W a cero elimina el residuo de forma exacta y reproduce las pérdidas por token del backbone, lo que confirma que el grafo sí interviene en el cálculo. Y reetiquetar la identidad de los nodos sin reentrenar devuelve la NLL cerca de la línea base: la lectura depende de la alineación aprendida con su interfaz, no de que la topología de la mosca supere a un cableado aleatorio.

El conectoma no aporta memoria

El informe también demuestra que la recurrencia contrae las diferencias de estado inicial en un factor de como mucho 0,6 por token. Tras diez tokens, esa cota queda en 0,00605; tras veinte, en 0,0000366. Dicho de otro modo: el estado del grafo olvida casi de inmediato.

Amontonar 166.700 células no compra memoria de largo alcance. El contexto sigue viniendo del backbone, que es donde reside la competencia lingüística. El diseño congelado, de hecho, está pensado para que esa atribución sea verificable y no se confunda con lo que aporta el grafo.

Renuncia explícita a la primicia

El informe cita un prototipo previo, ngxson/fly-hf, que empleaba un subconjunto de 49.393 células del cerebro central de MaleCNS como reservorio, entrenado sobre TinyStories y sin modelo base preentrenado. Sobre esa base, el documento declara sin rodeos que no reclama ser el primer modelo de lenguaje basado en conectoma, y prescinde de la etiqueta GPF (Generative Pre-trained Fly).

Lo que sí reivindica es la escala —el grafo retenido completo— y el diseño de backbone congelado, que mantiene identificable de dónde procede la capacidad lingüística. Es una reivindicación de método, no de resultado.

El código es MIT y se ejecuta en local con Python 3.12 sobre macOS o Linux, con MPS, CUDA o CPU y sin clave de API; los pesos del backbone conservan su propia licencia. El propio proyecto advierte, no obstante, de un límite importante: los artefactos del estudio permanecen privados, de modo que los resultados todavía no son reproducibles de forma independiente.

Conclusión

El Fly Language Model funciona: el grafo participa de forma comprobable en el cálculo y la mejora sobre el modelo base es real. Pero no es la mosca la que la produce. Un lector idéntico sin grafo alguno rinde mejor en las tres semillas, el estado se disuelve en pocos tokens y reetiquetar los nodos basta para desmontar el efecto. El valor de este trabajo está en que esos controles los publica quien construyó el sistema, junto con la renuncia a ser el primero y la advertencia de que los artefactos siguen sin poder verificarse desde fuera. En un campo acostumbrado a vender la anécdota biológica, publicar el control que te desmiente es el resultado.

Fuentes primarias

Comentarios

Sé respetuoso. Los comentarios se moderan.

    Recibe el resumen diario de IA

    Cada mañana, lo esencial de la inteligencia artificial en tu correo, sin humo. Al día con la IA.

    Frecuencia:

    ← Volver al blog