MAI-Base-2, el model gegant de Microsoft, encara no ha sortit del forn

Preentrenament acabat, producte pendent

Microsoft AI va anunciar el 15 d'octubre, al seu blog tècnic Lab Notes, que ha completat el preentrenament de MAI-Base-2. És la base de la seva pròxima generació de models, tal com MAI-Base-1 va ser la base de MAI-Thinking-1, un model d'ús general amb un bon rendiment en raonament que la companyia va presentar al juny.

L'anunci no és un llançament. MAI-Base-2 és ara en fase de postentrenament i Microsoft no en dona cap data; es limita a prometre més resultats aviat. L'empresa explica que primer afina els models i la infraestructura per als seus propis productes i després per als clients de Foundry, la seva plataforma d'IA per a empreses, i que controlar tota la cadena li permetrà concedir llicències d'ús dels pesos dels seus models a socis de confiança a través d'aquesta plataforma.

Un gegant que treballa per torns

MAI-Base-2 té 2,8 bilions de paràmetres en total, però a cada pas només en treballen 80.000 milions. Segons Microsoft, es va entrenar amb 16.000 GPU GB200 de Nvidia durant 38 dies, a l'agost i al setembre del 2026. Els xips van rendir, de mitjana, al 21 % de la seva capacitat teòrica de càlcul, i l'entrenament va avançar el 89 % del temps.

La mescla d'entrenament va sumar 50 bilions de tokens, amb dades fins al març del 2026. A diferència del seu predecessor, MAI-Base-2 aprèn d'imatges des del preentrenament: les dades de visió representen el 18 % de la mescla. Microsoft diu que el seu corpus va créixer al voltant d'un 36 % respecte al de MAI-Base-1, mesurat en tokens d'entrenament únics, que va processar cada token en els seus propis sistemes i que no va destil·lar altres models, és a dir, que no va aprendre copiant les respostes de models aliens.

La companyia també atribueix part de l'avenç a canvis d'enginyeria, com ara una implementació més eficient dels experts i de l'optimitzador Muon, i a un mètode per estabilitzar l'entrenament.

L'eficiència, la calcula la mateixa Microsoft

Microsoft afirma que MAI-Base-2 obté millors bits per byte que tots els models de pesos oberts que va provar, en quatre avaluacions amb textos reservats: codi del seu propi repositori i proves de ciència, matemàtiques i preguntes i respostes encarregades a proveïdors perquè el model no les pogués haver vist durant l'entrenament. Tres dels rivals només existeixen en versió ja postentrenada, cosa que, segons la mateixa empresa, pot afectar la comparació.

La referència principal és DeepSeek-V4-Pro-Base, de DeepSeek, el laboratori xinès de models oberts nascut del fons quantitatiu High-Flyer i controlat pel seu fundador, Liang Wenfeng. Microsoft el tria perquè és l'únic model base publicat amb més d'un bilió de paràmetres, tot i que, segons la mateixa Microsoft, es va entrenar amb força menys càlcul que MAI-Base-2.

Les xifres d'eficiència no surten de proves de tasques, sinó d'una projecció. Per a cada avaluació, Microsoft ajusta una llei d'escala que relaciona els bits per byte amb el càlcul d'entrenament, i estima quant de càlcul necessitaria la seva recepta per igualar l'altre model.