Microsoft baigė mokyti 2,8 trilijono parametrų DI pagrindą

Microsoft baigė pirminį MAI-Base-2 mokymą ir pristatė DI modelio pagrindą, turintį 2,8 trilijono parametrų bei 80 milijardų aktyvių parametrų. Spalio 15 dienos techniniame pranešime bendrovė nurodo, kad modelis dar papildomai mokomas, todėl tai nėra visuotinai prieinamos paslaugos paleidimas.

Pasak Microsoft AI, naujasis modelis remiasi ekspertų mišinio architektūra, kai kiekvienai užduočiai naudojama tik dalis visų jo parametrų. Bendrovė jį apibūdina kaip būsimos modelių kartos pagrindą ir jau rengiasi kitam MAI-Base-3 mokymui, neįvardydama konkrečios išleidimo datos.

Mokymas vyko rugpjūtį ir rugsėjį, truko 38 dienas ir naudojo 16 tūkstančių Nvidia GB200 grafikos procesorių, skelbia laboratorija. Vidutinis skaičiavimo panaudojimas pagal jos metodiką siekė 21 procentą, o laiko dalis, kai mokymas realiai judėjo pirmyn, sudarė 89 procentus.

Microsoft savo palyginimuose teigia pasiekusi nuo 4,2 iki 12,3 karto didesnį pirminio mokymo skaičiavimų efektyvumą už DeepSeek-V4-Pro-Base. Šis rodiklis apskaičiuotas modeliuojant vienodam testų rezultatui reikalingas operacijas; jis nereiškia tokio pat naudotojo užklausos pagreitėjimo ar kainos sumažėjimo.

Testams laboratorija naudojo atidėtus programavimo, matematikos, gamtos mokslų ir klausimų bei atsakymų duomenis, rezultatus matuodama bitais vienam baitui. Microsoft aiškina taip mažinanti skirtumus tarp modelių žetonizavimo, o išorėje užsakytais testų rinkiniais siekia riboti mokymo duomenų persidengimo riziką.

Bendrovė lygino ir Kimi K3, Qwen3.8 bei MiMo modelius, tačiau pati pažymi, kad šiems buvo prieinamos jau papildomai mokytos versijos. Todėl palyginimas nėra visiškai vienodas visų pirminių modelių bandymas, o pateikti rezultatai priklauso nuo konkrečių pasirinktų rinkinių.

Microsoft skelbia išplėtusi unikalių mokymo duomenų kiekį maždaug 36 procentais, palyginti su MAI-Base-1, ir nenaudojusi kitų modelių distiliacijos. Pranešime nurodoma 2026 metų kovo interneto duomenų riba, geresnis pasikartojimų šalinimas ir papildoma į testus nepatenkančių duomenų kontrolė.

Skirtingai nuo pirmtako, MAI-Base-2 nuo pirminio mokymo etapo mokytas ir su vaizdais, skelbia Microsoft savo techniniame aprašyme. Vaizdo bei teksto užduotys apima diagramų supratimą, erdvinį samprotavimą, darbą kompiuteriu ir kitus scenarijus, tačiau atskiri naudotojų produktai dar nepaskelbti.

Laboratorija nurodo 4,5 trilijono unikalių vaizdo ir teksto duomenų žetonų, o kartojami tokie duomenys sudarė 18 procentų mokymo mišinio. Visas mokymas apėmė 50 trilijonų žetonų; šie skaičiai aprašo mokymo apimtį, o ne vienos naudotojo užklausos konteksto dydį.

Microsoft taip pat nurodo naudojanti savo interneto duomenų rinkimo sistemą, kuri paiso svetainių robots.txt ir susijusių prieigos valdymo žymų. Bendrovė teigia atmetanti šaltinius, nesuderinamus su jos atsakingo DI politika, ir JAV prekybos atstovo probleminių rinkų sąraše esančias svetaines.

Toliau Microsoft planuoja papildomą mokymą ir ketina siūlyti modelių svorių licencijas patikimiems partneriams per Foundry, kaip nurodo pati bendrovė. Viešo svorių atsisiuntimo ar galutinės naudotojų paslaugos termino pranešime nėra, todėl apie praktinį prieinamumą bus galima spręsti iš vėlesnių leidimų.