Modelio matematiką MIT tyrėjai pagerino pakeitę 0,016 % svorių

MIT CSAIL tyrėjų bandyme GPT-6 Astra pagerino nedidelio Qwen modelio matematikos rezultatus tiesiogiai pakeisdamas 0,016 procento jo svorių, be gradientinio mokymo. Lapkričio 2 dieną Rikiya Takehi, Jayden Teoh, Alex Zhang ir Omar Khattab paskelbė metodą bei eksperimentų aprašymą.

Tyrėjų duomenimis, pakeisto Qwen3.5-0.8B modelio MATH-500 rezultatas pakilo nuo 7,9 iki 48,1 procento, išlaikius tuos pačius atsakymų atrankos nustatymus. Jie metodą vadina Weight-Space Programming: kalbos modelis analizuoja skaitinius kito tinklo parametrus ir juos koreguoja, užuot rašęs mokymo ciklą.

Tyrimo apraše nurodoma, kad Astra aptiko pasikartojančio samprotavimo problemą, dėl kurios mažasis modelis dažnai nepasiekdavo galutinio matematikos uždavinio atsakymo. Pataisa buvo pritaikyta dviejų sluoksnių parametrams, pakeičiant 131 072 svorius; visas modelis turi maždaug 0,8 milijardo parametrų.

Autoriai bandymui suteikė Python aplinką, kurioje buvo pasiekiami svoriai, ir ribotą modelio vykdymų skaičių su mokomaisiais matematikos uždaviniais. Vertinimo uždavinių Astra nematė; tyrėjai atskirai nurodo, kad modelių atsakymams galėjo būti skiriama iki 32 768 teksto vienetų.

Pataisyto modelio Hugging Face kortelėje skelbiama Apache 2.0 licencija ir nurodomas bazinis Alibaba Qwen modelis bei pakeitimo kilmė. Kortelę ir pakartotinį bandymą paskelbė akhaliq, atkūręs tyrėjų pataisą su Hugging Face ML Intern priemonėmis.

Pagal kortelės rezultatus, GSM8K rodiklis pakilo nuo 13,8 iki 67,1 procento, o instrukcijų vykdymo IFEval rodiklis nuo 21,0 iki 62,3 procento. Šie skaičiai apibūdina konkrečius bandymus ir nustatymus, todėl nėra bendras visų realių užduočių tikslumo pažadas.

Modelio kortelėje taip pat pateiktas atskiras visų 500 MATH-500 uždavinių pakartojimas, kiekvienam sugeneravus po keturis atsakymus ir paskelbus vertinimo duomenis. Tame pakartojime gauta 51,0 procento, tačiau 31,6 procento atsakymų vis tiek pasiekė nustatytą ilgio ribą.

Vietiniam bandymui kortelėje pateikiama vLLM ir Transformers aplinka, o paskelbtas didelis pakartotinis vertinimas atliktas naudojant NVIDIA H200 vaizdo plokštę. Tikslus minimalus operatyviosios ar vaizdo atminties poreikis nenurodytas; atskira naršyklės demonstracija leidžia palyginti atsakymus neįdiegiant modelio savo kompiuteryje.

GitHub saugykloje paskelbti žurnalai, pakeitimai ir atkūrimo kodas, o kortelėje aprašytas atkurtų parametrų tikrinimas kontrolinėmis sumomis. Pažymima ir pakartojimo skirtis: nauja patikra naudojo pilną multimodalinį leidimą, nors teksto modelio parametrai sutapo su tyrėjų vertintais.

Modelio kortelė nurodo dar vieną ribą: pirminio modelio atsakymai nustatytą ilgio limitą pasiekė 93,0 procento atvejų, pataisytojo – 33,1 procento. Vadinasi, pataisa sumažino užstrigimą, bet jo visiškai nepašalino.

Toliau kiti tyrėjai gali kartoti bandymą iš paskelbtų svorių ir rezultatų, tikrindami, ar pagerėjimas išlieka pasirinkus kitas užduotis bei nustatymus. Patys autoriai rezultatus pristato kaip ankstyvus: šis vieno mažo modelio taisymas dar neįrodo universalaus tiesioginio parametrų redagavimo metodo.