DI agentus kompiuteryje Nvidia modelis sutalpina į 24 GB

Nvidia atvėrė Nemotron 3.5 Bolt modelio svorius vietiniams DI agentams, suspaudusi 74 milijardų parametrų variantą iki 24 GB atminties dydžio. Spalio 15 dienos tyrėjų pristatyme nurodoma, kad tikslas – leisti agentui dirbti kompiuteryje kartu su kitomis programomis, o ne vien debesijoje.

Oficialioje Hugging Face modelio kortelėje nurodyta OpenMDW-1.1 licencija ir galimybė naudoti modelį komerciniais bei nekomerciniais tikslais. Tai atsisiunčiami atviri svoriai, todėl projektas nėra vien mokama nuotolinė paslauga ar išorinio modelio programinės prieigos apvalkalas.

Kortelėje pateikiamas 74 milijardų bendras parametrų kiekis ir devyni milijardai aktyvių parametrų, taip pat teksto, vaizdų ir vaizdo įrašų įvestis. Modelis pateikia tekstinę išvestį, o nurodytas didžiausias kontekstas siekia 256 tūkstančius žetonų; konkretus vykdymas priklauso nuo pasirinktos aplinkos.

Nvidia tyrėjai aiškina, kad Bolt išgautas suspaudus didesnį Nemotron 3.5 Super VL modelį, turintį 120 milijardų parametrų ir dvylika milijardų aktyvių parametrų. Komanda naudojo savo Star Elastic metodą, kuris parenka modelio dalių dydžius pagal numatytą atminties biudžetą, o vėliau atkūrė dalį gebėjimų papildomu mokymu.

Tyrėjų techniniame aprašyme taip pat nurodoma maždaug dviejų bitų kvantizacija, leidžianti mažinti svoriams reikalingą atmintį, ir papildomas tikslumo atkūrimas. Taigi 24 GB dydis neatsiranda vien panaikinus parametrus: publikacijoje aprašomas struktūrinio suspaudimo, mažesnio tikslumo svorių ir tolesnio mokymo derinys.

Pasak Nvidia, bandyme su RTX Spark įranga ir AIPerf SPEED-Bench testu modelis pasiekė 84 generuojamus žetonus per sekundę. Šis rezultatas priskirtas konkrečiai įrangai bei vykdymo metodui, todėl jo negalima perkelti bet kuriam nešiojamam kompiuteriui ar visoms vienu metu vykdomoms užduotims.

Modelio kortelėje serveriniam paleidimui su vLLM nurodomos Nvidia Ampere, Hopper ir Blackwell įrangos šeimos, įskaitant A100 bei H100-80GB procesorius. Tyrėjų puslapyje vietiniam darbui akcentuojamos RTX ir DGX Spark sistemos; 24 GB modelio dydis nėra garantija, kad pakaks bet kokio kompiuterio bendrosios atminties.

Nvidia modelio kortelė pateikia viešą atsisiuntimo vietą, vykdymo aplinkų nuorodas ir technines sąlygas, todėl konkretų modelio variantą galima patikrinti tiesiogiai. Bendrovė projektą sieja su kasdienėmis agentų užduotimis, o atviri svoriai leidžia jo veikimą tirti savo įrangoje, neapsiribojant vien pristatymo demonstracija.

Nvidia techninėje ataskaitoje aprašomas ir pagalbinis spekuliatyvaus dekodavimo modelis LiLiCorr, skirtas sumažinti laukimo laiką generuojant atsakymą vietinėje aplinkoje. Tyrėjai nurodo 1,13 milijardo parametrų pagalbinę dalį, neįskaičiuojant bendrinamų įterpinių ir išvesties sluoksnio; tai papildomas spartinimo mechanizmas, o ne atskiras vartotojams skirtas agentas.

Tolimesnį naudojimą lems pasirinkta aparatinė įranga, programinės aplinkos palaikymas ir realių užduočių matavimai, kurių neatstoja vienas kūrėjų paskelbtas testas. Oficialūs modelio failai ir techninė ataskaita jau prieinami, todėl kitas etapas yra nepriklausomi paleidimo bei gebėjimų patikrinimai nurodytose įrangos klasėse.