Nemotron 3.5 Lightning: NVIDIA rodo lengvesnį kelią DI agentams
·
Nemotron 3.5 Lightning yra tokia naujiena, kuri atrodo techninė. 30 mlrd. parametrų, mixture-of-experts, agentinės užduotys. Skamba kaip inžinierių sporto salė.
Bet verslo esmė paprastesnė: DI agentams nebeužteks vieno didelio modelio viskam.
NVIDIA rugpjūčio 11 d. pristatė Nemotron 3.5 Lightning ir NeMo Switchyard. Pirmasis yra lengvesnis atviras modelis didelės apimties agentinėms užduotims, antrasis – atviro kodo maršrutizavimo biblioteka, padedanti nukreipti užklausas tinkamiausiam modeliui.
KODĖL VIENO MODELIO MAŽAI?
Agentas realiame darbe nėra tik atsakymų aparatas. Jis planuoja, kviečia įrankius, tikrina kodą, skaito dokumentus, ruošia atsakymus klientams, kartais stebi saugumo įspėjimus. Visoms šioms užduotims nereikia to paties brangaus modelio.
Čia kaip komandoje. Vienas žmogus gerai planuoja, kitas greitai rūšiuoja, trečias tikrina klaidas. Jeigu viską duodi vadovui, procesas tampa lėtas ir brangus.
NE MO SWITCHYARD IDĖJA
NeMo Switchyard leidžia kurti maršrutizatorių, kuris parenka tinkamą modelį pagal užduotį. Tai svarbu, nes agentų kaštai kyla ne vien nuo vienos užklausos. Jie kyla nuo nuolatinio darbo.
NVIDIA rašo, kad Nemotron 3.5 Lightning gali duoti iki 4 kartų greitesnę išvestį ir 30 proc. greitesnį agentinių užduočių užbaigimą, lyginant su kitais tos klasės modeliais.
KĄ PASIIMTI ĮMONEI?
Jeigu kuriate DI agentą, neskubėkite visko krauti ant vieno modelio. Išskaidykite darbus: planavimas, paieška, klasifikavimas, patikra, atsakymas. Tada pažiūrėkite, kur tikrai reikia stipraus modelio, o kur užtenka mažesnio.
Čia mažiau magijos, daugiau buhalterijos. Bet būtent buhalterija dažnai nusprendžia, ar DI projektas gyvens ilgiau nei mėnesį.
FAQ
Kas yra Nemotron 3.5 Lightning?
Tai NVIDIA atviras 30 mlrd. parametrų modelis, skirtas didelės apimties agentinėms užduotims.
Kas yra NeMo Switchyard?
Tai atviro kodo biblioteka, leidžianti protingiau nukreipti užklausas skirtingiems modeliams.
Kodėl tai svarbu verslui?
Nes agentų kaina ir greitis priklausys nuo to, ar užduotys paskirstytos protingai.
Šaltinis: NVIDIA.
Jei šiandien projektuojate agentą, pradėkite nuo darbo žemėlapio. Modelių pavadinimai ateina vėliau.
