NVIDIA NeMo Switchyard: agentams reikia maršrutizatoriaus, ne vien didelio modelio
·
NVIDIA NeMo Switchyard šiandien nėra teorinis žaislas. Tai jau darbas, pinigai, duomenys ir kartais labai žemiškas klausimas: kas prisiims atsakomybę, kai DI pradės veikti už žmogų?
NVIDIA rugpjūčio 11 d. pristatė NeMo Switchyard – būdą agentų užduotis nukreipti per skirtingus specializuotus ir frontier modelius. Paprastai sakant, ne kiekvienam darbui reikia brangiausio modelio.
Turiu prisipažinti, tokias naujienas skaitau ne kaip blizgančią vitriną. Skaitau kaip žmogus, kuris iš karto galvoja apie komandą pirmadienio rytą. Kas iš to bus naudinga? Kur bus painiava? Ir kur po mėnesio kas nors pasakys: „mes galvojom, kad čia automatiškai susitvarkys“.
KAS NUTIKO
Switchyard padeda nuspręsti, kuris modelis turėtų atlikti konkrečią agento darbo dalį. Vienur reikia greičio, kitur konteksto, trečioje vietoje svarbiausia kaina arba patikimumas.
Man tai primena komandą darbe. Juk nesiunti finansų direktoriaus rūšiuoti laiškų, jei tą gali padaryti asistentas. Bet kai reikia sprendimo su pasekmėmis, tada jau kvieti žmogų su patirtimi.
Čia svarbi detalė: kalbame ne apie dar vieną gražų demonstracinį video. Kalbame apie produktus, politiką, infrastruktūrą arba tyrimus, kurie keičia, kaip žmonės dirba su DI realiose organizacijose.
KODĖL TAI SVARBU
Agentiniai procesai dažnai yra ilgi. Vienas agentas planuoja, kitas ieško, trečias rašo, ketvirtas tikrina. Jei viską daro vienas didelis modelis, kaina greitai pradeda kandžiotis.
DI jau išlipo iš „parašyk tekstą“ dėžutės. Jis naršo, jungiasi prie įrankių, analizuoja duomenis, planuoja veiksmus, kartais tvarko dokumentus ar padeda priimti sprendimą. Trumpai: jis artėja prie darbo proceso, ne tik prie pokalbio lango.
Ir čia smegenys mėgsta paslysti. Norisi sakyti: „ai, čia dar užsienyje“. Bet tas pats modelis ar funkcija rytoj atsiras kliento kompiuteryje, darbuotojo naršyklėje arba partnerio pasiūlyme.
KĄ TAI REIŠKIA VERSLUI
Verslui tai reiškia naują optimizavimo klausimą: ne „kokį modelį perkame“, o „kokius darbus kuriam modeliui duodame“.
- skirstyti agento užduotis pagal riziką
- paprastoms užduotims naudoti pigesnius modelius
- sudėtingiems sprendimams palikti stipresnį modelį
- matuoti kainą už pabaigtą darbą
Pardavimų agentas gali naudoti mažesnį modelį laiškų klasifikavimui, stipresnį modelį pasiūlymo struktūrai, o žmogų – galutiniam patvirtinimui. Štai ir maršrutas.
Man patinka paprastas testas: ar po šios naujienos tavo komanda turi vieną aiškesnį sprendimą? Jei ne, vadinasi dar tik skaitome. Skaityti galima. Tik nereikia apsimesti, kad tai jau strategija.
KUR GALI SKAUDĖTI
Rizika – sukurti per sudėtingą modelių virtuvę, kurios niekas nebesupranta. Tada sutaupai kelis centus, bet prarandi aiškumą.
Dažniausia klaida labai ūkiška. Žmonės įsijungia įrankį, pabando, nustemba, pasidžiaugia ir tada palieka viską savieigai. Po kelių savaičių paaiškėja, kad vieni darbuotojai kelia jautrius failus, kiti matuoja naudą iš jausmo, o treti net nežino, kas leidžiama.
Ne tragedija. Bet tvarkos reikia.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Paimkite vieną DI agento procesą ir suskirstykite jo veiksmus į tris lentynas: pigus modelis, stiprus modelis, žmogus.
Šaltinis: NVIDIA Technical Blog.
DUK
Kas yra NVIDIA NeMo Switchyard?
Tai NVIDIA sprendimas agentų užduotims maršrutizuoti tarp skirtingų modelių pagal darbo poreikį.
Kodėl nepakanka vieno modelio?
Nes ilguose procesuose vienos užduotys yra paprastos, kitos brangios ir rizikingos, todėl verta jas skirstyti.
Ką matuoti?
Kainą už pabaigtą užduotį, greitį, klaidas ir tai, ar žmogui tenka taisyti rezultatą.
Jei nori DI naudoti praktiškai, pradėk nuo vieno proceso. Vienas pasikartojantis darbas. Vienas atsakingas žmogus. Vienas matavimas. Daugiau praktikos rasi MasterSprint.
