NVIDIA NeMo Switchyard: vienas agentas, keli DI modeliai
·
NVIDIA NeMo Switchyard sprendžia labai žemišką DI agentų klausimą: kurią užduotį kuriam modeliui duoti? Nes kai agentas dirba su keliais modeliais, prasideda ne filosofija, o maršrutizavimas.
VIENAS MODELIS VISKAM YRA PATOGU, BET NE VISADA PROTINGA
Pradžioje visi norime paprastumo. Paimi vieną modelį, prijungi prie proceso ir važiuoji. Veikia? Puiku.
Bet kai užduočių daugėja, atsiranda skirtumai. Vienas modelis geriau rašo, kitas pigiau apdoroja ilgą tekstą, trečias greičiau grąžina struktūruotą atsakymą. Tada vieno modelio patogumas pradeda kainuoti.
KĄ DARO SWITCHYARD
NVIDIA aprašo NeMo Switchyard kaip būdą nukreipti agentų darbus per skirtingus modelius, vertinant gebėjimą, kainą ir vėlavimą. Paprastai tariant: užduotis keliauja ten, kur jai tuo metu geriausia.
Tai primena gerą vadovą komandoje. Jis nesiunčia dizainerio tvarkyti buhalterijos, o buhalterio kurti reklaminio maketo. Žmonėms tai savaime aišku. Modeliams dar mokomės.
VERSLO NAUDA
Jei agentas aptarnauja klientų užklausas, dalis darbo gali būti pigi ir greita: klasifikavimas, kalbos aptikimas, datos patikrinimas. Kita dalis jautresnė: galutinis atsakymas klientui, sutarties interpretacija, rizikos įvertinimas.
Switchyard tipo logika leidžia nepermokėti už paprastus veiksmus ir nesutaupyti ten, kur klaida brangi. Čia jau prasideda normalus DI operacijų valdymas.
PIRMAS ŽINGSNIS BE ĮRANKIO
Net jei dar neturite tokio maršrutizatoriaus, galite pradėti ant popieriaus. Išrašykite agento užduotis ir prie kiekvienos pažymėkite: pigiai, greitai, tiksliai, su žmogaus patvirtinimu.
Pamatysite, kad ne visos užduotys vienodos. Ir čia prasideda geresnė architektūra.
Šaltinis: pirminis pranešimas.
Trumpi atsakymai
Kas yra NVIDIA NeMo Switchyard?
Tai modelių maršrutizavimo sprendimas DI agentų užduotims paskirstyti pagal kainą, greitį ir gebėjimą.
Kodėl agentui reikia kelių modelių?
Skirtingos užduotys turi skirtingus reikalavimus, todėl vienas modelis gali būti per brangus arba per lėtas viskam.
Ar tai aktualu mažai komandai?
Taip, jei komanda jau turi agentą ar automatizaciją, kuri daro daug pasikartojančių veiksmų.
Praktinis testas savaitei: pasiimkite vieną agento procesą ir pažymėkite, kurios užduotys reikalauja stipraus samprotavimo, o kurios yra tik techninis atlikimas.
