AgentPerf: DI agentų greitis pagaliau matuojamas rimčiau
·
AgentPerf DI agentų testas šiandien atrodo kaip dar viena technologijų naujiena. Bet tada pagalvoji apie realų darbą: dokumentus, klientų laiškus, susitikimus, vidines taisykles ir tą vieną Excel failą, kurį visi vadina „galutinis_v3_tikrai“.
NVIDIA aprašė Artificial Analysis AgentPerf testą, kuris matuoja agentinių programavimo užduočių našumą ir kiek agentų sistema gali aptarnauti vienu metu.
Atvirai? Man tokios naujienos įdomios tik tada, kai jos nusileidžia ant stalo. Ne konferencijos scenoje. Ant paprasto darbo stalo, kur žmogus turi per daug langų, per mažai laiko ir vieną labai žmogišką klausimą: ar tai man padės šiandien?
KAS NUTIKO
AgentPerf žiūri ne vien į žetonų greitį. Jis vertina agento trajektorijas, laiko iki pirmo atsakymo ribas ir paslaugos lygio tikslus.
Čia svarbu, nes agentas nėra paprastas pokalbis. Jis planuoja, kviečia įrankius, laukia atsakymų, taiso klaidas ir vėl bando.
KODĖL VERTA SUSTOTI
Jei įmonė nori paleisti daug agentų vienu metu, jai reikia suprasti ne tik modelio protingumą, bet ir infrastruktūros ribas.
Čia yra ta vieta, kur smegenys mėgsta padaryti šuolį: „nu va, dabar DI viską sutvarkys“. Nesutvarkys. Jei procesas kreivas, DI tik greičiau parodys, kur jis kreivas. Kaip su sandėliuku namuose: gali nusipirkti gražiausias dėžes, bet jei nežinai, ką meti į kurią dėžę, po mėnesio vėl stovėsi su atsuktuvu rankoje ir ieškosi pakrovėjo.
KĄ TAI REIŠKIA VERSLUI
Verslui tai reiškia, kad DI agentų kaina ir greitis turi būti matuojami realiose darbo eigose. Kitaip sąskaita ateis greičiau nei nauda.
- matuoti visą agento užduotį
- stebėti laiko iki pirmo atsakymo rodiklį
- skaičiuoti vienu metu veikiančius agentus
- lyginti kainą su užbaigtomis užduotimis
Jei agentas užduotį daro 20 minučių ir tris kartus kviečia įrankius, paprastas „modelis greitas“ pasakymas nieko nebereiškia.
RIZIKA, APIE KURIĄ REIKIA KALBĖTI
Pavojus – pirkti infrastruktūrą pagal gražius modelių testus, kurie neatspindi agentinio darbo apkrovos.
Gera taisyklė paprasta: kuo daugiau veiksmų DI gali atlikti pats, tuo aiškiau turi būti aprašytos ribos. Kas tvirtina? Kur sustoja? Ką įrašo į žurnalą? Kas atsako, jei atsakymas skamba gražiai, bet yra neteisingas?
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Prieš plečiant agentus komandoje, išmatuokite vieną realią užduotį nuo pradžios iki pabaigos: laiką, kainą ir žmogaus peržiūros dalį.
Šaltinis: NVIDIA Developer.
DUK
Kas yra AgentPerf?
Tai agentinių DI užduočių našumo testas, matuojantis realistiškesnes agentų trajektorijas.
Kodėl neužtenka žetonų per sekundę?
Agentai kviečia įrankius, planuoja ir taiso klaidas, todėl svarbi visa užduoties eiga.
Kam tai aktualu?
Įmonėms, kurios nori paleisti daug DI agentų produkcijoje.
Norite DI naudoti kaip darbo sistemą, o ne kaip vieną triuką? Išsirinkite vieną procesą, susitarkite dėl ribų ir tik tada junkite įrankius. Daugiau praktikos galite rasti MasterSprint.
