DI agentų vertinimas: Motorway klaidas sumažino nuo 1 iš 8 iki 1 iš 50
·
DI agentų vertinimas šiandien skamba kaip dar viena DI naujiena. Bet aš į tai žiūriu paprasčiau: ar nuo to rytoj žmogui darbe bus aiškiau, greičiau arba saugiau?
AWS su Motorway aprašė DI agentų vertinimo sistemą, kuri neteisingus rezultatus sumažino nuo 1 iš 8 užklausų iki 1 iš 50. Dar geriau: problemų aptikimo laikas sutrumpėjo nuo kelių valandų iki kelių minučių.
Atvirai? Naujienų sraute lengva apsvaigti nuo pavadinimų. Vieną dieną naujas modelis, kitą dieną agentas, trečią – dar vienas įrankis. Todėl verta klausti ne „kas čia gražu?“, o „kur čia darbas?“
KAS NUTIKO
Sprendimas jungia Strands Agents SDK ir Amazon Bedrock AgentCore. Idėja paprasta: agentas turi būti testuojamas ne tik prieš paleidimą, bet ir nuolat, su aiškiais scenarijais, vertinimais ir signalais, kada kažkas blogėja.
Čia yra ta vieta, kur dažnas verslas praleidžia laiptelį. Paleidome agentą, jis atsako gražiai, klientai lyg ir nesiskundžia. O tada po mėnesio randame, kad kas aštuntas atsakymas buvo pro šalį. Smagu? Nelabai.
KODĖL TAI SVARBU
DI agentų vertinimas svarbus todėl, kad agentas gali suklysti keliais būdais: neteisingai suprasti užklausą, blogai panaudoti įrankį, remtis senu šaltiniu arba tiesiog per daug pasitikėti savimi.
DI iš tekstų dėžutės jau persikėlė į procesus. Jis jungiasi prie dokumentų, sistemų, balso, kodo, mokymų ir klientų užklausų. Ten prasideda ne magija, o labai žemiška vadyba.
KĄ TAI REIŠKIA VERSLUI
Verslui reikia turėti paprastą agento kokybės sistemą. Ne doktorantūrą. Bent jau testinių užklausų rinkinį, klaidų žymėjimą ir periodinę peržiūrą.
- turėti testinius scenarijus prieš paleidimą
- matuoti klaidų tipą, ne tik kiekį
- peržiūrėti blogus atsakymus kas savaitę
- turėti ribą, kada agentas stabdomas
Pavyzdys: klientų aptarnavimo agentui paruoškite 100 realių užklausų iš istorijos ir kas savaitę tikrinkite, kiek atsakymų būtų tinkami klientui.
KUR GALIMA PASLYSTI
Rizika – vertinti agentą pagal vieną gražų demo. Demo yra kaip pirmas pasimatymas. Produkcija yra bendras gyvenimas su sąskaitomis, klaidomis ir keistais pirmadieniais.
Dažniausia klaida čia paprasta: paleisti įrankį greičiau, nei susitarti dėl ribų. Kas tikrina? Kas atsako? Kada stabdome? Be šitų klausimų DI tampa dar viena sistema, kurią kažkas pavargęs prižiūri penktadienio vakarą.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Susikurkite 30 realių testinių užklausų savo agentui ir pažymėkite, koks atsakymas būtų laikomas teisingu.
Šaltinis: Amazon Web Services.
DUK
Kas yra DI agentų vertinimas?
Tai procesas, kuriuo tikrinama, ar agentas teisingai supranta užduotis, naudoja įrankius ir pateikia tinkamus atsakymus.
Ką pasiekė Motorway?
AWS nurodo, kad neteisingi rezultatai sumažėjo nuo 1 iš 8 iki 1 iš 50 užklausų.
Nuo ko pradėti mokymuose?
Nuo realių pavyzdžių rinkinio ir aiškaus teisingo atsakymo apibrėžimo.
Jei norite DI taikyti praktiškai, pradėkite nuo vieno darbo. Ne nuo visos įmonės perstatymo. Vienas procesas, viena atsakomybė, vienas matas. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
