AgentCore Observability: DI agentas gali veikti, bet dirbti per brangiai

AgentCore Observability tema skamba techniškai, bet problema labai žmogiška: DI agentas gali veikti, bet dirbti per brangiai. AWS naujame įraše kalba apie gamybinius agentus, kurie nebe griūva, bet pradeda erzinti kitu būdu. Jie lėti. Jie daro per daug žingsnių. Jie degina užklausas. Jie pasiekia rezultatą, bet tokia kaina, kad vadovas kilsteli antakį.

VEIKIA NĖRA PAKANKA

Pirmas agentų etapas dažnai būna džiaugsmas: pavyko! Agentas prisijungė prie įrankių, paėmė duomenis, parašė atsakymą. Komanda jau nori rodyti demo.

Tada ateina realybė. Vartotojas laukia per ilgai. Viena užduotis suvalgo per daug žetonų. Agentas tris kartus klausia to paties šaltinio. Ir staiga supranti, kad „veikia“ dar nėra „apsimoka“.

KĄ REIKIA MATUOTI

Stebėti reikia ne vien klaidas. Reikia matuoti, kiek žingsnių agentas daro iki rezultato, kur gaišta laiką, kokie įrankiai kviečiami be reikalo ir kiek kainuoja viena užbaigta užduotis.

Man čia labai patinka paprastas verslo klausimas: kiek kainuoja ne užklausa, o rezultatas? Ne kiek kainavo pokalbis. Kiek kainavo sutvarkytas klientas, paruošta ataskaita, rasta klaida ar uždarytas ticketas.

NUO DEMO IKI PROCESO

Gamybinis agentas turi būti prižiūrimas kaip procesas. Su tikslais, metrikomis ir ribomis. Jei jis pradeda važinėti ratais, sistema turi tai parodyti anksčiau, nei sąskaita tampa nemaloni.

Čia atsiranda agentų optimizavimas. Ne stebuklas, o tvarka: mažiau nereikalingų įrankių kvietimų, geresni promptai, aiškesnės instrukcijos, geresnis maršrutas per užduotį.

LIETUVIŠKAS TESTAS

Jei šiandien turite agentą, užrašykite tris skaičius: kiek laiko užtrunka viena užduotis, kiek kainuoja viena užduotis ir kiek kartų žmogus turi taisyti rezultatą. Be šitų skaičių kalbame jausmais.

O jausmai DI projektuose greitai susipyksta su sąskaitomis. Geriau pasitikrinti anksčiau.

Šaltinis: AWS Machine Learning Blog.

FAQ

Ar tai aktualu Lietuvos verslui?

Taip. Šios naujienos greitai persikelia į įrankius, kuriuos naudoja komandos Lietuvoje: debesiją, klientų aptarnavimą, analizę, kūrimą ir mokymus.

Ar verta diegti iš karto?

Verta pradėti nuo mažo bandymo: vienas procesas, aiškus matas, žmogaus peržiūra ir skaičiai prieš bei po.

Ką pasitikrinti prieš naudojant DI?

Duomenų saugumą, kainą už realiai užbaigtą užduotį, klaidų taisymo laiką ir kas atsako, kai sistema paslysta.

Norite DI pritaikyti savo darbe be chaoso? Peržiūrėkite MasterSprint arba Salvaro praktinius DI mokymus.