AgentCore Observability: agentai turi būti stebimi ne tik tada, kai lūžta
·
AgentCore Observability šiandien yra ne gražus žodis skaidrėje, o labai praktiškas klausimas: kas vyksta su darbu, kai DI pradeda ne tik atsakinėti, bet ir veikti?
AWS liepos 31 d. aprašė AgentCore Observability optimizavimą produkciniams agentams. Skamba techniškai, bet mintis paprasta: jei agentas jau dirba su realiais procesais, neužtenka žinoti, kad serveris veikia.
Turiu prisipažinti, mane vis mažiau kabina demonstracijos, kur viskas suveikia iš pirmo karto. Gyvenime taip nebūna. Versle dar labiau. Todėl į tokias naujienas žiūriu su viena mintimi: kur čia nauda, o kur vieta prisidaryti bėdos?
KAS NUTIKO
Sprendimas leidžia sekti agentų sesijas, įrankių kvietimus, klaidas, delsą ir elgesio modelius. AWS akcentuoja ne tik techninį veikimą, bet ir galimybę suprasti, kodėl agentas pasirinko vieną ar kitą kelią.
Man čia labai primena komandą, kurioje visi „dirba“, bet niekas nemato, kur iš tikrųjų stringa. Kalendorius pilnas, užduočių daug, o rezultatas kažkaip šlubuoja.
KODĖL TAI SVARBU
Agentas gali techniškai atsakyti 200 statusu ir vis tiek padaryti prastą darbą. Jis gali pasirinkti ne tą įrankį, pasiklysti keliuose žingsniuose arba per ilgai suktis aplink paprastą užduotį.
DI jau išlipo iš „parašyk man tekstą“ dėžutės. Jis jungiasi prie duomenų, įrankių, katalogų, kodų saugyklų, klientų istorijų ir kartais prie pinigų. Čia prasideda rimtesnis žaidimas. Ne dėl skambaus pavadinimo, o dėl atsakomybės.
KĄ TAI REIŠKIA VERSLUI
Verslui tai reiškia, kad agentų diegimas turi turėti stebėjimo planą nuo pirmos dienos. Ne kai jau kažkas sprogo. Nuo pradžių.
- sekti agento veiksmų seką, ne tik galutinį atsakymą
- matuoti delsą ir įrankių kvietimų skaičių
- turėti klaidų kategorijas
- žinoti, kas peržiūri agentų logus
Pradžiai užtenka vieno agento žurnalo: užklausa, pasirinktas įrankis, atsakymo laikas, klaida, žmogaus pastaba. Po savaitės jau matosi, kur agentas mėgsta nuklysti.
KUR GALI SKAUDĖTI
Rizika – žiūrėti tik į uptime. Jei agentas veikia, bet renka blogus duomenis arba painioja procesą, techninis žalias burbuliukas verslui nieko neišgelbės.
Čia ir yra ta vieta, kur smegenys nori pasakyti: „ai, vėliau susitvarkysim“. Vėliau dažniausiai reiškia tada, kai klientas jau parašė, sąskaita jau išaugo arba komanda jau nebežino, kuris agentas ką padarė.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Pasiimkite vieną naudojamą DI agentą ir susirašykite penkis signalus, kurie rodytų, kad jo darbas prastėja.
Šaltinis: Amazon Web Services.
DUK
Kas yra AgentCore Observability?
Tai AWS stebėsenos sluoksnis produkciniams DI agentams.
Kodėl neužtenka serverio monitoringo?
Nes agentas gali veikti techniškai, bet vis tiek priimti blogus veiksmų sprendimus.
Nuo ko pradėti?
Nuo agento veiksmų žurnalo ir aiškių kokybės signalų.
Jei norite DI naudoti praktiškai, pradėkite nuo vieno proceso. Vienas pasikartojantis darbas, vienas atsakingas žmogus, vienas matavimas. Daugiau praktikos rasite MasterSprint.
