AgentCore Observability: kai DI agentas suklysta, reikia pėdsakų
·
AgentCore Observability skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
AWS parodė, kaip Amazon Bedrock AgentCore Observability padeda derinti produkcijoje veikiančius DI agentus. Nes kai agentas suklysta, vien „jis kažką padarė“ nepadeda.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
AgentCore Observability jungiasi su Amazon CloudWatch ir leidžia matyti agento eigą, įrankių kvietimus, tarpinius žingsnius, klaidas, laikus ir veikimo pėdsakus.
Čia kaip su buhalterija. Kol viskas gražu, niekas nenori žiūrėti kvitų. Kai atsiranda minusas, visi staiga nori žinoti, kas, kada ir kodėl paspaudė mygtuką.
KODĖL TAI SVARBU
AgentCore Observability svarbus todėl, kad agentai nėra paprastos funkcijos. Jie planuoja, renkasi įrankius, kartoja bandymus ir gali suklysti ne vienoje vietoje, o kelių sprendimų grandinėje.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui tai reiškia, kad agento paleidimas be stebėjimo yra drąsus, bet nelabai protingas žingsnis. Jei agentas liečia klientus, pinigus ar duomenis, reikia matyti jo kelią.
- loguoti agento įrankių kvietimus
- matuoti klaidų dažnį ir kainą
- turėti aiškią incidentų peržiūros tvarką
- neleisti agentams veikti tyliai kritiniuose procesuose
Pavyzdys: klientų aptarnavimo agentas pateikia neteisingą atsakymą. Su pėdsakais galima matyti, ar blogas buvo promptas, šaltinis, įrankio atsakymas, ar paties agento sprendimas.
KUR PASISLĖPUSI RIZIKA
Rizika – apie stebėjimą pagalvoti tik po pirmo incidento. Tada jau bandome rekonstruoti istoriją iš nuotrupų, kaip po blogai užrašyto susitikimo.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Jei turite bent vieną DI agentą, susirašykite, kokius tris įvykius norėtumėte matyti jo loguose po klaidos.
Šaltinis: Amazon Web Services.
DUK
Kas yra AgentCore Observability?
Tai AWS priemonės stebėti ir derinti AgentCore agentų veikimą per pėdsakus ir metrikas.
Kodėl logai svarbūs?
Jie padeda suprasti, kur agentas suklydo ir kaip pataisyti procesą.
Kur pradėti?
Nuo įrankių kvietimų, klaidų ir žmogaus patvirtinimo taškų logavimo.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
