AgentCore Observability: DI agentus reikia stebėti kaip darbuotojus
AWS parodė AgentCore Observability stebėjimą vietiniams ir kelių debesų DI agentams. Agentai turi palikti pėdsakus, kitaip klaidų nerasime.
Šiame straipsnyje · 4 dalys
- Kas yra AgentCore Observability? Tai stebėjimo priemonės DI agentų veiksmams, klaidoms, metrikoms ir įrankių kvietimams sekti.
- Kodėl agentams reikia stebėjimo? Nes agentai daro kelių žingsnių veiksmus, todėl klaidas reikia matyti jų atsiradimo vietoje.
- Ką matuoti pirmiausia? Užduočių trukmę, įrankių kvietimus, klaidas, tokenų sąnaudas, vartotojus ir galutinį rezultatą.
AgentCore Observability sprendžia labai paprastą problemą: ką darė DI agentas, kai kažkas nulūžo?
Jei atsakymas yra „nežinau“, vadinasi, agentas paleistas per anksti.
AWS rugpjūčio 13 d. aprašė, kaip AgentCore Observability gali stebėti ne tik AWS debesyje, bet ir vietinėse ar kelių debesų aplinkose veikiančius DI agentus.
Agentas privalo palikti pėdsakus
Paprastas DI pokalbis jau gali suklysti. Agentas daro daugiau: kviečia įrankius, skaito failus, jungiasi prie API, priima tarpinius sprendimus.
Jei nematai šių žingsnių, neturi kaip suprasti, kur atsirado klaida. Ar blogas buvo vartotojo prašymas? Ar agentas pasirinko ne tą įrankį? Ar API grąžino keistą atsakymą?
Spėliojimas nėra valdymas.
Ką reikia matuoti
Pradžiai užtenka kelių dalykų: užduoties trukmė, įrankių kvietimai, klaidos, tokenų sąnaudos, vartotojo ID, agento sprendimo kelias ir galutinis rezultatas.
Vėliau galima žiūrėti giliau. Kur agentas stringa? Kur dažniausiai prašo žmogaus pagalbos? Kur suvalgo daugiausia pinigų? Kur atsakymai grįžta netikslūs?
Čia jau ne žaisliukas. Čia operacijos.
Lietuviškas realumas
Mažesnėse įmonėse dažnai norisi paleisti greitai: „veikia, gerai, važiuojam“. Su agentais toks požiūris gali atsisukti.
Jei agentas padeda pardavimams, aptarnavimui ar finansams, reikia bent minimalaus žurnalo. Kas paprašė, ką agentas darė, kokius duomenis naudojo, kur sustojo.
Tai nėra paranoja. Tai normalus darbo saugumas.
Jei agentas šiandien neturi veiksmų žurnalo, nelaikykite jo produkciniu. Net jei demo atrodo gražiai.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
