AgentOps: DI agentams reikia ne tik proto, bet ir priežiūros
·
AgentOps skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
AWS aprašė AgentOps praktiką agentinių DI sistemų diegimui ir priežiūrai su Amazon Bedrock AgentCore. Paprastai: jei agentas dirba produkcijoje, kažkas turi matyti, ką jis daro.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
AgentOps apima valdymą, saugumą, kūrimą, operacijas, vertinimą ir stebėjimą. Tai yra būdas agentus prižiūrėti panašiai rimtai, kaip prižiūrime kitas verslo sistemas.
Man čia labai žemiškas momentas. Kol agentas demo aplinkoje, visi žiūri į gebėjimus. Kai jis paliečia klientą, sąskaitą ar duomenis, pradeda rūpėti logai, klaidos ir kas kėlė pakeitimą.
KODĖL TAI SVARBU
Agentai elgiasi ne visada vienodai. Jie planuoja, kviečia įrankius, kartais sustoja ne ten, kartais pasirenka keistą kelią. Be stebėjimo komanda nežino, ar sistema gerėja, ar tyliai gadina procesą.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui AgentOps reiškia brandesnį DI naudojimą: mažiau aklų eksperimentų, daugiau matavimo, atsakomybės ir taisyklių.
- matuoti agento sėkmę pagal užduoties rezultatą
- rinkti nesėkmingus atvejus mokymui
- turėti išlaidų ir įrankių kvietimų ribas
- aiškiai matyti, kada reikalingas žmogaus patvirtinimas
Pradžioje užtenka paprastos lentelės: užduotis, rezultatas, klaida, kaina, žmogaus korekcija. Skamba nuobodžiai. Bet iš to gimsta tvarka.
KUR PASISLĖPUSI RIZIKA
Rizika – agentus vertinti kaip vienkartinį projektą. Produkcijoje jie turi gyventi su monitoring’u, peržiūromis ir keitimų istorija.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Jei jau turite DI agentą, šią savaitę peržiūrėkite paskutines 20 jo užduočių ir pažymėkite, kur žmogui teko taisyti rezultatą.
Šaltinis: Amazon Web Services.
DUK
Kas yra AgentOps?
Tai praktikos agentinėms DI sistemoms valdyti, stebėti ir gerinti produkcijoje.
Kodėl to reikia?
Nes agentai gali atlikti veiksmus, todėl jų darbą reikia matuoti ir audituoti.
Nuo ko pradėti?
Nuo užduočių rezultatų, klaidų, kainos ir žmogaus korekcijų registravimo.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
