AgentOps: DI agentai turi būti prižiūrimi kaip komanda
·
AgentOps skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
AWS aprašė AgentOps požiūrį į DI agentų valdymą su Amazon Bedrock AgentCore. Jei trumpai: agentas nėra vienas promptas. Tai procesas, kurį reikia stebėti, vertinti ir kartais stabdyti.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
AWS AgentOps rėmia keturiais stulpais: valdymu ir saugumu, kūrimu ir operacijomis, vertinimu bei stebėsena. Skamba techniškai, bet esmė paprasta – agentų darbas turi būti matomas.
Kai komandoje atsiranda naujas žmogus, niekas jam neduoda visos įmonės ir nesako „kaip nors susitvarkysi“. Duodi užduotį, peržiūri rezultatą, paaiškini ribas. Su agentais kartais pamirštame šitą ūkišką logiką.
KODĖL TAI SVARBU
AgentOps svarbus todėl, kad agentai veikia keliais žingsniais. Jie kviečia įrankius, priima tarpinius sprendimus, naudoja duomenis ir gali suklysti ne viename atsakyme, o visoje veiksmų grandinėje.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui tai reiškia naują valdymo įprotį: ne tik paleisti agentą, bet ir matuoti jo kokybę, kaštą, klaidas, eskalacijas bei žmogaus peržiūros laiką.
- matuoti agento rezultatą pagal užduotį
- turėti klaidų peržiūros ritmą
- atskirti testus nuo produkcijos
- neleisti agentams veikti be logų
Pirmas geras AgentOps bandymas – klientų aptarnavimo agento kokybės savaitinė peržiūra: kiek atsakymų tiko, kiek reikėjo taisyti, kiek kainavo.
KUR PASISLĖPUSI RIZIKA
Rizika – sukurti agentų zoologijos sodą be šeimininko. Penki skirtingi įrankiai, dešimt promptų, nulis aiškaus savininko.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Paskirkite kiekvienam DI agentui savininką. Ne departamentą abstrakčiai, o konkretų žmogų, kuris žiūri rezultatus.
Šaltinis: Amazon Web Services.
DUK
Kas yra AgentOps?
Tai praktikos, skirtos DI agentams kurti, stebėti, vertinti ir valdyti produkcijoje.
Kuo tai skiriasi nuo paprasto automatizavimo?
Agentai priima daugiau tarpinių sprendimų, todėl reikia daugiau stebėsenos.
Nuo ko pradėti?
Nuo vieno agento, aiškaus savininko ir savaitinės kokybės peržiūros.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
