AgentOps: DI agentams reikia ne magijos, o operacijų tvarkos
·
AgentOps atrodo kaip eilinė DI naujiena. Bet man tokiose vietose visada įsijungia paprastas klausimas: ką su tuo pirmadienio rytą darys žmogus, kuris turi klientą, komandą ir terminą?
AWS AgentOps tema aiškiai pasako vieną dalyką: kai DI agentai pradeda daryti realius veiksmus, vien gero prompto neužtenka.
Čia ir prasideda visa matematika. Ne gražioje prezentacijoje, o darbe. Ten, kur DI arba nuima valandas nuo pečių, arba tampa dar viena programa, kurią kažkas nupirko, o niekas normaliai nenaudoja.
KAS NUTIKO
AgentOps apima agentų kūrimą, stebėjimą, vertinimą, saugumą ir valdymą. AWS tai sieja su Bedrock AgentCore, bet pati mintis platesnė: agentas turi būti prižiūrimas kaip bet kuri svarbi sistema.
Anksčiau buvo paprasčiau. Parašei promptą, gavai tekstą, pataisei. Agentas jau gali jungtis prie įrankių, rinktis veiksmus ir eiti per kelis žingsnius. Čia improvizacija tampa per brangi.
KODĖL TAI SVARBU
Jei agentas padaro klaidą viename laiške, nemalonu. Jei jis tą pačią klaidą pakartoja šimte klientų užklausų, jau turime procesinę problemą.
Man čia norisi labai ūkiškai pasakyti: DI jau nebe vien tekstų generatorius. Jis jungiasi prie dokumentų, procesų, saugumo taisyklių, klientų aptarnavimo ir vidinių sistemų. O kai jungiasi prie darbo, reikia ne entuziazmo, o tvarkos.
KĄ TAI REIŠKIA VERSLUI
Įmonėms AgentOps reiškia naują discipliną. Reikia žinoti, kas yra agento savininkas, kokie jo tikslai, kokios ribos, kokie testai ir kas žiūri į rezultatus.
- turėti agento savininką
- matuoti užduoties sėkmę, ne tik atsakymo gražumą
- kaupti sesijų logus
- periodiškai peržiūrėti klaidų pavyzdžius
Praktinis startas – vidinis agentas, kuris ruošia savaitinę klientų klausimų suvestinę, bet nieko nesiunčia išorėn be žmogaus.
KUR PASISLĖPUSI RIZIKA
Rizika – paleisti agentą kaip eksperimentą ir pamiršti, kad jis jau daro tikrą darbą. Čia kaip su praktikantu: duodi užduotis, bet pirmą mėnesį vis tiek žiūri per petį.
DI klaidos dažnai nebūna triukšmingos. Jis atsako mandagiai, užtikrintai ir kartais taip gražiai, kad žmogus net nenori tikrinti. Čia pavojingiausia vieta. Ne tada, kai sistema „nulūžta“, o tada, kai ji atrodo per daug pasitikinti savimi.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Jei jau turite agentą, parašykite jam vieno puslapio darbo aprašymą: ką daro, ko nedaro, kas tikrina ir pagal ką matuojama sėkmė.
Šaltinis: Amazon Web Services.
DUK
Kas yra AgentOps?
Tai praktikos, skirtos DI agentams paleisti, stebėti ir valdyti produkcinėje aplinkoje.
Ar AgentOps reikalingas mažai komandai?
Taip, jei agentas daro veiksmus su realiais duomenimis ar klientais.
Koks pirmas žingsnis?
Aprašyti agento ribas, savininką ir klaidų peržiūros tvarką.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
