Tylūs DI agentų gedimai: kai sistema atrodo sveika, bet dirba blogai

DI agentų gedimai ne visada atrodo kaip gedimai. Kartais sistema atsako greitai, API šviečia žaliai, serveris neklykia, o rezultatas vis tiek netinkamas. AWS apie tai parašė per Amazon Bedrock AgentCore Optimization prizmę. Ir čia labai gera tema kiekvienam, kas galvoja agentus leisti į realų darbą.

TYLA NĖRA SĖKMĖ

Klasikinėje programinėje įrangoje dažnai aišku: puslapis neatsidaro, užklausa krenta, klaida loguose raudona. Su DI agentais viskas slidžiau. Agentas gali mandagiai užbaigti užduotį ir vis tiek padaryti blogą sprendimą.

AWS šią problemą vadina tyliais elgsenos gedimais. Kitaip tariant, sveikatos patikra sako „viskas gerai“, bet žmogus, pažiūrėjęs rezultatą, tyliai padeda galvą ant stalo.

KODĖL AGENTAMS TO NEUŽTENKA

Agentas paprastai turi kelis žingsnius: suprasti užduotį, pasiimti kontekstą, naudoti įrankius, priimti sprendimą, pateikti rezultatą. Kiekviename žingsnyje gali atsirasti maža klaida. Pabaigoje gauname tvarkingą, bet neteisingą atsakymą.

Todėl stebėsena turi matyti ne vien techninę būklę. Reikia žiūrėti sesijas, pasikartojančius modelius, klaidų priežastis ir užduotis, kuriose agentas sistemingai slysta.

PRAKTIKA BE TEATRO

Jeigu diegiate DI agentą, nusistatykite kokybės ribą. Pavyzdžiui, kiek procentų atsakymų turi praeiti žmogaus patikrą? Kiek kainuoja taisymas? Kurios klaidos pavojingos, o kurios tik erzina?

Čia nėra sexy darbo. Čia kaip buhalterija. Bet be jos verslas po mėnesio pradeda klausti, kodėl „tas DI“ neduoda rezultato.

NUO KO PRADĖTI

Pradėkite nuo trijų laukų kiekvienai agento užduočiai: tikslas, rezultatas, žmogaus įvertinimas. Tada žiūrėkite ne į vieną klaidą, o į pasikartojimą. Jei agentas vis painioja tą patį šaltinį arba praleidžia tą patį žingsnį, jau turite ką taisyti.

DI agentas be stebėsenos yra kaip darbuotojas be grįžtamojo ryšio. Gal dirba gerai. Gal tik gražiai atrodo, kad dirba.

Šaltinis: AWS.

FAQ

Ar tai aktualu Lietuvos verslui?

Taip, nes dauguma šių pokyčių greitai persikelia į įrankius, kuriuos jau naudoja komandos Lietuvoje.

Ar verta diegti iš karto?

Verta pradėti nuo mažo bandymo: vienas procesas, aiškus rezultatas, žmogaus peržiūra ir skaičiai prieš bei po.

Ką pasitikrinti prieš naudojant DI?

Duomenų saugumą, kainą už realiai užbaigtą užduotį, klaidų taisymo laiką ir kas atsako, kai sistema paslysta.

Norite DI pritaikyti savo darbe be chaoso? Peržiūrėkite MasterSprint arba Salvaro praktinius DI mokymus.