Tylūs DI agentų gedimai: kai žalia lemputė dar nereiškia gero darbo
AWS aprašė tylius DI agentų gedimus. Sistema gali veikti techniškai, bet vis tiek daryti blogus sprendimus.
Šiame straipsnyje · 5 dalys
- Ar tai aktualu Lietuvos verslui? Taip. Šios naujienos greitai persikelia į įrankius, kuriuos naudoja komandos Lietuvoje: debesiją, klientų aptarnavimą, analizę, kūrimą ir mokymus.
- Ar verta diegti iš karto? Verta pradėti nuo mažo bandymo: vienas procesas, aiškus matas, žmogaus peržiūra ir skaičiai prieš bei po.
- Ką pasitikrinti prieš naudojant DI? Duomenų saugumą, kainą už realiai užbaigtą užduotį, klaidų taisymo laiką ir kas atsako, kai sistema paslysta.
DI agentų gedimai ne visada atrodo kaip gedimai. Kartais sistema atsako greitai, API šviečia žaliai, serveris neklykia, o rezultatas vis tiek netinkamas. AWS apie tai rašo per Amazon Bedrock AgentCore Optimization prizmę. Ir čia yra viena svarbiausių temų visiems, kurie agentus ruošiasi leisti į realų darbą.
Tyla nėra sėkmė
Klasikinėje programinėje įrangoje dažnai aišku: puslapis neatsidaro, užklausa krenta, loguose klaida. Su agentais viskas slidžiau. Agentas gali mandagiai užbaigti užduotį ir vis tiek padaryti blogą sprendimą.
AWS tai vadina tyliais elgsenos gedimais. Kitaip tariant, sveikatos patikra sako „viskas gerai“, bet žmogus, pažiūrėjęs rezultatą, tyliai nori daryti kavos pertrauką. Ilgą.
Kodėl agentams to neužtenka
Agentas turi kelis žingsnius: suprasti užduotį, pasiimti kontekstą, naudoti įrankius, priimti sprendimą, pateikti rezultatą. Kiekviename žingsnyje gali atsirasti maža klaida. Pabaigoje gauname tvarkingą, bet neteisingą atsakymą.
Todėl stebėsena turi matyti ne vien techninę būklę. Reikia žiūrėti sesijas, pasikartojančius modelius, klaidų priežastis ir užduotis, kuriose agentas vis slysta tuo pačiu kampu.
Praktika be teatro
Jeigu diegiate DI agentą, nusistatykite kokybės ribą. Kiek atsakymų turi praeiti žmogaus patikrą? Kiek kainuoja taisymas? Kurios klaidos pavojingos, o kurios tik erzina?
Čia nėra blizgus darbas. Čia kaip buhalterija. Bet be jos po mėnesio prasideda tas klasikinis klausimas: „Kodėl tas DI neduoda rezultato?“ Dažnai todėl, kad niekas nematavo, ką jis iš tikrųjų daro.
Nuo ko pradėti
Pradėkite nuo trijų laukų kiekvienai agento užduočiai: tikslas, rezultatas, žmogaus įvertinimas. Tada žiūrėkite ne į vieną klaidą, o į pasikartojimą.
Jei agentas vis painioja tą patį šaltinį arba praleidžia tą patį žingsnį, jau turite ką taisyti. DI agentas be grįžtamojo ryšio yra kaip darbuotojas, kuriam niekas niekada nepasako, ar darbas buvo geras.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
