DI agentų vertinimas: AWS rodo, kodėl vien demo neužtenka
DI agentų vertinimas skamba kaip techninis kampas. Bet AWS liepos 23 d. aprašytas pavyzdys rodo labai žemišką problemą: agentas gali gražiai kalbėti, bet vis tiek duoti blogą rezultatą. Ir jei to nematuoji, sužinosi iš kliento. O iš kliento sužinoti dažniausia
Šiame straipsnyje · 4 dalys
- Kas yra DI agentų vertinimas? Tai testų rinkinys ir procesas, kuris tikrina agento atsakymų kokybę, įrankių naudojimą ir klaidas.
- Kiek testų reikia pradžiai? Mažai komandai užtenka 20-30 realių scenarijų, jei jie gerai parinkti.
- Ar vertinimas turi vykti vieną kartą? Ne. Testus reikia leisti po kiekvieno agento instrukcijų, modelio ar įrankių pakeitimo.
DI agentų vertinimas skamba kaip techninis kampas. Bet AWS liepos 23 d. aprašytas pavyzdys rodo labai žemišką problemą: agentas gali gražiai kalbėti, bet vis tiek duoti blogą rezultatą. Ir jei to nematuoji, sužinosi iš kliento.
O iš kliento sužinoti dažniausiai būna brangiausias testavimo būdas.
Ką aws siūlo matuoti
AWS aprašo gamybinį DI agentų vertinimo modelį su Strands Agents ir Amazon Bedrock AgentCore. Esmė – turėti nuolatinį testavimo vamzdį, kuris tikrina ne tik ar agentas atsako, bet ar atsako teisingai, laikosi instrukcijų ir nepasimeta tarp įrankių.
Viename pavyzdyje neteisingų rezultatų dalis sumažėjo nuo 1 iš 8 užklausų iki 1 iš 50. Čia jau ne kosmetika. Tai skirtumas tarp „gal pabandom“ ir „galim leisti klientui“.
Man labai patinka šitas kampas, nes jis nuima DI magiją nuo scenos ir pastato ant darbo stalo. Yra užklausa. Yra laukiamas rezultatas. Yra vertinimas. Viskas.
Kur dažniausiai apsigauname
Dažniausia klaida – testuoti agentą su trimis patogiais klausimais. Paklausi, jis atsako, visi linksi. Tada realus vartotojas įmeta kreivą failą, pusę sakinio ir dar paprašo padaryti tai, ko sistemos savininkas net nebuvo numatęs.
Agentams reikia blogų dienų testų. Reikia nepatogių klausimų, trūkstamų duomenų, dviprasmiškų instrukcijų ir ribinių atvejų. Kaip sporte: varžybose neišgelbės tas pratimas, kurį darei tik tada, kai gerai išsimiegojai.
Geras vertinimas turi matuoti kelis dalykus: tikslumą, šaltinių naudojimą, įrankių kvietimus, laiką, kainą ir žmogaus įsikišimų kiekį. Vienas skaičius visko nepasakys.
Paprastas vertinimo planas
Pradėk nuo 30 realių užklausų. Ne sugalvotų kabinete, o paimtų iš klientų laiškų, pardavimų pokalbių, vidinių užduočių ar dokumentų. Prie kiekvienos užrašyk, koks atsakymas būtų laikomas geru.
Tada paleisk agentą prieš šį rinkinį po kiekvieno pakeitimo. Jei rezultatas blogėja, nekeisk gamybinės versijos. Taip, skamba kaip paprastas programinės įrangos testavimas. Nes tai ir yra programinė įranga.
DI agentas be vertinimo yra kaip naujas darbuotojas be bandomojo laikotarpio. Gal pasiseks. Bet gal ir ne.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
