DI agentų vertinimas: gražus atsakymas dar nėra darbas
Hugging Face publikacijoje parodyta, kaip vertinti agentinius sprendimus pagal agento veiksmų eigą.
Šiame straipsnyje · 6 dalys
- Kas yra DI agentų vertinimas? Tai agentų rezultatų, žingsnių, kaštų ir klaidų matavimas realiose ar testinėse užduotyse.
- Kodėl neužtenka finalinio atsakymo? Nes agentas gali teisingai parašyti, bet blogai ar brangiai atlikti procesą.
- Ką matuoti pirmiausia? Sėkmingai atliktų užduočių dalį, klaidas ir žmogaus peržiūros laiką.
DI agentų vertinimas skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
Hugging Face publikacijoje parodyta, kaip vertinti agentinius sprendimus pagal agento veiksmų eigą, ne vien galutinį atsakymą. Ir čia yra vieta, kur daug kas paslysta.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
Kas nutiko
Pavyzdyje naudojamas agentų bėgimų duomenų rinkinys su užduotimis, pokalbiais, modeliais, benchmarkais, tokenais ir LLM kvietimų skaičiumi. Kitaip tariant, matuojama visa kelionė.
Gražus finalinis tekstas gali užmaskuoti prastą procesą. Kaip namų remontas: siena nudažyta gražiai, bet jei po ja laidai sujungti bet kaip, ilgai džiaugtis nereikėtų.
Kodėl tai svarbu
DI agentų vertinimas svarbus todėl, kad agentas gali padaryti klaidą bet kuriame žingsnyje: neteisingai suprasti užduotį, pasirinkti blogą įrankį, praleisti patikrą arba išleisti per daug tokenų.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
Ką tai reiškia verslui
Verslui reikia žiūrėti į visą agento darbą: kiek kartų jis kvietė modelį, kokius įrankius naudojo, kiek kainavo, kur sustojo, ką pataisė žmogus.
- matuoti agento žingsnius, ne tik finalą
- saugoti užduoties ir įrankių logus
- lyginti kaštą su žmogaus peržiūros laiku
- turėti aiškią sėkmės definiciją
Pavyzdys: pardavimų agentas paruošė gerą laišką. Bet jei tam reikėjo 38 kvietimų ir 6 klaidingų CRM paieškų, problema vis dar yra.
Kur pasislėpusi rizika
Rizika – pasirinkti agentą pagal įspūdį. Demo kambaryje viskas atrodo gražu, o realiame darbe laimi tas, kuris stabiliai padaro užduotį.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
Ką pasidaryti šią savaitę
Kitam agento pilotui iš anksto parašykite tris metrikas: sėkmė, kaina ir žmogaus taisymo laikas.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
