DI agentų vertinimas: Motorway pamoka iš produkcijos
AWS ir Motorway aprašė DI agentų vertinimo sistemą, kuri produkcijoje sumažino neteisingus rezultatus ir sutrumpino klaidų aptikimą.
Šiame straipsnyje · 6 dalys
- Kas yra DI agentų vertinimas? Tai nuolatinis agento atsakymų, veiksmų ir klaidų matavimas pagal realias užduotis.
- Ką parodė Motorway pavyzdys? Kad tvarkingas vertinimo pipeline’as gali ženkliai sumažinti neteisingų rezultatų kiekį.
- Kodėl neužtenka žmogaus peržiūros? Žmogaus peržiūra brangi ir lėta, todėl bent dalį klaidų reikia gaudyti automatiškai.
DI agentų vertinimas šiandien nėra vien dar vienas įrašas DI naujienų sraute. Čia signalas, kur juda praktinis darbas: agentai, modelių valdymas, paieška, saugumas ir labai žemiškas klausimas – kas už rezultatą atsako?
AWS su Motorway parodė labai sveiką DI agentų pamoką: agento nepakanka paleisti, jį reikia vertinti. Jų pipeline’as sumažino neteisingus rezultatus nuo 1 iš 8 užklausų iki 1 iš 50, o problemų aptikimą sutrumpino nuo kelių valandų iki kelių minučių.
Atvirai? Mane tokiose naujienose vis mažiau domina blizgus demo. Daug labiau domina, ar žmogus pirmadienį ryte su tuo sutaupys valandą, ar tiesiog gaus dar vieną vietą, kurią reikia prižiūrėti.
Kas nutiko
Sprendimas jungia Strands Agents SDK ir Amazon Bedrock AgentCore. Idėja paprasta: agentas atlieka darbą, sistema renka pėdsakus, vertina rezultatą ir leidžia komandai greičiau rasti, kur užduotis nuvažiavo į šoną.
Man čia primena sportą. Galima sakyti, kad treniruotė gera, nes pavargai. Bet jei nematuoji laiko, pulso ir progreso, gali tiesiog labai disciplinuotai stovėti vietoje.
Kodėl tai svarbu
DI agentų vertinimas svarbus todėl, kad blogas agentas ne visada lūžta garsiai. Kartais jis atsako gražiai, mandagiai ir neteisingai. Tai blogiausias variantas.
DI versle jau perėjo iš smalsumo fazės į tvarkos fazę. Čia nebeužtenka pasakyti „turime įrankį“. Reikia žinoti, kokiai užduočiai jis skirtas, kokius duomenis liečia, kiek kainuoja ir kada privalo sustoti.
Ką tai reiškia verslui
Verslui reikia savo testų rinkinio. Ne bendro internetinio reitingo, o realių klientų klausimų, vidinių dokumentų, ticketų, užduočių ir sprendimų, pagal kuriuos galima pasakyti: praėjo arba ne.
- rinkti realius pavyzdžius iš darbo
- žymėti klaidas pagal tipą
- turėti automatinį ir žmogaus vertinimą
- kartoti testą po kiekvieno agento pakeitimo
Pirmas variantas labai paprastas: paimkite 50 senų užklausų, kur žinote gerą atsakymą, ir paleiskite agentą. Jei jis nepraeina čia, klientams jo neleiskite.
Kur pasislėpusi rizika
Rizika – agentą vertinti pagal gražų demo. Demo yra scena. Produkcija yra virtuvė po pietų piko.
Čia labai lengva apsigauti. DI atsakymas dažnai atrodo tvarkingas net tada, kai viduje jis pastatytas ant smėlio. Gražus sakinys nėra įrodymas. Nuoroda, testas, logas ir žmogaus peržiūra – jau arčiau tiesos.
Ką pasidaryti šią savaitę
Šią savaitę susikurkite 30 užduočių agento egzaminą. Tai bus naudingiau nei dar vienas įrankių pristatymas.
Mano paprasta taisyklė: jei negali pamatuoti, ar DI atliko darbą gerai, dar ne laikas jo leisti į produkciją. Pirma pasidaryk egzaminą. Tada jau kalbėk apie mastelį.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
