Motorway ir AWS: agentų klaidos sumažintos nuo 1 iš 8 iki 1 iš 50
·
agentų vertinimas šiandien atrodo kaip dar viena DI naujiena. Bet čia man įdomiausia ne pavadinimas, o labai paprastas klausimas: ką žmogus darbe turės daryti kitaip jau kitą savaitę?
AWS su Motorway aprašė gamybinį DI agentų vertinimo pipeline. Rezultatas labai konkretus: neteisingi atsakymai sumažinti nuo 1 iš 8 užklausų iki 1 iš 50, o problemų aptikimas sutrumpėjo nuo kelių valandų iki kelių minučių.
Atvirai? DI naujienų dabar tiek, kad smegenys kartais nori tiesiog užsidaryti naršyklę. Bet kai atsirenki tas, kurios keičia darbą, biudžetą, saugumą ar mokymąsi, triukšmo lieka mažiau.
KAS NUTIKO
Sprendimas naudoja Strands Agents SDK ir Amazon Bedrock AgentCore. Motorway atvejis susijęs su automobilių prekybos platformos dealer stock search agentu, kur svarbu teisingai pasirinkti įrankius, suprasti vartotojo ketinimą ir patikrinti agento veikimą realiuose scenarijuose.
Čia yra labai geras priminimas. Agentas gali gražiai veikti demo, bet produkcijoje jis susiduria su žmonių keistais klausimais, duomenų kampais ir taisyklėmis, kurių niekas neįdėjo į skaidrę.
KODĖL TAI SVARBU
Agentų vertinimas svarbus todėl, kad produkcinis DI turi būti stebimas kaip sistema, ne kaip vienas pokalbis. Reikia matyti ne tik ar API gyva, bet ar agentas daro teisingus veiksmus.
DI po truputį kraustosi iš pokalbio lango į tikrus procesus. Jis skaito failus, jungiasi prie įrankių, planuoja kelis žingsnius, kartais pats imasi veiksmo. Čia jau nebe „pažaiskim su promptu“. Čia prasideda darbo tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui tai reiškia, kad agento paleidimas nėra finišas. Finišo nėra. Yra nuolatinis klaidų rinkimas, scenarijų testavimas ir taisymas pagal realius vartotojus.
- vertinti įrankio pasirinkimo tikslumą
- turėti testinius vartotojų ketinimus
- rinkti klaidų pavyzdžius iš produkcijos
- matuoti ne tik uptime, bet ir teisingą rezultatą
Pirmas žingsnis paprastas: surinkite 100 realių vartotojų užklausų ir pažymėkite, koks turėjo būti teisingas agento veiksmas. Tada turite testų rinkinį.
KUR PASISLĖPUSI RIZIKA
Rizika – pasitikėti vien techniniais health checkais. Sistema gali būti žalia, greita ir vis tiek duoti blogą rezultatą.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina mandagiai, gražiu tonu ir su labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Prie kiekvieno agento aprašykite penkis blogus scenarijus. Ne idealius. Blogus, netvarkingus, nemalonius. Jie parodys tiesą.
Šaltinis: Amazon Web Services.
DUK
Ką parodė Motorway ir AWS?
Jie sukūrė agentų vertinimo pipeline, kuris sumažino neteisingus rezultatus nuo 1 iš 8 iki 1 iš 50 užklausų.
Kokie įrankiai naudoti?
Strands Agents SDK ir Amazon Bedrock AgentCore.
Kodėl tai svarbu?
Nes produkcijoje agentą reikia vertinti pagal teisingus veiksmus, ne tik pagal tai, ar sistema veikia.
Jei norite DI naudoti praktiškai, pradėkite nuo vieno darbo, ne nuo visos įmonės perversmo. Susirašykite procesą, ištestuokite ant realių pavyzdžių ir tik tada plėskite. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
