Agentų tool-calling: kodėl DI kartais spaudžia ne tą mygtuką
·
agentų tool-calling skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
AWS parodė, kaip SFT ir DPO metodai gali pagerinti DI agentų tool-calling tikslumą. Paprastai: agentas turi ne tik gražiai atsakyti, bet ir paspausti teisingą mygtuką.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
Straipsnyje naudojamas mažas kalbos modelis, kuris mokomas geriau atpažinti, kada ir kaip kviesti konkretų įrankį. SFT duoda gerus pavyzdžius, DPO padeda rinktis geresnį elgesį iš alternatyvų.
Čia kaip naujas darbuotojas. Jis gali būti protingas, bet jei nežino, kurią formą pildyti, vis tiek pridarys darbo komandai.
KODĖL TAI SVARBU
Agentams įrankiai yra rankos: CRM įrašas, el. laiškas, paieška, užsakymo keitimas, dokumento sukūrimas. Jeigu įrankis pakviečiamas neteisingai, klaida tampa realiu veiksmu.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui tai reiškia, kad agentų kokybę reikia matuoti ne vien atsakymo tekstu. Reikia tikrinti, ar jis pasirinko teisingą veiksmą, tinkamus parametrus ir sustojo laiku.
- rinkti realius gerų ir blogų tool-calling pavyzdžius
- testuoti agentą su ribiniais atvejais
- neleisti agentui atlikti kritinių veiksmų be peržiūros
- matuoti klaidų kainą, ne tik tikslumo procentą
Jei agentas aptarnauja klientus, pirmiausia leiskite jam tik paruošti veiksmą. Žmogus patvirtina. Kai klaidos sumažėja, galima plėsti teises.
KUR PASISLĖPUSI RIZIKA
Rizika – sumaišyti pokalbio kokybę su veikimo kokybe. Malonus atsakymas dar nereiškia, kad sistema padarė teisingą veiksmą.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Išsirinkite vieną agento įrankį ir surašykite 10 situacijų, kada jo kviesti negalima. Tai labai greitai parodo spragas.
Šaltinis: Amazon Web Services.
DUK
Kas yra tool-calling?
Tai DI agento gebėjimas kviesti išorinius įrankius ar API.
Kas yra SFT ir DPO?
Tai modelio mokymo būdai: vienas moko iš gerų pavyzdžių, kitas padeda rinktis geresnius atsakymus.
Kodėl tai svarbu verslui?
Nes agento klaida gali tapti realiu veiksmu sistemoje.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
