DI agento karkasas: kodėl vien gero modelio neužtenka

DI agento karkasas skamba kaip programuotojų reikalas. Ir truputį taip yra. Bet jei vadovas galvoja pirkti ar kurti DI agentą, ši tema tampa labai praktiška.

Nes dažnai klausimas užduodamas taip: „kurį modelį naudosim?“ GPT, Claude, Gemini, Llama, dar kažkas. Atrodo, išsirinkai protingiausią ir viskas. Deja.

Čia kaip su sportu. Gali turėti geriausius bėgimo batelius, bet jei miegi po 4 valandas, valgai bet ką ir treniruojiesi kartą per mėnesį, bateliai stebuklo nepadarys. Modelis yra svarbus. Bet ne vienas.

KAS YRA AGENTO KARKASAS

NVIDIA liepos 27 d. rašė apie agento karkaso galimybes. Paprastai tariant, karkasas yra visa aplinka aplink modelį: kaip jam paduodamas kontekstas, kokius įrankius jis gali kviesti, kaip tikrinami atsakymai, kaip valdoma atmintis, kaip matuojamas našumas.

Jei modelis yra žmogus virtuvėje, karkasas yra pati virtuvė. Peiliai, lentelės, receptai, tvarka šaldytuve, taisyklė „nepjaustyk svogūnų ant grindų“. Be virtuvės net geras šefas atrodys keistai.

KONTEKSTAS GALI PADĖTI ARBA PASKANDINTI

Agentui reikia konteksto. Bet daug konteksto dar nereiškia gero konteksto. Jei į užduotį sukiši visą dokumentų archyvą, agentas gali pradėti klaidžioti.

Versle tai labai dažna. „Duokim jam viską, tegul pats atsirenka.“ Skamba patogu. Bet realybėje geriau paruošti tvarkingą informacijos kelią: kur ieškoti, kokius dokumentus laikyti svarbiais, ko neimti, kada klausti žmogaus.

DI agentas turi gauti ne šiukšlių maišą, o darbo stalą.

ĮRANKIAI TURI TURĖTI RIBAS

Kitas dalykas – įrankiai. Agentas gali jungtis prie kalendoriaus, CRM, el. pašto, dokumentų, užduočių valdymo. Kuo daugiau įrankių, tuo daugiau galimybių. Ir tuo daugiau vietų suklysti.

Praktinis klausimas: ar agentas tik pasiūlo veiksmą, ar pats jį padaro? Ar jis gali išsiųsti laišką? Ar gali keisti įrašą? Ar gali sukurti sąskaitą? Kiekvienas „taip“ turi turėti priežastį.

Kai įmonė to neapsirašo, agentas tampa labai mandagiu, bet per daug laisvu darbuotoju.

MATAVIMAS NĖRA PRIEDAS

Agentą reikia matuoti ne pagal vieną gražų demo. Reikia žiūrėti, kiek užduočių jis baigia teisingai, kiek kartų prašo žmogaus pagalbos, kiek kainuoja viena užduotis, kur dažniausiai klysta.

Be matavimo lieka emocija. Vienam atrodo, kad veikia nuostabiai. Kitam atrodo, kad nesąmonė. O skaičiai padeda išlipti iš ginčo.

Mano siūlymas paprastas: prieš diegiant agentą, apsirašyti 20 tipinių užduočių ir vertinimo lentelę. Tada testuoti ne nuotaiką, o rezultatą.

DUK

Kas yra DI agento karkasas?

Tai techninė ir procesinė aplinka, kuri valdo modelio kontekstą, įrankius, atmintį, tikrinimą ir veiksmus.

Ar geresnis modelis visada reiškia geresnį agentą?

Ne. Prastas kontekstas, per plačios teisės ar blogi įrankiai gali sugadinti net labai stipraus modelio darbą.

Kaip testuoti DI agentą?

Paruošk tipinių užduočių rinkinį, matuok tikslumą, laiką, kainą ir žmogaus įsikišimų skaičių.

Šaltinis: NVIDIA Technical Blog.

Jei nori susidėlioti pirmą agento scenarijų be perdegimo, pradėk nuo vieno proceso. Daugiau praktikos rasi MasterSprint.