SageMaker ir AgentCore: kai agentas turi dirbti su keliais modeliais

SageMaker ir AgentCore naujiena primena labai paprastą dalyką: vienas modelis ne visada turi atlikti visą darbą.

Kartais reikia greito klasifikatoriaus. Kartais – stipresnio modelio biudžetui. Kartais – kito modelio finansinei analizei.

AWS rugpjūčio 15 d. parodė architektūrą, kur agentinis srautas jungia kelis modelių hostingo kelius per Amazon Bedrock AgentCore konteinerį.

VIENAS AGENTAS, KELI ĮRANKIAI

Agentas nėra vien pokalbis su modeliu. Geras agentas labiau panašus į koordinatorių, kuris žino, kada ką kviesti.

AWS pavyzdyje yra orchestrator agentas, biudžeto agentas ir finansinės analizės agentas. Skirtingi modeliai, skirtingos rolės.

Čia jau prasideda tikra sistema, ne vien promptas.

KODĖL TAI NAUDINGA

Jeigu viską darote su vienu brangiu modeliu, mokate per daug už paprastas užduotis.

Jeigu viską darote su pigiu modeliu, rizikuojate kokybe ten, kur reikia tikslesnio sprendimo.

Kelių modelių architektūra leidžia pasirinkti įrankį pagal darbą. Kaip dirbtuvėse: ne viską darai su plaktuku.

PAMOKA KOMANDOMS

Prieš kuriant agentą, suskaidykite darbą į dalis. Klasifikavimas, paieška, skaičiavimas, sprendimas, atsakymo paruošimas.

Tada kiekvienai daliai galima parinkti tinkamą modelį, kainą ir kontrolės lygį.

Toks mąstymas iš pradžių lėtesnis. Bet vėliau sutaupo ir pinigų, ir nervų.

FAQ

Kodėl agentui reikia kelių modelių?

Skirtingos užduoties dalys gali reikalauti skirtingo greičio, kainos ir tikslumo.

Kas yra orchestrator agentas?

Tai agentas, kuris klasifikuoja užduotį ir nukreipia ją į tinkamą modelį ar įrankį.

Ar tai aktualu mažam verslui?

Taip, jei agentas turi atlikti daugiau nei vieną paprastą veiksmą ir sąnaudos pradeda augti.

Šaltinis: AWS Machine Learning Blog.

Jei planuojate agentą, ant lapo nusipieškite jo darbus dalimis. Dažnai ten pasimato, kad jums reikia ne vieno didelio modelio, o protingo paskirstymo.