Hermes Agent rodo, kiek daug atminties reikia vietiniam DI

The Verge išbandė atviro kodo Hermes Agent su vietiniais Qwen modeliais ir parodė, kad vietinis DI dar reikalauja nemažai techninės kantrybės.

Ši atviro projekto naujiena svarbi skaitytojams, kurie nori naudoti DI savo kompiuteryje, o ne siųsti užklausas į OpenAI, Google ar Anthropic debesiją. Vietinis paleidimas gali padėti dėl privatumo, bet kartu perkelia atsakomybę už modelius, atmintį ir automatizaciją pačiam naudotojui.

The Verge rašo, kad Hermes Agent yra savarankiškai talpinama DI agento darbalaukio programa, veikianti macOS, Windows ir Linux sistemose. Straipsnyje nurodoma, kad įrankis yra nemokamas, jei naudojami vietiniai kalbos modeliai.

Bandymas atliktas su M5 Ultra Mac Studio, turinčiu 256 GB vieningos atminties. Leidinys rašo, kad per Hermes modelių pasirinkiklį buvo paleistas Qwen 3.8 Flash Next, 125 milijardų parametrų modelis, kurio dydis siekia apie 105 GB.

Tokie skaičiai paaiškina, kodėl vietinis DI kol kas nėra paprastas vartotojo nustatymas. Net kai programėlė padeda pasirinkti modelį, 105 GB dydžio failas ir 125 milijardų parametrų modelis reikalauja brangios atminties, kantrybės ir aiškaus tikslo.

The Verge autorius taip pat planuoja bandyti mažesnius Qwen modelius su M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 ir būsima RTX Spark įranga. Qwen modeliai skelbiami Hugging Face platformoje adresu https://huggingface.co/Qwen, o Hermes Agent projektas aprašomas kaip atviro kodo agento darbalaukio programa.

Pirmasis praktinis bandymas buvo rytinė santrauka per Telegram botą, kuri nuskaitydavo el. paštą, kalendorių ir orus. The Verge rašo, kad darbas strigo, kol paaiškėjo paprasta priežastis: macOS negalėjo būti užmigusi tuo metu, kai turėjo veikti cron užduotis.

Leidinys taip pat aprašo, kad vietinis agentas gali būti valdomas telefonu per Telegram botą. Tai nėra naujas modelio proveržis, bet praktiškas pavyzdys, kaip atviri įrankiai leidžia sujungti asmeninį kompiuterį, vietinį modelį ir kasdienę automatizaciją.

Kartu The Verge tekstas rodo ir kitą vietinio DI pusę: naudotojui lieka tuščias laukelis, kuriame reikia pačiam sugalvoti naudingą užduotį. Be aiškaus darbo scenarijaus privatumas ir vietinis vykdymas dar negarantuoja produktyvumo.

Toliau vietinio DI rinka turės įrodyti, kad naudotojui nereikės 12 000 dolerių vertės kompiuterio ir daug rankinio derinimo vien tam, kad agentas patikimai atliktų kasdienes užduotis.