1 gigabaito pakanka naujo Liquid DI modelio svoriams

Liquid AI išleido šešis LFM3 šeimos modelius, kurių tekstinio varianto svoriai keturių bitų tikslumu užima apie vieną gigabaitą. Spalio 27 dienos bendrovės pranešime nurodoma, kad atsisiunčiami modeliai skirti specializuotoms užduotims kompiuteriuose, telefonuose ir kitoje vietinėje įrangoje.

LFM3 šeima aprėpia tekstą, vaizdus, garsą, kelių duomenų rūšių apdorojimą ir struktūrizuotus sprendimus, tačiau šias funkcijas atlieka skirtingi variantai. Bendrovė siūlo rinktis konkrečiai užduočiai tinkantį modelį, pavyzdžiui, dokumentų apdorojimui, vaizdų atpažinimui, balso sąsajai arba programinių įrankių iškvietimui.

Pasak Liquid AI, visi variantai remiasi tuo pačiu 1,7 milijardo parametrų pagrindu, kuris mokytas naudojant 22 trilijonus žetonų. Tekstiniam modeliui nurodytas 256 tūkstančių žetonų konteksto langas, tačiau vien svorių dydis neapima visos vykdymui reikalingos darbinės atminties.

Bendrovės Hugging Face modelio kortelėje pateikiami atsisiunčiami svoriai, paskirtis ir nuorodos į palaikomas vykdymo aplinkas bei jų reikalavimus. Liquid AI mini llama.cpp, MLX ir vLLM, tačiau konkretaus modelio bei duomenų rūšies palaikymas priklauso nuo pasirinktos aplinkos versijos.

Modelio kūrėja skelbia, kad šeimą galima papildomai mokyti naudojant vieną vaizdo plokštę, o vykdymui numatyta ir mažesnė vietinė įranga. Architektūros atranka tikrinta keturiolikoje įrenginių bei programinių aplinkų derinių, įskaitant Raspberry Pi 5, telefonus, Apple M4 Max ir AMD Ryzen kompiuterius.

Nepriklausomą ribotos apimties bandymą aprašęs Webdiga tekstinį modelį paleido tik procesoriumi, aštuonių virtualių branduolių sistemoje su penkiolika gigabaitų atminties. Leidinys išmatavo 39,5 generuojamo žetono per sekundę, o su 32 tūkstančių žetonų kontekstu procesas naudojo apie 2,6 gigabaito atminties.

Šie rodikliai aprašo vieną konkrečią konfigūraciją, todėl Webdiga jų nepateikia kaip visų telefonų ar nešiojamųjų kompiuterių našumo pažado. Jie taip pat parodo skirtumą tarp atsisiunčiamo modelio failo ir visos sistemos atminties, reikalingos veikiančiam pokalbiui bei jo kontekstui.

Svoriai pateikiami pagal LFM Open License v1.0, taigi tai nėra neribota MIT arba Apache licencija visiems komerciniams naudotojams. Licencijos tekste nustatyta dešimties milijonų JAV dolerių metinių pajamų riba, o ją viršijančio juridinio asmens komercinis naudojimas šiuo susitarimu nelicencijuojamas.

Pačios Liquid AI bandymuose 1,7 milijardo parametrų tekstinis variantas lyginamas su ankstesniu 2,6 milijardo parametrų modeliu ir kitais mažais modeliais. Bendrovė skelbia geresnius pasirinktų užduočių rezultatus naudodama 35 procentais mažiau parametrų, tačiau tai yra jos pačios matavimai. Naujas pagrindas jungia trumpas konvoliucijas, slankiojo lango dėmesį ir visuotinį dėmesį, kad skirtingos operacijos pasidalytų teksto apdorojimo darbą. Šeimoje atskirai pateikiami ir sprendimų modeliai, kurie vietoje ilgo atsakymo grąžina struktūrizuotus pasirinkimus bei jų tikimybes pagal pateiktą įvestį.

Todėl šeima pristatoma kaip atvirų svorių projektas, kurį galima atsisiųsti ir bandyti laikantis konkrečių paskelbtų naudojimo bei platinimo sąlygų. Toliau bus svarbus vykdymo aplinkų palaikymo plėtimas: Webdiga bandymo metu dalies variantų palaikymas dar nebuvo pasiekęs stabilių programų leidimų.