13 žetonų per sekundę atviras MiniCPM modelis pasiekia telefone
OpenBMB paskelbė MiniCPM-V 4.7 atvirus modelius. Kūrėjų bandyme 35 milijardų parametrų variantas telefone veikė naudodamas 3 GB atminties.
Atviras OpenBMB vaizdų analizės modelis MiniCPM-V 4.7 kūrėjų bandyme iPhone 17 Pro Max telefone generavo daugiau nei 13 žetonų per sekundę. Hugging Face paskelbtame projekto apraše nurodoma, kad optimizuotam veikimui reikėjo 3 GB atminties, tačiau tai nėra visų modelio svorių dydis.
MiniCPM-V 4.7 skirtas pavieniams vaizdams, kelių vaizdų rinkiniams ir vaizdo įrašams suprasti, o naudotojai jo svorius gali parsisiųsti savarankiškai. Modelio kortelėje nurodyta Apache 2.0 licencija, o tiesioginės nuorodos į svorius ir programinį kodą pateikiamos OpenBMB GitHub projekte.
Kūrėjai išleido 35B-A3B variantą, turintį apie 35 milijardus bendrų parametrų ir vienai išvesčiai aktyvinantį apie 3 milijardus parametrų. Tai pirmasis šios MiniCPM-V šeimos ekspertų mišinio modelis, tačiau mažas aktyvių parametrų skaičius nereiškia, kad kitų ekspertų svorių nebereikia saugoti.
OpenBMB paaiškina, kad telefono atmintyje telpa ne visi ekspertai, todėl dalis svorių saugoma kaupiklyje ir prireikus įkeliama skaičiavimui. Naujas Lookahead Expert Scheduling metodas prognozuoja, kokių ekspertų reikės kitam sluoksniui, ir jų įkėlimą derina su jau paruoštų ekspertų skaičiavimais.
Pasak projekto aprašo, prognozės naudojamos išankstiniam paruošimui, o ne ekspertams savavališkai pašalinti: nepataikyti, bet reikalingi ekspertai vis tiek įkeliami. Kartu taikomas atskirų sluoksnių kvantavimas ir DSpark spekuliatyvusis generavimas, todėl skelbiamas telefono rezultatas susijęs su visa optimizavimo sistema, ne vien baziniu modeliu.
Paleidimui pateikiamos vietinės iOS, Android ir HarmonyOS priemonės, taip pat llama.cpp, Ollama, vLLM bei SGLang suderinamumas ir keli kvantuoti formatai. Projekto kortelėje nurodoma, kad GGUF variantai palaiko procesoriaus skaičiavimus, tačiau vieno minimalaus atminties reikalavimo visiems kompiuteriams ir užduotims kūrėjai nepateikia.
Vaizdų koduotuvas anksti suspaudžia vaizdinius žetonus, o kūrėjai gali rinktis skirtingą detalumo ir skaičiavimo sąnaudų santykį pagal konkrečią užduotį. Apraše numatyti pavienių vaizdų pokalbiai, vaizdo supratimas, teksto atpažinimas, PDF analizė ir objektų vietos nustatymas, taip pat papildomas modelio pritaikymas.
Kartu paskelbtas Self-Replay Fine-Tuning metodas skirtas papildomai pritaikyti modelį ir sumažinti anksčiau turėtų gebėjimų praradimą, nurodo OpenBMB. Kūrėjai mini SWIFT ir LLaMA-Factory mokymo priemonių palaikymą, todėl savarankiškas naudojimas apima ne tik paruoštą pokalbio sąsają, bet ir papildomo pritaikymo galimybes.
Modelio kortelėje rodomi neredaguoti iPhone 17 Pro Max ir iPad M4 ekrano įrašai, kuriais iliustruojamas vietinis modelio veikimas. Šie pavyzdžiai parodo konkrečią kūrėjų konfigūraciją, tačiau nepakeičia skirtingo ilgio užklausų, vaizdų raiškos ir atminties naudojimo bandymų kituose telefonuose.
OpenBMB skelbia ir mažesnį 1B variantą bei DSpark pagalbinius modelius, todėl projektas neapsiriboja vienu telefono demonstraciniu bandymu ar vienu svorių formatu. Viešai pateikti greičio ir kokybės palyginimai kol kas yra kūrėjų rezultatai; nepriklausomi bandymai dar turės parodyti, kaip jie persikelia į kitus įrenginius ir duomenis.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
