Recursive atvėrė Flint modelį programavimui savo kompiuteryje

Recursive išleido „Flint“ – atvirų svorių DI modelį, skirtą programavimo užduotims atlikti vietiniame kompiuteryje, nesiunčiant darbo duomenų į nuotolinį serverį. Spalio 21 dieną pristatytas modelis, pasak kūrėjų, turi 40 milijardų parametrų, tačiau kiekvienam žetonui aktyvina tik 2,5 milijardo.

Bendrovė nurodo, kad svoriai skelbiami pagal „Apache 2.0“ licenciją, leidžiančią modelį naudoti ir pritaikyti savo programoms ar organizacijos darbo procesams. Tiesioginė atsisiuntimo vieta yra „RecursiveSI/flint“ puslapis Hugging Face platformoje, o leidimas apima ir mažesnio tikslumo variantus vietiniam vykdymui.

Pasak Recursive, naudojant optimizuotą vykdymo variklį „M4 Pro MacBook Pro“ kompiuteryje modelis generuoja daugiau kaip 125 žetonus per sekundę trumpame kontekste. Su 64 gigabaitų atminties „Nvidia RTX Spark“ kūrėjai skelbia daugiau kaip 150 žetonų per sekundę rezultatą tomis pačiomis bendromis sąlygomis.

TechCrunch aprašė ir atskirą Wired žurnalisto Willo Knighto bandymą, kuriam naudotas Mac kompiuteris su 48 gigabaitais atminties kelioms nedidelėms programoms kurti. Tai konkretus išbandytos konfigūracijos pavyzdys, o ne pažadas, kad bet kuris nešiojamasis kompiuteris užtikrins tokį pat greitį ar rezultatą.

Recursive savo publikacijoje lygina „Flint“ su mažiau kaip 50 milijardų bendrų parametrų turinčiais ekspertų mišinio modeliais ir panašaus dydžio tankiais modeliais. Kūrėjai remiasi „SWE-Bench Pro v2“, „Terminal-Bench 2.1“ ir „SWE-Bench Verified“ testais, tačiau pateikti palyginimai yra pačios bendrovės matavimai.

Pasak kūrėjų, modelio konteksto langas gali siekti 512 tūkstančių žetonų, bet programavimo ir kitoms užduotims jie rekomenduoja likti iki 256 tūkstančių. Sudėtingoms užduotims taip pat gali reikėti aiškesnių nurodymų ir darbo skaidymo, nes mažesnis modelis neprilygsta didžiausioms uždaroms sistemoms visose situacijose.

Bendrovė teigia modelį nuo pradžios sukūrusi per mažiau nei keturis mėnesius, o jos automatizuota tyrimų sistema „Eureka Machine“ prisidėjo prie daugelio etapų. Aprašyme minimi duomenų ir mokymo receptų tyrimai, modelio architektūros paieška, mažesnio bitų skaičiaus svoriai bei konkrečiai įrangai pritaikytos skaičiavimo programos.

Recursive nurodo, kad keturių bitų NVFP4 varianto vidutinis testų rezultatas nuo 16 bitų modelio atsilieka ne daugiau kaip 0,7 punkto jų bandymuose. Tai svarbu atskirti nuo bendro patikimumo įrodymo: konkretus programavimo rezultatas vis tiek priklausys nuo užduoties, darbo aplinkos ir naudojamos konfigūracijos.

Recursive paaiškina, kad automatizuota tyrimų sistema ne tik siūlo idėjas, bet ir jas įgyvendina, išbando bei renkasi tolesnių eksperimentų kryptį. „Flint“ atveju ji pradėjo nuo 35 milijardų bendrų ir trijų milijardų aktyvių parametrų architektūros, o vėliau atrinko kitokį ekspertų išdėstymą vietiniam vykdymui.

Modelis suderinamas su „llama.cpp“, „Ollama“, „Unsloth“, „LM Studio“, „vLLM“ ir „SGLang“, o Recursive taip pat išleidžia savo optimizuotą „rec“ variklį. Toliau bendrovė ketina kurti pajėgesnius vietinius modelius ir jiems skirtą infrastruktūrą, naudodama ankstesnių modelių kūrimo tyrimus naujai kartai rengti.