Keturis atvirus Cosmos modelius NVIDIA skiria robotų simuliacijoms
NVIDIA paskelbė keturis Cosmos 3 Nano modelių variantus interaktyvioms simuliacijoms. Jie skirti robotikos ir autonominio vairavimo tyrimams, o ne paprastam pokalbiui.
Keturis atvirų svorių Cosmos 3 Nano modelių variantus NVIDIA paskelbė robotų veiksmų, vairavimo aplinkų ir interaktyvių pasaulių simuliacijoms kurti. Lapkričio 5 dienos Hugging Face publikacijoje bendrovė nurodo, kad kiekvienas variantas turi 16 milijardų mokomų parametrų ir yra pritaikytas skirtingoms stebėjimų generavimo užduotims.
NVIDIA aprašyme naujieji variantai skirti tyrėjams, kuriems reikia ne vien iš anksto sugeneruoto vaizdo įrašo, bet reakcijos į besikeičiančius valdymo signalus. Atviri svoriai leidžia juos papildomai mokyti savo duomenimis, tačiau pats jų paskelbimas dar nepatvirtina kiekvienos simuliuojamos aplinkos fizinio tikslumo.
Transfer-Auto variantas, pasak NVIDIA, gali generuoti vairavimo duomenis su iki vienuolikos suderintų kamerų vaizdų ir palaiko susietą vaizdo bei LiDAR generavimą. Tekstinės užklausos keičia išvaizdą, o scenarijaus žemėlapiai apibrėžia aplinkos struktūrą ir eismo judėjimą, todėl valdymo signalai išlieka svarbia įvesties dalimi.
Sim-Auto skirtas nuosekliai generuoti mažas suderintų kamerų ir LiDAR stebėjimų atkarpas, naudojant ankstesnę sugeneruotą istoriją bei naują vairavimo valdymą. NVIDIA pažymi, kad uždaro ciklo sąveikai dar reikia simuliavimo aplinkos ir valdymo žemėlapių atnaujinimo, todėl vien modelio failo nepakanka visai sistemai.
Sim-Transfer fizikos simuliatoriaus pateikiamus erdvinius signalus paverčia spalvotais stebėjimais, o Sim-Bimanual prognozuoja vaizdą iš robotų arba kameros veiksmų. Bendrovė aiškiai atskiria šias paskirtis: vienu atveju fizinę būseną apskaičiuoja simuliatorius, kitu modelis tiesiogiai generuoja kitą stebėjimą pagal veiksmų seką.
Oficialiame Cosmos Lab projekto puslapyje pateikiamos vairavimo, vaizdo transformavimo ir dviejų rankų robotų demonstracijos su pradine įvestimi. Tai leidžia atskirti turimą aplinkos vaizdą nuo modelio prognozuojamo tęsinio, o ne visus rodomus kadrus laikyti realaus eksperimento fotografijomis.
Oficialioje GitHub saugykloje NVIDIA sujungia modelių šeimą, techninius aprašymus ir papildomo mokymo scenarijus, skirtus fizinio pasaulio DI tyrimams. Atskirai pateikta Hugging Face modelių kolekcija leidžia pasiekti šios interaktyvių simuliacijų krypties kontrolinius taškus ir jų dokumentaciją.
Hugging Face publikacijoje nurodyta OpenMDW 1.1 licencija leidžia komercinį ir nekomercinį naudojimą pagal jos sąlygas, o ne Apache licencijos taisykles. Sim-Bimanual paleidimui aprašyti Linux, NVIDIA vaizdo plokštės, Docker ir NVIDIA Container Toolkit reikalavimai, todėl tai nėra pažadas veikti bet kuriame nešiojamame kompiuteryje.
NVIDIA pažymi, kad paskelbta vLLM-Omni konfigūracija išbandyta vienoje GB200 sistemoje, tačiau šis faktas nėra minimalaus atminties poreikio specifikacija. Todėl iš vien bandymo įrangos negalima nustatyti nei pigiausios tinkamos vaizdo plokštės, nei visų kitų galimų paleidimo konfigūracijų.
Palaikomą YAM robotų šeimą gaminanti I2RT savo dokumentacijoje pateikia fizinės YAM Cell stoties nuotraukas ir aprašymą. Tai atskira robotikos įranga, o ne į modelių atsisiuntimą įtrauktas fizinis komplektas.
Tolimesniam pritaikymui NVIDIA numato mokymą konkrečiais vairavimo ar robotikos duomenimis, suderintus veiksmų formatus ir rezultatų tikrinimą atskiruose epizoduose. Bendrovė pabrėžia, kad dar reikia matuoti, kur modeliai patikimai padeda mokyti bei vertinti valdymo strategijas, ir nustatyti jų ribas.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
