NVIDIA atvėrė penkis Cosmos duomenų ruošimo scenarijus

NVIDIA išplėtė Cosmos platformą penkiais atvirais duomenų ruošimo scenarijais, skirtais robotų ir autonominių transporto sistemų modelių kūrėjams bei tyrėjams. Spalio 21 dienos pranešime bendrovė nurodo, kad Cosmos Data Factory kodas pateikiamas GitHub, o sprendimus galima vykdyti savo arba debesijos infrastruktūroje.

Pasak NVIDIA, įrankiai padeda atrinkti, žymėti ir papildyti tikrus vaizdo duomenis sintetiniais pavyzdžiais, kuriuos sudėtinga saugiai surinkti realiame pasaulyje. Tai duomenų parengimo procesai fizinio DI sistemoms, o ne paprasta vartotojo programėlė ar bendros paskirties pokalbių modelis kasdieniam susirašinėjimui.

Oficialiame pranešime išvardijami autonominio vairavimo rinkinių kūrimas, vaizdų atributų keitimas, retų įvykių vaizdo generavimas, gamybos defektų vaizdai ir vaizdo papildymas. Pastarasis scenarijus leidžia keisti apšvietimą arba orą išsaugant scenos struktūrą, o defektų scenarijus skirtas patikros modelių mokymui.

NVIDIA teigia, kad ANYbotics su šiais įrankiais sugeneravo daugiau kaip 1 500 sintetinių vaizdo klipų pramoninių patikrų robotams mokyti. Bendrovė taip pat aprašo Porsche vadovaujamą bendrų vairavimo duomenų iniciatyvą, tačiau prognozuojamas bandymų mažinimas nėra jau išmatuotas visos pramonės rezultatas.

Tiesioginėje Cosmos Data Factory GitHub saugykloje pateikiami penki atraminiai scenarijai ir jų tarpusavyje derinamos dalys. Aprašyme atskiriamas duomenų atrinkimas, automatinis žymėjimas, papildymas, anomalijų kūrimas ir bendras vykdymo valdymas; dalis įrankių gali būti naudojami atskirai nuo viso proceso.

Projekto kodui taikoma Apache 2.0 licencija, o dokumentacijai ir įgūdžių turiniui – CC BY 4.0, aiškiai nurodyta saugyklos licencijų skyriuje. Tai svarbus skirtumas nuo migloto pažado apie atvirumą: naudojimo sąlygos pateiktos kartu su konkrečiu atsisiunčiamu kodu ir dokumentais.

Paleidimui saugykla nurodo Kubernetes klasterį, įvesties ir išvesties objektų saugyklą, konteinerių registrą bei prieigos duomenis NGC ir Hugging Face. Grafikos procesorių poreikis priklauso nuo pasirinkto scenarijaus, todėl projektas nepateikiamas kaip garantuotai bet kuriame įprastame nešiojamajame kompiuteryje veikiantis sprendimas.

Dokumentacijoje scenarijų vykdymas aprašomas kaip Airflow užduočių grafai, o daliai vaizdo generavimo procesų taip pat palaikoma OSMO vykdymo aplinka. Tai reiškia, kad praktinis išbandymas reikalauja ne tik modelio svorių, bet ir parengtos duomenų bei skaičiavimo paslaugų infrastruktūros.

Saugykloje taip pat aprašytas Cosmos Evaluator, tikrinantis sugeneruotų vaizdų fizikinį pagrįstumą, objektų nuoseklumą ir atitikimą pradiniams pavyzdžiams bei sąlygoms. Šios patikros skirtos mokymo rinkinių kokybei vertinti; jų buvimas savaime nepatvirtina, kad išmokytas robotas saugus bet kokioje realioje aplinkoje.

Toliau kūrėjai galės naudoti paskelbtus scenarijus savo duomenims ir tikrinti pasirinktos įrangos reikalavimus pagal atskirą projekto dokumentaciją bei modelius. NVIDIA saugykla šiuo metu nepriima išorinių pakeitimų pasiūlymų, todėl kodo viešumas nereiškia atviro bendruomenės valdymo ar pažado peržiūrėti kiekvieną papildymą.