Virtualius pasaulius Genie 4 kuria su garsu ir dialogais

Virtualius pasaulius su aplinkos garsais, muzika ir veikėjų dialogais kuriantis Genie 4 priima tekstinius pakeitimus jau vykstant pačiai simuliacijai. Google DeepMind spalio 27 dieną paskelbė, kad naująjį modelį pradėjo bandyti ribota patikimų testuotojų grupė.

Pranešimą apie Genie 4 pasirašė Google DeepMind tyrėjai Raia Hadsell, Diego Rivas ir Hang Qi, pristatę modelio galimybes bei tyrimo kryptį. Pagal laboratorijos pranešimą, vartotojas gali pakeisti orą, kameros padėtį arba pridėti veikėją nenutraukdamas jau pradėtos interaktyvios scenos. Ankstesnėms vaizdo kūrimo užduotims būdingą vienkartinį rezultatą čia pakeičia aplinka, kuri toliau reaguoja į naujus žmogaus veiksmus.

Google DeepMind aiškina, kad Genie 4 veikia kartu su Gemini šeimos modeliais, kurie padeda išlaikyti scenos nuoseklumą ir tęstinumą. Gemini Omni suteikia realaus pasaulio išvaizdos bei elgesio pagrindą, o kiti modeliai planuoja sudėtingesnius veiksmus ir stebi rezultatą.

Laboratorijos demonstracijose aplinkos valdymas derinamas su klaviatūros komandomis, skirtomis judėjimui bei kamerai, ir natūralia kalba pateikiamais scenos pakeitimais. Garsas generuojamas kartu su pasauliu, todėl aplinką papildo jos vietą atitinkantis vėjas, vanduo, muzika ar veikėjų reakcijos.

Vienoje Google DeepMind aprašytoje tyrimo užduotyje Gemini suskaido tikslą į žingsnius, o Genie modeliuoja jų vykdymą besikeičiančioje aplinkoje. Laboratorija tokias simuliacijas sieja su galimybe ateityje saugiau kurti robotų bei programinių agentų mokymo ir bandymų aplinkas.

Bendrovės pristatymas apima ir kūrybines užduotis, kuriose scenos sumanymą galima keisti tiesiog stebint, kaip toliau vystosi pradėtas pasaulis. Google nurodo interaktyvias patirtis bei kūrybos priemones, tačiau dabartinį leidimą vadina tyrimų peržiūra, o ne baigtu masiniu produktu.

Demonstravimo medžiagoje laboratorija rodo skirtingą fiziką, žmonių judėjimą ir dialogą, kuriuos modelis turi suderinti vienoje tęstinėje scenoje. Tokie pavyzdžiai pristato kūrėjų pasirinktus modelio bandymus, todėl patys savaime dar nėra nepriklausomas visų galimų aplinkų patikimumo įvertinimas.

Google DeepMind teigia, kad patikimų testuotojų atsiliepimus renka prieš išplėsdama prieigą vartotojams ir programų kūrėjams per savo produktus. Tai reiškia, kad pristatytos demonstracijos dar nesuteikia galimybės kiekvienam skaitytojui iš karto pradėti neribotai kurti tokius pasaulius.

Viename paskelbtame Google DeepMind pavyzdyje žmogus groja saksofonu ant ežere plūduriuojančios aikštelės, o kamera gali laisvai tyrinėti aplinką. Kitame pavyzdyje keičiamą pasaulį sudaro virš žydinčios pievos judanti rožinė medžiaga, kurios judėjimą modelis derina su vėju ir scenos erdve. Šie skirtingi scenarijai iliustruoja laboratorijos siekį vienu modeliu apdoroti ne tik žmogaus judėjimą, bet ir aplinkos objektų sąveiką. Publikacijoje jie pateikiami kaip įrašyti realaus laiko bandymai, o ne skaitytojui jau atvertos bendro naudojimo aplinkos.

Kitas laboratorijos nurodytas žingsnis yra Genie 4 prieiga Google AI Ultra prenumeratoriams per Project Genie ir ankstyvos prieigos partneriams. Modelis taip pat numatytas Gemini API bei Google AI Studio aplinkoms, tačiau konkrečios visuotinės prieigos datos pranešime nėra.