Elorian išleido DI modelį, kuris prie vaizdo grįžta mąstydamas

Elorian išleido pirmąjį DI modelį Glimpse, kuris samprotaudamas gali pakartotinai nagrinėti pradinį vaizdą, priartinti jo sritis ir pasirinkti vaizdo įrašo kadrus. Spalio 16 dieną TechCrunch pranešė, kad modelis pradedamas siūlyti kaip tyrimų versija su programine prieiga ir atskira pokalbio sąsaja.

Pasak leidinio, dauguma multimodalių modelių vaizdą pirmiausia paverčia žetonais, o toliau apie jį samprotauja teksto pavidalu iš turimo atvaizdavimo. Elorian savo būdą vadina vaizdine darbine erdve: modelis gali sugrįžti prie šaltinio ir naudoti kodą tam, ką mato, pamatuoti arba palyginti.

Bendrovės vadovas Andrew Dai anksčiau dirbo Google DeepMind, o vieną neišspręstą problemą jam priminė nesėkmingas bandymas analizuoti stalo žaidimo nuotrauką. TechCrunch jis pasakojo, kad modelis nesugebėjo nustatyti, kas laimi, nors žmonėms žaidimo simbolių ir jų ryšių prasmė buvo suprantama.

TechCrunch pažymi, kad vaizdo iškirpimas ir priartinimas samprotavimo metu nėra visiškai naujas metodas, nes OpenAI jį įtraukė į o serijos modelius 2025 metais. Elorian skirtumą sieja su tuo, kad visas Glimpse modelio kūrimas buvo sutelktas į tokį veikimo būdą, o ne vien papildomą įrankį.

Bendrovė leidiniui teigė modelį išmokiusi nedidele komanda, naudodama kelis šimtus grafikos procesorių, ir apibūdino jį kaip mažesnį už lyginamus pažangiausius modelius. Publikacijoje konkretus parametrų skaičius nepateikiamas, todėl šis teiginys neleidžia tiksliai apskaičiuoti savarankiško paleidimo atminties ar įrangos poreikio.

Pagal TechCrunch pateiktą kainodarą milijonas įvesties žetonų kainuoja 0,60 dolerio, o milijonas modelio išvesties žetonų kainuoja 3 dolerius. Elorian savo testuose skelbia pranašumą prieš GPT-6 Astra mokslinių grafikų samprotavimo ir trumpų vaizdo įrašų aprašymo užduotyse, tačiau tai nėra nepriklausomo vertintojo išvada.

Startuolis anksčiau pritraukė 55 milijonų dolerių pradinį finansavimą, kuris bendrovę įvertino 300 milijonų dolerių dar iki pirmojo produkto paleidimo. TechCrunch nurodo, kad raundui kartu vadovavo Striker Venture Partners, Menlo Ventures ir Altimeter Capital, o dalyvavo Nvidia bei Google vyriausiasis mokslininkas Jeff Dean.

TechCrunch pateiktame palyginime Glimpse kainuoja mažiau už vidutinės klasės Sonnet ir Sol, bet daugiau už lengvesnius Haiku ir Luna modelius. Todėl produkto pozicija grindžiama ne mažiausia rinkos kaina visoms užduotims, o siūlomu vaizdinio samprotavimo ir užklausų kainos deriniu.

Leidiniui Dai sakė, kad kitais metais bendrovė sieks pirmauti visuose vaizdinio samprotavimo testuose, nors šiuo metu toks rezultatas dar nepasiektas. Šį tikslą jis sieja su tolesne modelio plėtra, o dabartiniai paskelbti palyginimai apima atskiras užduotis ir pačios Elorian pasirinktus vertinimus.

Pradžioje Elorian taikosi į daug vaizdo medžiagos turinčias robotikos bendroves, mokslines laboratorijas, žiniasklaidos ir kūrybos komandas, rašo leidinys. Ilgesnio laikotarpio plane numatomas scenos supratimo susiejimas su veiksmų pasirinkimu ir robotų valdymu, tačiau dabar pristatyta tik tyrimų versija, o platesni pažadai lieka būsimų bandymų objektu.