Nebius perka Inferize: DI užklausų kaina tampa infrastruktūros karu

DI infrastruktūra tampa ne tik lustų, bet ir sekundžių kova.

Nebius paskelbė įsigijusi Inferize – įmonę, kuri padeda greičiau paleisti didelius DI modelius ir mažinti tuščią GPU laiką. Finansinės sandorio sąlygos oficialiai neatskleistos.

Skamba kaip serverių virtuvė. Bet jeigu jūsų produktas naudoja DI, ši virtuvė vieną dieną ateina į sąskaitą.

KAS YRA TUŠČIAS GPU LAIKAS

GPU yra brangūs. Jie ryja elektrą, reikalauja aušinimo ir turi dirbti kuo pilniau. Kai modelis laukia užklausų arba per lėtai įsijungia, pinigai vis tiek dega.

Inferize technologija taikosi į vadinamąjį šaltą startą: momentą, kai modelį reikia greitai paruošti darbui. Kuo trumpesnis šis laikas, tuo mažiau reikia laikyti perteklinės galios atsargai.

Nebius tai jungia prie savo Token Factory platformos, skirtos DI modelių užklausoms aptarnauti.

KODĖL TAI SVARBU NE TIK DEBESIJAI

Kai DI produktas mažas, galima nekreipti dėmesio. Kai vartotojų daug, kiekviena užklausa pradeda turėti kainą. Tada klausimas nebe tik ar modelis atsako, o kiek kainuoja atsakymas.

Čia infrastruktūros įmonės varžosi ne vien pagal tai, kiek GPU turi. Jos varžosi pagal tai, kiek darbo iš tų GPU išspaudžia.

Jei Nebius pavyks sumažinti tuščią laiką, tai gali reikšti geresnę maržą arba pigesnį pasiūlymą klientams. Bet kol nėra viešų gamybinių skaičių, reikėtų žiūrėti blaiviai.

PAMOKA PRODUKTŲ KOMANDOMS

DI produkto kaina nesibaigia ties API tarifu. Reikia skaičiuoti laukimą, pakartojimus, klaidas, kontekstą, talpyklą ir piko valandas.

Jei to nedarai, verslo modelis gali atrodyti gražiai iki pirmo rimtesnio naudojimo šuolio.

Todėl tokie sandoriai kaip Nebius ir Inferize nėra tik infrastruktūros naujiena. Tai priminimas, kad DI versle ekonomika prasideda daug giliau nei vartotojo lange.

FAQ

Ką įsigijo Nebius?

Nebius įsigijo Inferize – technologiją ir komandą, kuri optimizuoja didelių DI modelių paleidimą ir GPU panaudojimą.

Kas yra šaltas modelio startas?

Tai laikas, kurio reikia modeliui įsijungti ir pradėti aptarnauti užklausas po neveikimo arba mastelio keitimo.

Kodėl tai rūpi DI produktams?

Kuo efektyviau naudojami GPU, tuo lengviau valdyti užklausų kainą, piko apkrovas ir produkto maržą.

Šaltinis: Nebius.

Prieš diegdami DI į produktą, paskaičiuokite ne tik idėją, bet ir užklausos ekonomiką. Salvaro padeda šitą planą susidėti praktiškai.