Gemini Nano telefone: greitis prasideda ne debesyje, o kišenėje

Svarbiausia

• Kas yra Gemini Nano telefone? Tai Google mažesni DI modeliai, skirti veikti Pixel tipo įrenginiuose lokaliai.
• Kodėl svarbus greitis telefone? Nes realiame darbe žmonės laukia atsakymo dabar, o ne po kelių sekundžių ryšio kelionės.
• Ar lokalus DI pakeis debesį? Ne visur. Greičiausiai matysime derinį: paprasti veiksmai lokaliai, sunkesni darbai debesyje.

Gemini Nano telefone skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?

Google Research aprašė, kaip Gemini Nano modeliai Pixel telefonuose greitinami su frozen Multi-Token Prediction. Paprastai tariant: mažas modelis telefone bando atspėti ne vieną, o kelis kitus žingsnius iš karto.

Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?

Kas nutiko

Tyrime kalbama apie būdą pagreitinti Gemini Nano tipo modelius įrenginyje, neperkeliant viso darbo į debesį. Tai svarbu mobiliems scenarijams, kur delsos, baterijos ir privatumo klausimai susitinka vienoje vietoje.

Debesis patogus, bet telefonas vis dar yra arčiausiai žmogaus. Kišenėje. Rankoje. Kartais net po pagalve, nors čia jau kita tema ir kitas treneris reikalingas.

Kodėl tai svarbu

Kai DI veikia pačiame įrenginyje, atsakymai gali ateiti greičiau, dalis duomenų lieka lokaliai, o paslauga mažiau priklauso nuo ryšio kokybės. Mažiems kasdieniams veiksmams tai gali būti didelis skirtumas.

DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.

Ką tai reiškia verslui

Verslui tai primena, kad ne visas DI turi gyventi serveriuose. Kai kurios užduotys geriau tinka telefonui, kasos aparatui, terminalui ar kitam kraštiniam įrenginiui.

• atskirti užduotis, kurioms reikia debesies
• lokaliai palikti jautrius ar greitus veiksmus
• matuoti delsą realiame įrenginyje
• nepamiršti baterijos ir atnaujinimų

Pavyzdys: pardavimų komanda telefone gali gauti greitą santrauką ar teksto pasiūlymą be laukimo, kol kiekviena smulki užklausa keliaus per debesį.

Kur pasislėpusi rizika

Rizika – į įrenginį sukišti per daug ir paskui stebėtis, kodėl viskas kaista, stringa arba sunkiai atsinaujina. Lokalus DI irgi turi turėti ribas.

Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.

Ką pasidaryti šią savaitę

Peržiūrėkite vieną mobilų darbo procesą ir pažymėkite, kurioms jo dalims reikia greito lokalaus atsakymo, o kurioms užtenka debesies.