Mažesnės DI sąnaudos: weightless neural networks grąžina efektyvumą į stalą
·
Mažesnės DI sąnaudos dažnai aptariamos per naujus lustus. Bet IEEE Spectrum aprašyta kryptis eina kitu keliu: o jei pats modelis daro per daug darbo?
Teksaso universiteto profesorė Lizy K. John tyrinėja weightless neural networks. Vietoj nuolatinės daugybos šie tinklai naudoja paieškos lenteles – lyg sistema greičiau pasitikrintų paruoštą atsakymą.
Skamba techniškai. Bet verslui klausimas labai paprastas: ar galime DI paleisti pigiau, ar visada reikės dar vieno GPU?
KUR DINGSTA ENERGIJA
Dabartiniai neuroniniai tinklai nuolat daugina įvestis iš išmoktų svorių. Tai veikia, bet kainuoja energiją. Milijonai ir milijardai operacijų dėl vieno atsakymo nėra nemokami.
John sako, kad kai kurioms užduotims galima rinktis paprastesnį kelią. Binary įvestys keliauja per sujungtas paieškos lenteles, o ne per sunkią daugybos virtuvę.
Man patiko jos palyginimas: žmogus atsakydamas į klausimą galvoje nedaro milijardų daugybų. Jis renkasi kryptį.
KUR TAI JAU VEIKIA
Kol kas ši kryptis stipriausia mažesnėse užduotyse: medicininiuose jutikliuose, aktyvumo atpažinime, raktinio žodžio aptikime.
IEEE rašo, kad vienas jų modelis gali būti 14 kilobaitų, kai kitas mažas modelis tai pačiai problemai siekia 17 megabaitų. Skirtumas toks, kad jutiklis gali skaičiuoti vietoje, o ne siųsti viską į serverį.
Tai reiškia mažiau energijos ir daugiau privatumo. Duomenys gali likti ant įrenginio.
KODĖL TAI SVARBU DABAR
DI energijos apetitas auga. Duomenų centrai, modelių treniravimas, inferencija, viskas kainuoja.
Jei bent dalį užduočių galima atlikti mažesniais, vietoje veikiančiais modeliais, įmonėms atsiranda naujas pasirinkimas. Ne kiekvienas procesas turi keliauti į debesį.
Tai ypač svarbu sveikatos, pramonės ir daiktų interneto srityse, kur baterija, ryšys ir privatumas yra ne priedai, o ribos.
FAQ
Kas yra weightless neural networks?
Tai neuroninių tinklų kryptis, kuri vietoj įprastos daugybos su svoriais naudoja sujungtas paieškos lenteles.
Kur jie gali būti naudingi?
Mažuose įrenginiuose, medicininiuose jutikliuose, aktyvumo atpažinime, raktinių žodžių aptikime ir kitose ribotos energijos užduotyse.
Ar tai pakeis didelius kalbos modelius?
Kol kas ne. Tyrėjai jau bando dalį transformerio architektūros keisti, bet dideli kalbos modeliai dar yra ilgesnis kelias.
Šaltinis: IEEE Spectrum.
Kai kitą kartą svarstysite DI projektą, paklauskite ne tik „kurį modelį imam“, bet ir „ar ši užduotis tikrai turi vykti debesyje“.
