MIT sukūrė įrankį, kuris per sekundes pasako kiek elektros suvalgys tavo DI modelis

Duomenų centrai iki 2028 metų suvartos 12 proc. visos JAV elektros. Ir didžioji dalis tos energijos sunaudoja DI modeliai.

Problema? Iki šiol niekas tiksliai nežinojo, kiek konkrečiai elektros sunaudos konkretus modelis ant konkretaus procesoriaus. Reikėdavo valandų skaičiavimų arba brangių testų.

MIT mokslininkai ką tik tai pakeitė.

EnergAIzer: greitas atsakymas į brangų klausimą

Komanda iš MIT ir IBM Watson AI laboratorijos sukūrė įrankį pavadinimu EnergAIzer. Jis per kelias sekundes prognozuoja, kiek elektros energijos sunaudos bet kuris DI modelis, kai paleidžiamas ant konkretaus procesoriaus.

Iki šiol tokie skaičiavimai užtrukdavo valandas. Kartais dienas.

EnergAIzer tai padaro per sekundes. Su maždaug 8 proc. paklaida. Tai panašus tikslumas, kokį duoda tradiciniai metodai, tik greičiau šimtus kartų.

Kaip tai veikia

Čia viskas remiasi viena paprasta idėja. DI modelių kodas turi reguliarią struktūrą. Programuotojai optimizuoja kodą tam tikrais šablonais, ir tie šablonai kartojasi.

Kaip paaiškino tyrimą vedusi Kyungmi Lee, MIT postdoktorantė: šie optimizavimai sukuria reguliarią struktūrą, ir būtent ją mes išnaudojame.

EnergAIzer pagauna GPU energijos naudojimo šablonus iš kodo optimizacijų. Tada prideda korekcijas iš realių GPU matavimų, kad atspindėtų duomenų prieigos neefektyvumą, paleidimo kaštus ir aparatūros svyravimus.

Grubiai tariant: modelis „perskaitė” pakankamai GPU profilių, kad gali spėti be ilgų testų.

Kodėl tai svarbu tau

Gal galvoji: na ir kas, kažkoks mokslinis įrankis. Bet pagalvok plačiau.

Duomenų centrai auga kaip ant mielių. „Big Tech” kompanijos šiais metais investavo per 300 mlrd. dolerių į DI infrastruktūrą. O energijos suvartojimas yra viena didžiausių problemų, stabdančių DI plėtrą.

Jei gali per sekundes sužinoti, kiek elektros sunaudos tavo modelis ant konkrečios aparatūros, tai keičia viską. Duomenų centrų operatoriai gali efektyviau paskirstyti resursus. Algoritmų kūrėjai gali įvertinti energijos kaštus dar prieš paleisdami modelį. Net aparatūros gamintojai gali testuoti lustus, kurie dar net neegzistuoja fiziškai.

Kas už to stovi

Tyrimo komandoje dirba MIT ir IBM Research mokslininkai. Vedančioji autorė Kyungmi Lee, bendraautoriai Zhiye Song (MIT elektros inžinerijos ir informatikos doktorantas), Eun Kyung Lee, Xin Zhang iš IBM Research, IBM Fellow Tamar Eilam ir MIT provostas Anantha P. Chandrakasan.

Ne šiaip koks startuolio projektas iš garažo.

DI energijos problema neišnyks

Anksčiau rašėme apie mokslininkus, kurie sumažino DI energijos suvartojimą 100 kartų. Tai buvo apie efektyvumą. EnergAIzer sprendžia kitą pusę: matavimą ir prognozavimą.

Abu reikalingi. Nes kai duomenų centrai suvartoja tiek elektros, kiek vidutinė šalis, tai jau nebe tik technologinė problema. Tai politinė, ekonominė ir aplinkosauginė problema vienu metu.

„Big Tech” kompanijos jau investuoja į branduolinę energetiką duomenų centrams. ASML negali pakankamai greitai gaminti lustų. O DI modeliai tik didėja.

EnergAIzer neišspręs energijos krizės. Bet bent jau leis ją tiksliai pamatuoti. O tai, ką gali pamatuoti, gali ir valdyti.

Ką visa tai reiškia praktiškai

Jei dirbi su DI ar planuoji duomenų centrą, EnergAIzer reiškia mažesnius kaštus. Nereikia laukti dienų, kol gausi energijos suvartojimo skaičius.

Jei esi tiesiog žmogus, kuris naudoja ChatGPT ar Claude, tai reiškia, kad kažkas bando padaryti DI tvaresnį. Kad kiekvienas tavo klausimas DI modeliui nesuvartotų tiek elektros, kiek virtuvinis šaldytuvas per dieną.

O gal ir daugiau. Nauji lustai kartu su tokiais įrankiais kaip EnergAIzer gali padaryti DI ne tik galingesnį, bet ir protingesnį energijos atžvilgiu.

Kokie tavo lūkesčiai? Ar manai, kad DI energijos problema bus išspręsta, ar tiesiog pastatysime daugiau elektrinių?