Unsloth ir kvantuoti modeliai: kaip DI paleisti pigiau
·
kvantuoti modeliai skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
AWS liepos 10 d. parodė, kaip kvantuotus modelius paleisti Amazon SageMaker AI su Unsloth. Jeigu šitas sakinys skamba kaip techninė košė, išversiu ūkiškai: kaip DI padaryti lengvesnį, kad jis kainuotų mažiau ir veiktų greičiau.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
Kvantuoti modeliai naudoja mažesnį skaičių tikslumą, todėl jiems reikia mažiau atminties ir skaičiavimo resursų. Unsloth padeda tokį modelį paruošti, o SageMaker AI – paleisti valdomoje aplinkoje.
Daug įmonių pradeda nuo klausimo „kuris modelis protingiausias?“. Po pirmos sąskaitos klausimas pasikeičia į „o kiek mums tai kainuos kiekvieną mėnesį?“ Labai žmogiška.
KODĖL TAI SVARBU
Kvantuoti modeliai svarbūs todėl, kad DI projektai turi gyventi ne tik demo dieną. Jei kiekviena užklausa brangi, žmonės pradeda taupyti naudojimą ir projektas lėtai miršta.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui tai reiškia, kad reikia atskirti užduotis. Vienoms reikia labai galingo modelio, kitoms pakanka pigesnio, greitesnio ir gerai paruošto varianto.
- matuoti kainą vienai užduočiai
- atskirti kasdienes užklausas nuo sudėtingų
- testuoti kokybės kritimą po kvantavimo
- turėti aiškų fallback į stipresnį modelį
Klientų laiškų klasifikavimui dažnai nereikia brangiausio modelio. O štai sudėtingai teisinei analizei gali reikėti daugiau pajėgumo.
KUR PASISLĖPUSI RIZIKA
Rizika – taupyti per daug. Pigiausias modelis, kuris daro daug klaidų, galiausiai kainuoja brangiau, nes žmogus taiso jo darbą.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Paimkite vieną DI užduotį ir paskaičiuokite kainą už 1000 vykdymų su skirtingais modeliais. Skaičiai greitai nuramina fantazijas.
Šaltinis: Amazon Web Services.
DUK
Kas yra kvantuoti modeliai?
Tai modeliai, sumažinti taip, kad naudotų mažiau atminties ir skaičiavimo resursų.
Kam naudojamas Unsloth?
Jis padeda efektyviau paruošti ir optimizuoti modelius.
Ar kokybė krenta?
Gali kristi, todėl būtina testuoti su realiomis užduotimis.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
