Jalapeño lustas: OpenAI ne tik kuria modelius, bet ir geležį
·
Jalapeño lustas skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
OpenAI ir Broadcom pristatė Jalapeño – OpenAI pirmą Intelligence Processor, skirtą DI modelių inference darbui. Kitaip sakant, kalbame ne apie dar vieną gražų modelio pavadinimą, o apie geležį, kuri turi padaryti atsakymus pigesnius, greitesnius ir stabilesnius.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
OpenAI rašo, kad lustas kurtas pagal realius kalbos modelių apkrovų poreikius: atminties judėjimą, tinklą, branduolius ir aptarnavimo modelius. Broadcom čia yra gamybos ir architektūros partneris.
Mes dažnai žiūrime į DI kaip į langelį naršyklėje. Įrašiau klausimą, gavau atsakymą. Bet kažkur už to langelio ūžia duomenų centrai, skaičiuojasi sąskaitos ir kažkas bando sutalpinti pasaulio norą klausinėti į realią infrastruktūrą.
KODĖL TAI SVARBU
Jalapeño lustas svarbus todėl, kad DI paslaugų prieinamumas priklauso nuo skaičiavimo kaštų. Jei inference pinga ir stabilėja, daugiau funkcijų gali atsirasti kasdieniuose produktuose, ne tik brangiuose enterprise planuose.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui tai signalas: DI infrastruktūra tampa strateginiu klausimu. Neužtenka klausti, kuris modelis geriausias. Reikia klausti, ar jis bus pakankamai greitas, ar kaina neiššaus ir ar tiekėjas turės pajėgumų.
- vertinti ne tik modelio kokybę
- skaičiuoti kainą per realią užduotį
- turėti atsarginį tiekėją kritiniams procesams
- stebėti delsą ir stabilumą piko metu
Pavyzdys: klientų aptarnavimo DI asistentui nepakanka gero atsakymo. Jei piko metu jis vėluoja 20 sekundžių, klientui jau tas pats, koks lustas kažkur dirba.
KUR PASISLĖPUSI RIZIKA
Rizika – manyti, kad naujas lustas automatiškai išspręs visas kainos problemas. Programinė įranga, užklausų dizainas ir darbo eiga vis tiek lemia sąskaitą.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Peržiūrėkite vieną DI procesą ir paskaičiuokite ne mėnesio planą, o kainą už vieną sėkmingai atliktą užduotį.
Šaltinis: OpenAI.
DUK
Kas yra Jalapeño lustas?
Tai OpenAI ir Broadcom pristatytas DI inference procesorius kalbos modelių apkrovoms.
Kodėl inference svarbu?
Inference yra modelio atsakymo vykdymas, nuo kurio priklauso greitis, kaina ir stabilumas.
Ką tai reiškia verslui?
DI tiekėjų infrastruktūra tiesiogiai veikia paslaugos kainą, delsą ir prieinamumą.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
