OpenAI Jalapeño lustas: DI jau projektuoja savo skaičiavimo variklį
·
OpenAI Jalapeño lustas yra daugiau nei dar vienas gražus vardas technologijų naujienose.
Tom’s Hardware paskelbė pokalbį su OpenAI aparatinės įrangos vadovu Richardu Ho apie Jalapeño, įmonės inferencijos lustą, kurtą kartu su Broadcom. Įdomiausia vieta ne tik pats lustas. Įdomu tai, kad DI buvo naudojamas ir jo projektavime.
Čia toks momentas, kai DI pradeda graužti ne tik tekstus ir paveikslėlius. Jis pradeda liesti patį savo variklį.
KODĖL LUSTAS SVARBUS
Didieji modeliai brangsta ne vien dėl talentų ar duomenų. Jie brangsta dėl skaičiavimo. Jei kiekvienas atsakymas turi pereiti per svetimą infrastruktūrą, kaina ir kontrolė lieka kažkieno kito rankose.
Todėl OpenAI žingsnis į savo inferencijos lustus yra labai praktiškas. Inferencija reiškia modelio naudojimą po apmokymo. Kitaip tariant, tai vieta, kur skaičiuojama kiekviena vartotojo užklausa.
Jei įmonė gali sumažinti vieno atsakymo kainą ir geriau valdyti pajėgumus, ji gauna ne tik technologinį pranašumą. Ji gauna daugiau oro verslo modeliui.
DI KAIP INŽINIERIAUS PAGALBININKAS
Ho pokalbyje akcentuoja DI pagalbą projektavimo procese. Tai nereiškia, kad modelis vienas sugalvojo lustą, paspaudė mygtuką ir nuėjo kavos.
Realybė paprastesnė ir dėl to įdomesnė: DI gali greitinti analizę, padėti ieškoti klaidų, lyginti variantus, tvarkyti dokumentaciją ir leisti inžinieriams greičiau judėti per labai sudėtingą darbą.
Tai primena gerą asistentą dirbtuvėse. Jis nepakeičia meistro, bet paduoda tinkamą įrankį tada, kai nereikia pusvalandį knistis stalčiuje.
KĄ TAI REIŠKIA RINKAI
DI infrastruktūros kova tampa platesnė. Nebeužtenka turėti modelį. Reikia turėti lustus, tinklus, aušinimą, duomenų centrus ir programinį sluoksnį, kuris visa tai sujungia.
Mažesnėms įmonėms tai nereiškia, kad reikia kurti savo lustą. Bet reiškia, kad modelių pasirinkime vis svarbiau bus žiūrėti į kainą, greitį ir tiekėjo stabilumą.
Kai DI tampa kasdieniu darbo įrankiu, infrastruktūra iš fono išeina į priekį. Kaip elektra gamykloje: apie ją negalvoji, kol neužgęsta šviesa.
FAQ
Kas yra OpenAI Jalapeño lustas?
Tai OpenAI inferencijos lustas, kurtas kartu su Broadcom ir skirtas efektyviau aptarnauti didžiųjų kalbos modelių užklausas.
Kodėl DI lustai svarbūs?
Jie gali sumažinti modelių naudojimo kainą, padidinti pajėgumą ir suteikti daugiau kontrolės pačiam DI paslaugos tiekėjui.
Ar tai aktualu Lietuvos verslui?
Taip, nes infrastruktūros sprendimai ilgainiui lemia, kiek kainuos DI paslaugos ir kokie modeliai bus prieinami kasdieniam darbui.
Šaltinis: Tom’s Hardware.
Jei renkatės DI įrankius komandai, žiūrėkite ne tik į demonstracijas. Paklauskite, kiek kainuos naudojimas po mėnesio, kai visi pradės dirbti kasdien.
