NVIDIA DI gamyklos: agentams reikės ne idėjų, o skaičiavimo galios
·
NVIDIA DI gamyklos skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
NVIDIA pristatė naują modelį, kuriuo DI debesijos partneriai gali greičiau diegti didelio masto DI gamyklas. Gal skamba toli nuo kasdienio verslo. Bet kiekvienas agentas, kuris dirba 24/7, kažkur degina skaičiavimo galią.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
NVIDIA kalba apie partnerystes su DI debesijos tiekėjais, pajamų dalijimosi ir kredito palaikymo modelį. Tikslas – greičiau pastatyti daug naudotojų aptarnaujančias DI gamyklas, skirtas modelių kūrimui, treniravimui ir inferencijai.
Čia kaip elektra biure. Kol jos yra, niekas apie ją negalvoja. Kai dingsta, staiga visi tampa infrastruktūros ekspertais.
KODĖL TAI SVARBU
NVIDIA DI gamyklos svarbios todėl, kad DI pereina iš bandymų į nuolatinį darbą. Agentai, klientų aptarnavimas, analizės sistemos ir kodavimo įrankiai generuos tūkstančius užklausų, ne vieną gražų demo.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui pamoka aiški: DI kaštai nebus tik prenumerata už vartotoją. Atsiras naudojimo, tokenų, modelių ir infrastruktūros klausimai. Juos reikia skaičiuoti iš anksto.
- matuoti DI užklausų apimtį
- atskirti testus nuo produkcijos
- turėti kainos ribas agentams
- rinktis modelį pagal užduotį, ne pagal madą
Pavyzdys paprastas: klientų aptarnavimo agentas, kuris veikia visą parą, kainuoja kitaip nei darbuotojo ChatGPT langas. Ten jau reikia biudžeto, limitų ir stebėsenos.
KUR PASISLĖPUSI RIZIKA
Rizika – pradėti naudoti agentus kaip nemokamą darbo jėgą. Mėnesio gale paaiškėja, kad darbo jėga vis dėlto valgė elektrą, GPU laiką ir tokenus.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Susirašykite, kurie DI naudojimo atvejai pas jus gali veikti nuolat. Prie jų iškart dėkite mėnesio kaštų limitą.
Šaltinis: NVIDIA.
DUK
Kas yra DI gamykla?
Tai didelio masto skaičiavimo infrastruktūra, skirta DI modeliams ir nuolat veikiančioms inferencijos paslaugoms.
Kodėl tai svarbu agentams?
Agentai veikia daug žingsnių ir gali generuoti didelį užklausų kiekį.
Ką turi daryti verslas?
Matuoti naudojimą, riboti kaštus ir rinktis modelius pagal užduoties vertę.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
