DI agentams pradeda trūkti ne tik GPU: NVIDIA primena apie pamirštą infrastruktūros vietą
·
DI agentų infrastruktūra šiandien nėra teorinis žaislas. Tai jau darbas, pinigai, duomenys ir kartais labai žemiškas klausimas: kas prisiims atsakomybę, kai DI pradės veikti už žmogų?
DI agentų infrastruktūra dažnai aptariama per GPU. Kiek lustų? Kiek atminties? Kiek kainuos? NVIDIA rugpjūčio 4 d. priminė kitą vietą: saugyklas. Nes kai tūkstančiai agentų vienu metu prašo duomenų, lėtas storage pradeda gadinti visą šventę.
Turiu prisipažinti, tokias naujienas skaitau ne kaip blizgančią vitriną. Skaitau kaip žmogus, kuris iš karto galvoja apie komandą pirmadienio rytą. Kas iš to bus naudinga? Kur bus painiava? Ir kur po mėnesio kas nors pasakys: „mes galvojom, kad čia automatiškai susitvarkys“.
KAS NUTIKO
NVIDIA rašo, kad DI agentai ir dideli konteksto langai stumia duomenų sistemas už senų ribų. GPUDirect Storage ir atviri cuFile API leidžia GPU tiesiogiai skaityti ir rašyti į saugyklą, o Vera CPU padeda su suspaudimu ir šifravimu.
Čia panašu į restoraną, kuris nusiperka greičiausią virtuvės įrangą, bet palieka vieną siaurą durų angą padavėjams. Virtuvė greita. Maistas vis tiek vėluoja.
Čia svarbi detalė: kalbame ne apie dar vieną gražų demonstracinį video. Kalbame apie produktus, politiką, infrastruktūrą arba tyrimus, kurie keičia, kaip žmonės dirba su DI realiose organizacijose.
KODĖL TAI SVARBU
Agentai dirba su daug dokumentų, logų, failų, lentelių ir konteksto. Jei duomenų kelias lėtas, modelio galia nebeišgelbėja.
DI jau išlipo iš „parašyk tekstą“ dėžutės. Jis naršo, jungiasi prie įrankių, analizuoja duomenis, planuoja veiksmus, kartais tvarko dokumentus ar padeda priimti sprendimą. Trumpai: jis artėja prie darbo proceso, ne tik prie pokalbio lango.
Ir čia smegenys mėgsta paslysti. Norisi sakyti: „ai, čia dar užsienyje“. Bet tas pats modelis ar funkcija rytoj atsiras kliento kompiuteryje, darbuotojo naršyklėje arba partnerio pasiūlyme.
KĄ TAI REIŠKIA VERSLUI
Įmonėms tai signalas: DI projektų kaštai slepiasi ne tik modelio kainoje. Jie slepiasi duomenų tvarkoje, prieigose, saugyklose ir saugume.
- įvertinti, kur laikomi agentų duomenys
- matuoti ne tik atsakymo laiką, bet visą duomenų kelią
- šifravimą ir suspaudimą laikyti našumo dalimi
- atskirti eksperimentinius failus nuo produkcinių duomenų
Prieš perkant dar vieną DI įrankį, pažiūrėkite į paprastą klausimą: iš kur agentas ims duomenis ir kiek laiko tai truks piko metu?
Man patinka paprastas testas: ar po šios naujienos tavo komanda turi vieną aiškesnį sprendimą? Jei ne, vadinasi dar tik skaitome. Skaityti galima. Tik nereikia apsimesti, kad tai jau strategija.
KUR GALI SKAUDĖTI
Rizika – optimizuoti modelį, kai problema yra duomenyse. Tada komanda mėnesį derina promptus, nors iš tikro stringa failų kelias.
Dažniausia klaida labai ūkiška. Žmonės įsijungia įrankį, pabando, nustemba, pasidžiaugia ir tada palieka viską savieigai. Po kelių savaičių paaiškėja, kad vieni darbuotojai kelia jautrius failus, kiti matuoja naudą iš jausmo, o treti net nežino, kas leidžiama.
Ne tragedija. Bet tvarkos reikia.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Šią savaitę vienam DI procesui nupieškite duomenų kelią: failas, saugykla, prieiga, modelis, rezultatas, archyvas.
Šaltinis: NVIDIA Blog.
DUK
Kodėl DI agentams svarbios saugyklos?
Agentai vienu metu gali skaityti daug duomenų, todėl lėtas ar nesaugus duomenų kelias stabdo visą procesą.
Kas yra GPUDirect Storage?
Tai NVIDIA technologija, leidžianti GPU tiesiogiai pasiekti duomenis iš saugyklos be nereikalingų tarpinių žingsnių.
Ką gali padaryti verslas?
Patikrinti duomenų kelią, prieigas, šifravimą ir realų atsakymo laiką prieš plečiant agentus.
Jei nori DI naudoti praktiškai, pradėk nuo vieno proceso. Vienas pasikartojantis darbas. Vienas atsakingas žmogus. Vienas matavimas. Daugiau praktikos rasi MasterSprint.
