SageMaker AI ant EKS: kai DI komandai nebereikia bėgioti tarp įrankių
AWS pristato SageMaker AI Spaces priedą Amazon EKS aplinkai, kad duomenų mokslininkai dirbtų tame pačiame klasteryje kaip jų pipeline'ai.
Šiame straipsnyje · 4 dalys
SageMaker AI EKS priedas leidžia JupyterLab ir Code Editor paleisti tame pačiame klasteryje, kuriame jau sukasi DI komandos pipeline’ai. Skamba techniškai. Bet realybėje tai apie vieną labai buitinį dalyką: kiek kartų per dieną žmogus turi bėgioti tarp įrankių.
Įrankių šokinėjimas kainuoja
Duomenų mokslininkas dirba vienoje aplinkoje, pipeline’ai kitoje, leidimai trečioje, GPU resursai dar kitur. Tada atsiranda vietinis failas, kuris „tik laikinai“, ir po savaitės niekas nežino, kuri versija tikra.
AWS sprendimas čia gana konkretus: SageMaker AI Spaces add-on ant Amazon EKS leidžia valdomas JupyterLab ir Code Editor aplinkas paleisti tame pačiame klasteryje. Yra naršyklės prieiga, VS Code jungtis per SSH-over-SSM ir OpenID Connect prisijungimas su Cognito.
Taip, tai labiau aktualu techninėms komandoms. Bet vadovui signalas paprastas: DI produktyvumas krenta ne tik dėl modelio klaidų. Jis krenta dėl darbo aplinkos trinties.
Kai tvarka greitina
Kartais norisi pirkti naują modelį, nes atrodo, kad jis išspręs viską. O tada paaiškėja, kad komanda daugiausia laiko praranda ne skaičiuodama, o laukdama prieigų, kilnodama duomenis ir derindama aplinkas.
DI projektui reikia ne tik protingo modelio. Reikia vietos, kur darbas pakartojamas, leidimai aiškūs, eksperimentas gali virsti produkcija, o ne likti vieno žmogaus laptopo istorija.
Klausimai komandai
Ar jūsų DI eksperimentai turi vieną vietą? Ar aišku, kas turi prieigą prie duomenų? Ar galima po mėnesio atkartoti modelio mokymą ar analizę?
Jeigu atsakymai migloti, problema dar ne modelyje. Problema darbo virtuvėje. Ir ją verta susitvarkyti prieš spaudžiant gazą.
Trumpi atsakymai
Kas yra SageMaker AI EKS priedas?
Tai AWS priedas, leidžiantis valdomas kūrimo aplinkas paleisti Amazon EKS klasteryje.
Kam jis skirtas?
Duomenų mokslininkams ir DI komandoms, kurios nori dirbti arčiau savo pipeline’ų, duomenų ir GPU resursų.
Kodėl tai svarbu verslui?
Mažiau aplinkų šokinėjimo reiškia mažiau klaidų, greitesnį darbą ir aiškesnį kelią į produkciją.
DI komandoms verta matuoti ne tik modelio tikslumą, bet ir laiką, kurį žmonės praranda junginėdami aplinkas. Kartais ten pasislėpęs visas produktyvumo laimėjimas.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
