MLflow ir SageMaker: DI eksperimentai turi palikti pėdsakus
AWS aprašė, kaip benchmark ir rekomendacijų rezultatus transliuoti į MLflow naudojant Amazon SageMaker AI.
Šiame straipsnyje · 6 dalys
- Kas yra MLflow SageMaker kontekste? Tai būdas sekti DI eksperimentų metrikas, modelius ir rezultatus kartu su SageMaker AI aplinka.
- Kodėl tai naudinga verslui? Padeda suprasti, kodėl pasirinktas konkretus modelis ir kaip jis veikė testuose.
- Kas nutinka be sekimo? Eksperimentai tampa sunkiai pakartojami, o sprendimai remiasi prisiminimais.
MLflow SageMaker skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
AWS aprašė, kaip benchmark ir rekomendacijų rezultatus transliuoti į MLflow naudojant Amazon SageMaker AI. Kitaip tariant: DI bandymai turi palikti pėdsakus, o ne gyventi vieno specialisto notebooke.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
Kas nutiko
Sprendimas leidžia modelių testavimo ir rekomendacijų rezultatus siųsti į MLflow, kad komanda galėtų matyti eksperimentus, metrikas, parametrus ir palyginimus vienoje vietoje.
Kiek kartų esate girdėję: „tas modelis geriau veikė praeitą savaitę“? O tada prasideda archeologija. Koks promptas? Kokie duomenys? Kokia versija? Kur tas failas?
Kodėl tai svarbu
MLflow SageMaker tema svarbi todėl, kad DI projektai labai greitai prisigamina eksperimentų. Jei jų nesekate, sprendimai tampa paremti nuojauta, o ne duomenimis.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
Ką tai reiškia verslui
Verslui tai reiškia mažiau magijos ir daugiau atskaitomybės. Vadovui nereikia žinoti visų techninių detalių, bet reikia matyti, kodėl pasirinktas modelis, kiek jis kainuoja ir kokios kokybės pasiekė.
- registruoti modelio versiją
- saugoti testų metrikas
- žymėti naudotą duomenų rinkinį
- turėti aiškų sprendimo įrašą
Pavyzdys: komanda lygina tris modelius klientų laiškų klasifikavimui. MLflow leidžia po mėnesio grįžti ir suprasti, kodėl buvo pasirinktas būtent tas variantas.
Kur pasislėpusi rizika
Rizika – paleisti DI į produkciją iš eksperimento, kurio niekas nebegali pakartoti. Tada pirmas incidentas tampa detektyvu.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
Ką pasidaryti šią savaitę
Nuo kito DI bandymo įveskite taisyklę: joks rezultatas nelaikomas tikru, jei nėra užfiksuotos modelio versijos, testinių duomenų ir metrikos.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
