SageMaker Async Inference: DI užklausos be papildomo failų šokio
·
SageMaker Async Inference skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
Amazon SageMaker AI Async Inference dabar palaiko inline request payloads. Skamba sausai, bet praktikoje tai gali sumažinti bereikalingą failų ir saugyklų valdymą.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
Iki šiol asinchroninėms užklausoms dažnai reikėjo įkelti įvestį į S3 ir tada perduoti nuorodą. Naujas palaikymas leidžia siųsti mažesnį payload tiesiai užklausoje.
Kiekvienas papildomas žingsnis sistemoje yra vieta, kur kažkas gali pamiršti leidimą, supainioti bucketą arba palikti seną failą. Atrodo smulkmena. Kol nepradedi debuginti penktadienio vakarą.
KODĖL TAI SVARBU
Asinchroninis DI naudingas, kai užduotis užtrunka ilgiau: didesni dokumentai, partijos, analizės, generavimas ar sudėtingesnė inferencija. Mažiau infrastruktūrinio triukšmo reiškia greitesnius bandymus.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui tai reiškia paprastesnį kelią į procesus, kuriuose nereikia atsakymo per sekundę, bet reikia patikimo apdorojimo fone.
- atskirti realaus laiko užduotis nuo foninių
- neapkrauti vartotojo laukimu, kai galima siųsti rezultatą vėliau
- loguoti užklausos būseną
- turėti klaidų pakartojimo taisykles
Pavyzdys: sistema priima 200 puslapių dokumentą, paleidžia DI analizę fone ir po kelių minučių paruošia santrauką komandai.
KUR PASISLĖPUSI RIZIKA
Rizika – pamiršti vartotojo patirtį. Asinchroninis procesas turi aiškiai parodyti, kad darbas vyksta, o ne tiesiog nutilti.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Peržiūrėkite vieną DI funkciją ir paklauskite: ar žmogui tikrai reikia laukti atsakymo ekrane, ar užtektų pranešimo, kai darbas baigtas?
Šaltinis: Amazon Web Services.
DUK
Kas yra SageMaker Async Inference?
Tai AWS būdas vykdyti inferencijos užduotis fone, kai atsakymo nereikia iškart.
Kas naujo?
Palaikomos inline užklausos, kai įvestis siunčiama tiesiai, be atskiro failo įkėlimo.
Kur tai naudinga?
Dokumentų analizei, didesniems DI darbams ir užduotims, kurios gali vykti fone.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
