AWS ADOP platforma: duomenų inžinerija iš savaičių į valandas

AWS ADOP platforma kalba apie seną skausmą nauju vardu: duomenų darbai užtrunka per ilgai.

AWS rugpjūčio 21 d. aprašė Agentic Data Operations Platform, kuri duomenų inžinerijos užduotis bando trumpinti nuo savaičių iki valandų. Ambicinga. Bet kryptis suprantama.

Kas yra matęs duomenų projektą, tas žino: problema dažnai ne modelyje. Problema lentelėse, schemose, jungtyse ir „o kodėl čia tuščia?“ momentuose.

DUOMENYS YRA DI KURO BAKAS

Įmonės dažnai nori DI rezultatų greitai. Bet DI negali normaliai dirbti, jei duomenys išmėtyti, nesuderinti arba niekas nežino, kuri versija teisinga.

Duomenų inžinieriai tada tampa tyliais projekto herojais. Jie tvarko vamzdynus, rašo transformacijas, derina schemas, taiso klaidas, kurių niekas nemato per prezentaciją.

Jeigu agentai gali nuimti dalį šio rankinio darbo, vertė labai aiški.

KUR AGENTAI PADEDA

Tokio tipo platforma gali padėti generuoti duomenų vamzdynų dalis, tikrinti schemas, siūlyti transformacijas, dokumentuoti logiką ir ieškoti klaidų.

Bet čia reikia labai atsargaus požiūrio. Duomenų klaida ne visada matosi iš karto. Ji gali tyliai sugadinti ataskaitas, prognozes ar vadovo sprendimus.

Todėl agentas duomenyse turi būti ne laisvas menininkas, o kruopštus praktikantas su peržiūra.

PRAKTINĖ IŠVADA

Jei jūsų komanda stringa duomenų paruošime, pradėkite nuo vieno pasikartojančio darbo. Pavyzdžiui, naujo šaltinio prijungimo arba ataskaitos duomenų tikrinimo.

Tada agentui duokite ribotą užduotį ir aiškų testą. Ar schema sutampa? Ar nėra tuščių laukų? Ar skaičiai sutampa su praeitos savaitės kontrole?

DI duomenyse turi būti matuojamas ne pagal tai, kiek kodo parašė, o kiek klaidų nepraleido.

FAQ

Kas yra AWS ADOP?

Tai AWS aprašyta agentinė duomenų operacijų platformos idėja, skirta greitinti duomenų inžinerijos darbus.

Ką gali daryti DI agentai duomenyse?

Padėti su schemomis, transformacijomis, dokumentavimu, testais ir klaidų paieška.

Ar tai pakeičia duomenų inžinierius?

Ne. Tai labiau padeda nuimti pasikartojantį darbą ir palikti žmogui peržiūrą bei sprendimus.

Šaltinis: AWS Machine Learning Blog.

Jei norite DI įrankius įvesti į komandą be chaoso, pradėkite nuo vieno aiškaus proceso. MasterSprint tam duoda praktinį karkasą.