Amazon Bedrock kaštai: DI sąskaita turi turėti vardą ir pavardę
·
Amazon Bedrock kaštai yra tema, kuri dažnai ateina per vėlai. Pirma visi džiaugiasi, kad DI veikia. Tada ateina sąskaita.
Ir tada prasideda klasika: kas čia tiek kvietė modelį? Kuris projektas? Kuris agentas? Kodėl savaitgalį?
AWS rugpjūčio 12 d. parodė, kaip per Amazon Athena ir CUDOS dashboards analizuoti Bedrock sąnaudų priskyrimą detalesniu lygiu.
DI KAINA NĖRA VIENAS SKAIČIUS
Paprasta pasakyti: modelio tokenas kainuoja tiek ir tiek. Bet realiame darbe kvietimus daro agentai, žmonės, servisai, testai, integracijos ir kartais pamiršti demo.
Jeigu nėra priskyrimo, DI sąskaita tampa bendru katilu. O bendras katilas retai skatina atsakomybę.
Kai kaina turi projektą, komandą ir savininką, pokalbis tampa ramesnis.
KĄ DUODA ATHENA IR CUDOS
AWS sprendimas remiasi Cost and Usage Report duomenimis, Athena užklausomis ir CUDOS dashboard’ais.
Tai leidžia žiūrėti ne tik bendrą išlaidų sumą, bet ir detales: kas naudoja, kur naudoja, kokiam tikslui ir kaip tai kinta laike.
Vadovui tai svarbu ne dėl kontrolės manijos. O dėl sprendimų: ką plėsti, ką riboti, ką perrašyti pigiau.
PAMOKA PRIEŠ STARTĄ
Prieš paleisdami DI produktą, susitarkite dėl kaštų žymėjimo. Project ID, komanda, aplinka, naudotojas, agentas – bent keli laukai turi būti aiškūs.
Tada vėliau nereikės archeologijos. Žinosite, kuris procesas kuria vertę, o kuris tiesiog degina pinigus.
Man čia labai paprasta taisyklė: jeigu negali paaiškinti sąskaitos, dar neturi produkto. Turi eksperimentą.
FAQ
Kodėl DI kaštų priskyrimas svarbus?
Nes be jo sunku suprasti, kuris projektas ar komanda sukuria sąnaudas ir ar jos atsiperka.
Kas yra CUDOS dashboard?
Tai AWS kaštų ir naudojimo analizės dashboard’ų rinkinys, padedantis matyti išlaidų struktūrą.
Kada pradėti matuoti?
Prieš paleidžiant pirmą rimtesnį DI procesą, ne tada, kai sąskaita jau nustebino.
Šaltinis: AWS Machine Learning Blog.
Šią savaitę pažiūrėkite į savo DI įrankių sąskaitas ir paklauskite: ar galėčiau jas paaiškinti vadovui per 5 minutes?
