DI kaštai: Cohere primena, kad tokenai nėra visa sąskaita
Cohere aprašė bendrą DI nuosavybės kainą ir paslėptus kaštus, kurie atsiranda augant agentiniams procesams.
Šiame straipsnyje · 6 dalys
- Kas yra DI nuosavybės kaina? Tai visa DI sistemos kaina: modeliai, infrastruktūra, žmonės, saugumas, valdymas ir klaidos.
- Kodėl tokenų kaina nepakanka? Nes vieną rezultatą dažnai sukuria keli paslėpti žingsniai.
- Ką matuoti pirmiausia? Kainą už priimtą, realiai panaudotą rezultatą.
DI kaštai šiandien skamba kaip dar viena technologijų naujiena. Bet po gražia antrašte yra labai paprastas klausimas: ar tai jau padeda žmogui darbe, ar tik prideda dar vieną langą naršyklėje?
Cohere parašė apie bendrą DI nuosavybės kainą. Ir čia labai sveika žinia visiems, kurie dar žiūri tik į kainą už milijoną tokenų.
Atvirai? Mane tokiose temose labiausiai domina ne pirmas demo. Demo beveik visada atrodo tvarkingai. Tikras testas prasideda tada, kai įrankį gauna komanda, ateina klientų klausimai, deadline’ai ir tas tylus vidinis balsas: „o kas čia atsakingas, jei suklysim?“
Kas nutiko
Cohere primena, kad vienas atsakymas ekrane gali slėpti kelis modelio kvietimus, dokumentų paiešką, įrankių veiksmus, agento žingsnius, peržiūrą, pakartojimus ir infrastruktūrą.
Čia kaip restorane žiūrėti tik į makaronų kainą ir pamiršti virėją, elektrą, nuomą, indus ir tai, kad klientas grąžino patiekalą, nes buvo per sūru.
Kodėl tai svarbu
DI kaštai svarbūs todėl, kad agentinės sistemos vartoja resursus ne taip kaip paprastas SaaS įrankis. Vienas vartotojo veiksmas gali paleisti visą mažą procesų virtinę.
DI juda iš pokalbių langelio į tikrus procesus. Ten jam nebeužtenka gražiai parašyti. Reikia versijų, teisių, kainos, šaltinių, logų ir žmogaus, kuris supranta, kada spausti stabdį.
Ką tai reiškia verslui
Vadovams reikia skaičiuoti kainą už priimtą rezultatą, ne už atskirą tokeną. Jei pigesnis modelis sugeneruoja daugiau taisymo, jis gali būti brangesnis.
- matuoti kainą už sėkmingą užduotį
- atskirti modelio kainą nuo žmogaus peržiūros
- stebėti pakartojimus ir agentų kilpas
- turėti biudžetus pagal procesus
Pavyzdys: klientų laiško atsakymas kainuoja ne tiek, kiek modelio tekstas. Reikia pridėti paiešką, toną, faktų patikrą ir vadybininko pataisymus.
Kur galima paslysti
Rizika – DI projektą vertinti pagal gražų demo, o ne mėnesio sąskaitą ir rezultatą. Sąskaita labai greitai primena realybę.
DI klaida dažnai ateina mandagiai. Ne raudonu įspėjimu, o tvarkingu sakiniu. Todėl įmonėje reikia ne tik naujo įrankio, bet ir įpročio tikrinti, kas vyksta už ekrano.
Ką pasidaryti šią savaitę
Pasirinkite vieną DI procesą ir suskaičiuokite visą kelią: modelio kvietimai, įrankiai, žmogaus laikas, klaidos, pakartojimai.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
