Codex matomumas per CloudWatch: vadovui reikia ne magijos, o skaitiklių

Codex matomumas šiandien nėra teorinis žaislas. Tai jau darbas, pinigai, duomenys ir kartais labai žemiškas klausimas: kas prisiims atsakomybę, kai DI pradės veikti už žmogų?

AWS rugpjūčio 6 d. parodė, kaip kurti Codex matomumą per OpenTelemetry ir Amazon CloudWatch. Kitaip tariant: jei komanda naudoja kodavimo agentą, vadovui nebeužtenka sakinio „kažkaip padeda“. Reikia skaičių.

Turiu prisipažinti, tokias naujienas skaitau ne kaip blizgančią vitriną. Skaitau kaip žmogus, kuris iš karto galvoja apie komandą pirmadienio rytą. Kas iš to bus naudinga? Kur bus painiava? Ir kur po mėnesio kas nors pasakys: „mes galvojom, kad čia automatiškai susitvarkys“.

KAS NUTIKO

Straipsnyje rodoma, kaip Codex OpenTelemetry metrikas nukreipti per lokalų collector į CloudWatch. Tikslas – matyti naudojimą pagal vartotoją, komandą ar cost center, stebėti patikimumą ir suprasti, kur agentas realiai kuria vertę.

Čia yra tas momentas, kai entuziazmas susitinka su buhalterija. Programuotojai sako: „greičiau“. Finansai klausia: „kiek kainavo“. Vadovas klausia: „ar verta plėsti visai komandai“.

Čia svarbi detalė: kalbame ne apie dar vieną gražų demonstracinį video. Kalbame apie produktus, politiką, infrastruktūrą arba tyrimus, kurie keičia, kaip žmonės dirba su DI realiose organizacijose.

KODĖL TAI SVARBU

Kodavimo agentai gali sutaupyti daug laiko, bet be matavimo lieka tik jausmas. O jausmas blogai tinka biudžetui, mokymams ir saugumo sprendimams.

DI jau išlipo iš „parašyk tekstą“ dėžutės. Jis naršo, jungiasi prie įrankių, analizuoja duomenis, planuoja veiksmus, kartais tvarko dokumentus ar padeda priimti sprendimą. Trumpai: jis artėja prie darbo proceso, ne tik prie pokalbio lango.

Ir čia smegenys mėgsta paslysti. Norisi sakyti: „ai, čia dar užsienyje“. Bet tas pats modelis ar funkcija rytoj atsiras kliento kompiuteryje, darbuotojo naršyklėje arba partnerio pasiūlyme.

KĄ TAI REIŠKIA VERSLUI

Verslui svarbu matyti ne tik tokenus. Reikia žiūrėti, kurie darbai pagreitėjo, kur daugiausia klaidų, kokie naudotojai gauna vertę, o kur agentas tiesiog gražiai šneka ir ilgai galvoja.

• matuoti naudojimą pagal komandą
• sekti sąnaudas pagal cost center
• žiūrėti klaidų ir pertrauktų užduočių kiekį
• lyginti agento naudojimą su darbo rezultatais

Geras pradinis dashboardas: aktyvūs naudotojai, užduočių skaičius, vidutinė kaina už užduotį, klaidų dalis ir keli rankiniu būdu patikrinti produktyvumo pavyzdžiai.

Man patinka paprastas testas: ar po šios naujienos tavo komanda turi vieną aiškesnį sprendimą? Jei ne, vadinasi dar tik skaitome. Skaityti galima. Tik nereikia apsimesti, kad tai jau strategija.

KUR GALI SKAUDĖTI

Rizika – matuoti tik naudojimo kiekį. Jei žmogus daug naudoja agentą, tai dar nereiškia, kad jis dirba geriau. Kartais tai tik reiškia, kad jis ilgai ginčijasi su įrankiu.

Dažniausia klaida labai ūkiška. Žmonės įsijungia įrankį, pabando, nustemba, pasidžiaugia ir tada palieka viską savieigai. Po kelių savaičių paaiškėja, kad vieni darbuotojai kelia jautrius failus, kiti matuoja naudą iš jausmo, o treti net nežino, kas leidžiama.

Ne tragedija. Bet tvarkos reikia.

KĄ PASIDARYTI ŠIĄ SAVAITĘ

Šią savaitę nuspręskite, kokį vieną skaičių naudosite vertindami kodavimo agentą: sutaupytas laikas, sumažėjusios klaidos ar greitesnis užduoties uždarymas.

Šaltinis: AWS Machine Learning Blog.

DUK

Kas yra Codex matomumas?

Tai metrikų rinkimas apie kodavimo agento naudojimą, sąnaudas, patikimumą ir rezultatus.

Kam reikalingas OpenTelemetry?

Jis leidžia standartizuotai rinkti ir siųsti stebėjimo duomenis į tokias sistemas kaip CloudWatch.

Ką verta matuoti pirmiausia?

Naudotojus, užduotis, klaidas, kainą ir ryšį su realiais darbo rezultatais.

Jei nori DI naudoti praktiškai, pradėk nuo vieno proceso. Vienas pasikartojantis darbas. Vienas atsakingas žmogus. Vienas matavimas. Daugiau praktikos rasi MasterSprint.