Claude ir Codex saugumo pamoka: agentas neturi diegti svetimo kodo
Ars Technica aprašė 227 įmonių dokumentuose rastas diegimo komandas, kurios vedė į niekam nepriklausantį kodą. DI agentams reikia ribų.
Šiame straipsnyje · 4 dalys
- Kodėl tai pavojinga įmonėms? Nes senos ar perimtos komandos gali įdiegti svetimą kodą į įmonės aplinką.
- Kaip mažinti riziką? Riboti agentų teises, tikrinti paketų šaltinius ir reikalauti žmogaus patvirtinimo prieš diegimą.
Claude ir Codex saugumas šį kartą atsitrenkė į labai žemišką problemą: kas nutinka, kai DI agentas dokumentuose randa komandą ir ją vykdo per daug pasitikėdamas?
Ars Technica rašo, kad įmonių dokumentuose buvo rasta 227 diegimo komandos, vedančios į kodą, kurio niekas nevaldo. Skamba techniškai. Bet realybėje tai kaip raktas po kilimėliu prie biuro durų.
Jeigu agentas gali skaityti vidinius dokumentus ir vykdyti instrukcijas, dokumentas tampa ne tik tekstu. Jis tampa darbo komanda.
Kur atsiranda rizika
Anksčiau dokumente parašyta komanda buvo žmogaus atsakomybė. Programuotojas ją perskaito, pagalvoja, patikrina, gal pakeičia. DI agentas gali elgtis kitaip: pamato užduotį, randa komandą, bando padėti.
Problema prasideda tada, kai dokumentas senas, nuoroda perimta arba paketas nebepriklauso tam, kam turėjo priklausyti. Tada agentas sąžiningai padaro blogą darbą.
Tai nėra mokslinė fantastika. Tai labai paprasta tiekimo grandinės rizika, tik pagreitinta DI agentų.
Ko neužtenka
Neužtenka pasakyti komandai: „naudokite DI atsargiai“. Žmogus gali būti atsargus, o agentas vis tiek vykdys tai, kas atrodo kaip teisėta instrukcija.
Reikia techninių stabdžių: leidžiamų paketų sąrašų, komandos patvirtinimo prieš diegimą, aplinkų atskyrimo, žurnalo, kas buvo paleista, ir taisyklės, kad dokumentas pats savaime nėra tiesa.
DI agentas neturi turėti administratoriaus teisių vien todėl, kad gražiai rašo atsakymus.
Pamoka lietuvos įmonėms
Jeigu jūsų komanda leidžia DI agentams dirbti su kodu, pradėkite nuo inventorizacijos. Kur agentas turi prieigą? Ką jis gali įdiegti? Iš kur? Kas patvirtina?
Mažai įmonei tai atrodo per daug tvarkos. Iki pirmo incidento. Tada paaiškėja, kad viena sena instrukcija gali kainuoti daugiau nei mėnuo tvarkingo pasiruošimo.
Praktiškas žingsnis šiai savaitei: uždrauskite agentams vykdyti diegimo komandas be žmogaus patvirtinimo. Nuobodu. Bet saugu.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
