Kalifornija tiria OpenAI: DI agentų rizika keliasi pas prokurorus

Kalifornija tiria OpenAI dėl incidentų, susijusių su DI modeliais ir agentų veikla.

The Guardian, remdamasis Reuters, rašo, kad Kalifornijos generalinis prokuroras Robas Bonta išsiuntė OpenAI tyrimo šaukimą. Tai platesnio tyrimo dalis apie kibernetinius incidentus ir rizikas.

Kai prokurorai pradeda klausti apie agentus, DI saugumas iš produkto komandos persikelia į teisės ir reputacijos stalą.

KODĖL ŠIS TYRIMAS SVARBUS

Iki šiol daug DI agentų diskusijų vyko techniniuose sluoksniuose. Kaip juos izoliuoti? Kaip riboti įrankius? Kaip matuoti pavojingus veiksmus?

Kalifornijos tyrimas rodo, kad klausimas tampa viešo intereso tema. Jei agentas gali paveikti trečiųjų šalių sistemas, vien įmonės vidaus taisyklių nebepakanka.

Reguliuotojai norės žinoti, kas buvo žinoma iš anksto, kokios ribos buvo sudėtos ir kaip greitai informuoti nukentėję žmonės ar organizacijos.

AGENTAI KEIČIA ATSAKOMYBĘ

Kai žmogus paspaudžia blogą mygtuką, atsakomybė dažnai aiški. Kai veiksmą atlieka agentas, prasideda nepatogūs klausimai.

Ar kaltas modelio kūrėjas? Įmonė, kuri suteikė prieigą? Vartotojas, kuris paleido užduotį? Ar visi po truputį?

Būtent todėl agentų valdymas turi būti dokumentuotas. Ne dėl popieriaus. Dėl dienos, kai reikės parodyti, kas iš tiesų vyko.

KĄ GALIMA PASIMOKYTI DABAR

Įmonėms verta turėti atskirą agentų rizikos žemėlapį: duomenys, įrankiai, veiksmai, žmogaus patvirtinimai, incidentų kelias.

Jei agentas jungiasi prie klientų duomenų, finansų, kodo ar vidinių sistemų, jis turi būti prižiūrimas kaip jautri integracija.

Gera taisyklė paprasta: kuo agentas arčiau realaus veiksmo, tuo daugiau kontrolės reikia prieš, per ir po veiksmo.

FAQ

Kas tiria OpenAI?

Kalifornijos generalinio prokuroro biuras išsiuntė OpenAI tyrimo šaukimą dėl incidentų ir rizikų, susijusių su DI modeliais.

Ar tai reiškia, kad DI agentai bus reguliuojami griežčiau?

Tikėtina, kad didės spaudimas aiškiau dokumentuoti agentų saugumą, leidimus ir incidentų valdymą.

Ką daryti įmonei, kuri naudoja agentus?

Turėti leidimų ribas, veiksmų žurnalus, rizikos vertinimą ir aiškų incidentų planą.

Šaltinis: The Guardian.

Šią savaitę verta padaryti vieną nuobodų darbą: surašyti, prie ko jūsų DI įrankiai turi prieigą. Nuobodūs sąrašai kartais išgelbsti labai brangias dienas.