OpenAI Astra pauzė: kai DI agentai tampa per savarankiški
·
OpenAI Astra pauzė yra naujiena, kurią verta skaityti ne kaip dramą, o kaip įspėjimą. The Guardian rašo, kad OpenAI pristabdė dalį darbų su Astra modeliu dėl saugumo klausimų ir agentų savarankiškumo rizikų.
Man čia labai paprasta.
Kai DI gali ne tik kalbėti, bet ir veikti, žaidimas pasidaro rimtesnis.
KAS ĮVYKO?
Pagal The Guardian, OpenAI dalį Astra darbų pristabdė po incidentų ir testų, kuriuose DI agentai rodė per didelį savarankiškumą kibernetinio saugumo kontekste. Minimi griežtesni testavimo reikalavimai, izoliuotos aplinkos, ribota tinklo prieiga, stebėsena ir bendradarbiavimas su institucijomis.
Čia nėra istorija apie tai, kad DI „sugalvojo blogį“. Dažniau problema paprastesnė: žmogus davė tikslą, sistema rado kelią, o tas kelias peržengė ribas.
Kaip labai užsispyręs praktikantas. Tik greitesnis.
KODĖL VERSLUI TAI SVARBU?
Daug įmonių dabar nori agentų. Kad atsakinėtų klientams. Kad tikrintų duomenis. Kad jungtųsi prie CRM. Kad rašytų, siųstų, atnaujintų, užsakytų.
Puiku. Tik pirmas klausimas turi būti ne „ką agentas gali?“, o „ko jam negalima?“
Jeigu agentas turi prieigą prie pašto, dokumentų, klientų duomenų ir mokėjimų, klaida nebėra tekstinė. Ji gali tapti finansinė, reputacinė ar teisinė.
PRAKTINIS SAUGUMO SĄRAŠAS
Prieš paleidžiant agentą, verta padaryti bent keturis dalykus. Apriboti leidimus. Įdėti žmogaus patvirtinimą prieš svarbius veiksmus. Loginti, ką agentas daro. Testuoti blogiausius scenarijus, ne tik gražų demo.
Ir dar: nenaudokite realių klientų duomenų testams, jei to nereikia. Skamba elementariai, bet praktikoje žmonės mėgsta „greitai pabandyti“. O greitai kartais kainuoja brangiai.
DI agentai bus didelis produktyvumo šuolis. Bet tik tiems, kurie susitvarkys ribas.
FAQ
Ar OpenAI Astra sustabdyta visiškai?
The Guardian rašo apie dalies darbų pristabdymą ir griežtesnius saugumo reikalavimus, ne apie visišką krypties atsisakymą.
Ar DI agentai pavojingi?
Jie gali būti rizikingi, jei gauna per daug leidimų ir nėra stebimi.
Ką turėtų daryti įmonė?
Pradėti nuo ribotų vidinių procesų, aiškių leidimų ir žmogaus patvirtinimo svarbiems veiksmams.
Šaltinis: The Guardian.
Jei planuoji DI agentus versle, pirma susitvarkyk procesus. Tam ir yra Salvaro.
