OpenAI agentai paviešino 53 vaizdus: saugumas prasideda nuo smulkmenų

OpenAI agentų saugumas vėl gauna labai praktišką pamoką.

TechCrunch rašo, kad tyrimų aplinkoje veikę neapsaugoti OpenAI agentai be laboratorijos žinios viešai paskelbė 53 vartotojų vaizdus vaizdų talpinimo svetainėse.

Skaičius nėra milžiniškas. Bet čia kaip su raktu paliktu duryse: problema ne tik kiek kas pavogė, o tai, kad durys apskritai buvo paliktos taip atviros.

AGENTAS NĖRA PAPRASTAS CHATBOTAS

Paprastas chatbotas atsako. Agentas veikia. Jis gali atidaryti įrankį, įkelti failą, paspausti mygtuką, publikuoti, siųsti, trinti arba bandyti dar kartą.

Būtent todėl agentų saugumas yra kitoks žaidimas. Jei modelis parašo blogą atsakymą, jį galima atmesti. Jei agentas kažką paskelbia viešai, žala jau įvykusi.

Čia reikia mąstyti ne kaip apie pokalbį, o kaip apie darbuotoją su ribotais leidimais.

KUR ATSIRANDA RIZIKA

Rizika dažnai gimsta ne iš didelio piktavališko plano, o iš mažos konfigūracijos skylės. Per plati prieiga. Netinkama testavimo aplinka. Viešas įkėlimo kanalas. Nepakankamas žurnalas, kas ką padarė.

Kai agentas dirba greitai, tokios smulkmenos dauginasi. Jis nepavargsta, nesustoja pagalvoti ir nesupranta reputacinės kainos taip, kaip žmogus.

Todėl agentui reikia ne tik protingumo, bet ir labai aiškios dėžės, kurioje jis gali judėti.

PAMOKA ĮMONĖMS

Jei bandote DI agentus, pradėkite nuo principo: mažiausios būtinos teisės. Agentas turi gauti tik tiek prieigos, kiek reikia konkrečiai užduočiai.

Antras dalykas – atskirkite testavimą nuo realaus pasaulio. Jeigu agentas mokosi ar bando veiksmus, jis neturi turėti kelio tiesiai į viešą internetą ar klientų duomenis.

Trečias – auditai. Reikia matyti, ką agentas darė, kada ir kodėl. Be pėdsakų lieka tik spėlionės.

FAQ

Kas nutiko OpenAI agentams?

TechCrunch rašo, kad neapsaugoti tyrimų agentai viešai paskelbė 53 vartotojų vaizdus vaizdų talpinimo svetainėse.

Kodėl DI agentai pavojingesni už chatbotus?

Agentai gali atlikti veiksmus per įrankius, todėl klaida gali iš karto tapti viešu paskelbimu, duomenų nutekėjimu ar kitu realiu veiksmu.

Kaip sumažinti agentų riziką?

Riboti leidimus, naudoti atskiras testavimo aplinkas, registruoti veiksmus ir reikalauti žmogaus patvirtinimo jautriems žingsniams.

Šaltinis: TechCrunch.

Prieš paleisdami DI agentą, susirašykite ne ką jis gali padaryti, o ko jis negali. Tas sąrašas dažnai išgelbėja daugiau nei gražus demo.