Fable 5 apsaugos: DI saugumas tampa verslo sprendimu
·
Anthropic plačiau paaiškino Fable 5 kibernetinio saugumo klasifikatorius ir pasiūlė DI jailbreak sunkumo vertinimo kryptį. Tai techninis tekstas, bet jo pamoka labai praktiška: galingi modeliai reikalauja aiškių ribų.
Šaltinis: Anthropic.
KAS ĮVYKO
Anthropic liepos 2 d. paskelbė daugiau detalių apie Fable 5 kibernetinio saugumo apsaugas ir jailbreak vertinimo idėją. Bendrovė skirsto užklausas į kelias kategorijas: draudžiamas, aukštos rizikos dvejopo naudojimo, žemos rizikos dvejopo naudojimo ir saugias.
Tai skamba kaip saugumo komandos dokumentas. Bet verslui čia yra labai aiški žinutė: kuo galingesnis DI, tuo svarbesnės taisyklės.
DVEJOPO NAUDOJIMO PROBLEMA
Kibernetinis saugumas yra keistas laukas. Tas pats veiksmas gali būti geras arba blogas. Rasti pažeidžiamumą savo sistemoje yra naudinga.
Rasti pažeidžiamumą svetimoje sistemoje ir juo pasinaudoti – jau visai kita istorija. Modelis iš vieno sakinio ne visada supras kontekstą. Todėl Anthropic kalba apie klasifikatorius, saugumo rezervą ir dalies užklausų blokavimą net tada, kai jos gali būti nekaltos.
KODĖL TAI SVARBU ĮMONĖMS
Įmonės dažnai nori dviejų dalykų vienu metu: kad DI būtų labai pajėgus ir kad niekada nepadarytų pavojingo veiksmo. Realybėje reikia procesų. Kas gali naudoti modelį?
Kokius įrankius jis pasiekia? Ar gali keisti failus, siųsti laiškus, jungtis prie serverių? Kada reikia žmogaus patvirtinimo?
Jei šių atsakymų nėra, galingas DI tampa ne produktyvumo įrankiu, o loterija.
JAILBREAK VERTINIMAS
Anthropic siūlo kalbėti apie jailbreak sunkumą ne vien emocijomis. Ar technika suteikia puolėjui naujų galimybių? Ar ji veikia plačiai?
Ar lengva ją paversti realia ataka? Ar ją lengva atrasti? Tokie klausimai padeda atskirti triukšmą nuo tikros rizikos.
Nes ne kiekvienas “nulaužiau DI” įrašas internete yra vienodai pavojingas.
PRAKTINĖ PAMOKA
Jei įmonėje leidžiate DI prie vidinių sistemų, susirašykite tris ribas: duomenys, veiksmai, patvirtinimai. Kokius duomenis DI gali matyti? Ką jis gali keisti?
Kada žmogus turi paspausti “taip”? Šitas pratimas nėra biurokratija. Tai saugos diržas.
DUK
Kas yra DI jailbreak? Tai būdas priversti modelį apeiti jam nustatytas ribas.
Ar visi jailbreak pavojingi? Ne. Rizika priklauso nuo to, kokias galimybes jie atveria ir kaip lengva jas panaudoti.
Ką verslas gali padaryti dabar? Riboti prieigas, registruoti veiksmus ir svarbiems veiksmams palikti žmogaus patvirtinimą.
KĄ DARYTI TOLIAU
Jei norite DI pritaikyti ne teoriškai, o savo komandos darbuose, peržiūrėkite MasterSprint arba Salvaro. Geriausias startas – vienas aiškus procesas, vienas matuojamas rezultatas ir žmogus, kuris prižiūri kokybę.
