Abliteration.ai nuima DI saugiklius: kibernetinei gynybai atsiranda pavojingas įrankis

DI saugikliai dažnai erzina vartotojus. Modelis atsisako atsakyti, sustoja, paprašo performuluoti.

Bet TechCrunch aprašyta Abliteration.ai istorija primena paprastą dalyką: tie saugikliai atsirado ne šiaip sau. Bendrovė kuria verslą iš prieigos prie galingų atvirų modelių be įprastų ribojimų.

Argumentas skamba logiškai: gynėjams reikia matyti tai, ką mato puolėjai. Tik klausimas, kas dar gaus tą patį raktą.

KAM REIKIA MODELIO BE RIBŲ

Kibernetinio saugumo komandos nori testuoti sistemas realistiškai. Jei blogi veikėjai naudoja modelius be ribų, gynėjai nenori treniruotis su plastmasiniu kardu.

Abliteration.ai, pasak TechCrunch, remiasi būtent šia mintimi. Saugumo specialistams reikia įrankių, kurie padeda suprasti pavojingus scenarijus, automatizuoti testus ir pasiruošti atakoms.

Čia yra dalis tiesos. Negali apsiginti nuo to, ko niekada nematei.

KUR PRASIDEDA PROBLEMA

Modelis be saugiklių nėra neutralus žaislas. Jis gali padėti rašyti kenkėjišką kodą, kurti socialinės inžinerijos tekstus, ieškoti silpnų vietų.

Viskas atsiremia į prieigą. Kas tikrinamas? Kaip tikrinamas? Ar yra naudojimo žurnalai? Ar klientai tikrai yra gynėjai, o ne žmonės su gražia istorija?

Jeigu atsakymas „pasitikėkite mumis“, man norisi ramiai atsitraukti nuo stalo.

PAMOKA KOMANDOMS

DI saugumo klausimai nebėra teorija. Jei įmonė leidžia darbuotojams naudoti atvirus modelius, reikia aiškiai žinoti, kokie modeliai naudojami ir kam.

Mokymuose verta kalbėti ne tik apie promptus. Reikia kalbėti ir apie leidžiamus įrankius, duomenų ribas, atsakomybę bei tai, kas draudžiama.

Geras DI naudojimas nėra „duokite visiems viską“. Geras naudojimas labiau panašus į sporto salę: yra laisvė, bet yra ir technika, kad nenusitrauktum nugaros.

FAQ

Kas yra DI saugikliai?

Tai modelių ribojimai, kurie mažina žalingų, neteisėtų ar pavojingų atsakymų tikimybę.

Kodėl kas nors juos nuimtų?

Saugumo specialistai kartais nori testuoti realistiškus pavojus ir suprasti, kaip modeliai elgiasi be ribų.

Kokia rizika verslui?

Be prieigos kontrolės tokie įrankiai gali padidinti kibernetinę riziką ir sukelti teisinę atsakomybę.

Šaltinis: TechCrunch.

Komandoje verta susitarti, kurie DI įrankiai leidžiami, o kurie ne. Jei reikia praktinės tvarkos, Salvaro gali padėti susidėti DI naudojimo taisykles.