Microsoft Copilot slapta instrukcija: kai asistentas pats išduoda raktą
Microsoft Copilot saugumo istorija rodo labai žemišką problemą: jei asistentas gali atskleisti slaptą instrukciją, puolėjui kartais užtenka vienos nuorodos.
Šiame straipsnyje · 4 dalys
- Kas nutiko su Microsoft Copilot? Ars Technica aprašė spragą, kurioje slaptas parametras galėjo būti panaudotas atakai prieš vartotoją.
- Kodėl slaptos DI instrukcijos rizikingos? Jei modelis jas gali atskleisti ar apeiti, puolėjas gali suprasti sistemos taisykles ir ieškoti kelio jas išnaudoti.
- Kaip mažinti riziką? DI įrankiams reikia atskirų leidimų, ribotų veiksmų, patvirtinimų jautriems veiksmams ir audito žurnalų.
Microsoft Copilot saugumas vėl primena tą nemalonų faktą: DI asistentas nėra tik gražus pokalbio langas.
Ars Technica rašo apie spragą, kurioje slaptas parametras galėjo leisti užpuolikams pavogti slaptažodžius, jei taikinys paspausdavo nuorodą.
Man čia svarbiausia ne sensacija. Svarbiausia pamoka: kai DI prijungiamas prie darbo įrankių, jo vidinės instrukcijos tampa saugumo dalimi.
Slapta instrukcija nėra seifas
Daug DI sistemų turi vadinamąsias sistemines instrukcijas. Jos pasako, ką asistentas turi daryti, ko nedaryti, kokias taisykles laikyti virš vartotojo prašymo.
Problema ta, kad tekstinė instrukcija nėra geležinė siena. Jei sistema leidžia ją apeiti, ištraukti ar panaudoti prieš vartotoją, saugumas labai greitai tampa gražia iliuzija.
Čia kaip palikti namų raktą po kilimėliu ir sakyti, kad durys užrakintos.
Kodėl agentams tai dar svarbiau
Paprastas chatbotas gali parašyti blogą atsakymą. Agentas gali veikti: skaityti failus, kviesti sistemas, siųsti užklausas, jungtis prie kitų įrankių.
Todėl slapta instrukcija negali būti vienintelis saugiklis. Reikia atskirų leidimų, patvirtinimų, veiksmų žurnalo ir ribų, kurios gyvena ne vien prompt’e.
Promptas gali padėti. Bet jis neturi būti paskutinė durų spyna.
Ką pasitikrinti komandoje
Jei naudojate Copilot ar kitus DI asistentus su vidiniais duomenimis, susirašykite, ką jie gali pasiekti. Dokumentus, paštą, kalendorių, klientų informaciją, slaptažodžių valdymo sistemas.
Tada patikrinkite, ar jautriems veiksmams reikia žmogaus patvirtinimo. Ir ar po incidento galėtumėte atsakyti į klausimą: kas tiksliai buvo padaryta?
Saugumas prasideda nuo nuobodaus inventoriaus. Ne nuo gražaus šūkio.
Šią savaitę peržiūrėkite bent vieno DI asistento prieigas. Jeigu nežinote, ką jis gali matyti, tai jau yra atsakymas.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
