Microsoft Copilot slapta instrukcija: kai asistentas pats išduoda raktą

Microsoft Copilot saugumas vėl primena tą nemalonų faktą: DI asistentas nėra tik gražus pokalbio langas.

Ars Technica rašo apie spragą, kurioje slaptas parametras galėjo leisti užpuolikams pavogti slaptažodžius, jei taikinys paspausdavo nuorodą.

Man čia svarbiausia ne sensacija. Svarbiausia pamoka: kai DI prijungiamas prie darbo įrankių, jo vidinės instrukcijos tampa saugumo dalimi.

SLAPTA INSTRUKCIJA NĖRA SEIFAS

Daug DI sistemų turi vadinamąsias sistemines instrukcijas. Jos pasako, ką asistentas turi daryti, ko nedaryti, kokias taisykles laikyti virš vartotojo prašymo.

Problema ta, kad tekstinė instrukcija nėra geležinė siena. Jei sistema leidžia ją apeiti, ištraukti ar panaudoti prieš vartotoją, saugumas labai greitai tampa gražia iliuzija.

Čia kaip palikti namų raktą po kilimėliu ir sakyti, kad durys užrakintos.

KODĖL AGENTAMS TAI DAR SVARBIAU

Paprastas chatbotas gali parašyti blogą atsakymą. Agentas gali veikti: skaityti failus, kviesti sistemas, siųsti užklausas, jungtis prie kitų įrankių.

Todėl slapta instrukcija negali būti vienintelis saugiklis. Reikia atskirų leidimų, patvirtinimų, veiksmų žurnalo ir ribų, kurios gyvena ne vien prompt’e.

Promptas gali padėti. Bet jis neturi būti paskutinė durų spyna.

KĄ PASITIKRINTI KOMANDOJE

Jei naudojate Copilot ar kitus DI asistentus su vidiniais duomenimis, susirašykite, ką jie gali pasiekti. Dokumentus, paštą, kalendorių, klientų informaciją, slaptažodžių valdymo sistemas.

Tada patikrinkite, ar jautriems veiksmams reikia žmogaus patvirtinimo. Ir ar po incidento galėtumėte atsakyti į klausimą: kas tiksliai buvo padaryta?

Saugumas prasideda nuo nuobodaus inventoriaus. Ne nuo gražaus šūkio.

FAQ

Kas nutiko su Microsoft Copilot?

Ars Technica aprašė spragą, kurioje slaptas parametras galėjo būti panaudotas atakai prieš vartotoją.

Kodėl slaptos DI instrukcijos rizikingos?

Jei modelis jas gali atskleisti ar apeiti, puolėjas gali suprasti sistemos taisykles ir ieškoti kelio jas išnaudoti.

Kaip mažinti riziką?

DI įrankiams reikia atskirų leidimų, ribotų veiksmų, patvirtinimų jautriems veiksmams ir audito žurnalų.

Šaltinis: Ars Technica.

Šią savaitę peržiūrėkite bent vieno DI asistento prieigas. Jeigu nežinote, ką jis gali matyti, tai jau yra atsakymas.