Bedrock Guardrails: DI agentams pridedami stabdžiai

Svarbiausia

• Kas yra Bedrock Guardrails? Tai AWS priemonės, skirtos DI aplikacijų turiniui, veiksmams ir riboms valdyti.
• Kam reikalingas InvokeGuardrailChecks API? Jis leidžia tikrinti agento eigą ne tik galutiniame atsakyme.
• Ar tai aktualu mažoms įmonėms? Taip, jei DI agentas liečia klientų, darbuotojų ar finansinius duomenis.

Bedrock Guardrails atrodo kaip eilinė DI naujiena. Bet man tokiose vietose visada įsijungia paprastas klausimas: ką su tuo pirmadienio rytą darys žmogus, kuris turi klientą, komandą ir terminą?

AWS aprašė naują Bedrock Guardrails galimybę, kuri leidžia tikrinti DI agentų įvestis, tarpinius veiksmus ir rezultatus.

Čia ir prasideda visa matematika. Ne gražioje prezentacijoje, o darbe. Ten, kur DI arba nuima valandas nuo pečių, arba tampa dar viena programa, kurią kažkas nupirko, o niekas normaliai nenaudoja.

Kas nutiko

InvokeGuardrailChecks API leidžia programuotojams įterpti saugumo patikras į agento eigą. Sistema gali tikrinti turinį prieš modelio atsakymą, po atsakymo arba tarp agento veiksmų.

Agentai nėra paprasti chatbotai. Jie gali kviesti įrankius, skaityti dokumentus, generuoti veiksmus ir kartais paliesti jautrius duomenis. Todėl vien filtro ant galutinio atsakymo jau neužtenka.

Kodėl tai svarbu

Saugumas turi būti ne pabaigoje, o visame procese. Jei agentas blogą sprendimą priėmė antrame žingsnyje, gražiai sutvarkytas galutinis tekstas problemos neišspręs.

Man čia norisi labai ūkiškai pasakyti: DI jau nebe vien tekstų generatorius. Jis jungiasi prie dokumentų, procesų, saugumo taisyklių, klientų aptarnavimo ir vidinių sistemų. O kai jungiasi prie darbo, reikia ne entuziazmo, o tvarkos.

Ką tai reiškia verslui

Verslui tai reiškia, kad DI diegimas keliasi iš žaisliuko zonos į procesų valdymą. Jeigu agentas dirba su klientų laiškais, sutartimis ar finansiniais duomenimis, jam reikia ribų.

• tikrinti, kokius duomenis agentas gauna
• riboti veiksmus pagal riziką
• fiksuoti tarpinius sprendimus
• sustabdyti užduotį, kai atsiranda jautrus turinys

Pavyzdys iš pardavimų: agentas gali paruošti atsakymą klientui, bet jeigu laiške yra kainodara ar sutarties sąlygos, atsakymas keliauja žmogui peržiūrėti.

Kur pasislėpusi rizika

Rizika – įjungti agentą ir tikėtis, kad modelis pats supras įmonės ribas. Jis jų nežino, kol jos nėra paverstos taisyklėmis.

DI klaidos dažnai nebūna triukšmingos. Jis atsako mandagiai, užtikrintai ir kartais taip gražiai, kad žmogus net nenori tikrinti. Čia pavojingiausia vieta. Ne tada, kai sistema „nulūžta“, o tada, kai ji atrodo per daug pasitikinti savimi.

Ką pasidaryti šią savaitę

Pasirinkite vieną agento scenarijų ir pažymėkite tris vietas, kuriose turi būti saugumo patikra: prieš duomenis, prieš veiksmą ir prieš galutinį atsakymą.