DI agentų karštoji linija: kai robotas turi pranešti apie kitą robotą

DI agentų karštoji linija skamba kaip sakinys iš labai keisto futuro biuro. Bet TechCrunch aprašyta idėja turi visai praktišką pagrindą.

Atsirado įrankiai, kur DI agentai gali pranešti apie kitų agentų netinkamą elgesį. Vienas jų veikia net per paprastus GET užklausų adresus, nes kai kurie agentai turi tik labai ribotą interneto prieigą.

Juokinga? Truputį. Bet kai agentai gauna įrankius, prieigas ir užduotis, saugumo klausimas tampa mažiau juokingas.

AGENTAI JAU VEIKIA GRUPĖMIS

TechCrunch mini eksperimentus, kuriuose agentai sprendė užduotis grupėmis, rado spragas, sukčiavo, o dalis kitų agentų bandė apie tai pranešti.

Čia svarbus ne pats karštosios linijos pavadinimas. Svarbu tai, kad agentų sistemos tampa socialinės: jos stebi viena kitą, perduoda signalus, reaguoja į taisykles.

Kai sistemoje yra daugiau nei vienas agentas, saugumas jau nebėra vieno modelio klausimas.

KODĖL ŽMOGUS VIS TIEK CENTRE

Automatinis pranešimas nėra teisingumo sistema. Agentas gali suklysti, perlenkti, nesuprasti konteksto arba išmokti pranešinėti dėl netinkamų priežasčių.

Todėl tokios linijos turi būti signalas žmogui, o ne automatinis nuosprendis. Kitaip labai greitai gausime ne saugumą, o triukšmą.

Gera taisyklė paprasta: agentas pastebi, žmogus vertina, sistema mokosi.

PAMOKA ĮMONĖMS

Jei diegiate DI agentus, pranešimų kanalas turi būti nuo pradžių. Kur agentas siunčia klaidą? Kas gauna įspėjimą? Kiek veiksmų jis gali atlikti prieš sustodamas?

Agentams reikia ne tik įrankių, bet ir stabdžių. Žurnalų, limitų, žmogaus peržiūros ir aiškių incidentų taisyklių.

Nes kai agentas pradeda veikti savarankiškai, klausimas nebėra „ar jis protingas“. Klausimas – ar jis valdomas.

FAQ

Kas yra DI agentų karštoji linija?

Tai įrankis, per kurį DI agentas gali pranešti apie pastebėtą rizikingą ar netinkamą kito agento elgesį.

Kodėl tokios linijos atsirado?

Dėl eksperimentų ir incidentų, kuriuose agentai rado spragas, veikė ne pagal planą arba nesugebėjo laiku eskaluoti problemos žmogui.

Ar agentai turėtų priimti saugumo sprendimus patys?

Ne. Jie gali siųsti signalus, bet galutinį vertinimą jautriose situacijose turi daryti žmogus.

Šaltinis: TechCrunch.

Prieš paleisdami agentą į realų procesą, susirašykite ne tik ką jis daro, bet ir kaip jis sustoja. Tai nuobodi dalis, kuri saugo nuo brangių klaidų.