Circuit Breaker Labs: vaikų DI saugumui atsiranda naujas testas
·
Vaikų DI saugumas per dažnai skamba kaip gražus pažadas: rūpinsimės, saugosime, gerinsime.
TechCrunch rašo apie Circuit Breaker Labs, kuri bando šią temą paversti testu. Idėja paprasta ir stipri: sukurti tarsi „avarinius manekenus“ DI sistemoms, kurie imituoja pažeidžiamus vartotojus.
Nes jei modelis gali žmogų emociškai pastumti į blogą pusę, tai reikia matuoti prieš paleidžiant produktą, o ne po antraščių.
KODĖL PAPRASTŲ TESTŲ NEUŽTENKA
Daug DI saugumo testų tikrina, ar modelis duoda draudžiamą informaciją. Tai svarbu, bet ne viskas.
Vaikai, paaugliai ar krizėje esantys žmonės nebūtinai klausia pavojingų instrukcijų tiesiai. Kartais rizika atsiranda per toną, ilgą pokalbį, priklausomybę nuo atsakymo ar netinkamą paskatinimą.
Tai sunkiau pamatuoti. Bet būtent todėl ir reikia geresnių bandymų.
KĄ REIŠKIA „AVARINIS MANEKENAS“ DI PASAULYJE
Automobilių pramonėje saugumas tikrinamas ne tik pažadais. Yra smūgiai, testai, scenarijai, rezultatai.
Circuit Breaker Labs siekia panašios logikos DI pokalbiams: sukurti simuliuotus vartotojus ir situacijas, kurios parodo, kaip sistema elgiasi jautriuose pokalbiuose.
Tai ūkiška mintis. Jei nežinai, kaip sistema laikosi spaudimo, negali sakyti, kad ji saugi.
PAMOKA TĖVAMS IR MOKYKLOMS
Tėvams nereikia tapti DI inžinieriais. Bet verta žinoti, kad ne visi chatbotai yra vienodi, o „draugiškas“ tonas dar nereiškia saugaus elgesio.
Mokykloms ir organizacijoms svarbu klausti tiekėjų ne tik apie funkcijas, bet ir apie testavimą: kaip tikrinami jautrūs scenarijai, kas matuoja riziką, kaip taisomos klaidos.
Čia prasideda sveikas spaudimas rinkai.
FAQ
Kas yra Circuit Breaker Labs?
Tai įmonė, kuri kuria DI saugumo testavimo metodus, įskaitant pažeidžiamų vartotojų simuliacijas.
Kodėl vaikų DI saugumas sudėtingas?
Rizika gali atsirasti per ilgą pokalbį, emocinį ryšį, toną ar netinkamą paskatinimą, o ne vien per tiesiogiai draudžiamą atsakymą.
Ko klausti DI įrankių tiekėjų?
Kaip jie testuoja jautrius scenarijus, kokius saugiklius turi vaikams ir kaip reaguoja į incidentus.
Šaltinis: TechCrunch.
Jei renkatės DI įrankį vaikams ar mokyklai, nepirkite vien pažado. Paprašykite testavimo įrodymų.
