Anthropic kibernetinių testų pamoka: kai simuliacija netyčia tampa tikru internetu
·
Anthropic kibernetiniai testai šiandien nėra teorinis žaislas. Tai jau darbas, pinigai, duomenys ir kartais labai žemiškas klausimas: kas prisiims atsakomybę, kai DI pradės veikti už žmogų?
Anthropic rugpjūčio pradžioje aprašė tris kibernetinių vertinimų incidentus. Vertinimo prompte Claude buvo pasakyta, kad aplinka yra simuliacija ir interneto nėra. Bet dėl nesusipratimo su vertinimo partneriu interneto prieiga vis dėlto buvo, todėl modelis aptiktas realias sistemas traktavo kaip testo dalį.
Turiu prisipažinti, tokias naujienas skaitau ne kaip blizgančią vitriną. Skaitau kaip žmogus, kuris iš karto galvoja apie komandą pirmadienio rytą. Kas iš to bus naudinga? Kur bus painiava? Ir kur po mėnesio kas nors pasakys: „mes galvojom, kad čia automatiškai susitvarkys“.
KAS NUTIKO
Anthropic teigia, kad incidentai kilo ne dėl modelio bandymo pabėgti, o dėl vertinimo aplinkos klaidos. Įmonė aprašė, kaip buvo tirti atvejai ir kokių veiksmų imtasi su partneriais bei procesais.
Čia labai žmogiška klaida. Kažkas manė, kad durys užrakintos. Kažkas kitas manė, kad raktas niekam netinka. O agentas tiesiog ėjo ten, kur jam buvo leista.
Čia svarbi detalė: kalbame ne apie dar vieną gražų demonstracinį video. Kalbame apie produktus, politiką, infrastruktūrą arba tyrimus, kurie keičia, kaip žmonės dirba su DI realiose organizacijose.
KODĖL TAI SVARBU
DI saugumo testuose aplinka yra pusė rezultato. Jei agentui sakai, kad jis smėlio dėžėje, bet palieki vartus į kiemą, problema nėra vien agento elgesys. Problema yra visa sistema aplink jį.
DI jau išlipo iš „parašyk tekstą“ dėžutės. Jis naršo, jungiasi prie įrankių, analizuoja duomenis, planuoja veiksmus, kartais tvarko dokumentus ar padeda priimti sprendimą. Trumpai: jis artėja prie darbo proceso, ne tik prie pokalbio lango.
Ir čia smegenys mėgsta paslysti. Norisi sakyti: „ai, čia dar užsienyje“. Bet tas pats modelis ar funkcija rytoj atsiras kliento kompiuteryje, darbuotojo naršyklėje arba partnerio pasiūlyme.
KĄ TAI REIŠKIA VERSLUI
Įmonėms tai aktualu net be kibernetinių laboratorijų. Jei testuojate agentą su realiomis paskyromis, realiais failais ar internetu, turite aiškiai žinoti, kas izoliuota, o kas ne.
- testų aplinkas atskirti nuo realių sistemų
- tikrinti ne tik promptą, bet ir technines prieigas
- turėti incidentų registravimo tvarką
- nepasitikėti vien žodiniu susitarimu su tiekėju
Prieš leisdami agentui į testą, padarykite paprastą sąrašą: ar jis turi internetą, ar mato realius duomenis, ar gali rašyti į sistemas, ar yra išjungimo mygtukas.
Man patinka paprastas testas: ar po šios naujienos tavo komanda turi vieną aiškesnį sprendimą? Jei ne, vadinasi dar tik skaitome. Skaityti galima. Tik nereikia apsimesti, kad tai jau strategija.
KUR GALI SKAUDĖTI
Rizika – galvoti, kad „čia tik testas“. Agentams testas su realiomis teisėmis greitai tampa realiu veiksmu. Ir tada jau nebe taip smagu.
Dažniausia klaida labai ūkiška. Žmonės įsijungia įrankį, pabando, nustemba, pasidžiaugia ir tada palieka viską savieigai. Po kelių savaičių paaiškėja, kad vieni darbuotojai kelia jautrius failus, kiti matuoja naudą iš jausmo, o treti net nežino, kas leidžiama.
Ne tragedija. Bet tvarkos reikia.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Šią savaitę peržiūrėkite vieną DI testavimo aplinką ir pažymėkite visas realias prieigas. Jei jų yra, įrašykite, kas už jas atsakingas.
Šaltinis: Anthropic.
DUK
Kas nutiko Anthropic vertinimuose?
Claude buvo instruuotas veikti simuliacijoje, bet dėl partnerio nesusipratimo turėjo interneto prieigą ir aptiko realias sistemas.
Ar tai reiškia, kad agentas pabėgo?
Anthropic aprašyme akcentuojama aplinkos klaida ir neteisingas kontekstas, ne savarankiškas pabėgimas.
Ko pasimokyti verslui?
Testuojant agentus būtina tikrinti realias technines prieigas, ne tik tai, kas parašyta prompte.
Jei nori DI naudoti praktiškai, pradėk nuo vieno proceso. Vienas pasikartojantis darbas. Vienas atsakingas žmogus. Vienas matavimas. Daugiau praktikos rasi MasterSprint.
