Claude kibernetinis testas išlipo į realų internetą: DI agentams reikia kietesnių ribų
·
Claude kibernetinis testas šiandien nėra teorinis žaislas. Tai jau darbas, pinigai, duomenys ir kartais labai žemiškas klausimas: kas prisiims atsakomybę, kai DI pradės veikti už žmogų?
Anthropic liepos 30 d. paskelbė nelabai patogią istoriją: per kibernetinius vertinimus Claude modeliai tris kartus pasiekė realias sistemas. Modeliams buvo pasakyta, kad interneto nėra, bet aplinkoje prieiga vis dėlto veikė.
Turiu prisipažinti, tokias naujienas skaitau ne kaip blizgančią vitriną. Skaitau kaip žmogus, kuris iš karto galvoja apie komandą pirmadienio rytą. Kas iš to bus naudinga? Kur bus painiava? Ir kur po mėnesio kas nors pasakys: „mes galvojom, kad čia automatiškai susitvarkys“.
KAS NUTIKO
Bendrovė peržiūrėjo 141 006 vertinimo paleidimus ir rado tris incidentus. Vienu atveju modelis pasiekė realios įmonės infrastruktūrą, kitu – įkėlė kenkėjišką paketą į PyPI, trečiu – skenavo apie 9 000 taikinių.
Atvirai? Čia yra tas momentas, kai laboratorinis pratimas staiga tampa nebe laboratorinis. Kaip sporto salėje užrištomis akimis stumti štangą ir tik po to suprasti, kad šalia stovėjo ne treneris, o klientas su telefonu.
Čia svarbi detalė: kalbame ne apie dar vieną gražų demonstracinį video. Kalbame apie produktus, politiką, infrastruktūrą arba tyrimus, kurie keičia, kaip žmonės dirba su DI realiose organizacijose.
KODĖL TAI SVARBU
Ši naujiena svarbi ne dėl baimės. Ji svarbi dėl paprasto dalyko: DI agentas gali labai rimtai vykdyti užduotį, net kai žmogaus pusėje prastai sužymėtos ribos.
DI jau išlipo iš „parašyk tekstą“ dėžutės. Jis naršo, jungiasi prie įrankių, analizuoja duomenis, planuoja veiksmus, kartais tvarko dokumentus ar padeda priimti sprendimą. Trumpai: jis artėja prie darbo proceso, ne tik prie pokalbio lango.
Ir čia smegenys mėgsta paslysti. Norisi sakyti: „ai, čia dar užsienyje“. Bet tas pats modelis ar funkcija rytoj atsiras kliento kompiuteryje, darbuotojo naršyklėje arba partnerio pasiūlyme.
KĄ TAI REIŠKIA VERSLUI
Verslui tai primena, kad agentų testavimas turi būti tvarkomas kaip reali IT rizika, ne kaip smagus eksperimentas po penktadienio pietų.
- atskirti testavimo aplinkas nuo realaus interneto
- rašyti aiškias ribas, kas yra užduoties viduje
- stebėti agento veiksmus realiu laiku
- turėti stabdymo taisyklę, kai agentas abejoja kontekstu
Pirmas praktinis žingsnis paprastas: jeigu agentas turi įrankius, jis turi turėti ir ribas. Ne tik promptą, bet ir techninį užraktą.
Man patinka paprastas testas: ar po šios naujienos tavo komanda turi vieną aiškesnį sprendimą? Jei ne, vadinasi dar tik skaitome. Skaityti galima. Tik nereikia apsimesti, kad tai jau strategija.
KUR GALI SKAUDĖTI
Didžiausia klaida būtų pasakyti: „čia tik Anthropic problema“. Ne. Kiekviena komanda, kuri leidžia agentui naršyti, vykdyti kodą ar jungtis prie sistemų, turi tą patį klausimą.
Dažniausia klaida labai ūkiška. Žmonės įsijungia įrankį, pabando, nustemba, pasidžiaugia ir tada palieka viską savieigai. Po kelių savaičių paaiškėja, kad vieni darbuotojai kelia jautrius failus, kiti matuoja naudą iš jausmo, o treti net nežino, kas leidžiama.
Ne tragedija. Bet tvarkos reikia.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Šią savaitę paimkite vieną planuojamą agentą ir parašykite jo stop sąlygą. Kada jis privalo sustoti, paklausti žmogaus arba uždaryti sesiją?
Šaltinis: Anthropic.
DUK
Kas nutiko Claude kibernetiniame teste?
Anthropic rado tris atvejus, kai Claude modeliai per vertinimus pasiekė realias sistemas, nes testavimo aplinkose veikė interneto prieiga.
Ar Claude bandė pabėgti iš sistemos?
Anthropic teigia, kad nematė bandymo ištrūkti iš testavimo aplinkos. Modeliai vykdė jiems duotą kibernetinę užduotį.
Ko iš to mokytis verslui?
Agentams reikia techninių ribų, stebėjimo ir aiškių taisyklių, kada jie turi sustoti.
Jei nori DI naudoti praktiškai, pradėk nuo vieno proceso. Vienas pasikartojantis darbas. Vienas atsakingas žmogus. Vienas matavimas. Daugiau praktikos rasi MasterSprint.
