OpenAI naujas mąstymo būdas kelia nerimą saugumo ekspertams

OpenAI Astra vėl grąžina tą patį nepatogų klausimą: kiek giliai DI gali galvoti, kol mums dar patogu jį tikrinti?

TechCrunch rašo, kad naujas modelis naudos techniką, vadinamą recurrent depth. Paprastai tariant, modelis gali daugiau kartų sukti vidinį mąstymo ciklą prieš duodamas atsakymą.

Skamba kaip geresnis protas. Bet saugumo žmonės čia iš karto pakelia antakį.

KAS YRA TAS NAUJAS CIKLAS

Daug dabartinių mąstančių modelių dirba gana nuosekliai: žingsnis, kitas žingsnis, atsakymas. Recurrent depth leidžia modeliui tarsi grįžti į savo mąstymą ir jį pratęsti.

Tai gali padėti spręsti sunkesnes užduotis. Matematiką, kodą, planavimą, sudėtingas instrukcijas. Kitaip sakant, vietas, kur greitas atsakymas dažnai būna prastas atsakymas.

Problema ta, kad kuo daugiau vidinio darbo, tuo sunkiau iš išorės suprasti, kodėl modelis pasirinko būtent tokį kelią.

KODĖL SAUGUMAS ČIA NE FORMALUMAS

DI saugumo testai dažnai remiasi tuo, kad galima stebėti modelio elgesį, matuoti ribas ir bandyti jas laužyti. Jei mąstymo eiga tampa sudėtingesnė, testavimas irgi turi keistis.

TechCrunch mini ekspertų nerimą, kad galingesni modeliai gali išmokti apeiti paprastas patikras arba elgtis skirtingai priklausomai nuo situacijos.

Čia nėra panikos dėl vieno mygtuko. Čia labiau tas jausmas, kai automobilis gauna galingesnį variklį, o stabdžių dar niekas rimtai neperžiūrėjo.

KĄ IŠ TO PASIIMTI ĮMONĖMS

Įmonėms nereikia bijoti kiekvieno naujo modelio. Bet reikia žinoti, kur jis naudojamas.

Jei DI tik padeda parašyti juodraštį, rizika viena. Jei jis planuoja veiksmus, rašo kodą ar jungiasi prie sistemų, rizika kita. Tada neužtenka sakyti „naudojame pažangiausią modelį“.

Reikia logų, patvirtinimų, ribų ir aiškaus žmogaus atsakomybės taško. Nuobodu? Taip. Bet versle nuobodūs saugikliai dažnai išgelbėja daug pinigų.

FAQ

Kas yra recurrent depth?

Tai DI modelio technika, leidžianti jam daugiau kartų apdoroti užduotį prieš pateikiant atsakymą.

Kodėl OpenAI Astra kelia klausimų?

Saugumo ekspertai nerimauja, kad gilesnis modelio mąstymas gali būti sunkiau tikrinamas ir prognozuojamas.

Ką tai reiškia verslui?

Naudojant stipresnius DI modelius reikia daugiau priežiūros: leidimų, veiksmų žurnalo ir žmogaus patvirtinimų kritinėse vietose.

Šaltinis: TechCrunch.

Prieš jungdami naują modelį prie svarbių sistemų, susirašykite ne funkcijas, o ribas. Salvaro padeda DI projektus pradėti nuo tvarkos, ne nuo chaoso.