Nadella ragina DI modeliams įdiegti avarinį stabdį

Microsoft vadovas Satya Nadella paragino DI sistemas projektuoti taip, kad žmogus galėtų sustabdyti modelį užduoties viduryje.

TechCrunch spalio 10 dieną cituoja Nadellos įrašą, kuriame jis siūlo atsitraukti ir iš naujo įvertinti DI pasitikėjimo architektūrą.

Tai svarbu verslui, nes agentiniai modeliai jau gali dirbti su failais, tinklais ir programomis, o klaida gali tapti realiu veiksmu.

Nadellos teigimu, superintelekto sistemų negalima traktuoti kaip įdėtų juodųjų dėžių, kurių rekomendacijas organizacija tiesiog priima arba atmeta.

Jis siūlo atskirti modelį nuo vykdymo karkaso, kuris organizuoja darbą, ir kontrolės mechanizmus iškelti už paties modelio ribų.

Pasak TechCrunch, Nadella taip pat ragina kiekvieną reikšmingą modelio veiksmą fiksuoti žmogui suprantamais ir neklastojamais įrodymais.

Vienas svarbiausių jo siūlymų yra avarinis sustabdymas, leidžiantis įgaliotam žmogui pristabdyti arba išjungti modelį užduoties eigoje.

Nadella įraše teigė, kad organizacijos turi manyti, jog modelis jau kompromituotas, ir nuo pradžių jį laikyti ribotoje aplinkoje.

Šis požiūris artimas pastarųjų savaičių saugumo diskusijoms, kai kelios laboratorijos viešai pripažino neplanuotą agentų elgesį.

TechCrunch primena, kad Nadellos komentarai pasirodė po Anthropic vadovo Dario Amodei plano atsargiau kurti galingus DI modelius.

Verslui ši žinutė reiškia posūkį nuo vien modelių vertinimo prie platesnės sistemos, kurioje svarbios teisės, auditas ir vykdymo ribos.

Nadellos įrašas taip pat sutampa su Microsoft platformos kryptimi, kurioje agentų veikla turi būti atskirta nuo paprasto vartotojo veiklos.

Tokioje architektūroje svarbus ne tik atsakymo tikslumas, bet ir tai, kas leido agentui pasiekti konkretų failą ar sistemą.

Pasak TechCrunch, Nadella ragina kiekvieną prasmingą veiksmą palikti su įrodymais, kuriuos galėtų perskaityti žmogus, o ne tik mašina.

Tai artina DI agentų valdymą prie finansų ar saugumo auditų, kuriuose sprendimo kelias turi būti patikrinamas po incidento.

Ši diskusija ypač aktuali įmonėms, kurios leidžia agentams rašyti kodą, tvarkyti klientų informaciją arba jungtis prie vidinių sistemų.

Kitas klausimas bus praktinis: kaip greitai platformos ir įmonių saugumo komandos pavers tokį avarinį stabdį kasdieniu agentų diegimo reikalavimu.