Anthropic inžinierius aiškina, kaip tikrinamas Claude agentų patikimumas

IEEE Spectrum spalio 12 dieną aprašė Anthropic inžinieriaus Gurmeeto Sarano darbą su Claude atsakymų patikimumo infrastruktūra. Leidinys rašo, kad Saranas kuria sistemas, padedančias suprasti, kaip agentas formuoja atsakymus ir ar jie išlieka tikslūs.

Naujiena svarbi todėl, kad didieji modeliai vis dažniau naudojami kaip agentai, ne vien kaip tekstų generatoriai. Kai sistema gali ieškoti informacijos, naudoti įrankius ir atlikti kelis žingsnius, nebeužtenka vien patikrinti galutinio sakinio.

IEEE Spectrum nurodo, kad Saranas yra IEEE vyresnysis narys ir dirba Anthropic San Fransiske. Jo užduotis siejama su duomenų ir infrastruktūros sluoksniais, kurie padeda vertinti Claude elgseną ir patikrinti, ar modelio architektūra duoda patikimus rezultatus.

Straipsnyje pabrėžiama paprasta, bet dažnai pamirštama problema: vartotojas mato atsakymą per kelias sekundes, bet nemato mechanikos, kuri iki jo atvedė. Agentų atveju ši mechanika apima šaltinių pasirinkimą, tarpinį samprotavimą, įrankių naudojimą ir klaidų taisymą.

Pasak IEEE Spectrum, Saranas dirba su infrastruktūra, kuri leidžia geriau suprasti Claude elgesio priežastis. Tokia analizė svarbi ne tik modelio kūrėjams, bet ir įmonėms, kurios nori žinoti, kodėl sistema pasiūlė vieną ar kitą veiksmą.

Anthropic pastarosiomis savaitėmis paskelbė kelis tyrimus apie agentų saugumą, įskaitant vidaus naudojimo ir vertinimo metu pastebėtus nepageidaujamus veiksmus. IEEE Spectrum tekstas papildo šią kryptį žmogaus profiliu: modelio patikimumas priklauso ir nuo inžinerinės infrastruktūros, ne vien nuo naujo modelio paleidimo.

Leidinys taip pat pabrėžia, kad Sarano darbas yra susijęs su klausimu, iš kur modelis gauna informaciją ir kaip ją sujungia. Tai tampa svarbu, kai Claude naudojamas ne vien paaiškinimams, bet ir sprendimams, kuriuose klaidinga prielaida gali paveikti visą veiksmų grandinę.

Lietuvos įmonėms tai aktualu dėl praktinės priežiūros. Jei agentas jungiasi prie dokumentų, klientų duomenų ar vidinių sistemų, reikalingi žurnalai, vertinimai ir aiški grandinė, leidžianti suprasti, kas buvo atlikta prieš galutinį atsakymą.

Toliau tokios patikimumo sistemos taps svarbesnės, nes agentai pereina iš bandymų į kasdienes darbo sistemas. Klausimas bus, ar laboratorijos sugebės šiuos vidinius stebėjimo metodus paversti aiškiais įrankiais klientams, auditoriams ir reguliuotojams.