Modelio tapatybę Anthropic leis patikrinti neatskleidžiant svorių

Anthropic atvėrė FlashProve prototipą, kuriuo galima kriptografiškai patikrinti, ar DI atsakymą iš tiesų pateikė paslaugos teikėjo nurodytas modelis. Lapkričio 2 dienos tyrimo aprašyme bendrovė aiškina, kad tokia patikra nereikalauja atskleisti komercinę vertę turinčių modelio svorių.

Pasak tyrėjų, šiandien vien atsakymo kokybė neleidžia patikimai nustatyti, ar tarpininkas nepakeitė pasirinkto modelio pigesniu ar kitokiu variantu. FlashProve skirtas šiai konkrečiai kilmės problemai, o ne patvirtinti, kad modelio sugeneruoti teiginiai yra teisingi arba jo elgesys saugus.

Projektą parengė Anthropic Frontier Red Team ir bendradarbiai iš EPFL, MIT bei kitų tyrimų organizacijų, nurodomų oficialiame pranešime. Kodas, dokumentacija ir formalūs įrodymai paskelbti su Apache 2.0 licencija, o tiesioginė saugykla prieinama GitHub projekte FlashProve.

Sistemoje paslaugos teikėjas pirmiausia paskelbia kriptografinį įsipareigojimą konkrečiam modelio svorių rinkiniui, o vėliau pateikia atlikto skaičiavimo įrodymą. Kaip aiškina Anthropic, tikrintojas gali susieti užklausą ir atsakymą su tuo įsipareigojimu, pats neturėdamas viso modelio ar jo svorių.

Oficialiame bandyme naudotas 400 milijardų parametrų Llama 4 Maverick modelis su keturių bitų svoriais ir 1 024 žetonų kontekstu. Anthropic nurodo, kad vienas NVIDIA H100 spartintuvas įrodymus generavo maždaug 110 žetonų per sekundę sparta, taikant aprašytas bandymo sąlygas.

Vieno įrodymo dydis buvo apie 19 megabaitų, o patikra procesoriumi su 24 vykdymo gijomis truko maždaug 17 sekundžių. Tačiau įrodymų kūrimas, pagal laboratorijos palyginimą su vLLM, pareikalavo maždaug 70–95 kartus daugiau spartintuvo laiko nei įprastas modelio vykdymas.

GitHub aprašyme atskiriama paprasta parengto įrodymo patikra nuo viso modelio bandymo, kuriam reikia gerokai daugiau kompiuterio išteklių. Pirmajai užtenka Linux aplinkos, suderinamo C++ kompiliatoriaus ir mažiau nei dviejų gigabaitų operatyviosios atminties; atskiro grafinio spartintuvo nereikia.

Viso Maverick bandymo reikalavimuose saugykla nurodo H100 su 80 gigabaitų atmintimi, suderinamą CUDA aplinką ir 330 gigabaitų pagrindinės atminties. Taip pat reikia 245 gigabaitų vietos diske, todėl ši projekto dalis nėra įprastam nešiojamajam kompiuteriui skirtas demonstracinis bandymas.

GitHub dokumentacijoje pateikiami ir mažesni bandymo keliai su sintetiniais svoriais, kuriems nereikia atsisiųsti viso didelio modelio rinkinio. Paprastos demonstracinės patikros rezultatas parodo tik tikrintuvo veikimą, o ne patvirtina, kad kuri nors vieša paslauga aptarnauja nurodytą modelį. Saugyklos apraše taip pat pažymėta, kad sistema slepia svorius, tačiau modelio architektūros slėpimas nėra šio projekto tikslas.

Saugykloje leidimas aiškiai vadinamas neprižiūrimu tyrimų artefaktu, o Anthropic pranešime pabrėžia, kad paskelbta tarpinė pažanga, ne užbaigtas produktas. Toliau tyrėjai kviečia tikrinti metodą ir jį tobulinti; pranešimas nereiškia, kad tokiais įrodymais jau aprūpinti kasdieniai Claude atsakymai.