58 balai Claude modeliui užtikrino naujo DI indekso lyderystę
Artificial Analysis pakeitė modelių vertinimą: 60 procentų indekso sudaro nevieši duomenys ar atsakymai. Claude Opus 5.5 surinko 58 balus.
58 balus surinkęs Claude Opus 5.5 pirmauja atnaujintame Artificial Analysis modelių indekse, kuriame daugiau svorio tenka neviešoms užduotims. Vertintojai spalio 27 dieną pristatė Intelligence Index v5 su dviem naujais testais ir trimis atnaujintais vertinimais. Dabar 60 procentų indekso remiasi privačiais testų rinkiniais arba neviešinamais atsakymais.
Pasak Artificial Analysis, maksimalias samprotavimo pastangas naudojantis GPT-6 Astra surinko 57, o GPT-6.1 Sol pasiekė 55 balus. Gemini 4 Argon su aukštu pastangų nustatymu gavo 50 balų. Bendras rezultatas apjungia keturias vienodai sveriamas sritis: žinių darbą, programavimą, mokslą ir bendruosius gebėjimus.
Naujas FrontierCode 2.0, sukurtas Cognition, apima 132 užduotis tikrose atviro kodo saugyklose, rašoma vertintojų pranešime. Atsakymai vertinami pagal tai, ar projekto prižiūrėtojas priimtų agento pasiūlytą pakeitimą. Nepraėjus bent vienos privalomos patikros, už bandymą skiriamas nulis, o užduotys neviešinamos siekiant išvengti jų patekimo į mokymo duomenis.
Artificial Analysis kiekvieną šio programavimo testo užduotį savo Stirrup aplinkoje vykdo tris kartus ir skelbia apibendrintą rezultatą. Claude Opus 5.5 šiame bandyme pasiekė 46 procentus, o trys OpenAI ir Anthropic modeliai surinko po 42 procentus. Tai atskiro testo rezultatai, ne bendrojo indekso balai.
Antras naujas testas Terminal-Bench-Science apima 70 mokslinių tyrimų užduočių, atliekamų terminalo aplinkoje, nurodo indekso kūrėjai. Užduotis laikoma įveikta tik tada, kai praeinamos visos jos patikros. Čia GPT-6 Astra pirmauja su 63 procentais, aplenkdamas Claude Opus 5.5, surinkusį 59 procentus.
Atnaujintas HLE-Diamond turi 1 000 klausimų, po lygiai padalytų tarp samprotavimo ir žinių, rašoma Artificial Analysis paaiškinime. CritPt v2 vertinimui paliktas privatus 40 sudėtingų fizikos klausimų rinkinys. Atnaujintame AA-Omniscience pašalinti prisotinti ir vieši klausimai, pataisytos dviprasmybės bei įtrauktos naujos užduotys.
Vertintojai atskirai pažymi skirtumą tarp paskelbto modelio ir faktiškai prieinamų jo svorių, kai lygina atvirus sprendimus. Kimi K3.1 Pro gavo 46 balus, tačiau jo svoriai dar neišleisti. Tarp modelių su jau prieinamais svoriais DeepSeek V4.1 Flash 1017 ir GLM-5.3 surinko po 32 balus.
Artificial Analysis skelbia ir vienos indekso užduoties sąnaudų palyginimą: GPT-6.1 Sol kainavo 1,27 dolerio, Claude Opus 5.5 — 10,04 dolerio. Skirtingi pastangų nustatymai keičia ir kainą, ir rezultatą. Pavyzdžiui, Claude Opus 5.5 balas pakilo nuo 35 iki 58, pereinant nuo mažų prie maksimalių pastangų.
Kartu pristatytas Progress Index v1 skirtas stebėti gebėjimų kaitą nuo 2022 metų lapkričio vienoje palyginimo skalėje. Artificial Analysis dabartinių produktų palyginimui toliau naudos Intelligence Index, o istorinei pažangai — naują pažangos indeksą. Organizacija pabrėžia, kad nė vienas iš vertintų modelių nepirmauja visuose devyniuose bandymuose.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
