200 milijonų dolerių Arena gavo DI modelių vertinimui

Arena pritraukė 200 milijonų dolerių Series B investiciją, o DI modelių vertinimo bendrovė dabar įvertinta 3,1 milijardo dolerių.

TechCrunch spalio 8 dieną rašo, kad raundui vadovavo Lightspeed Venture Partners ir Khosla Ventures, o prie jo prisidėjo Salesforce Ventures, 01 Advisors, Dell Technologies Capital, Endeavor Catalyst, a16z, Felicis ir kiti investuotojai. Bendrovė kilo iš 2023 metų Kalifornijos universiteto Berklyje tyrimų projekto.

Pasak TechCrunch, Arena sausį jau buvo paskelbusi 150 milijonų dolerių Series A raundą, tada įvertintą 1,7 milijardo dolerių po investicijos. Per maždaug 10 mėnesių vertė beveik padvigubėjo, o birželį bendrovė skelbė pasiekusi 100 milijonų dolerių metinių pasikartojančių pajamų tempą.

Arena vartotojams siūlo nemokamą platformą, kur žmonės pateikia užklausas arba prašo sukurti vibe-coded projektus ir renkasi, kuris modelis atsakė geriau. Bendrovė teigia turinti dešimtis milijonų mėnesio lankytojų, o komercinis produktas AI Evaluations įmonėms ir laboratorijoms teikia modelių veikimo analizę pagal bendruomenės grįžtamąjį ryšį.

TechCrunch nurodo, kad komercinis produktas startavo praėjusių metų rugsėjį, kai laboratorijoms ir įmonėms prireikė išsamesnių veikimo duomenų. Standartiniai testai ne visada parodo, kuris modelis tinka konkrečiam vidiniam darbui ar klientų aptarnavimo scenarijui.

Bendrovė savo finansavimo pranešime teigia, kad DI juda greičiau nei gebėjimas jį vertinti, o statiški benchmarkai silpnėja, kai modeliai atpažįsta testavimo situaciją. Tai paaiškina, kodėl investuotojai mato rinką ne tik modelių kūrime, bet ir jų matavime.

Leidinys pabrėžia, kad rinka ieško alternatyvų statiškiems benchmarkams, nes modeliai išmoksta atpažinti testus ir rinkti balus be tikros naudos. Arena taip pat pridėjo alignment kategoriją, kur vertina neteisėtus veiksmus, klaidingą priskyrimą ir apgaulingą užduoties užbaigimą.

Preliminarioje alignment lentelėje, pasak TechCrunch, šiuo metu pirmauja keli OpenAI modeliai, o Claude Opus 5.5 ir Claude Fable yra šeštoje bei devintoje vietose. Tokios lentelės dar ankstyvos, bet jos keičia diskusiją nuo greičio prie patikimumo.

Toliau bus matyti, ar Arena gali išlaikyti neutralios trečiosios šalies vaidmenį, kai jos duomenų nori tiek modelių kūrėjai, tiek įmonės. Modelių vertinimas tampa atskiru DI infrastruktūros sluoksniu, o ne vien šalutine tyrėjų lentele.