1068 žetonus per sekundę Mercury 3 generuoja kūrėjų bandymuose

Inception pristatė Mercury 3 kalbos modelį, kuris kūrėjų bandymuose Nvidia procesoriais generuoja 1068 žetonus per sekundę ir naudoja difuzijos metodą. Spalio 19 dienos pranešime bendrovė teigia, kad naujasis modelis apdoroja tekstą lygiagrečiai, o ne vien nuosekliai pratęsdamas atsakymą.

Pasak Inception, Mercury 3 skirtas užduotims, kurioms svarbus trumpas laukimo laikas: naršyklės agentams, interaktyviam mokymui, paieškai ir klientų aptarnavimui. Bendrovė lygina savo modelį su GPT-6 Luna ir Claude Haiku 5.5, bet paskelbti greičio bei kokybės palyginimai yra jos pačios rezultatai.

Oficialiame pristatyme nurodomas vieno milijono žetonų konteksto langas, palyginti su 260 tūkstančių žetonų ankstesnėje Mercury 2.5 versijoje. Inception taip pat skelbia daugiau nei keturiasdešimt kartų didesnį parametrų kiekį nei Mercury 1, tačiau konkretaus bendro parametrų skaičiaus nepateikia.

Pagal bendrovės kainodarą, milijonas įvesties žetonų įprastai kainuotų 0,20 JAV dolerio, o milijonas išvesties žetonų kainuotų 0,70 dolerio. Paleidimo laikotarpiu abiem kainoms taikoma 50 procentų nuolaida, todėl jos atitinkamai sumažintos iki 0,10 ir 0,35 JAV dolerio.

The Deep View kalbintas Inception vadovas Stefano Ermonas akcentavo ne vien kainą, bet pirmiausia beveik iš karto pateikiamus atsakymus. Leidinio aiškinimu, difuzijos metodas leidžia kurti ir tikslinti kelias teksto dalis vienu metu, geriau išnaudojant lygiagretų procesorių darbą.

The Deep View pažymi, kad tradiciniai autoregresiniai kalbos modeliai paprastai generuoja po vieną žetoną, remdamiesi jau sugeneruota ankstesne teksto dalimi. Naujojo produkto skirtumas slypi šiame generavimo metode, o ne pažade, kad kiekviena jo atsakymo užduotis jau pranoksta didžiausius rinkos modelius.

Leidiniui Ermonas taip pat pasakojo apie bendrovės pastangas ateinančiomis savaitėmis išlaikyti sumažintą paleidimo kainą ir vėliau, tačiau garantijos nepateikė. The Deep View pabrėžia, kad akcijos trukmė nepaskelbta, todėl dabartinės mažesnės kainos neturėtų būti laikomos jau patvirtintu nuolatiniu tarifu.

Inception pranešime nurodo, kad Mercury 3 jau pasiekiamas jos platformoje ir per OpenRouter, Baseten bei Vercel integracijas kūrėjams. Bendrovė žada suderinamumą su įprasta programine prieiga, o įmonių diegimams siūlo atskirus pajėgumus ir duomenų saugojimo nustatymus.

The Deep View taip pat rašo apie Inception pritaikytus Mercury 3 agentų spiečius, kurie buvo naudojami paties modelio spartinimui tirti. Bendrovės teigimu, šis darbas davė papildomą 16 procentų greičio prieaugį, tačiau publikacijoje jis pristatomas kaip kūrėjų pateiktas rezultatas, o ne atskiras nepriklausomas auditas.

The Deep View palieka atvirą klausimą, ar difuzijos modeliai liks mažos delsos užduočių niša, ar taps platesne alternatyva didžiųjų laboratorijų architektūrai. Toliau bus svarbūs nepriklausomi Mercury 3 matavimai, rezultatai realiose programose ir pačios bendrovės sprendimas dėl kainų pasibaigus paleidimo laikotarpiui.