40 kalbų atpažįstantį Nvidia modelį galima atsisiųsti

„Nvidia“ išleido „Nemotron 3.5 Transcribe“ atvirų svorių modelį, kuris garso įrašus paverčia tekstu ir pagal užklausą pažymi skirtingus kalbėtojus. Spalio 28 dieną paskelbtoje „Hugging Face“ modelio kortelėje nurodoma 40 kalbų aprėptis ir iki vienos valandos įrašų palaikymas.

Modelis skirtas kūrėjams, dirbantiems su susitikimų, klientų aptarnavimo, žiniasklaidos ar kitais įrašais, o ne vien baigtais tekstiniais dokumentais. „Nvidia“ pažymi, kad kalbėtojų žymos atskiria balsus konkrečiame įraše, tačiau savaime nenustato tikrosios tų žmonių tapatybės.

Oficialioje atsisiuntimo kortelėje pateikiami 34 milijardai visų parametrų, įskaitant garso koduotuvą, iš kurių aktyvūs yra apie 4,3 milijardo. Etaloniniam diegimui „Nvidia“ įvardija vieną „H100“ vaizdo plokštę su 80 gigabaitų atminties, todėl tai nėra įprasto nešiojamojo kompiuterio reikalavimai.

Naudojimą reglamentuoja „OpenMDW-1.1“ licencija, o kortelėje aiškiai nurodoma, kad modelis parengtas komerciniam ir nekomerciniam naudojimui. Kartu vartotojams tenka laikytis šios licencijos ir atskirų platinamuose komponentuose taikomų trečiųjų šalių sąlygų bei jų pranešimų.

Pagal „Nvidia Research“ techninį aprašymą, natūralios kalbos nurodymas leidžia pasirinkti pažodinį išrašą arba labiau rašytinei kalbai pritaikytą tekstą. Taip pat galima pateikti tikėtinų terminų sąrašą, kad sistema atsižvelgtų į konkretaus įrašo kontekstą, joje kalbamą sritį ir vardus.

Tyrėjų aprašyme išskiriamos žodžių laiko žymos, kalbėtojų atskyrimas, kalbos nustatymas ir vertimas, sujungti viename garso bei teksto modelyje. Sistema remiasi kalbos koduotuvu, atskiru kalbėtojų atskyrimo komponentu ir hibridiniu „Mamba–Transformer“ modeliu, todėl jos paskirtis platesnė už paprastą diktavimo išrašą.

„Nvidia Research“ skelbia 4,71 procento vidutinį žodžių klaidų rodiklį devyniuose viešuose angliško kalbos atpažinimo testų rinkiniuose. Daugiakalbėje lentelėje nurodomas 4,62 procento rezultatas, tačiau tai gamintojo pateikti konkrečių testų matavimai, ne garantija kiekvienam akcentui ar įrašo kokybei.

Oficialiame tyrimo puslapyje taip pat pateikiamos BF16, FP8, NVFP4 ir GGUF variantų nuorodos bei atskiras spartinimo modelis „DFlash2“. Kūrėjai paskelbė pritaikymo priemones „NeMo Speech“ aplinkoje, todėl šį leidimą galima ne tik parsisiųsti, bet ir pritaikyti naujoms sritims.

Modelio kortelėje taip pat nurodytas 65 536 žetonų kontekstas, apimantis užklausos tekstą ir apdorojamo įrašo informaciją pagal sistemos paruošimą. Įvestį sudaro garsas ir tekstiniai nurodymai, o išvestis yra tekstas su pasirenkamomis laiko žymomis, todėl tai nėra balsą generuojanti pokalbių sistema.

„Nvidia Research“ aprašyme pateikiamas ir specializuotų terminų bandymas: pridėjus tikėtinų vardinių objektų sąrašą, jų klaidų sumažėjo šešis kartus. Šis „ContextASR-Bench“ rezultatas taikomas apibrėžtam eksperimentui, o ne kiekvienai kalbai vienodai; praktinis pritaikymas priklausys nuo garso ir pasirinktos užduoties.

„Nvidia“ įspėja, kad didžiausi reklamuojami spartos rezultatai gauti jos „NIM“ aplinkoje, o išleidimo dienos atviroji integracija yra lėtesnė. Bendrovė ketina šiuos optimizavimus vėliau perkelti į „NeMo Speech“ ir „vLLM“, todėl dabartinės atviro leidimo galimybės dar keisis.