Trilijono parametrų modelį TRL leidžia mokyti viename serveryje

„Hugging Face“ atnaujino atvirą TRL biblioteką, suteikdama galimybę papildomai mokyti trilijono parametrų „Mistral Large 4“ viename specializuotame serveryje. Spalio 29 dieną paskelbtame 1.17.0 leidime pateiktas konkretus „LoRA“ mokymo pavyzdys, naudojantis aštuonis „Nvidia B300“ procesorius.

Oficialiame projekto puslapyje TRL apibūdinama kaip kalbos modelių papildomo mokymo biblioteka, integruota su „Transformers“ programine įranga. Ji skirta kūrėjams ir tyrėjams, kurie modelius pritaiko duomenimis, prižiūrimu mokymu, pasirinkimų palyginimu ar atlygio signalais.

Pagal naujo leidimo aprašymą didžiojo modelio mokymo pavyzdyje kiekvienam B300 procesoriui prireikė 142 gibibaitų atminties atliekant nurodytą užduotį. Vienas žingsnis apdorojo apie 32 700 žetonų per maždaug aštuonias sekundes, tačiau tai konkrečios konfigūracijos matavimas, ne universali spartos garantija.

Bibliotekos autoriai paaiškina, kad ekspertų mišinio dalys paskirstomos aštuoniems procesoriams, o kiti modelio komponentai išdalijami jį įkeliant. Pavyzdyje naudojami FP8 svoriai ir „LoRA“ adapteriai, todėl čia nekalbama apie viso trilijono parametrų modelio mokymą nuo pradžių.

Oficialus leidimas nurodo, kad šiam pavyzdžiui reikia bent „Transformers 5.22.0“, „PEFT 0.21.0“ ir „Accelerate 1.15.0“ versijų. Aštuonių B300 serveris yra duomenų centrų klasės įranga, todėl paskelbtas rezultatas nereiškia, kad toks pats darbas telpa įprastame nešiojamajame kompiuteryje.

TRL licencijos faile pateikta „Apache 2.0“ licencija, leidžianti biblioteką naudoti, keisti ir platinti laikantis nustatytų sąlygų. Ji taikoma bibliotekos kodui; atsisiunčiamų modelių svorių naudojimo sąlygos lieka atskiras klausimas ir šiuo leidimu nepakeičiamos.

Tame pačiame atnaujinime „Hugging Face“ skelbia mokymo priemonių palaikymą „AMD Instinct“ procesoriams per „PyTorch“ ROCm aplinką ir naują dokumentaciją. Prie projekto patikrų pridėtas AMD bandymų vykdymas, kad suderinamumas būtų tikrinamas ir svarstant tolesnius programinio kodo pakeitimus.

Leidimo pastabose taip pat aprašytas tikimybių skaičiavimo taisymas, kai modelio atsakymų pasirinkimas apribojamas dalimi galimų teksto vienetų. Autoriai nurodo, kad ankstesnis mokymo ir generavimo normalizavimo skirtumas iškreipdavo korekcijos santykį, todėl nauja versija keičia atitinkamų užduočių elgesį.

Kitas pateiktas matavimas susijęs su mokymo duomenų pakavimu: vienos procedūros trukmė penkiolikos žingsnių bandyme sumažėjo nuo 250 iki 31 sekundės. Tai atskiros techninės dalies pagreitėjimas, o ne pažadas tokiu pačiu santykiu sutrumpinti visą bet kurio modelio mokymą.

Leidimo pastabose „Hugging Face“ nurodo, kad atnaujintas pokalbio šablonas atitinka paskelbtą „Mistral“ modelį ir palaiko tris samprotavimo pastangų lygius. Tai žemas, vidutinis ir aukštas lygiai, kurių atpažinimas įtrauktas į prižiūrimo mokymo pavyzdį kartu su asistento atsakymų išskyrimu.

TRL 1.17.0 jau paskelbta „GitHub“, kartu su pakeitimų sąrašu, pavyzdžiais ir nuorodomis į jų įgyvendinimo kodą bei dokumentaciją. Toliau kūrėjams teks vertinti suderinamumą su savo infrastruktūra: dalis naujos versijos numatytųjų mokymo nuostatų pasikeitė, kaip aiškiai pažymi projekto autoriai.