Programuotojų PyTorch kodą TorchNeuron perkels į Trainium lustus

Amazon pristatė TorchNeuron, kuris leidžia PyTorch aplinkoje parašytas DI programas vykdyti Trainium lustuose, pakeitus įrangos pasirinkimą, o ne perrašius visą modelį. Oficialioje bendrovės publikacijoje ir Hugging Face spalio 19 dienos aprašyme viešos bandomosios versijos pradžia siejama su spalio 20 diena.

Pasak Amazon, naujas įrankis skirtas sumažinti darbą, kurio reikėdavo perkeliant jau sukurtas ir patikrintas DI programas į kitokius skaičiavimo procesorius. Bendrovė skelbia, kad TorchNeuron bus paskelbtas pagal Apache 2.0 licenciją ir palaikys Trainium2 bei Trainium3 įrangą, naudojamą jos debesijos infrastruktūroje.

Amazon aprašo demonstraciją, kurioje ta pati modelio mokymo programa buvo vykdoma įprastame procesoriuje ir Trainium, pakeitus tik pasirinktos įrangos nustatymą. Tai bendrovės pateiktas suderinamumo pavyzdys, o ne nepriklausomas įrodymas, kad visos PyTorch programos bet kokiomis sąlygomis veiks identiškai ar pigiau.

Tarp ankstyvų naudotojų Amazon įvardija pokalbių technologijų bendrovę Cartesia ir Lieber smegenų raidos institutą, tiriantį naujas medicinines intervencijas bei vaistų paiešką. Oficialus aprašymas sieja įrankį ir su robotika, kalbos technologijomis, pasaulio modeliais bei finansais, tačiau nepateikia vieno visoms šioms sritims taikomo sutaupymo procento.

Hugging Face techninėje publikacijoje nurodo tiesioginį savo Transformers, Diffusers, Accelerate, PEFT ir TRL bibliotekų darbą su naujuoju Trainium vykdymo keliu. Komandos aiškinimu, tai leidžia naudoti įprastas klases ir scenarijus, užuot atskirai prižiūrėjus tik vienai lustų šeimai pritaikytą modelio kodą.

Hugging Face pateikia konkretų suderinamumo palyginimą: be papildomo pritaikymo palaikoma 89 procentai iš šimto dažniausiai naudojamų tekstų generavimo modelių architektūrų. Ankstesnei Optimum Neuron 0.4.5 versijai tame pačiame palyginime nurodyti 46 procentai; tai architektūrų aprėptis, o ne atsakymų kokybės ar veikimo greičio rodiklis.

Komanda paaiškina, kad ankstesnis sprendimas rėmėsi kitokia vykdymo eiga ir reikalavo specifinių modelių klasių bei mokymo komponentų, slepiančių dalį techninio sudėtingumo. Naujasis kelias integruojamas tiesiai į PyTorch įrangos modelį ir jo paskirstyto mokymo priemones, todėl pažįstama darbo aplinka išlieka kūrėjams prieinama.

Tačiau Hugging Face pateikia ir dabartinių apribojimų: konkrečiame mokymo pavyzdyje naudojamos statinės formos, o asinchroninis svorių įkėlimas išjungiamas kaip nepalaikomas. Vadinasi, pažadas išvengti viso kodo perrašymo nereiškia, kad nereikės vykdymo nustatymų, tinkamos įrangos ir realaus perkeltos programos patikrinimo.

Hugging Face pateiktas mokymo pavyzdys vykdytas aštuoniais Trainium2 lustais, o išsaugotą standartinę modelio būseną, komandos teigimu, galima vėliau įkelti ir kitoje įrangoje.

Amazon taip pat skelbia prisidedanti prie pačios PyTorch aplinkos pakeitimų, skirtų mažinti jos susiejimą su konkrečiomis procesorių šeimomis ir vykdymo aplinkomis. Toliau bus svarbūs viešos beta versijos rezultatai ir naujų modelių palaikymas; šiandienos pranešimas nenustato vienos kainos ar našumo garantijos visiems būsimiems diegimams.