90 procentų programavimo DI sąnaudų sutaupė Revolut

Revolut teigia maždaug 90 procentų sumažinusi programavimo DI modelių vykdymo sąnaudas, kai pagrindiniu pasirinkimu tapo pačios valdoma GLM infrastruktūra. Lapkričio 3 dieną The Register aprašė bendrovės patirtį, kurią Niujorko AI Engineer konferencijoje pristatė operacijų ir infrastruktūros vadovas David Abitbol.

Pasak leidinio, pokytis apima maždaug 2 000 inžinierių, o įmonė iš pradžių naudojo GLM-5.1 ir vėliau perėjo prie GLM-5.3. Naujesnį modelį Revolut vykdo su 56 NVIDIA B200 spartintuvais, todėl aprašomas sprendimas remiasi didele vidine infrastruktūra, ne vien programos pakeitimu.

Abitbol pasakojo, kad anksčiau darbuotojų išlaidos DI priemonėms siekdavo nuo tūkstančio iki dešimties tūkstančių dolerių per mėnesį be aiškios grąžos. Dėl to bendrovė pradžioje nustatė griežtus naudojimo biudžetus, o ribotas žetonų kiekis skatino juos taupyti tik sudėtingiausiems darbams.

The Register nurodo, kad savarankiškai vykdomo GLM-5.1 įvesties ir išvesties milijonas žetonų kainavo apie 0,30 dolerio pagal pateiktą palyginimą. Tai buvo maždaug dešimtadalis lyginamų komercinių paslaugų kainos, tačiau šis skaičius nėra universalus visų modelių ar klientų rinkos tarifas.

Anot Abitbol, pigesnis naudojimas leido inžinieriams dažniau patikėti modeliams klaidų paiešką ir Jira bei Confluence užduočių tvarkymą. Jis pabrėžė, kad didžiausia kliūtis nebuvo pats kodo rašymas, todėl nauda pasireiškė ir kituose programinės įrangos darbo etapuose.

Leidinys taip pat aprašo techninius pakeitimus: NVFP4 kvantavimą, atskirtą pradinio konteksto apdorojimą nuo generavimo ir konteksto langų derinimą. Pasak Revolut atstovo, būtent šie sprendimai davė didesnę našumo naudą nei vien papildomų grafinių spartintuvų prijungimas prie jau veikiančios sistemos.

Įmonė pasirinko maždaug 256 tūkstančių žetonų kontekstą ir siekė pirmą atsakymo žetoną pateikti greičiau nei per tris sekundes. Abitbol nurodė apie 200 žetonų per sekundę interaktyvaus generavimo spartą, kuri bendrovės inžinieriams esamame darbo procese buvo pakankama.

GLM vis dėlto nepakeitė visų kitų modelių, nes, kaip rašo The Register, šiame diegime naudojamas variantas skirtas tekstui. Užklausas, kurioms būtinas vaizdų supratimas, maršrutizavimo sistema siunčia kitiems modeliams, tarp jų Gemini ir GPT Luna, o kodo generavimą palieka GLM.

The Register pateikia ir modelio infrastruktūros mastą: GLM-5.1 turi maždaug 754 milijardus parametrų, iš kurių apie 40 milijardų aktyvuojami vienam žetonui. Leidinio nurodytuose skaičiavimuose vien svoriams reikia apie 380 gigabaitų spartintuvų atminties, o papildomas kontekstas išteklių poreikį dar padidina. Šie duomenys paaiškina, kodėl bendrovės sutaupymų negalima tiesiog perkelti į vieno darbuotojo kompiuteryje naudojamą programavimo priemonę.

Revolut patirtis todėl apibūdina mišrią sistemą, kurioje vidinis vykdymas tampa numatytuoju keliu, o brangesni išoriniai modeliai naudojami pasirinktomis aplinkybėmis. Toliau bendrovės deklaruojamas prioritetas lieka atviri modeliai ir nuspėjamos sąnaudos, tačiau pateikti sutaupymai yra jos pačios, ne nepriklausomo audito duomenys.