Google TurboQuant: 6 kartus mažiau atminties DI modeliams be kokybės praradimo
Google Research pristatė TurboQuant. Tai kvantavimo algoritmas, kuris suspaudžia didelių kalbos modelių KV cache iki maždaug 3 bitų. Tai 6 kartų suspaudimas. Be jokio tikslumo praradimo. Be jokio papildomo treniravimo. Technologija derinia du metodus: PolarQuant (polinių koordinačių rotacija) ir QJL (1 bito liekamoji korekcija). Dėmesio greitis auga 8 kartus. Kodėl tai svarbu DI modeliai reikalauja […]
Šiame straipsnyje · 2 dalys
Google Research pristatė TurboQuant. Tai kvantavimo algoritmas, kuris suspaudžia didelių kalbos modelių KV cache iki maždaug 3 bitų. Tai 6 kartų suspaudimas. Be jokio tikslumo praradimo. Be jokio papildomo treniravimo.
Technologija derinia du metodus: PolarQuant (polinių koordinačių rotacija) ir QJL (1 bito liekamoji korekcija). Dėmesio greitis auga 8 kartus.
Kodėl tai svarbu
DI modeliai reikalauja milžiniško kiekio atminties. Samsung pelnas šoko dėl HBM lustų paklausos. TurboQuant galėtų tą paklausą sumažinti: jei modelis naudoja 6 kartus mažiau atminties, reikia mažiau lustų.
Atminties lustų akcijos reagavo neigiamai. Logiškai: jei DI modeliai taps efektyvesni, atminties paklausa gali mažėti.
Darbas bus pristatytas ICLR 2026 konferencijoje balandžio 23-27 dienomis. Oficiali implementacija tikimasi Q2 2026.
Efektyvumo revoliucija
JAV investuoja 1,4 trln. į elektros tinklus DI duomenų centrams. Pusė duomenų centrų sustabdyta. Gal sprendimas ne daugiau infrastruktūros, o efektyvesni modeliai.
Gemini 3.1 Ultra turi 2 mln. tokenų kontekstą. Su TurboQuant tas kontekstas kainuos 6 kartus mažiau atminties. Tai keičia žaidimą.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
