262 tūkstančių žetonų kontekstą Apertus atvėrė tyrėjams

Apertus kūrėjai paskelbė išsamesnį atviro modelio 1.5 mokymo aprašymą, atskleisdami vaizdų, garso ir ilgesnio konteksto apdorojimo metodus bei vertinimus. Spalio 15 dienos Swiss AI publikacija Hugging Face papildo anksčiau išleistus modelius: patys jų svoriai prieinami nuo liepos 24 dienos.

Modelius kartu kuria ETH Ciuricho, EPFL ir Šveicarijos nacionalinio superkompiuterių centro CSCS tyrėjai, o mokymas vyko Alps infrastruktūroje Lugane. Oficialus CSCS aprašymas projektą sieja su galimybe institucijoms ir įmonėms tikrinti, keisti ir savo reikmėms valdyti atvirą modelį.

Swiss AI nurodo dvi pagrindines konfigūracijas, vadinamas 8B ir 70B, kurios nuo pirmosios Apertus kartos mokytos toliau papildomais duomenimis. Mažesniajam variantui pridėti 4 trilijonai žetonų, didesniajam – 2 trilijonai; bendri mokymo kiekiai atitinkamai pasiekė 19 ir 17 trilijonų.

Atnaujintas konteksto langas siekia 262 144 žetonus, keturis kartus daugiau negu ankstesnėje versijoje, rašoma naujose projekto išleidimo pastabose. Modeliai gali priimti tekstą, vaizdus ir garsą, tačiau jų generuojama išvestis lieka tekstinė, o sakytinės kalbos apdorojimas tebėra eksperimentinis.

Vaizdams ir garsui kūrėjai naudoja bendrą žetonų seką su tekstu, o ne atskirą prie kalbos modelio prijungtą vaizdo koduotuvą. Dokumentacijoje pateiktas konkretus pavyzdys: 512 × 512 taškų vaizdas tampa 1 024 žetonais, o garsas – 40 žetonų per sekundę.

Projekto pastabose taip pat aprašytas pasirenkamas samprotavimo režimas ir geresnis mokymas naudoti išorinius įrankius, kurių veiksmų sekoms tikrintas vykdymas. Tačiau autoriai pripažįsta, kad nauji modeliai bendru pajėgumu vis dar atsilieka nuo pažangiausių atvirų svorių konkurentų, todėl nepateikia universalaus pirmavimo pažado.

Svoriai platinami pagal Apache 2.0 licenciją, leidžiančią ir komercinį naudojimą, o atsisiuntimo vieta yra oficiali modelio saugykla. SwissAI praktiniame aprašyme nurodoma, kad Hugging Face dar reikia prisijungti ir sutikti su naudojimo politika; tai nėra visiškai anoniminis atsisiuntimas.

Apertus bendro prieinamumo aprašyme mažesnė versija skirta daugeliui nešiojamųjų kompiuterių ir darbo stočių, o 70B variantui numatyta serverių klasės įranga. Vieno universalaus atminties kiekio šiame aprašyme nepateikiama: realūs poreikiai priklauso nuo pasirinktos modelio versijos, formato ir konteksto.

Spalio dokumentacijoje atverti ir tarpiniai mokymo taškai, duomenų mišiniai bei vertinimo įrašai, leidžiantys tyrėjams palyginti skirtingus modelio parengimo etapus. Vertinimų kortelėse nurodomi ne vien rezultatai, bet ir testą atlikusi komanda, prieigos būdas bei generavimo nustatymai, pabrėžia autoriai.

Toliau komanda planuoja Apertus 2.0 su ekspertų mišinio architektūra ir maždaug 600 milijardų bendrų parametrų, rašoma spalio išleidimo pastabose. Tai būsimos krypties pristatymas, ne jau prieinamas šio dydžio modelis; šiuo metu išbandyti galima paskelbtas 1.5 versijas ir jų tarpinius variantus.