EmbeddingGemma 2 atveria vietinę paiešką tekstui, vaizdui ir garsui

Google DeepMind išleido EmbeddingGemma 2 – atvirą multimodalinį įterpinių modelį, skirtą vietinei paieškai tekstuose, vaizduose, vaizdo įrašuose ir garse.

Hugging Face modelio kortelėje nurodoma, kad modelis paskelbtas su Apache 2.0 licencija, o jo svoriai pasiekiami tiesiogiai `google/embeddinggemma-2` saugykloje. Tai atitinka atviro projekto kriterijų, nes skaitytojas gali rasti modelį Hugging Face, patikrinti licenciją ir naudoti jį savo užduotims.

Modelis turi 740 milijonų parametrų ir sujungia 270 milijonų parametrų teksto dalį su moduliniais vaizdo bei garso koduokliais. Google DeepMind rašo, kad vaizdo koduoklis turi 170 milijonų parametrų, o garso koduoklis – 300 milijonų parametrų.

Svarbiausias pokytis yra vieninga 768 matmenų erdvė, kurioje gali būti atvaizduojamas tekstas, kodas, vaizdas, vaizdo įrašas ir garsas. Tokia architektūra naudinga paieškai, RAG sistemoms, klasifikavimui ir grupavimui, kai užklausa ir duomenys nėra vien to paties formato.

Hugging Face duomenimis, modelis spalio 10 dienos rytą turėjo 1 354 patiktukus ir 29 185 atsisiuntimus. Kortelėje taip pat nurodoma, kad modelis paskutinį kartą atnaujintas spalio 6 dieną, o jo `pipeline_tag` yra `feature-extraction`.

Modelio kortelėje rašoma, kad EmbeddingGemma 2 palaiko daugiau kaip 100 kalbų ir 8 192 tokenų kontekstą. Google DeepMind taip pat nurodo apie 14 procentų pagerėjimą kodo užduotyse, lyginant su ankstesne EmbeddingGemma versija.

Praktinis privalumas yra Matryoshka Representation Learning palaikymas. Pasak modelio kortelės, įterpinius galima trumpinti iki 512, 256 arba 128 matmenų, o tai kai kuriais atvejais leidžia iki 6 kartų mažinti vektorių saugyklos kainą.

Paleidimui reikalinga `transformers` arba `sentence-transformers` aplinka, o tikslūs įrangos poreikiai priklauso nuo pasirinktų modalumų. Teksto užduotims galima nenaudoti vaizdo ar garso dalių, todėl modelis geriau tinka nešiojamų kompiuterių ir mobilių įrenginių scenarijams.

Modelio kortelėje pateikiami ir testų rezultatai: daugiakalbiame MTEB v2 teste EmbeddingGemma 2 surinko 61,36 balo, o kodo MTEB v1 teste – 78,68 balo. Garso paieškos MSEB rodiklis nurodomas kaip 69,54 balo.

Toliau bus svarbu, ar kūrėjai realiuose produktuose pasirinks vieną multimodalinį modelį vietoj kelių atskirų paieškos grandinių. Atviras Apache 2.0 leidimas palengvina bandymus įmonėms, kurios nenori visų dokumentų, vaizdų ar garso įrašų kelti į debesiją.