A Google DeepMind kiadta az EmbeddingGemma 2-t, egy Apache 2.0 licencű, nyílt embedding modellt, amely szöveget, kódot, képet, videót és hangot képez le egyetlen közös, 768 dimenziós vektortérbe. Csak szöveges módban 270M paraméteres, így egy irodai gépen is kényelmesen elfér a nyelvi modell mellett. Lokális RAG rendszereknél ez kisebb memóriaigényt, olcsóbb indexet és új keresési lehetőségeket jelent.
Csak azt töltöd be, ami kell
A modell egy 270M-es szöveg- és kódmagból, valamint opcionális vision (+170M) és audio (+300M) encoderből áll. Dokumentum alapú RAG-hoz elég a szöveges mag. Mivel minden változat ugyanabba a vektortérbe dolgozik, az index később képekkel vagy hangfelvételekkel bővíthető, a meglévő vektorok újraszámolása nélkül.
Mit nyer vele egy RAG projekt?
- 8K token kontextus (az elődje négyszerese): nagyobb chunkok, kevesebb széttört összefüggés.
- Vizuális dokumentumok: PDF-oldalak, diák és diagramok közvetlenül beágyazhatók, ami csökkentheti az OCR-függőséget.
- Kód: az MTEB Code benchmarkon 68,76-ról 78,68 pontra javult, belső fejlesztői tudásbázishoz is erős.
- Kisebb index: a Matryoshka (MRL) technikával a vektor 256 dimenzióra vágható, a szöveges minőség nagy részének megtartásával. A Qdrant tesztjében 1-bites kvantálás mellett 30x kevesebb RAM-mal is megmaradt a keresési minőség 99%-a.
- Kétlépcsős keresés: a 128 dimenziós vektorok gyors előszűrésre jók (1 millió vektor kb. 250 MB 1,5 GB helyett), a végső sorrendet pedig egy reranker állítja be.
Amire figyelni kell
A kérdést és a dokumentumot eltérő task prompttal kell beágyazni, különben romlik a találati pontosság. float16 helyett bfloat16 vagy float32 kell, mert float16-ban a modell csendben hibás vektorokat ad, vágás után pedig újra kell normalizálni a vektort. A többnyelvű eredmény az első verzió szintjén maradt, ezért magyar korpusznál érdemes saját tesztkérdésekkel összevetni a jelenlegi modellel, mielőtt lecseréled. Ollamához és llama.cpp-hez már elérhető, így egy meglévő lokális pipeline-ba könnyen beköthető.
Forrás: Google Developers Blog, Google, Hugging Face, Qdrant