A szövegen túl: valódi multimodális, teljes folyamatot átfogó RAG

Az elmúlt két évben a „RAG” (visszakereséssel kiegészített generálás) szinte kizárólag a szöveggel volt egyenértékű. A bevett módszer egyszerű: végy dokumentumokat, nyerd ki belőlük a szöveget, bontsd részekre, majd indexeld.

A vállalati világ azonban nem egyszerű szövegfájlokra épül. Összetett PDF-ekre, adatokkal zsúfolt diagramokat tartalmazó prezentációkra, CAD-rajzokra, beszkennelt számlákra és egyre inkább hatalmas videóarchívumokra épül.

Óriási szűk keresztmetszetet jelent az az iparági szabványeljárás, amely OCR-rel vagy vizuális LLM-ekkel szöveges leírást készít a képről a beágyazás előtt. Lassú, drága, és elkerülhetetlenül elveszíti az eredeti adatok gazdag térbeli és vizuális kontextusát. Ha az MI egy összetett ábrát egyszerűen „tervrajzként” ír le, többé nem lehet rákeresni a rajta szereplő konkrét szelepre vagy kapcsolási rajzra.

Ma élvonalbeli multimodális beágyazási modellek családját adjuk ki. A ColPali architektúrájára épülő modelleket e probléma megoldására terveztük, lehetővé téve a teljes folyamatot átfogó vizuális visszakeresést.

Egy valóban hatékony multimodális visszakereső létrehozása nem olyan egyszerű, mint elővenni egy kész vizuális-nyelvi modellt (VLM), és megkérni, hogy keressen. A multimodális RAG fejlődését korábban hátráltató kihívások megoldásához és a ColQwen3 létrehozásához modellegyesítési és betanítási stratégiákat alkalmaztunk.

Ahelyett, hogy az alapmodellt a nulláról finomhangoltuk volna, olyan módszert dolgoztunk ki, amely egy meglévő szövegbeágyazási modellből viszi át a visszakeresési feladatok ismeretét. Egy szabványos VLM képes leírni a képeket, de nem feltétlenül tudja őket szemantikai alapon rangsorolni egy lekérdezéshez képest.

Ezt a hiányt hangolt egyesítési súlyozási stratégiákkal hidaltuk át. Kísérleteink szerint a Qwen3-Embedding szöveges látens térben meglévő visszakeresési képessége közvetlenül átvihető a multimodális térbe, és azonnali betanítás nélkül is általánosítható kép- és videó-visszakeresésre. Ezt a hatékony inicializálást erős kiindulópontként használva tovább finomhangoltuk a modellt a teljesítmény optimalizálása és a robusztusság biztosítása érdekében. Ez jobb végső visszakeresési teljesítményt eredményez, mint a Qwen3-VL alapmodellből kiinduló finomhangolás.

A beágyazási képességek átvitele után az összehangolásra összpontosítottunk. A visszakeresési teljesítmény maximalizálása érdekében gondos hiperparaméter-kereséseket és ablációs vizsgálatokat végeztünk, többek között az epochok optimális számára, a kötegméretre, a tanulási rátára, a LoRA-rangra és az adatkészletek összetételére vonatkozóan.

Finomhangolási adatkészleteinknek a VDR, a ColPali train set, a visrag_syn, és a visrag_ind adatkészleteket választottuk. A finomhangoláshoz UniMax-mintavételezést használtunk. Mivel modellegyesítést alkalmaztunk, és az egyesített alapmodell már részben örökölte a multimodális visszakeresési képességet, azt tapasztaltuk, hogy több adatkészlet bevonása enyhén rontaná a teljesítményt, ezért nem bővítettük tovább a készletek körét.

A finomhangoláshoz a következő hiperparamétereket választottuk:

A „ColBERT-stílusú”, tokenszintű beágyazásokat használó modellek – például a ColPali – hagyományosan kimagasló teljesítményt kínáltak, de megfizethetetlen tárolási költséggel. Minden vizuális token indexelése hatalmas vektoradatbázisokat hozott létre, amelyek vállalati léptékben túl költségesek voltak.

• Az optimalizálási stratégia: A tárolási kihívást a beágyazások méretének gondos kiegyensúlyozásával kezeltük, hogy a lehető legjobb teljesítmény megőrzése mellett elkerüljük a tárolási költségek elszabadulását. A legkorszerűbb pontosság és a hatékony méret megőrzéséhez 320-as dimenziószámot választottunk, amely a legjobb egyensúlyt nyújtja a visszakeresési teljesítmény és a tárolási költség között.

• • Alapmegoldás: Egy szabványos megközelítésnek – például az NVIDIA Nemo-3B-nek – körülbelül 10,3 TB tárhelyre van szüksége 1 millió kép beágyazásainak tárolásához (1 802 token, 3 072 dimenzióval).

  • ColQwen3: Ugyanezt az 1 millió képet mindössze 0,82 TB-on tárolja (legfeljebb 1 280 token, 320 dimenzióval).

A ColQwen3 élvonalbeli visszakeresési pontosságot ér el anélkül, hogy felemésztené a felhő-infrastruktúrára szánt költségvetést.

Módszerünket a ViDoRe benchmarkcsomagon validáltuk. Az eredmények megerősítik, hogy a ColQwen3 új mércét állít a legújabb V3 és V2 benchmarkokon – angol és többnyelvű változatban egyaránt –, miközben a korábbi V1-feladatokon is élvonalbeli teljesítményt nyújt.

A ColQwen3-8B vezet az angol és a többnyelvű visszakeresésben.

Angol nDCG@5

Többnyelvű nDCG@5

Egyenletesen magas teljesítmény az ESG, a közgazdaságtan és a DocVQA terén.

Annak igazolására, hogy a ColQwen3 videó-visszakeresésre is kiválóan általánosít, a modelleket a szövegből videót kereső általános visszakeresési feladatok CareBench benchmarkján értékeltük.

Az értékeléshez nyers videókódolást alkalmaztunk: modelljeink közvetlenül kódolták a videófájlokat, további szöveges megjegyzések vagy metaadatok nélkül. Ez jól mutatja, hogy a modell kizárólag vizuális szemantika alapján is képes visszakeresni.

A ColQwen3 által lehetővé tett egyik legmélyrehatóbb változás, hogy a videókat ugyanúgy képes kezelni, mint a dokumentumokat. Sok vállalatnál a videó „sötét adat”: ritkán használt tárhelyen pihen, és egyáltalán nem kereshető, hacsak valaki kézzel fel nem címkézett minden fájlt.

A ColQwen3 ezen úgy változtat, hogy a szegmentált klipek képkockánként is visszakereshetők.

A vállalatok naponta több ezer órányi belső videóértekezletet rögzítenek, ám ezek a felvételek rendszerint nyomtalanul eltűnnek.

• A munkafolyamat: A hosszú értekezlet-felvételek automatikusan rövidebb, logikai egységekre bontásával és ColQwen3-mal történő indexelésével kereshető „vállalati emlékezet” hozható létre.

• A lekérdezés: Egy projektmenedzser megkérdezheti: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Az eredmény: A rendszer nem egy 60 perces videófájlt ad vissza, hanem pontosan azt a 45 másodperces részletet, amelyben az adott diagram megjelent a képernyőn, és megvitatták – még akkor is, ha a beszélők abban a pillanatban nem mondták ki kifejezetten a „latency” szót.

A natív multimodális beágyazásra való átállás teljesen új munkafolyamatokat tesz lehetővé az iparágak széles körében. A modellt a legösszetettebb vállalati adatkörnyezetek némelyikén is alaposan teszteltük.

A ColQwen3-at olyan adatkezelési kihívásokon teszteltük, amelyekkel a rendezési terveket, övezeti térképeket és összetett építészeti homlokzatrajzokat tömegesen kezelő várostervezési tanácsadó cégek szembesülnek.

• A kihívás: Ezekben a környezetekben a hagyományos RAG-folyamatok nehezen boldogulnak. Az OCR-eszközök az összetett helyszínrajzokat jellemzően egyszerűen „vázlatként” írják le, így elsikkadnak a forgalomáramlásra, zöldterületekre vagy építési határvonalakra vonatkozó fontos részletek.

• A teljesítmény: Belső benchmarkjaink azt mutatják, hogy a ColQwen3 hatékonyan kiváltja a költséges OCR-es és képleíró előfeldolgozást. A nagy információsűrűségű építészeti rajzokon végzett tesztekben a modell sikeresen keresett vissza dokumentumokat konkrét vizuális jelölések – például gyalogos bejáratok vagy jól elkülönülő övezethatárok – alapján. Ezzel jelentősen felülmúlta a kizárólag szöveges alapmegoldásokat, miközben az ismeretek betöltési költségének drasztikus csökkentését ígéri.

A befektetési bankárok és elemzők több ezer órát töltenek éves jelentések és befektetői prezentációk átvizsgálásával.

• A munkafolyamat: Egy elemző megkérdezheti: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• A változás: A kulcsszóegyezések helyett a modell az adott adatvizualizáció vizuális jelenléte alapján keresi vissza a pontos diát, így a RAG-rendszer nagy pontossággal válaszolhat a kérdésekre.

A gyártóvállalatok műszaki kézikönyvek és csővezeték-műszerezési rajzok (P&ID-k) hatalmas gyűjteményeivel rendelkeznek.

• A munkafolyamat: Egy turbinát javító helyszíni mérnök lefényképezhet egy alkatrészt, vagy megkérdezheti: “Show me the wiring diagram for the hydraulic pump assembly.”

• A változás: A ColQwen3 felismeri a kapcsolási rajz vizuális megjelenítését, és visszakeresi a megfelelő oldalt, amivel akár órákkal csökkentheti az állásidőt.

A jogi dokumentumfeltárás során több millió beszkennelt oldalt kell átvizsgálni, ahol a keresett „tű a szénakazalban” gyakran egy vizuális jelölés.

• A munkafolyamat: Egy megfelelőségi szakember rákereshet a következőkre: “Documents signed by the CFO” vagy “Contracts containing the official ‘Confidential’ stamp.”

• A változás: A modell az aláírások vagy bélyegzők vizuális jelenléte alapján megkülönbözteti a tervezetet a végleges dokumentumtól – ezt a pusztán OCR-alapú módszerek gyakran nem érzékelik.

A ColQwen3 nyílt súlyokkal (Apache 2.0 alatt) már elérhető a Hugging Face-en. Úgy terveztük, hogy a modern RAG-folyamatok közvetlenül beilleszthető frissítése legyen, és biztosítsa a szöveg, a képek és a videók azonnali feldolgozásához szükséges inferenciakódot.

Ez az új szabvány azoknak a vállalatoknak, amelyek készek túllépni az egyszerű szöveges keresésen, és kiaknázni a vizuális eszközeikben rejlő intelligenciát.

Következő lépés: Tekintse meg a modellkártyát, és próbálja ki az élő demót a Hugging Face-en: /-colqwen3-embed-8b és /-colqwen3-embed-4b