Za hranice textu: skutečně multimodální RAG od začátku do konce

Poslední dva roky bylo „RAG“ (generování rozšířené o vyhledávání) téměř výhradně spojováno s textem. Standardní postup je jednoduchý: vzít dokumenty, extrahovat text, rozdělit ho na části a indexovat.

Podnikový svět ale nestojí na prostých textových souborech. Stojí na složitých PDF, prezentacích s hutnými grafy, výkresech CAD, naskenovaných fakturách a stále častěji i na rozsáhlých archivech videozáznamů.

Oborový standard, který před vytvořením embeddingu převádí obraz na text pomocí OCR nebo vizuálních LLM, představuje zásadní úzké hrdlo. Je pomalý, nákladný a nevyhnutelně ztrácí bohatý prostorový a vizuální kontext původních dat. Pokud vaše AI popíše složitý vizuální obsah pouze jako „technický výkres“, ztratíte možnost vyhledat v něm konkrétní ventil nebo schéma zapojení.

Dnes vydáváme rodinu špičkových multimodálních embeddingových modelů, které vycházejí z architektury ColPali a tento problém řeší prostřednictvím komplexního vizuálního vyhledávání.

Vytvořit skutečně účinný multimodální vyhledávací systém není tak snadné jako vzít běžně dostupný vizuálně-jazykový model (VLM) a požádat ho, aby vyhledával. Abychom překonali problémy, které historicky brzdily multimodální RAG, a vytvořili ColQwen3, využili jsme strategie slučování a trénování modelů.

Místo dolaďování základního modelu od začátku jsme vyvinuli metodu, která přenáší znalosti o vyhledávacích úlohách z existujícího textového embeddingového modelu. Standardní VLM umí popisovat obrázky, ale nemusí je umět sémanticky seřadit podle relevance k dotazu.

Tuto mezeru jsme překlenuli pomocí strategií vyladěného sloučeného vážení. V experimentech jsme zjistili, že vyhledávací schopnost modelu Qwen3-Embedding v latentním textovém prostoru lze přímo přenést do multimodálního prostoru. Model tak dokáže zobecnit na vyhledávání obrázků a videí i bez bezprostředního trénování. Tuto účinnou inicializaci jsme využili jako pevný výchozí bod a model následně doladili, abychom dále optimalizovali výkon a zajistili jeho robustnost. Oproti dolaďování ze základního modelu Qwen3-VL se tím zlepšuje výsledný výkon vyhledávání.

Po přenosu schopnosti vytvářet embeddingy jsme se zaměřili na sladění. Provedli jsme důkladné hledání hyperparametrů a ablační studie, které zahrnovaly optimální počet epoch, velikost dávky, rychlost učení, hodnost LoRA a skladbu datových sad, abychom maximalizovali výkon vyhledávání.

Pro dolaďování jsme zvolili datové sady VDR, trénovací sadu ColPali, visrag_syn, a visrag_ind. Při dolaďování jsme použili vzorkování UniMax. Protože jsme použili slučování modelů a sloučený základní model již částečně zdědil schopnost multimodálního vyhledávání, zjistili jsme, že přidání dalších datových sad by výkon mírně zhoršilo. Jejich počet jsme proto dále nezvyšovali.

Pro dolaďování jsme zvolili následující hyperparametry:

Modely využívající embeddingy na úrovni tokenů ve stylu „ColBERT“ (například ColPali) historicky nabízely mimořádný výkon, ale za neúnosnou cenu úložiště. Indexování každého vizuálního tokenu vytvářelo obrovské vektorové databáze, které byly v podnikovém měřítku příliš nákladné.

• Strategie optimalizace: Problém s úložištěm jsme vyřešili pečlivým vyvážením velikosti embeddingů tak, abychom zachovali maximální výkon a zabránili prudkému růstu nákladů. Abychom při této úsporné velikosti zachovali špičkovou přesnost, zvolili jsme rozměr 320, který nabízí nejlepší rovnováhu mezi výkonem vyhledávání a náklady na úložiště.

• • Výchozí řešení: Standardní přístup (například NVIDIA Nemo-3B) vyžaduje k uložení embeddingů 1 milionu obrázků přibližně 10,3 TB (1 802 tokenů × 3 072 rozměrů).

  • ColQwen3: Uloží stejný 1 milion obrázků do pouhých 0,82 TB (max. 1 280 tokenů × 320 rozměrů).

ColQwen3 dosahuje špičkové přesnosti vyhledávání bez neúměrného navyšování rozpočtu na cloudovou infrastrukturu.

Náš přístup jsme ověřili na sadě benchmarků ViDoRe. Výsledky potvrzují, že ColQwen3 nastavuje nové standardy v nejnovějších benchmarcích V3 a V2 (anglických i vícejazyčných) a zároveň si udržuje špičkový výkon ve starších úlohách V1.

ColQwen3-8B vede ve vyhledávání v angličtině i ve více jazycích.

Angličtina nDCG@5

Vícejazyčné nDCG@5

Stabilně vysoký výkon v ESG, ekonomii a DocVQA.

Abychom prokázali, že ColQwen3 dobře zobecňuje i na vyhledávání ve videu, vyhodnotili jsme modely v benchmarku CareBench pro úlohy vyhledávání videa podle textu (General Retrieval).

Při tomto hodnocení jsme použili přímé kódování videa: naše modely kódovaly videosoubory přímo, bez dalších textových anotací či vstupních metadat. To ukazuje schopnost modelu vyhledávat čistě na základě vizuální sémantiky.

Jednou z nejzásadnějších změn, které ColQwen3 přináší, je možnost pracovat s videem stejně jako s dokumenty. V mnoha podnicích představuje video „temná data“. Leží v chladném úložišti a nelze v něm vyhledávat, pokud někdo ručně neoznačil každý soubor.

ColQwen3 to mění díky vyhledávání po jednotlivých snímcích v rozdělených klipech.

Podniky každý den zaznamenávají tisíce hodin interních videoporad a tyto záznamy obvykle zapadnou.

• Postup: Automatickým rozdělením dlouhých záznamů porad na kratší logické klipy a jejich indexováním pomocí ColQwen3 vytvoříte prohledávatelnou „firemní paměť“.

• Dotaz: Projektový manažer může zadat: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Výsledek: Namísto 60minutového videosouboru systém vyhledá přesný 45sekundový úsek, v němž byl daný diagram zobrazen a probírán, i když mluvčí právě v tu chvíli výslovně nepoužili slovo „latency“.

Přechod k nativním multimodálním embeddingům otevírá napříč odvětvími zcela nové pracovní postupy. Tento model jsme důkladně otestovali v některých z nejsložitějších podnikových datových prostředí.

ColQwen3 jsme testovali na datových výzvách urbanistických poradenských firem, které spravují rozsáhlé knihovny územních plánů, map zónování a složitých architektonických pohledů.

• Výzva: Tradiční RAG kanály mají v těchto prostředích potíže. Nástroje OCR obvykle označí složité situační plány pouze jako „schéma“, a přehlédnou tak zásadní detaily o dopravních tocích, zelených zónách nebo odstupech budov.

• Výkon: Naše interní benchmarky ukazují, že ColQwen3 účinně odstraňuje potřebu nákladného předzpracování pomocí OCR a generování popisků. V testech s velmi podrobnými architektonickými výkresy model úspěšně vyhledával dokumenty podle konkrétních vizuálních prvků, jako jsou vstupy pro pěší nebo zřetelné hranice zón. Výrazně tak překonal čistě textová výchozí řešení a zároveň slibuje výrazné snížení nákladů na zpracování znalostí.

Investiční bankéři a analytici tráví tisíce hodin procházením výročních zpráv a prezentací pro investory.

• Postup: Analytik může zadat: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Změna: Model se nespoléhá na shodu klíčových slov, ale vyhledá přesný snímek podle vizuální přítomnosti konkrétní datové vizualizace. Systém RAG tak může odpovídat s vysokou přesností.

Výrobní podniky vlastní rozsáhlé knihovny technických příruček a potrubních a přístrojových schémat (P&ID).

• Postup: Technik opravující turbínu může vyfotit součástku nebo zadat: “Show me the wiring diagram for the hydraulic pump assembly.”

• Změna: ColQwen3 rozpozná vizuální podobu schématu zapojení a vyhledá správnou stránku, čímž může zkrátit odstávku o celé hodiny.

Právní prověrky zahrnují kontrolu milionů naskenovaných stran, kde hledanou „jehlou v kupce sena“ často bývá vizuální prvek.

• Postup: Pracovník odpovědný za dodržování předpisů může vyhledat “Documents signed by the CFO” nebo “Contracts containing the official ‘Confidential’ stamp.”

• Změna: Model podle vizuální přítomnosti podpisů či razítek rozliší návrh od finálního dokumentu, což čistě textové OCR často nedokáže.

ColQwen3 má otevřené váhy (Apache 2.0) a je nyní k dispozici na Hugging Face. Navrhli jsme jej jako snadno nasaditelné vylepšení moderních RAG kanálů a poskytujeme inferenční kód potřebný k okamžitému zpracování textu, obrázků a videa.

Pro podniky, které chtějí překonat možnosti jednoduchého textového vyhledávání a zpřístupnit znalosti ukryté ve vizuálních materiálech, jde o nový standard.

Další krok: Prozkoumejte kartu modelu a vyzkoušejte živou ukázku na Hugging Face: /-colqwen3-embed-8b a /-colqwen3-embed-4b