Даље од текста: прави мултимодални RAG од почетка до краја

Током последње две године, „RAG“ (генерисање проширено претраживањем) био је готово искључиво синоним за текст. Стандардни поступак је једноставан: узмите документе, издвојте текст, поделите га на делове и индексирајте.

Али пословни свет се не заснива на обичним текстуалним датотекама. Он се ослања на сложене PDF документе, презентације с густим графиконима, CAD цртеже, скениране фактуре и све веће архиве видео-снимака.

Секторски стандард за њихову обраду — коришћење OCR-а или визуелних LLM-ова да би се слика пре уграђивања „описала“ текстом — представља огромно уско грло. Тај поступак је спор и скуп, а неминовно губи богат просторни и визуелни контекст изворних података. Ако ваша вештачка интелигенција сложен визуелни приказ опише само као „технички цртеж“, више не можете да тражите одређени вентил или шему ожичења у њему.

Данас објављујемо породицу најсавременијих мултимодалних модела за уграђивање, заснованих на архитектури ColPali, који овај проблем решавају омогућавањем визуелног претраживања од почетка до краја.

Израда заиста ефикасног мултимодалног претраживача није тако једноставна као узети готов визуелно-језички модел (VLM) и затражити му да претражује. Да бисмо превазишли препреке које су дуго ограничавале мултимодални RAG и направили ColQwen3, применили смо стратегије спајања и обучавања модела.

Уместо финог подешавања основног модела од нуле, осмислили смо метод за пренос знања о задацима претраживања из постојећег текстуалног модела за уграђивање. Стандардни VLM уме да описује слике, али не мора нужно да зна како да их семантички рангира у односу на упит.

Да бисмо премостили тај јаз, применили смо стратегије подешеног пондерисања при спајању. У експериментима смо утврдили да се способност претраживања модела Qwen3-Embedding у текстуалном латентном простору може непосредно пренети у мултимодални простор и генерализовати на претраживање слика и видеа чак и без непосредног обучавања. Користећи ову ефикасну иницијализацију као снажну полазну тачку, затим смо фино подесили модел ради даље оптимизације резултата и обезбеђивања робусности. То побољшава коначне резултате претраживања у поређењу с финим подешавањем основног модела Qwen3-VL.

Након преноса способности уграђивања, усредсредили смо се на усклађивање. Спровели смо пажљиве претраге хиперпараметара и аблационе студије, укључујући оптималан број епоха, величину серије, стопу учења, LoRA ранг и комбинацију скупова података, како бисмо максимално побољшали претраживање.

За фино подешавање изабрали смо скупове података VDR, ColPali train set, visrag_syn, и visrag_ind. За фино подешавање користили смо UniMax узорковање. Пошто смо применили спајање модела, а добијени основни модел већ наслеђује део мултимодалних способности претраживача, утврдили смо да би додавање још скупова података заправо незнатно погоршало резултате, па их нисмо додавали.

Ово су хиперпараметри које смо изабрали за фино подешавање:

Модели који користе уграђивања на нивоу токена у стилу „ColBERT“, попут ColPali, традиционално су пружали изванредне резултате, али уз превисоке трошкове складиштења. Индексирање сваког визуелног токена стварало је огромне векторске базе података, прескупе за примену у обиму великих предузећа.

• Стратегија оптимизације: Проблем складиштења решили смо пажљивим уравнотежавањем величине уграђивања, како бисмо задржали максималне резултате без наглог раста трошкова складиштења. Да бисмо задржали најсавременију прецизност уз овако ефикасан обим, пажљиво смо одабрали 320 димензија као најбољу равнотежу између резултата претраживања и трошкова складиштења.

• • Полазна основа: Стандардном приступу, попут NVIDIA Nemo-3B, потребно је приближно 10,3 TB за чување уграђивања милион слика (1.802 токена @ 3.072 димензије).

  • ColQwen3: Чува истих милион слика у свега 0,82 TB (највише 1.280 токена @ 320 димензија).

ColQwen3 постиже најсавременију прецизност претраживања без прекорачења буџета за инфраструктуру у облаку.

Наш приступ смо потврдили на скупу тестова ViDoRe. Резултати потврђују да ColQwen3 поставља нове стандарде на најновијим тестовима V3 и V2, и на енглеском и у вишејезичном окружењу, уз врхунске резултате на старијим задацима V1.

ColQwen3-8B предњачи у претраживању на енглеском и у вишејезичном претраживању.

Енглески nDCG@5

Вишејезични nDCG@5

Доследно високи резултати у областима ESG, економије и DocVQA.

Да бисмо показали да се ColQwen3 успешно генерализује на претраживање видео-снимака, моделе смо оценили на тесту CareBench за задатке претраживања видеа на основу текста (General Retrieval).

За ову евалуацију применили смо директно кодирање необрађеног видеа: наши модели су непосредно кодирали видео-датотеке, без додатних текстуалних напомена или метаподатака. То истиче способност модела да претражује искључиво на основу визуелне семантике.

Једна од најзначајнијих промена које ColQwen3 омогућава јесте способност да видео обрађује исто као документе. У многим предузећима видео је „тамни податак“. Чува се у хладном складишту и уопште се не може претраживати ако човек није ручно означио сваку датотеку.

ColQwen3 то мења тако што омогућава претраживање сегментираних исечака кадар по кадар.

Предузећа свакодневно снимају хиљаде сати интерних видео-састанака, а ти снимци обично нестану у забораву.

• Ток рада: Аутоматским дељењем дугих снимака састанака на краће, логичне исечке и њиховим индексирањем помоћу ColQwen3 ствара се претражива „корпоративна меморија“.

• Упит: Руководилац пројекта може да затражи: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Резултат: Уместо видео-датотеке од 60 минута, систем проналази тачан сегмент од 45 секунди у којем је тај дијаграм приказан на екрану и разматран, чак и ако говорници у том тренутку нису изричито изговорили реч „кашњење“.

Прелазак на изворно мултимодално уграђивање омогућава потпуно нове токове рада у различитим секторима. Овај модел смо опсежно тестирали у неким од најсложенијих окружења за податке у предузећима.

ColQwen3 смо тестирали на изазовима с подацима са којима се суочавају фирме за урбанистички консалтинг, које управљају огромним библиотекама генералних планова, мапа зонирања и сложених архитектонских изгледа.

• Изазов: Традиционални RAG токови обраде тешко функционишу у овим окружењима. OCR алати сложене ситуационе планове обично описују само као „шему“, занемарујући кључне детаље о токовима саобраћаја, зеленим зонама или удаљености објеката од граница парцеле.

• Резултати: Наши интерни тестови показују да ColQwen3 успешно уклања потребу за скупом претходном OCR обрадом и генерисањем описа. У тестовима с густим архитектонским цртежима, модел је успешно проналазио документе на основу одређених визуелних ознака, попут пешачких приступа или јасних граница зона. Тиме је знатно надмашио основна решења заснована само на тексту и показао потенцијал за драстично смањење трошкова уноса знања.

Инвестициони банкари и аналитичари проводе хиљаде сати прегледајући годишње извештаје и презентације за инвеститоре.

• Ток рада: Аналитичар може да затражи: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Промена: Уместо ослањања на подударање кључних речи, модел проналази тачан слајд на основу визуелног присуства конкретног приказа података, што RAG систему омогућава да изузетно прецизно одговара на питања.

Производна предузећа поседују огромне библиотеке техничких приручника и дијаграма цевовода и инструментације (P&ID).

• Ток рада: Теренски инжењер који поправља турбину може да фотографише део или затражи: “Show me the wiring diagram for the hydraulic pump assembly.”

• Промена: ColQwen3 препознаје визуелни приказ шеме ожичења и проналази одговарајућу страницу, чиме потенцијално скраћује застој за више сати.

Правна претрага подразумева преглед милиона скенираних страница, на којима је тражена „игла у пласту сена“ често визуелна ознака.

• Ток рада: Службеник за усклађеност може да тражи “Documents signed by the CFO” или “Contracts containing the official ‘Confidential’ stamp.”

• Промена: Модел разликује нацрт од завршног документа на основу визуелног присуства потписа или печата, што чист OCR често пропусти.

ColQwen3 има отворене тежине (Apache 2.0) и већ је доступан на платформи Hugging Face. Осмислили смо га као непосредну надоградњу модерних RAG токова обраде, уз сав потребан код за инференцију ради тренутне обраде текста, слика и видеа.

За предузећа спремна да превазиђу једноставно претраживање текста и откључају Интелигенцију заробљену у визуелним ресурсима, ово је нови стандард.

Следећи корак: Погледајте картицу модела и испробајте демо уживо на платформи Hugging Face: /-colqwen3-embed-8b и /-colqwen3-embed-4b