Més enllà del text: RAG realment multimodal d'extrem a extrem

Durant els dos darrers anys, "RAG" (generació augmentada per recuperació) ha estat gairebé exclusivament sinònim de text. El procediment habitual és senzill: agafar documents, extreure'n el text, dividir-lo en fragments i indexar-lo.

Però el món empresarial no funciona amb fitxers de text sense format. Funciona amb PDF complexos, presentacions amb gràfics densos, dibuixos CAD, factures escanejades i, cada cop més, arxius enormes de vídeo.

L'estàndard del sector per gestionar-ho —utilitzar OCR o LLM de visió per convertir una imatge en text mitjançant una "descripció" abans de generar-ne la incrustació— és un coll d'ampolla enorme. És lent i car, i inevitablement perd el ric context espacial i visual de les dades originals. Si la vostra IA descriu un element visual complex simplement com "un plànol", perdeu la possibilitat de cercar-hi una vàlvula concreta o l'esquema de cablejat.

Avui publiquem una família de models d'incrustacions multimodals d'avantguarda, basats en l'arquitectura ColPali i dissenyats per resoldre aquest problema mitjançant la recuperació visual d'extrem a extrem.

Crear un recuperador multimodal realment eficaç no és tan senzill com agafar un model de visió i llenguatge (VLM) estàndard i demanar-li que cerqui. Per superar els reptes que històricament han frenat el RAG multimodal i crear ColQwen3, hem emprat estratègies de fusió i entrenament de models.

En lloc d'ajustar un model base des de zero, hem desenvolupat un mètode per transferir el coneixement de les tasques de recuperació des d'un model d'incrustacions textuals existent. Un VLM estàndard sap descriure imatges, però no necessàriament sap ordenar-les semànticament segons una consulta.

Per salvar aquesta distància, hem utilitzat estratègies de ponderació de fusió ajustades. En els nostres experiments, hem constatat que la capacitat de recuperació de Qwen3-Embedding en l'espai latent textual es podia transferir directament a l'espai multimodal i generalitzar-se a la recuperació d'imatges i vídeos fins i tot sense entrenament immediat. Després, aprofitant aquesta inicialització eficaç com a punt de partida sòlid, hem ajustat el model per optimitzar-ne encara més el rendiment i garantir-ne la robustesa. Això millora el rendiment final de recuperació respecte a l'ajust fi a partir del model base Qwen3-VL.

Un cop transferides les capacitats d'incrustació, ens hem centrat en l'alineació. Hem fet cerques minucioses d'hiperparàmetres i estudis d'ablació, inclosos el nombre òptim d'èpoques, la mida del lot, la taxa d'aprenentatge, el rang LoRA i la combinació de conjunts de dades, per maximitzar el rendiment de recuperació.

Com a conjunts de dades per a l'ajust fi, hem triat VDR, el conjunt d'entrenament de ColPali, visrag_syn, i visrag_ind. Hem utilitzat el mostreig UniMax per a l'ajust fi. Com que hem aplicat la fusió de models i el model base fusionat ja hereta una part de la capacitat de recuperació multimodal, hem comprovat que augmentar el nombre de conjunts de dades empitjorava lleugerament el rendiment; per tant, no n'hem afegit més.

Aquests són els hiperparàmetres que hem seleccionat per a l'ajust fi:

Històricament, els models que utilitzaven incrustacions per segment a l'estil de "ColBERT", com ColPali, oferien un rendiment extraordinari, però amb un cost d'emmagatzematge prohibitiu. Indexar cada segment visual generava bases de dades vectorials enormes, massa cares per fer-les servir a escala empresarial.

• L'estratègia d'optimització: hem abordat el repte de l'emmagatzematge equilibrant acuradament la mida de les incrustacions per mantenir el màxim rendiment sense disparar-ne els costos. Per mantenir una precisió d'avantguarda amb aquesta empremta eficient, hem seleccionat una mida de 320 dimensions, que ofereix l'equilibri òptim entre el rendiment de recuperació i el cost d'emmagatzematge.

• • Referència: un enfocament estàndard, com NVIDIA Nemo-3B, requereix aproximadament 10,3 TB per emmagatzemar les incrustacions d'un milió d'imatges (1.802 segments × 3.072 dimensions).

  • ColQwen3: emmagatzema el mateix milió d'imatges en només 0,82 TB (màxim de 1.280 segments × 320 dimensions).

ColQwen3 assoleix una precisió de recuperació d'avantguarda sense disparar el pressupost de la infraestructura al núvol.

Hem validat el nostre enfocament amb el conjunt de proves ViDoRe. Els resultats confirmen que ColQwen3 estableix nous estàndards en les últimes proves V3 i V2, tant en anglès com multilingües, i manté un rendiment de primer nivell en les tasques anteriors de V1.

ColQwen3-8B lidera la recuperació en anglès i multilingüe.

nDCG@5 en anglès

nDCG@5 multilingüe

Rendiment elevat i constant en ESG, economia i DocVQA.

Per demostrar que ColQwen3 generalitza molt bé en la recuperació de vídeos, hem avaluat els models amb la prova CareBench per a tasques de text a vídeo (recuperació general).

Per a aquesta avaluació, hem emprat un mètode de codificació de vídeo en brut: els nostres models han codificat directament els fitxers de vídeo, sense anotacions textuals addicionals ni metadades d'entrada. Això posa en relleu la capacitat del model per recuperar informació basant-se exclusivament en la semàntica visual.

Un dels canvis més profunds que permet ColQwen3 és la capacitat de tractar els vídeos com si fossin documents. En moltes empreses, el vídeo és una "dada fosca". Queda desat en emmagatzematge en fred i no s'hi pot cercar res tret que una persona hagi etiquetat manualment cada fitxer.

ColQwen3 ho canvia, ja que permet recuperar fotogrames de clips segmentats.

Cada dia, les empreses enregistren milers d'hores de reunions internes en vídeo i, normalment, aquests enregistraments cauen en l'oblit.

• El flux de treball: en segmentar automàticament els enregistraments llargs de reunions en clips més curts i coherents, i indexar-los amb ColQwen3, es crea una "memòria corporativa" consultable.

• La consulta: un cap de projecte pot demanar: "Show me the clip where the engineering lead explained the latency issue with the API."

• El resultat: en comptes de retornar un fitxer de vídeo de 60 minuts, el sistema recupera el segment exacte de 45 segons en què aquell diagrama concret es va mostrar a la pantalla i es va comentar, encara que els participants no diguessin explícitament la paraula "latència" en aquell precís moment.

El pas a les incrustacions multimodals natives obre fluxos de treball completament nous en tots els sectors. Hem sotmès aquest model a proves exhaustives en alguns dels entorns de dades empresarials més complexos.

Hem provat ColQwen3 amb els reptes de dades de les consultores urbanes, que gestionen enormes biblioteques de plans directors, mapes de zonificació i alçats arquitectònics complexos.

• El repte: en aquests entorns, els processos RAG tradicionals tenen dificultats. Les eines d'OCR solen descriure els plànols d'emplaçament complexos simplement com a "esquemes" i ometen detalls essencials sobre els fluxos de trànsit, les zones verdes o els retranquejos dels edificis.

• El rendiment: les nostres proves internes demostren que ColQwen3 evita eficaçment la necessitat d'un preprocessament costós d'OCR o de generació de descripcions. En proves amb dibuixos arquitectònics d'alta densitat, el model ha recuperat correctament documents a partir de marcadors visuals específics, com ara accessos per a vianants o límits de zonificació diferenciats. Així, supera àmpliament els sistemes de referència basats només en text i permet reduir dràsticament els costos d'ingesta de coneixement.

Els banquers d'inversió i els analistes dediquen milers d'hores a examinar informes anuals i presentacions per a inversors.

• El flux de treball: un analista pot demanar: "Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks."

• El canvi: en comptes de dependre de coincidències de paraules clau, el model recupera la diapositiva exacta a partir de la presència visual de la representació de dades concreta, cosa que permet al sistema RAG respondre amb gran precisió.

Les empreses fabricants disposen d'enormes biblioteques de manuals tècnics i diagrames de canonades i instrumentació (P&ID).

• El flux de treball: un enginyer de camp que repara una turbina pot fer una foto d'una peça o demanar: "Show me the wiring diagram for the hydraulic pump assembly."

• El canvi: ColQwen3 identifica la representació visual del diagrama de cablejat i recupera la pàgina correcta, fet que pot reduir en hores el temps d'inactivitat.

El descobriment de proves jurídiques implica revisar milions de pàgines escanejades en què l'element difícil de trobar sovint és un marcador visual.

• El flux de treball: un responsable de compliment normatiu pot cercar "Documents signed by the CFO" o "Contracts containing the official 'Confidential' stamp."

• El canvi: el model distingeix entre un esborrany i un document definitiu a partir de la presència visual de signatures o segells, un detall que l'OCR per si sol sovint no detecta.

ColQwen3 té pesos oberts (Apache 2.0) i ja està disponible a Hugging Face. L'hem dissenyat com una actualització directa per als processos RAG moderns, amb el codi d'inferència necessari per processar text, imatges i vídeo immediatament.

Per a les empreses preparades per anar més enllà de la cerca de text simple i aprofitar la intel·ligència atrapada en els actius visuals, aquest és el nou estàndard.

Pas següent: consulteu la fitxa del model i proveu la demostració en directe a Hugging Face: /-colqwen3-embed-8b i /-colqwen3-embed-4b