Bortom text: äkta multimodal RAG från början till slut

Under de senaste två åren har ”RAG” (Retrieval-Augmented Generation) nästan uteslutande varit synonymt med text. Standardmetoden är enkel: ta dokumenten, extrahera texten, dela upp den i segment och indexera den.

Men företagsvärlden bygger inte på vanliga textfiler. Den bygger på komplexa PDF-filer, presentationer med informationsrika diagram, CAD-ritningar, skannade fakturor och i allt högre grad enorma arkiv med videomaterial.

Branschstandarden – att använda OCR eller visuella språkmodeller för att ”textbeskriva” en bild före inbäddningen – skapar en enorm flaskhals. Det är långsamt och dyrt och gör oundvikligen att den ursprungliga informationens rika rumsliga och visuella sammanhang går förlorat. Om din AI bara beskriver en komplex bild som ”en ritning” kan du inte längre söka efter den specifika ventilen eller det kopplingsschema som finns i bilden.

I dag lanserar vi en familj av toppmoderna multimodala inbäddningsmodeller som bygger vidare på arkitekturen ColPali och löser problemet genom att möjliggöra visuell sökning från början till slut.

Att bygga en verkligt effektiv multimodal sökmodell är inte så enkelt som att ta en färdig visuell språkmodell (VLM) och be den söka. För att lösa problemen som historiskt har hållit tillbaka multimodal RAG och skapa ColQwen3 använde vi strategier för modellsammanslagning och träning.

I stället för att finjustera en basmodell från grunden utvecklade vi en metod för att överföra kunskap om sökuppgifter från en befintlig textinbäddningsmodell. En vanlig VLM kan beskriva bilder men vet inte nödvändigtvis hur de ska rangordnas semantiskt mot en sökfråga.

För att överbrygga detta gap använde vi strategier med finjusterad viktning vid sammanslagning. Våra experiment visade att sökförmågan hos Qwen3-Embedding i det latenta textrummet kunde överföras direkt till det multimodala rummet och generaliseras till bild- och videosökning även utan omedelbar träning. Vi använde denna effektiva initiering som en stark utgångspunkt och finjusterade sedan modellen för att ytterligare optimera prestandan och säkerställa robusthet. Det förbättrar den slutliga sökprestandan jämfört med finjustering från basmodellen Qwen3-VL.

När inbäddningsförmågan hade överförts fokuserade vi på anpassningen. Vi genomförde noggranna hyperparametersökningar och ablationsstudier av bland annat optimalt antal epoker, batchstorlek, inlärningshastighet, LoRA-rang och datauppsättningsmix för att maximera sökprestandan.

Som datauppsättningar för finjustering valde vi VDR, ColPali-träningsdata, visrag_syn, och visrag_ind. Vi använde UniMax-sampling för finjusteringen. Eftersom vi använde modellsammanslagning och den sammanslagna basmodellen redan ärver viss multimodal sökförmåga upptäckte vi att fler datauppsättningar faktiskt försämrade prestandan något. Därför skalade vi inte upp till fler datauppsättningar.

Här är hyperparametrarna vi valde för finjusteringen:

Historiskt har modeller med inbäddningar på tokennivå i ”ColBERT-stil” (som ColPali) gett otrolig prestanda, men till en oöverkomlig lagringskostnad. Indexering av varje visuell token skapade enorma vektordatabaser som blev för dyra i företagsskala.

• Optimeringsstrategin: Vi hanterade lagringsutmaningen genom att noggrant balansera storleken på våra inbäddningar för att behålla maximal prestanda utan skenande lagringskostnader. För att behålla marknadsledande precision med detta effektiva fotavtryck valde vi noggrant 320 dimensioner, vilket gav bäst balans mellan sökprestanda och lagringskostnad.

• • Baslinje: En standardmetod (som NVIDIA Nemo-3B) kräver cirka 10,3 TB för att lagra inbäddningar för 1 miljon bilder (1 802 token med 3 072 dimensioner).

  • ColQwen3: Lagrar samma 1 miljon bilder på bara 0,82 TB (högst 1 280 token med 320 dimensioner).

ColQwen3 uppnår marknadsledande sökprecision utan att spräcka budgeten för molninfrastruktur.

Vi validerade vår metod med benchmarksviten ViDoRe. Resultaten bekräftar att ColQwen3 sätter en ny standard i de senaste benchmarktesten V3 och V2, både på engelska och flera språk, samtidigt som modellen behåller prestanda i toppklass för äldre V1-uppgifter.

ColQwen3-8B leder inom informationssökning på engelska och flera språk.

Engelska nDCG@5

Flerspråkig nDCG@5

Genomgående höga resultat inom ESG, ekonomi och DocVQA.

För att visa att ColQwen3 generaliserar väl till videosökning utvärderade vi modellerna med benchmarktestet CareBench för uppgifter där video hämtas utifrån text (General Retrieval).

I utvärderingen använde vi rå videokodning: våra modeller kodade videofilerna direkt, utan ytterligare textkommentarer eller metadata. Det visar modellens förmåga att söka enbart utifrån visuell semantik.

En av de mest genomgripande förändringarna med ColQwen3 är möjligheten att behandla video precis som dokument. I många företag är video ”mörka data”. Materialet ligger i kallagring och är helt osökbart om inte någon manuellt har taggat varje fil.

ColQwen3 förändrar detta genom att möjliggöra sökning bildruta för bildruta i segmenterade klipp.

Varje dag spelar företag in tusentals timmar av interna videomöten, och oftast försvinner inspelningarna i ett svart hål.

• Arbetsflödet: Genom att automatiskt dela upp långa mötesinspelningar i kortare, logiska klipp och indexera dem med ColQwen3 skapar du ett sökbart ”företagsminne”.

• Frågan: En projektledare kan fråga: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Resultatet: I stället för en 60 minuter lång videofil hämtar systemet exakt det 45-sekunderssegment där diagrammet visades och diskuterades, även om talarna inte uttryckligen sade ordet ”latency” just då.

Övergången till inbyggda multimodala inbäddningar möjliggör helt nya arbetsflöden i alla branscher. Vi har testat modellen ingående mot några av de mest komplexa datamiljöerna för företag.

Vi testade ColQwen3 mot de datautmaningar som stadsutvecklingskonsulter möter när de hanterar enorma samlingar av översiktsplaner, områdesindelningskartor och komplexa fasadritningar.

• Utmaningen: I dessa miljöer har traditionella RAG-pipelines svårt att prestera. OCR-verktyg beskriver ofta komplexa situationsplaner enbart som ”scheman” och missar viktiga detaljer om trafikflöden, grönområden eller avstånd till tomtgränser.

• Prestandan: Våra interna benchmarktest visar att ColQwen3 effektivt eliminerar behovet av dyr OCR- och bildtextförbehandling. I tester med detaljrika arkitektritningar hämtade modellen rätt dokument utifrån specifika visuella markörer, exempelvis gångentréer och tydliga områdesgränser. Resultaten var betydligt bättre än för textbaserade baslinjer och visar potential för kraftigt sänkta kostnader för kunskapsinläsning.

Investmentbankirer och analytiker ägnar tusentals timmar åt att gå igenom årsredovisningar och investerarpresentationer.

• Arbetsflödet: En analytiker kan fråga: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Förändringen: I stället för att förlita sig på sökordsträffar hämtar modellen rätt bild utifrån den visuella förekomsten av den specifika datavisualiseringen, så att RAG-systemet kan besvara frågor med hög precision.

Tillverkningsföretag har enorma samlingar av tekniska handböcker och rör- och instrumentdiagram (P&ID).

• Arbetsflödet: En fälttekniker som reparerar en turbin kan fotografera en del eller fråga: “Show me the wiring diagram for the hydraulic pump assembly.”

• Förändringen: ColQwen3 identifierar den visuella återgivningen av kopplingsschemat och hämtar rätt sida, vilket kan minska stilleståndstiden med flera timmar.

Juridisk dokumentgranskning omfattar miljontals skannade sidor där ”nålen i höstacken” ofta är en visuell markör.

• Arbetsflödet: En regelefterlevnadsansvarig kan söka efter “Documents signed by the CFO” eller “Contracts containing the official ‘Confidential’ stamp.”

• Förändringen: Modellen skiljer ett utkast från ett färdigställt dokument genom att visuellt upptäcka underskrifter eller stämplar, något som ren OCR ofta missar.

ColQwen3 har öppna vikter (Apache 2.0) och finns nu på Hugging Face. Vi har utformat den som en direkt uppgradering av moderna RAG-pipelines och tillhandahåller inferenskoden som behövs för att omedelbart bearbeta text, bilder och video.

För företag som är redo att gå bortom enkel textsökning och frigöra den intelligens som finns dold i deras visuella material är detta den nya standarden.

Nästa steg: Läs modellkortet och prova livedemon på Hugging Face: /-colqwen3-embed-8b och /-colqwen3-embed-4b