Mehr als Text: echtes multimodales End-to-End-RAG erschließen

In den vergangenen zwei Jahren war „RAG“ (Retrieval-Augmented Generation) fast ausschließlich ein Synonym für Text. Das Standardvorgehen ist einfach: Dokumente nehmen, den Text extrahieren, in Abschnitte unterteilen und indexieren.

Doch die Unternehmenswelt basiert nicht auf reinen Textdateien. Sie arbeitet mit komplexen PDFs, Präsentationen voller Diagramme, CAD-Zeichnungen, gescannten Rechnungen und zunehmend mit riesigen Videoarchiven.

Der Branchenstandard, Bilder vor der Einbettung per OCR oder Vision-LLM als Text zu beschreiben, ist ein erheblicher Engpass. Dieses Verfahren ist langsam und teuer und verliert unweigerlich den umfangreichen räumlichen und visuellen Kontext der Originaldaten. Wenn deine KI eine komplexe Darstellung nur als „Bauplan“ beschreibt, kannst du darin nicht mehr nach einem bestimmten Ventil oder Schaltplan suchen.

Heute veröffentlichen wir eine Familie hochmoderner multimodaler Einbettungsmodelle, die auf der ColPali-Architektur aufbauen. Sie lösen dieses Problem durch eine durchgängige visuelle Suche.

Für ein wirklich leistungsfähiges multimodales Suchsystem genügt es nicht, ein handelsübliches Bild-Sprach-Modell (VLM) suchen zu lassen. Um die bisherigen Hürden für multimodales RAG zu überwinden und ColQwen3 zu entwickeln, setzten wir Strategien zur Modellzusammenführung und zum Training ein.

Statt ein Basismodell von Grund auf feinabzustimmen, entwickelten wir eine Methode, um das Wissen über Suchaufgaben aus einem bestehenden Texteinbettungsmodell zu übertragen. Ein Standard-VLM kann Bilder beschreiben, weiß aber nicht unbedingt, wie es sie semantisch nach ihrer Relevanz für eine Anfrage ordnet.

Um diese Lücke zu schließen, nutzten wir abgestimmte Strategien zur Gewichtungszusammenführung. Unsere Experimente zeigten, dass sich die Suchfähigkeit von Qwen3-Embedding im latenten Textraum direkt auf den multimodalen Raum übertragen ließ. Sie verallgemeinerte sich auch ohne unmittelbares Training auf die Bild- und Videosuche. Diese wirksame Initialisierung diente als solide Ausgangsbasis. Anschließend stimmten wir das Modell weiter ab, um die Leistung zu optimieren und Robustheit sicherzustellen. Dies verbessert die endgültige Suchleistung gegenüber der Feinabstimmung des Qwen3-VL-Basismodells.

Nach der Übertragung der Einbettungsfähigkeiten konzentrierten wir uns auf die Ausrichtung. Wir führten sorgfältige Hyperparametersuchen und Ablationsstudien durch. Dabei untersuchten wir unter anderem die optimale Anzahl an Epochen, die Batchgröße, die Lernrate, den LoRA-Rang und die Zusammenstellung der Datensätze, um die Suchleistung zu maximieren.

Als Datensätze für die Feinabstimmung wählten wir VDR, das ColPali-Trainingsset, visrag_syn, und visrag_ind. Für die Feinabstimmung verwendeten wir UniMax-Sampling. Da wir Modelle zusammenführten und das zusammengeführte Basismodell bereits einen Teil der multimodalen Suchfähigkeit übernimmt, stellten wir fest, dass zusätzliche Datensätze die Leistung sogar leicht verschlechtern. Deshalb erweiterten wir ihre Anzahl nicht.

Für die Feinabstimmung wählten wir folgende Hyperparameter:

Modelle mit Einbettungen auf Token-Ebene im „ColBERT-Stil“ wie ColPali boten bislang eine außergewöhnliche Leistung, verursachten jedoch untragbare Speicherkosten. Die Indexierung jedes visuellen Tokens erzeugte riesige Vektordatenbanken, die für den Einsatz in Unternehmen zu teuer waren.

• Die Optimierungsstrategie: Wir lösten das Speicherproblem, indem wir die Größe unserer Einbettungen sorgfältig austarierten. So bleibt die Leistung möglichst hoch, ohne dass die Speicherkosten ausufern. Um bei diesem effizienten Speicherbedarf eine erstklassige Genauigkeit zu erzielen, wählten wir 320 Dimensionen als besten Kompromiss zwischen Suchleistung und Speicherkosten.

• • Baseline: Ein Standardansatz wie NVIDIA Nemo-3B benötigt etwa 10,3 TB, um Einbettungen für 1 Million Bilder zu speichern (1.802 Token mit 3.072 Dimensionen).

  • ColQwen3: Speichert dieselbe 1 Million Bilder auf nur 0,82 TB (maximal 1.280 Token mit 320 Dimensionen).

ColQwen3 erzielt eine erstklassige Suchgenauigkeit, ohne das Budget für die Cloud-Infrastruktur zu sprengen.

Wir haben unseren Ansatz mit der ViDoRe-Benchmark-Suite validiert. Die Ergebnisse bestätigen, dass ColQwen3 bei den neuesten V3- und V2-Benchmarks auf Englisch und in mehreren Sprachen neue Maßstäbe setzt und zugleich bei älteren V1-Aufgaben Spitzenleistungen erzielt.

ColQwen3-8B führt bei der englischen und mehrsprachigen Suche.

Englisch nDCG@5

Mehrsprachig nDCG@5

Durchgehend hohe Leistung bei ESG, Wirtschaft und DocVQA.

Um zu zeigen, dass sich ColQwen3 gut auf die Videosuche übertragen lässt, evaluierten wir die Modelle mit dem CareBench-Benchmark für Text-zu-Video-Aufgaben (allgemeine Suche).

Für diese Evaluierung verwendeten wir eine direkte Videokodierung: Unsere Modelle kodierten die Videodateien ohne zusätzliche Textanmerkungen oder Metadaten. Dies unterstreicht die Fähigkeit des Modells, Inhalte allein anhand visueller Semantik zu finden.

Eine der tiefgreifendsten Veränderungen durch ColQwen3 ist, dass Videos wie Dokumente verarbeitet werden können. In vielen Unternehmen sind Videos „Dark Data“. Sie liegen in selten genutzten Speichern und bleiben unauffindbar, sofern nicht jede Datei manuell gekennzeichnet wurde.

ColQwen3 ändert dies und ermöglicht die bildweise Suche in segmentierten Clips.

Unternehmen zeichnen täglich Tausende Stunden interner Videobesprechungen auf. Meist geraten diese Aufnahmen jedoch in Vergessenheit.

• Der Ablauf: Lange Besprechungsaufzeichnungen werden automatisch in kürzere, logisch gegliederte Clips segmentiert und mit ColQwen3 indexiert. So entsteht ein durchsuchbares „Unternehmensgedächtnis“.

• Die Anfrage: Eine Projektleitung kann fragen: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Das Ergebnis: Statt einer 60-minütigen Videodatei liefert das System genau den 45-sekündigen Abschnitt, in dem das betreffende Diagramm gezeigt und besprochen wurde. Das funktioniert auch dann, wenn das Wort „Latenz“ in diesem Moment nicht ausdrücklich fiel.

Der Wechsel zu nativen multimodalen Einbettungen ermöglicht branchenübergreifend völlig neue Arbeitsabläufe. Wir haben dieses Modell umfassend anhand einiger der komplexesten Datenumgebungen in Unternehmen getestet.

Wir testeten ColQwen3 anhand der Datenprobleme von Stadtplanungsberatungen, die umfangreiche Bestände an Masterplänen, Flächennutzungskarten und komplexen Gebäudeansichten verwalten.

• Die Herausforderung: Herkömmliche RAG-Pipelines stoßen in solchen Umgebungen an ihre Grenzen. OCR-Tools beschreiben komplexe Lagepläne häufig nur als „Schema“ und übersehen wichtige Details zu Verkehrsflüssen, Grünflächen oder Gebäudeabständen.

• Die Leistung: Unsere internen Benchmarks zeigen, dass ColQwen3 eine teure OCR- und Bildbeschreibungs-Vorverarbeitung überflüssig machen kann. In Tests mit detailreichen Architekturzeichnungen fand das Modell Dokumente erfolgreich anhand bestimmter visueller Merkmale wie Zugängen für Fußgänger oder klarer Flächennutzungsgrenzen. Damit übertraf es reine Text-Baselines deutlich und verspricht, die Kosten der Wissensaufnahme drastisch zu senken.

Fachleute im Investmentbanking und in der Analyse verbringen Tausende Stunden damit, Geschäftsberichte und Investorenpräsentationen zu durchsuchen.

• Der Ablauf: Eine Analysefachkraft kann fragen: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Die Veränderung: Statt sich auf Stichworttreffer zu verlassen, findet das Modell die genaue Folie anhand der visuellen Darstellung der betreffenden Daten. Dadurch kann das RAG-System Fragen mit hoher Präzision beantworten.

Fertigungsunternehmen verfügen über umfangreiche Bestände an technischen Handbüchern und Rohrleitungs- und Instrumentierungsdiagrammen (P&IDs).

• Der Ablauf: Eine Fachkraft im Außendienst, die eine Turbine repariert, kann ein Bauteil fotografieren oder fragen: “Show me the wiring diagram for the hydraulic pump assembly.”

• Die Veränderung: ColQwen3 erkennt die visuelle Darstellung des Schaltplans und findet die richtige Seite. Dadurch können sich Ausfallzeiten möglicherweise um Stunden verkürzen.

Bei der juristischen Dokumentenprüfung müssen Millionen gescannter Seiten gesichtet werden, wobei das entscheidende Detail häufig ein visuelles Merkmal ist.

• Der Ablauf: Eine Compliance-Fachkraft kann nach “Documents signed by the CFO” oder “Contracts containing the official ‘Confidential’ stamp.” suchen.

• Die Veränderung: Das Modell unterscheidet einen Entwurf von einem finalisierten Dokument anhand sichtbarer Unterschriften oder Stempel, die reine OCR häufig übersieht.

ColQwen3 verfügt über offene Gewichte (Apache 2.0) und ist ab sofort auf Hugging Face verfügbar. Wir haben es als direkt einsetzbares Upgrade für moderne RAG-Pipelines entwickelt. Der erforderliche Inferenzcode zur sofortigen Verarbeitung von Text, Bildern und Videos ist enthalten.

Für Unternehmen, die über eine einfache Textsuche hinausgehen und die in ihren visuellen Ressourcen enthaltenen Informationen erschließen möchten, ist dies der neue Standard.

Nächster Schritt: Lies die Modellkarte und teste die Live-Demo auf Hugging Face: /-colqwen3-embed-8b und /-colqwen3-embed-4b