Oltre il testo: una vera RAG multimodale end-to-end

Negli ultimi due anni, «RAG» (Retrieval-Augmented Generation) è stato quasi esclusivamente sinonimo di testo. La procedura standard è semplice: prendere i documenti, estrarne il testo, suddividerlo in blocchi e indicizzarlo.

Ma il mondo aziendale non si basa su semplici file di testo. Si basa su PDF complessi, presentazioni ricche di grafici, disegni CAD, fatture scansionate e, sempre più spesso, enormi archivi di filmati.

Lo standard del settore, che prevede l'uso dell'OCR o di LLM visivi per «descrivere» un'immagine tramite testo prima di generarne l'embedding, rappresenta un enorme collo di bottiglia. È lento, costoso e comporta inevitabilmente la perdita del ricco contesto spaziale e visivo dei dati originali. Se la tua IA descrive un elemento visivo complesso semplicemente come «un progetto tecnico», non potrai più cercare al suo interno una valvola specifica o uno schema elettrico.

Oggi presentiamo una famiglia di modelli di embedding multimodali all'avanguardia, basati sull'architettura ColPali e progettati per risolvere questo problema tramite il retrieval visivo end-to-end.

Creare un retriever multimodale davvero efficace non è semplice come prendere un modello visione-linguaggio (VLM) pronto all'uso e chiedergli di effettuare una ricerca. Per superare i limiti che storicamente hanno frenato la RAG multimodale e creare ColQwen3, abbiamo adottato strategie di fusione e addestramento dei modelli.

Anziché eseguire da zero il fine-tuning di un modello di base, abbiamo sviluppato un metodo per trasferire la conoscenza delle attività di retrieval da un modello di embedding testuale esistente. Un VLM standard sa descrivere le immagini, ma non necessariamente sa ordinarle semanticamente rispetto a una query.

Per colmare questa lacuna, abbiamo utilizzato strategie ottimizzate di ponderazione della fusione. Nei nostri esperimenti abbiamo scoperto che la capacità di retrieval di Qwen3-Embedding nello spazio latente testuale poteva essere trasferita direttamente allo spazio multimodale, generalizzandosi al retrieval di immagini e video anche senza un addestramento immediato. Partendo da questa efficace inizializzazione, abbiamo quindi sottoposto il modello a fine-tuning per ottimizzarne ulteriormente le prestazioni e garantirne la robustezza. Questo migliora le prestazioni finali di retrieval rispetto al fine-tuning del modello di base Qwen3-VL.

Dopo aver trasferito le capacità di embedding, ci siamo concentrati sull'allineamento. Abbiamo condotto ricerche accurate sugli iperparametri e studi di ablazione, valutando il numero ottimale di epoche, le dimensioni dei batch, il tasso di apprendimento, il rango LoRA e la combinazione di set di dati, per massimizzare le prestazioni di retrieval.

Come set di dati per il fine-tuning abbiamo scelto VDR, il set di addestramento ColPali, visrag_syn, e visrag_ind. Per il fine-tuning abbiamo utilizzato il campionamento UniMax. Poiché abbiamo applicato la fusione dei modelli e il modello di base risultante eredita già parte delle capacità di retrieval multimodale, abbiamo riscontrato che l'aggiunta di altri set di dati avrebbe leggermente ridotto le prestazioni; per questo non ne abbiamo aumentato il numero.

Ecco gli iperparametri selezionati per il fine-tuning:

Storicamente, i modelli che utilizzano embedding a livello di token «in stile ColBERT», come ColPali, offrivano prestazioni eccezionali, ma con costi di archiviazione proibitivi. L'indicizzazione di ogni token visivo generava enormi database vettoriali, troppo costosi per un utilizzo su scala aziendale.

• La strategia di ottimizzazione: abbiamo affrontato il problema dell'archiviazione bilanciando attentamente le dimensioni degli embedding, così da preservare le massime prestazioni senza far lievitare i costi. Per mantenere un'accuratezza all'avanguardia entro questi limiti di efficienza, abbiamo scelto una dimensionalità pari a 320, che offre il miglior equilibrio tra prestazioni di retrieval e costi di archiviazione.

• • Baseline: un approccio standard, come NVIDIA Nemo-3B, richiede circa 10,3 TB per archiviare gli embedding di 1 milione di immagini (1.802 token a 3.072 dimensioni).

  • ColQwen3: archivia lo stesso milione di immagini in appena 0,82 TB (massimo 1.280 token a 320 dimensioni).

ColQwen3 raggiunge un'accuratezza di retrieval all'avanguardia senza far esplodere il budget dell'infrastruttura cloud.

Abbiamo convalidato il nostro approccio sulla suite di benchmark ViDoRe. I risultati confermano che ColQwen3 stabilisce nuovi standard nei più recenti benchmark V3 e V2, sia in inglese sia multilingue, mantenendo prestazioni di massimo livello nelle precedenti attività V1.

ColQwen3-8B è leader nel retrieval in inglese e multilingue.

nDCG@5 in inglese

nDCG@5 multilingue

Prestazioni elevate e costanti in ESG, economia e DocVQA.

Per dimostrare l'elevata capacità di ColQwen3 di generalizzare al retrieval video, abbiamo valutato i modelli sul benchmark CareBench per attività text-to-video (General Retrieval).

Per questa valutazione abbiamo adottato un approccio di codifica video grezza: i nostri modelli hanno codificato direttamente i file video, senza ulteriori annotazioni testuali o metadati. Ciò evidenzia la capacità del modello di eseguire il retrieval basandosi esclusivamente sulla semantica visiva.

Uno dei cambiamenti più profondi resi possibili da ColQwen3 è la capacità di trattare i video come fossero documenti. In molte aziende, i video sono «dati oscuri»: rimangono nell'archiviazione a freddo e sono del tutto non ricercabili, a meno che qualcuno non abbia contrassegnato manualmente ogni file.

ColQwen3 cambia questa situazione consentendo il retrieval fotogramma per fotogramma nelle clip segmentate.

Ogni giorno, le aziende registrano migliaia di ore di riunioni video interne e, solitamente, queste registrazioni finiscono nel dimenticatoio.

• Il flusso di lavoro: segmentando automaticamente le lunghe registrazioni delle riunioni in clip più brevi e logicamente coerenti, quindi indicizzandole con ColQwen3, si crea una «memoria aziendale» consultabile.

• La query: un project manager può chiedere: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Il risultato: anziché restituire un video di 60 minuti, il sistema recupera esattamente i 45 secondi in cui quello specifico diagramma è stato mostrato sullo schermo e discusso, anche se in quel preciso momento i partecipanti non hanno pronunciato esplicitamente la parola «latenza».

Il passaggio agli embedding multimodali nativi rende possibili flussi di lavoro completamente nuovi in ogni settore. Abbiamo sottoposto questo modello a numerosi benchmark in alcuni degli ambienti di dati aziendali più complessi.

Abbiamo testato ColQwen3 sulle sfide relative ai dati affrontate dalle società di consulenza urbana, che gestiscono enormi raccolte di piani regolatori, mappe di zonizzazione e complessi prospetti architettonici.

• La sfida: in questi ambienti, le pipeline RAG tradizionali sono in difficoltà. Gli strumenti OCR in genere descrivono i complessi planivolumetrici semplicemente come «schemi», tralasciando dettagli essenziali sui flussi di traffico, le aree verdi o gli arretramenti degli edifici.

• Le prestazioni: i nostri benchmark interni dimostrano che ColQwen3 elimina efficacemente la necessità di costose operazioni preliminari di OCR e generazione di didascalie. Nei test con disegni architettonici ad alta densità, il modello ha recuperato correttamente i documenti in base a specifici indicatori visivi, come gli accessi pedonali o i confini distinti delle zone, superando nettamente le baseline basate solo sul testo e promettendo una drastica riduzione dei costi di acquisizione della conoscenza.

Banchieri d'investimento e analisti trascorrono migliaia di ore a esaminare relazioni annuali e presentazioni per gli investitori.

• Il flusso di lavoro: un analista può chiedere: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Il cambiamento: anziché affidarsi alle corrispondenze tra parole chiave, il modello recupera la diapositiva esatta in base alla presenza visiva della specifica rappresentazione dei dati, consentendo al sistema RAG di rispondere con grande precisione.

Le aziende manifatturiere dispongono di vaste raccolte di manuali tecnici e schemi di tubazioni e strumentazione (P&ID).

• Il flusso di lavoro: un tecnico sul campo che ripara una turbina può fotografare un componente o chiedere: “Show me the wiring diagram for the hydraulic pump assembly.”

• Il cambiamento: ColQwen3 identifica la rappresentazione visiva dello schema elettrico e recupera la pagina corretta, riducendo potenzialmente di ore i tempi di fermo.

L'e-discovery legale richiede l'esame di milioni di pagine scansionate, in cui l'«ago nel pagliaio» è spesso un indicatore visivo.

• Il flusso di lavoro: un responsabile della conformità può cercare “Documents signed by the CFO” o “Contracts containing the official ‘Confidential’ stamp.”

• Il cambiamento: il modello distingue una bozza da un documento definitivo in base alla presenza visiva di firme o timbri, un dettaglio che il solo OCR spesso non rileva.

ColQwen3 è un modello a pesi aperti (Apache 2.0), già disponibile su Hugging Face. È stato progettato come aggiornamento immediato per le moderne pipeline RAG e include il codice di inferenza necessario per elaborare subito testo, immagini e video.

Per le aziende pronte ad andare oltre la semplice ricerca testuale e sfruttare il valore racchiuso nelle proprie risorse visive, questo è il nuovo standard.

Prossimo passo: consulta la scheda modello e prova la demo su Hugging Face: /-colqwen3-embed-8b e /-colqwen3-embed-4b