Lil hinn mit-test: RAG tassew multimodali minn tarf sa tarf

Għal dawn l-aħħar sentejn, “RAG” (Ġenerazzjoni Awmentata bl-Irkupru) kien kważi esklussivament sinonimu mat-test. Il-metodu standard huwa sempliċi: ħu d-dokumenti, estratta t-test, aqsmu f’biċċiet u indiċizzah.

Iżda d-dinja tal-intrapriżi ma tiddependix fuq fajls b’test sempliċi. Tiddependi fuq PDFs kumplessi, preżentazzjonijiet mimlija ċarts, tpinġijiet CAD, fatturi skennjati u, dejjem aktar, arkivji enormi ta’ filmati.

L-istandard tal-industrija biex dan jiġi ttrattat—l-użu tal-OCR jew ta’ Vision LLMs biex immaġni tiġi “deskritta” bħala test qabel l-embedding—joħloq ostaklu enormi. Huwa proċess bil-mod u għali li inevitabbilment jitlef il-kuntest spazjali u viżiv għani tad-data oriġinali. Jekk l-IA tiegħek tiddeskrivi immaġni kumplessa sempliċement bħala “pjanta”, titlef il-kapaċità li tfittex il-valv speċifiku jew l-iskema tal-wajers li hemm fiha.

Illum qed inniedu familja ta’ mudelli multimodali tal-embedding tal-ogħla livell, mibnija fuq l-arkitettura ColPali u mfassla biex isolvu din il-problema billi jippermettu irkupru viżiv minn tarf sa tarf.

Il-bini ta’ sistema multimodali tassew effettiva għall-irkupru mhuwiex sempliċi daqs li tieħu Mudell tal-Viżjoni u l-Lingwa (VLM) lest għall-użu u titolbu jfittex. Biex insolvu l-isfidi li storikament żammew lura r-RAG multimodali u noħolqu ColQwen3, użajna strateġiji għall-amalgamazzjoni u t-taħriġ tal-mudelli.

Minflok irfinajna mudell bażi mill-bidu, żviluppajna metodu biex nittrasferixxu l-għarfien tal-kompiti tal-irkupru minn mudell eżistenti tal-embedding testwali. VLM standard jaf jiddeskrivi l-immaġnijiet, iżda mhux neċessarjament jaf jikklassifikahom semantikament skont mistoqsija.

Biex negħlbu dan id-distakk, użajna strateġiji ta’ ponderazzjoni amalgamata u rfinata. Fl-esperimenti tagħna sibna li l-kapaċità ta’ rkupru ta’ Qwen3-Embedding fl-ispazju latenti testwali setgħet tiġi ttrasferita direttament għall-ispazju multimodali, u tiġġeneralizza għall-irkupru ta’ immaġnijiet u vidjows anki mingħajr taħriġ immedjat. Wara li użajna din l-inizjalizzazzjoni effettiva bħala punt tat-tluq sod, irfinajna l-mudell biex inkomplu nottimizzaw il-prestazzjoni u niżguraw ir-robustezza. Dan itejjeb il-prestazzjoni finali tal-irkupru meta mqabbel mal-irfinar mill-mudell bażi Qwen3-VL.

Ladarba ġew ittrasferiti l-kapaċitajiet tal-embedding, iffukajna fuq l-allinjament. Għamilna tfittxijiet bir-reqqa tal-iperparametri u studji ta’ ablazzjoni, inkluż l-aħjar għadd ta’ epoki, id-daqs tal-lott, ir-rata tat-tagħlim, ir-rank LoRA u t-taħlita ta’ settijiet tad-data, biex nimmassimizzaw il-prestazzjoni tal-irkupru.

Bħala settijiet tad-data għall-irfinar għażilna VDR, is-sett tat-taħriġ ColPali, visrag_syn, u visrag_ind. Għall-irfinar użajna kampjunar UniMax. Peress li applikajna l-amalgamazzjoni tal-mudelli u l-mudell bażi amalgamat diġà jiret parti mill-kapaċità multimodali tal-irkupru, sibna li ż-żieda ta’ aktar settijiet tad-data kienet fil-fatt tnaqqas xi ftit il-prestazzjoni; għalhekk ma żidniex aktar settijiet.

Dawn huma l-iperparametri li għażilna għall-irfinar:

Storikament, mudelli li jużaw embeddings fil-livell tat-token “fuq l-istil ColBERT” (bħal ColPali) kienu joffru prestazzjoni inkredibbli, iżda bi spiża projbittiva għall-ħżin. L-indiċizzazzjoni ta’ kull token viżiv ħolqot databases enormi ta’ vetturi li kienu għaljin wisq biex jintużaw fuq skala ta’ intrapriża.

• L-Istrateġija tal-Ottimizzazzjoni: Indirizzajna l-isfida tal-ħżin billi bbilanċjajna bir-reqqa d-daqs tal-embeddings tagħna biex inżommu l-aqwa prestazzjoni mingħajr ma l-ispejjeż tal-ħżin jisparaw. Biex inżommu preċiżjoni SOTA f’dan id-daqs effiċjenti, għażilna bir-reqqa daqs ta’ 320 dimensjoni għall-aħjar bilanċ bejn il-prestazzjoni tal-irkupru u l-ispiża tal-ħżin.

• • Linja bażi: Approċċ standard (bħal NVIDIA Nemo-3B) jeħtieġ madwar 10.3 TB biex jaħżen embeddings għal miljun immaġni (1,802 token @ 3,072 dimensjoni).

  • ColQwen3: Jaħżen l-istess miljun immaġni f’0.82 TB biss (massimu ta’ 1,280 token @ 320 dimensjoni).

ColQwen3 jikseb preċiżjoni SOTA fl-irkupru mingħajr ma jtajjar il-baġit tal-infrastruttura tal-cloud.

Ivvalidajna l-approċċ tagħna bis-sett ta’ parametri referenzjarji ViDoRe. Ir-riżultati jikkonfermaw li ColQwen3 jistabbilixxi standards ġodda fl-aħħar parametri referenzjarji V3 u V2 (kemm bl-Ingliż kif ukoll Multilingwi), filwaqt li jżomm prestazzjoni mill-aqwa fil-kompiti preċedenti V1.

ColQwen3-8B jinsab fuq quddiem fl-irkupru bl-Ingliż u Multilingwi.

nDCG@5 bl-Ingliż

nDCG@5 Multilingwi

Prestazzjoni għolja u konsistenti fl-ESG, l-Ekonomija u DocVQA.

Biex nuru li ColQwen3 jiġġeneralizza tajjeb ħafna għall-irkupru tal-vidjow, evalwajna l-mudelli bil-parametru referenzjarju CareBench għal kompiti minn test għal vidjow (Irkupru Ġenerali).

Għal din l-evalwazzjoni, użajna approċċ ta’ kodifikazzjoni tal-vidjow mhux ipproċessat: il-mudelli tagħna kkodifikaw il-fajls tal-vidjow direttament, mingħajr annotazzjonijiet testwali jew inputs ta’ metadata addizzjonali. Dan jenfasizza l-kapaċità tal-mudell li jwettaq irkupru bbażat esklussivament fuq is-semantika viżiva.

Waħda mill-aktar bidliet profondi li jippermetti ColQwen3 hija l-kapaċità tiegħu li jittratta l-vidjow bħad-dokumenti. F’ħafna intrapriżi, il-vidjow huwa “data mudlama”. Jibqa’ maħżun f’arkivji mhux attivi u ma jistax jitfittex sakemm persuna ma tkunx ittikkettat kull fajl manwalment.

ColQwen3 ibiddel dan billi jippermetti l-irkupru qafas b’qafas minn klipps segmentati.

Kuljum, l-intrapriżi jirreġistraw eluf ta’ sigħat ta’ laqgħat interni bil-vidjow u, ġeneralment, dawn ir-reġistrazzjonijiet jintilfu fix-xejn.

• Il-Fluss tax-Xogħol: Billi taqsam awtomatikament reġistrazzjonijiet twal ta’ laqgħat fi klipps iqsar u loġiċi u tindiċizzahom b’ColQwen3, toħloq “memorja korporattiva” li tista’ titfittex.

• Il-Mistoqsija: Maniġer ta’ proġett jista’ jistaqsi: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Ir-Riżultat: Minflok jirritorna fajl tal-vidjow ta’ 60 minuta, is-sistema tirkupra eżattament is-segment ta’ 45 sekonda li fih dik id-dijagramma speċifika ntweriet fuq l-iskrin u ġiet diskussa, anki jekk il-kelliema ma qalux espliċitament il-kelma “latency” f’dik is-sekonda preċiża.

Il-bidla għall-embedding multimodali nattiv tiftaħ flussi tax-xogħol kompletament ġodda f’diversi industriji. Ittestjajna b’mod estensiv dan il-mudell ma’ wħud mill-aktar ambjenti kumplessi tad-data tal-intrapriżi.

Ittestjajna ColQwen3 mal-isfidi tad-data li jiffaċċjaw id-ditti tal-konsulenza urbana, li jimmaniġġjaw libreriji enormi ta’ pjanijiet ġenerali, mapep taż-żoni u elevazzjonijiet arkitettoniċi kumplessi.

• L-Isfida: F’dawn l-ambjenti, il-pipelines RAG tradizzjonali jsibuha diffiċli. L-għodod OCR tipikament jiddeskrivu pjanijiet kumplessi tas-sit sempliċement bħala “skema”, u jitilfu dettalji kruċjali dwar il-fluss tat-traffiku, iż-żoni ħodor jew id-distanzi tal-bini mil-limiti.

• Il-Prestazzjoni: Il-parametri referenzjarji interni tagħna juru li ColQwen3 jevita b’mod effettiv il-ħtieġa ta’ preproċessar għali bl-OCR jew bil-ġenerazzjoni ta’ deskrizzjonijiet. F’testijiet bi tpinġijiet arkitettoniċi densi, il-mudell irkupra b’suċċess dokumenti abbażi ta’ indikaturi viżivi speċifiċi, bħal punti ta’ aċċess għall-persuni bil-mixi jew konfini distinti taż-żoni. B’hekk qabeż b’mod sinifikanti l-linji bażi b’test biss, filwaqt li wera potenzjal għal tnaqqis drastiku fl-ispejjeż tal-inġestjoni tal-għarfien.

Bankiera tal-investiment u analisti jqattgħu eluf ta’ sigħat jgħarblu rapporti annwali u preżentazzjonijiet għall-investituri.

• Il-Fluss tax-Xogħol: Analista jista’ jistaqsi: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Il-Bidla: Minflok jiddependi fuq tqabbil ta’ kliem ewlieni, il-mudell jirkupra eżattament is-slajd abbażi tal-preżenza viżiva tal-viżwalizzazzjoni speċifika tad-data, u jippermetti lis-sistema RAG twieġeb il-mistoqsijiet bi preċiżjoni għolja.

Id-ditti tal-manifattura għandhom libreriji vasti ta’ manwali tekniċi u dijagrammi tal-pajpijiet (P&IDs).

• Il-Fluss tax-Xogħol: Inġinier fuq il-post li jkun qed isewwi turbina jista’ jieħu ritratt ta’ parti jew jistaqsi: “Show me the wiring diagram for the hydraulic pump assembly.”

• Il-Bidla: ColQwen3 jidentifika r-rappreżentazzjoni viżiva tad-dijagramma tal-wajers u jirkupra l-paġna t-tajba, u potenzjalment inaqqas il-ħin ta’ waqfien b’diversi sigħat.

L-eżami legali tad-dokumenti jinvolvi r-reviżjoni ta’ miljuni ta’ paġni skennjati, fejn il-“labra” spiss tkun indikatur viżiv.

• Il-Fluss tax-Xogħol: Uffiċjal tal-konformità jista’ jfittex “Documents signed by the CFO” jew “Contracts containing the official ‘Confidential’ stamp.”

• Il-Bidla: Il-mudell jagħraf bejn abbozz u dokument finalizzat abbażi tal-preżenza viżiva ta’ firem jew timbri, xi ħaġa li l-OCR waħdu spiss ma jaqbadx.

ColQwen3 għandu piżijiet miftuħa (Apache 2.0) u issa huwa disponibbli fuq Hugging Face. Fassalnieh bħala aġġornament dirett għall-pipelines RAG moderni, bil-kodiċi tal-inferenza meħtieġ biex jipproċessa minnufih test, immaġnijiet u vidjow.

Għall-intrapriżi lesti li jmorru lil hinn mit-tiftix sempliċi fit-test u jisfruttaw l-intelliġenza moħbija fl-assi viżivi tagħhom, dan huwa l-istandard il-ġdid.

Il-Pass Li Jmiss: Esplora l-iskeda -mudell u pprova d-demo diretta fuq Hugging Face: /-colqwen3-embed-8b u /-colqwen3-embed-4b