Përtej tekstit: RAG vërtet multimodal, nga skaji në skaj

Gjatë dy viteve të fundit, «RAG» (gjenerimi i përforcuar nga rikthimi) ka qenë pothuajse tërësisht sinonim i tekstit. Metoda standarde është e thjeshtë: merr dokumentet, nxirr tekstin, ndaje në pjesë dhe indeksoje.

Por bota e ndërmarrjeve nuk funksionon me skedarë teksti të thjeshtë. Ajo mbështetet në PDF komplekse, prezantime me grafikë të ngjeshur, vizatime CAD, fatura të skanuara dhe, gjithnjë e më shumë, arkiva masive videosh.

Standardi i industrisë për trajtimin e tyre—përdorimi i OCR-së ose i LLM-ve pamore për ta «përshkruar» një imazh si tekst para përfshirjes—është një pengesë e madhe. Është i ngadaltë, i kushtueshëm dhe humb në mënyrë të pashmangshme kontekstin e pasur hapësinor dhe pamor të të dhënave origjinale. Nëse IA-ja juaj e përshkruan një pamje komplekse thjesht si «projekt teknik», ju humbni mundësinë për të kërkuar valvulën apo skemën specifike të instalimeve elektrike brenda saj.

Sot po prezantojmë një familje modelesh moderne të përfshirjes multimodale, të ndërtuara mbi arkitekturën ColPali, për ta zgjidhur këtë problem duke mundësuar rikthim pamor nga skaji në skaj.

Ndërtimi i një sistemi vërtet efikas të rikthimit multimodal nuk është aq i thjeshtë sa të marrësh një model të gatshëm pamje-gjuhë (VLM) dhe t'i kërkosh të bëjë kërkime. Për të zgjidhur sfidat që historikisht e kanë penguar RAG-un multimodal dhe për të krijuar ColQwen3, përdorëm strategji të bashkimit dhe trajnimit të modeleve.

Në vend që ta përshtatnim imët nga e para një model bazë, zhvilluam një metodë për transferimin e njohurive mbi detyrat e rikthimit nga një model ekzistues i përfshirjes tekstuale. Një VLM standard di t'i përshkruajë imazhet, por jo domosdoshmërisht t'i renditë semantikisht kundrejt një pyetjeje.

Për ta kapërcyer këtë hendek, përdorëm strategji të akorduara të peshimit të bashkimit. Në eksperimentet tona zbuluam se aftësia e rikthimit e Qwen3-Embedding në hapësirën latente tekstuale mund të transferohej drejtpërdrejt në hapësirën multimodale, duke u përgjithësuar për rikthimin e imazheve dhe videove edhe pa trajnim të menjëhershëm. Duke e përdorur këtë inicializim efikas si pikënisje të fortë, më pas e përshtatëm imët modelin për ta optimizuar më tej performancën dhe për të garantuar qëndrueshmëri. Kjo përmirëson performancën përfundimtare të rikthimit krahasuar me përshtatjen e imët të modelit bazë Qwen3-VL.

Pasi transferuam aftësitë e përfshirjes, u përqendruam tek harmonizimi. Kryem kërkime të kujdesshme të hiperparametrave dhe studime ablacioni, duke përfshirë numrin optimal të epokave, madhësinë e grupit, ritmin e të nxënit, rangun LoRA dhe përzierjen e grupeve të të dhënave, për të maksimizuar performancën e rikthimit.

Si grupe të dhënash për përshtatjen e imët zgjodhëm VDR, grupin e trajnimit ColPali, visrag_syn, dhe visrag_ind. Për përshtatjen e imët përdorëm kampionimin UniMax. Meqë zbatuam bashkimin e modeleve dhe modeli bazë i bashkuar trashëgon tashmë një pjesë të aftësisë multimodale të rikthimit, zbuluam se shtimi i grupeve të tjera të të dhënave do ta ulte pak performancën; prandaj nuk e zgjeruam numrin e tyre.

Këta janë hiperparametrat që zgjodhëm për përshtatjen e imët:

Historikisht, modelet që përdornin përfshirje në nivel tokeni «sipas stilit ColBERT» (si ColPali) ofronin performancë të jashtëzakonshme, por me kosto të papërballueshme ruajtjeje. Indeksimi i çdo tokeni pamor krijonte baza masive të dhënash vektoriale, tepër të kushtueshme për shkallën e ndërmarrjeve.

• Strategjia e optimizimit: Sfidën e ruajtjes e trajtuam duke balancuar me kujdes madhësinë e përfshirjeve, për të ruajtur performancën maksimale pa lejuar rritjen e pakontrolluar të kostove. Për të ruajtur saktësinë SOTA brenda kësaj madhësie efikase, zgjodhëm me kujdes 320 si numër dimensionesh, për ekuilibrin më të mirë mes performancës së rikthimit dhe kostos së ruajtjes.

• • Baza krahasuese: Një qasje standarde (si NVIDIA Nemo-3B) kërkon rreth 10.3 TB për të ruajtur përfshirjet e 1 milion imazheve (1,802 tokenë @ 3,072 dimensione).

  • ColQwen3: Të njëjtat 1 milion imazhe i ruan në vetëm 0.82 TB (maksimumi 1,280 tokenë @ 320 dimensione).

ColQwen3 arrin saktësi SOTA në rikthim pa e tejkaluar buxhetin e infrastrukturës cloud.

E validuam qasjen tonë me paketën e standardeve ViDoRe. Rezultatet konfirmojnë se ColQwen3 vendos standarde të reja në testet më të fundit V3 dhe V2, si në anglisht ashtu edhe në shumë gjuhë, duke ruajtur njëkohësisht performancë të nivelit më të lartë në detyrat e mëparshme V1.

ColQwen3-8B kryeson në rikthimin në anglisht dhe në shumë gjuhë.

nDCG@5 në anglisht

nDCG@5 shumëgjuhësh

Performancë e lartë dhe e qëndrueshme në ESG, ekonomi dhe DocVQA.

Për të treguar se ColQwen3 përgjithëson fuqishëm në rikthimin e videove, i vlerësuam modelet në standardin CareBench për detyrat tekst-në-video (rikthim i përgjithshëm).

Për këtë vlerësim përdorëm një qasje të kodimit të videos së papërpunuar: modelet tona i koduan drejtpërdrejt skedarët video, pa shënime shtesë tekstuale apo të dhëna hyrëse metadatash. Kjo nxjerr në pah aftësinë e modelit për të kryer rikthim vetëm në bazë të semantikës pamore.

Një nga ndryshimet më të thella që mundëson ColQwen3 është aftësia për ta trajtuar videon njësoj si dokumentet. Në shumë ndërmarrje, videot janë «të dhëna të errëta». Ato mbeten në arkivim afatgjatë, krejtësisht të pakërkueshme, përveçse kur dikush ka etiketuar manualisht çdo skedar.

ColQwen3 e ndryshon këtë duke mundësuar rikthimin kuadër pas kuadri në klipe të segmentuara.

Çdo ditë, ndërmarrjet regjistrojnë mijëra orë takimesh të brendshme me video dhe, zakonisht, këto regjistrime humbasin në harresë.

• Rrjedha e punës: Duke i segmentuar automatikisht regjistrimet e gjata të takimeve në klipe më të shkurtra e logjike dhe duke i indeksuar me ColQwen3, krijoni një «kujtesë të korporatës» ku mund të kërkohet.

• Pyetja: Një menaxher projekti mund të kërkojë: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Rezultati: Në vend që të kthejë një skedar video 60-minutësh, sistemi gjen pikërisht segmentin 45-sekondësh ku diagrami përkatës u shfaq në ekran dhe u diskutua, edhe nëse folësit nuk e thanë shprehimisht fjalën «vonesë» pikërisht në atë çast.

Kalimi në përfshirje multimodale native mundëson rrjedha pune krejtësisht të reja në të gjitha industritë. E kemi testuar gjerësisht këtë model në disa nga mjediset më komplekse të të dhënave të ndërmarrjeve.

E testuam ColQwen3 me sfidat e të dhënave që hasin firmat e konsulencës urbane, të cilat menaxhojnë biblioteka masive planesh të përgjithshme, hartash zonimi dhe pamjesh arkitekturore komplekse.

• Sfida: Në këto mjedise, proceset tradicionale RAG hasin vështirësi. Mjetet OCR zakonisht i përshkruajnë planet komplekse të zonave thjesht si «skemë», duke humbur hollësi kyçe për qarkullimin, zonat e gjelbra ose distancat e ndërtesave nga kufijtë.

• Performanca: Testet tona të brendshme tregojnë se ColQwen3 shmang me efektivitet nevojën për parapërpunim të kushtueshëm me OCR/përshkrim. Në testet me vizatime arkitekturore me dendësi të lartë, modeli riktheu me sukses dokumente sipas shenjuesve të veçantë pamorë, si pikat e hyrjes për këmbësorë ose kufijtë e dallueshëm të zonimit. Kjo tejkaloi ndjeshëm bazat vetëm me tekst dhe premton ulje drastike të kostove të përvetësimit të njohurive.

Bankierët e investimeve dhe analistët shpenzojnë mijëra orë duke shqyrtuar raporte vjetore dhe prezantime për investitorët.

• Rrjedha e punës: Një analist mund të kërkojë: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Ndryshimi: Në vend që të mbështetet te përputhja e fjalëve kyçe, modeli rikthen slajdin e saktë sipas pranisë pamore të vizualizimit specifik të të dhënave, duke i lejuar sistemit RAG t'u përgjigjet pyetjeve me saktësi të lartë.

Kompanitë prodhuese kanë biblioteka të mëdha manualesh teknike dhe diagramesh tubacionesh dhe instrumentesh (P&ID).

• Rrjedha e punës: Një inxhinier në terren që riparon një turbinë mund të fotografojë një pjesë ose të kërkojë: “Show me the wiring diagram for the hydraulic pump assembly.”

• Ndryshimi: ColQwen3 identifikon paraqitjen pamore të skemës elektrike dhe rikthen faqen e duhur, duke mundësuar uljen me disa orë të kohës së ndërprerjes.

Zbulimi ligjor përfshin shqyrtimin e miliona faqeve të skanuara, ku «gjilpëra në kashtë» është shpesh një shenjues pamor.

• Rrjedha e punës: Një zyrtar pajtueshmërie mund të kërkojë “Documents signed by the CFO” ose “Contracts containing the official ‘Confidential’ stamp.”

• Ndryshimi: Modeli dallon një draft nga një dokument i finalizuar sipas pranisë pamore të nënshkrimeve ose vulave, diçka që OCR-ja e pastër shpesh nuk e kap.

ColQwen3 ka pesha të hapura (Apache 2.0) dhe tani ofrohet në Hugging Face. E kemi projektuar si një përmirësim të drejtpërdrejtë për proceset moderne RAG, duke ofruar kodin e inferencës që nevojitet për të përpunuar menjëherë tekst, imazhe dhe video.

Për ndërmarrjet e gatshme të shkojnë përtej kërkimit të thjeshtë tekstual dhe të çlirojnë Inteligjencën e bllokuar në asetet e tyre pamore, ky është standardi i ri.

Hapi tjetër: Eksploroni kartën e modelit dhe provoni demonstrimin drejtpërdrejt në Hugging Face: /-colqwen3-embed-8b dhe /-colqwen3-embed-4b