Qoraalka ka gudub: fur RAG dhab ah oo habab badan leh, gees-ilaa-geesna ah

Labadii sano ee u dambeeyey, “RAG” (Soo-saarid lagu xoojiyey Soo-celin) wuxuu ku dhowaad si gaar ah ula macne ahaa qoraal. Habka caadiga ahi waa sahlan yahay: qaado dukumentiyada, qoraalka kala bax, qaybi, dabadeedna tusmee.

Laakiin dunida shirkaduhu kuma shaqayso faylal qoraal saafi ah. Waxay ku shaqaysaa PDF-yo adag, bandhigyo ay ka buuxaan jaantusyo, sawirro CAD, qaansheegado la iskaaniyeeyey iyo, marba marka ka dambaysa, kaydad aad u waaweyn oo muuqaallo fiidyow ah.

Habka warshaduhu caadi ahaan u adeegsadaan tan—OCR ama Vision LLMs oo sawirka qoraal ahaan u “sharraxa” ka hor matalaaddiisa—waa xannibaad aad u weyn. Waa gaabis, qaali, waxaana lama huraan ah inuu lumiyo macnaha hodanka ah ee goobta iyo muuqaalka xogta asalka ah. Haddii AI-gaagu muuqaal adag ku soo koobo “naqshad farsamo,” waxaad luminaysaa awoodda aad ku raadin lahayd waalka ama shaxda fiilooyinka gaarka ah ee ku dhex jira.

Maanta, waxaan soo saaraynaa qoys noocyo matalaad habab badan leh oo heerka ugu sarreeya, laguna dhisay naqshadda ColPali. Waxaa loogu talagalay inay dhibaatadan ku xalliyaan soo-celinta muuqaalka gees-ilaa-gees.

Dhisidda soo-ceshe habab badan leh oo dhab ahaan wax-ku-ool ahi ma aha oo keliya inaad qaadato Nooc Muuqaal-Luqadeed (VLM) oo diyaar ah oo aad ku tidhaahdo wax raadi. Si aan u xallinno caqabadihii taariikh ahaan dib u dhigay RAG-ga hababka badan leh una samayno ColQwen3, waxaan adeegsanay isku-darka noocyada iyo xeelado tababar.

Halkii aan nooc saldhig ah eber ka habayn lahayn, waxaan farsamaynay hab aqoonta hawlaha soo-celinta looga soo gudbiyo nooc matalaad qoraaleed oo jira. VLM-ga caadiga ahi wuu yaqaan sida sawirrada loo sharraxo, laakiin qasab ma aha inuu yaqaan sida macnahooda loogu kala sarreysiiyo marka lala barbar dhigo weydiin.

Si aan farqigan u buuxinno, waxaan adeegsanay xeelado miisaan isku-dar la habeeyey. Tijaabooyinkayaga, waxaan ku ogaanay in awoodda soo-celinta Qwen3-Embedding ee booska qarsoon ee qoraalka si toos ah loogu gudbin karo booska hababka badan leh, isla markaana loogu guudmaro soo-celinta sawirrada iyo fiidyowga xataa iyadoo aan markiiba la tababarin. Annagoo bilow adag uga faa'iidaysanayna dejintan wax-ku-oolka ah, waxaan markaas sii habaynay nooca si aan waxqabadka u hagaajinno una xaqiijinno adkaysigiisa. Waxay hagaajisaa waxqabadka ugu dambeeya ee soo-celinta marka loo eego habaynta laga bilaabo nooca saldhigga ah ee Qwen3-VL.

Markii awoodaha matalaadda la gudbiyey, waxaan diiradda saarnay iswaafajinta. Waxaan samaynay raadinta xuduudaha sare iyo daraasadaha ka-reebista oo taxaddar leh, kuwaas oo ay ka mid ahaayeen tirada ugu habboon ee wareegyada tababarka, cabbirka dufcadda, heerka barashada, darajada LoRA iyo isku-darka xogururrada, si loo kordhiyo waxqabadka soo-celinta.

Xogururrada, waxaan u doorannay VDR, xogururka tababarka ColPali, visrag_syn, iyo visrag_ind inay noqdaan xogururradayada habayn-dheeraadka. Habayn-dheeraadka waxaan u adeegsannay muunad-qaadista UniMax. Maadaama aan adeegsanay isku-darka noocyada, nooca saldhigga ah ee la isku darayna uu hore u dhaxlay qayb ka mid ah awoodda soo-celinta hababka badan leh, waxaan ogaanay in kordhinta xogururradu ay dhab ahaantii waxqabadka wax yar hoos u dhigayso; sidaas darteed xogururro dheeraad ah kuma aannu darin.

Kuwani waa xuduudaha sare ee aan u doorannay habayn-dheeraadka:

Taariikh ahaan, noocyada adeegsada matalaadaha heer-token ee “qaabka ColBERT” (sida ColPali) waxay bixiyeen waxqabad cajiib ah, balse kharashka kaydintoodu wuxuu ahaa mid aad u badan. Tusmaynta token kasta oo muuqaal ah waxay abuurtay saldhigyo xogeed vector oo aad u waaweyn, kuwaas oo aad qaali ugu ahaa baaxadda shirkadaha.

• Xeeladda Hagaajinta: Waxaan caqabadda kaydinta ku xallinnay annagoo si taxaddar leh u dheellitirnay cabbirka matalaadahayaga, si loo ilaaliyo waxqabadka ugu badan loogana hortago in kharashka kaydintu faraha ka baxo. Si aan saxnaanta SOTA ugu ilaalinno baaxaddan hufan, waxaan si taxaddar leh u doorannay cabbir 320 ah, maadaama uu bixiyo dheellitirka ugu wanaagsan ee waxqabadka soo-celinta iyo kharashka kaydinta.

• • Saldhigga: Habka caadiga ah (sida NVIDIA Nemo-3B) wuxuu u baahan yahay qiyaastii 10.3 TB si loo kaydiyo matalaadaha 1 milyan oo sawir (1,802 token @ 3,072 cabbir).

  • ColQwen3: Wuxuu isla 1 milyan ee sawir ku kaydiyaa 0.82 TB oo keliya (ugu badnaan 1,280 token @ 320 cabbir).

ColQwen3 wuxuu gaadhaa saxnaanta soo-celinta SOTA isaga oo aan miisaaniyadda kaabayaasha daruurta faraha ka saarin.

Waxaan habkayaga ku xaqiijinnay xirmada bartilmaameedyada ViDoRe. Natiijooyinku waxay xaqiijinayaan in ColQwen3 uu heerar cusub ka dejiyey bartilmaameedyadii ugu dambeeyey ee V3 iyo V2 (Ingiriisi iyo Luqado badanba), isagoo weli waxqabad heer sare ah ka muujinaya hawlihii hore ee V1.

ColQwen3-8B ayaa hoggaaminaya soo-celinta Ingiriisiga iyo luqadaha badan.

nDCG@5 Ingiriisi

nDCG@5 Luqado badan

Waxqabad sare oo joogto ah dhammaan ESG, Dhaqaalaha iyo DocVQA.

Si aan u muujinno in ColQwen3 si fiican ugu guudmaro soo-celinta fiidyowga, waxaan noocyada ku qiimaynnay bartilmaameedka CareBench ee hawlaha qoraal-ka-fiidyowga (Soo-celinta Guud).

Qiimayntan waxaan u adeegsannay hab sirayn fiidyow ceeriin ah: noocyadeennu waxay toos u sireen faylasha fiidyowga, iyaga oo aan helin sharraxaado qoraal ama xog-sifeeye dheeraad ah. Tani waxay muujinaysaa awoodda nooca ee soo-celinta ku salaysan macnaha muuqaalka oo keliya.

Mid ka mid ah isbeddellada ugu qotada dheer ee ColQwen3 suurtogeliyey waa awooddiisa uu fiidyowga ula dhaqmo sida dukumentiyada oo kale. Shirkado badan, fiidyowgu waa “xog mugdi ah.” Wuxuu yaallaa kayd aan firfircoonayn, lamana baari karo ilaa qofku gacantiisa summad ugu dhejiyo fayl kasta.

ColQwen3 wuxuu tan beddelayaa isagoo suurtogelinaya soo-celinta jir-jir ah ee googo'yo la qaybiyey.

Maalin kasta, shirkaduhu waxay duubaan kumannaan saacadood oo shirar fiidyow gudaha ah; caadi ahaanna duubistaasi way luntaa.

• Hab-socodka: Markaad duubista shirarka dhaadheer si toos ah ugu qaybiso googo'yo gaagaaban oo macquul ah, dabadeedna ColQwen3 ku tusmayso, waxaad abuuraysaa “xusuus shirkadeed” la baari karo.

• Weydiinta: Maareeyaha mashruucu wuxuu odhan karaa: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Natiijada: Halkii uu soo celin lahaa fayl fiidyow oo 60 daqiiqo ah, nidaamku wuxuu soo saarayaa qaybta saxda ah ee 45-ka ilbidhiqsi ah ee jaantuskaas gaarka ah lagu soo bandhigay shaashadda lagagana hadlay, xataa haddii hadlayaashu aanay ilbidhiqsigaas si cad u odhan ereyga “daahitaan.”

U guuridda matalaadda asal ahaan habab badan leh waxay suurtogelinaysaa hab-socodyo gebi ahaan cusub oo warshado badan ah. Noocan waxaan si ballaadhan ugu cabbirnay qaar ka mid ah deegaannada xogta shirkadaha ee ugu adag.

Waxaan ColQwen3 ku tijaabinnay caqabadaha xogta ee haysta shirkadaha la-talinta magaalooyinka, kuwaas oo maamula kaydad waaweyn oo qorshayaasha guud, khariidadaha aag-qaybinta iyo muuqaalada dhismayaasha ee adag.

• Caqabadda: Deegaannadan, hab-socodyada RAG ee dhaqameed way dhibtoodaan. Qalabka OCR wuxuu caadi ahaan qorshayaasha goobaha ee adag ku soo koobaa “shax,” isagoo seegaya faahfaahin muhiim ah oo ku saabsan socodka gaadiidka, aagagga cagaaran ama masaafada dhismayaasha.

• Waxqabadka: Bartilmaameedyadayada gudaha waxay muujinayaan in ColQwen3 si wax-ku-ool ah meesha uga saaro baahida hordiyaarinta qaaliga ah ee OCR/samaynta sharraxaadaha. Tijaabooyinka sawirrada naqshadeed ee cufnaanta sare leh, noocu wuxuu si guul leh u soo celiyey dukumentiyo ku salaysan calaamado muuqaal gaar ah, sida meelaha dadka lugaynaya ka galaan ama xuduudaha aag-qaybinta ee kala soocan. Wuxuu si weyn uga fiicnaaday saldhigyada qoraalka keliya, isagoo sidoo kale ballanqaadaya dhimista weyn ee kharashka gelinta aqoonta.

Bangiyada maalgashiga iyo falanqeeyayaashu waxay kumannaan saacadood ku bixiyaan baadhista warbixinnada sannadlaha ah iyo bandhigyada maalgashadayaasha.

• Hab-socodka: Falanqeeye wuxuu odhan karaa, “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Isbeddelka: Halkii uu ku tiirsanaan lahaa iswaafajinta ereyada muhiimka ah, noocu wuxuu soo celinayaa bogga bandhigga ee saxda ah isagoo ku salaynaya muuqaalka xog-muujinta gaarka ah, taasoo nidaamka RAG u oggolaanaysa inuu su'aalaha si aad u sax ah uga jawaabo.

Shirkadaha wax-soo-saarku waxay haystaan kaydad aad u ballaadhan oo buugaag farsamo iyo jaantusyada dhuumaha ah (P&IDs).

• Hab-socodka: Injineer goobta jooga oo hagaajinaya marawaxad wuxuu sawir ka qaadi karaa qayb ama odhan karaa, “Show me the wiring diagram for the hydraulic pump assembly.”

• Isbeddelka: ColQwen3 wuxuu aqoonsadaa muuqaalka jaantuska fiilooyinka, wuxuuna soo celiyaa bogga saxda ah, taasoo suurtagal ahaan saacado ka dhimaysa hakadka shaqada.

Baadhista sharcigu waxay ku lug leedahay dib-u-eegista malaayiin bog oo la iskaaniyeeyey, halkaas oo waxa la raadinayo badanaa yahay calaamad muuqaal ah.

• Hab-socodka: Sarkaalka u-hoggaansanaantu wuxuu raadin karaa “Documents signed by the CFO” ama “Contracts containing the official ‘Confidential’ stamp.”

• Isbeddelka: Noocu wuxuu kala saaraa qabyo-qoraal iyo dukumenti la dhammeeyey isagoo ku salaynaya muuqaalka saxeexyada ama shaabadaha, taas oo OCR keli ahi inta badan seego.

ColQwen3 waa miisaanno furan (Apache 2.0), waxaana hadda laga heli karaa Hugging Face. Waxaan ugu talagalnay inuu noqdo casriyeyn si toos ah loogu dari karo hab-socodyada RAG ee casriga ah, iyadoo la siinayo koodhka fulinta ee loo baahan yahay si isla markiiba loo habeeyo qoraal, sawirro iyo fiidyow.

Shirkadaha diyaar u ah inay ka gudbaan raadinta qoraalka fudud oo ay furaan garaadka ku xanniban hantidooda muuqaalka ah, kani waa heerka cusub.

Tallaabada Xigta: Eeg kaadhka nooca oo tijaabi bandhigga tooska ah ee Hugging Face: /-colqwen3-embed-8b iyo /-colqwen3-embed-4b