Zaidi ya maandishi: kufungua RAG halisi ya modi nyingi kutoka mwanzo hadi mwisho

Kwa miaka miwili iliyopita, “RAG” (Uzalishaji Ulioimarishwa kwa Urejeshaji) imehusishwa karibu kabisa na maandishi. Utaratibu wa kawaida ni rahisi: chukua hati, toa maandishi, yagawanye katika vipande na uyaorodheshe.

Lakini ulimwengu wa mashirika hautegemei faili za maandishi rahisi. Unategemea PDF changamano, slaidi zenye chati nyingi, michoro ya CAD, ankara zilizochanganuliwa na, kwa kiwango kinachoongezeka, hifadhi kubwa za video.

Kiwango cha sekta cha kushughulikia haya—kutumia OCR au Vision LLM “kufafanua” picha kwa maandishi kabla ya kuipachika—ni kikwazo kikubwa. Ni polepole, ghali na bila kuepukika hupoteza muktadha muhimu wa nafasi na picha wa data asili. Ikiwa AI yako inafafanua picha changamano kama “ramani ya ujenzi” tu, unapoteza uwezo wa kutafuta vali au mchoro mahususi wa nyaya uliomo.

Leo, tunatoa familia ya miundo ya kisasa zaidi ya upachikaji wa modi nyingi, iliyojengwa juu ya usanifu wa ColPali na iliyoundwa kutatua tatizo hili kwa kuwezesha urejeshaji wa picha kutoka mwanzo hadi mwisho.

Kuunda mfumo bora kabisa wa urejeshaji wa modi nyingi si rahisi kama kuchukua Muundo wa Picha na Lugha (VLM) ulio tayari na kuuomba utafute. Ili kutatua changamoto ambazo kwa muda mrefu zimezuia RAG ya modi nyingi na kuunda ColQwen3, tulitumia mikakati ya kuunganisha na kufunza miundo.

Badala ya kuboresha muundo msingi kutoka mwanzo, tulibuni mbinu ya kuhamisha maarifa ya kazi za urejeshaji kutoka kwa muundo uliopo wa upachikaji wa maandishi. VLM ya kawaida inajua kueleza picha, lakini si lazima ijue kuzipanga kulingana na maana yake dhidi ya hoja.

Ili kuziba pengo hili, tulitumia mikakati ya uzani uliounganishwa na kusawazishwa. Katika majaribio yetu, tuligundua kuwa uwezo wa urejeshaji wa Qwen3-Embedding katika nafasi fiche ya maandishi unaweza kuhamishwa moja kwa moja hadi nafasi ya modi nyingi, na kutumika kwa urejeshaji wa picha na video hata bila mafunzo ya mara moja. Baada ya kutumia uanzishaji huu bora kama msingi imara, tuliboresha muundo zaidi ili kuongeza utendaji na kuhakikisha uthabiti. Hii huboresha utendaji wa mwisho wa urejeshaji ikilinganishwa na kuboresha muundo msingi wa Qwen3-VL.

Baada ya kuhamisha uwezo wa upachikaji, tulilenga upatanishaji. Tulifanya utafutaji makini wa vigezo vikuu na tafiti za kuondoa vipengele, zikiwemo idadi bora ya awamu za mafunzo, ukubwa wa kundi, kasi ya ujifunzaji, daraja la LoRA na mchanganyiko wa seti za data, ili kuongeza utendaji wa urejeshaji.

Kwa seti za data, tulichagua VDR, seti ya mafunzo ya ColPali, visrag_syn, na visrag_ind kwa uboreshaji wetu mahususi. Tulitumia usampulishaji wa UniMax kwa uboreshaji mahususi. Kwa kuwa tuliunganisha miundo na muundo msingi uliounganishwa tayari umerithi sehemu ya uwezo wa urejeshaji wa modi nyingi, tuligundua kuwa kuongeza seti zaidi za data kungepunguza utendaji kidogo; kwa hiyo, hatukuongeza seti zaidi.

Hivi ndivyo vigezo vikuu tulivyochagua kwa uboreshaji mahususi:

Kihistoria, miundo iliyotumia upachikaji wa kiwango cha tokeni wa “mtindo wa ColBERT” (kama ColPali) ilitoa utendaji wa ajabu, lakini kwa gharama kubwa mno ya hifadhi. Kuorodhesha kila tokeni ya picha kuliunda hifadhidata kubwa za vekta ambazo zilikuwa ghali mno kutumiwa kwa kiwango cha mashirika.

• Mkakati wa uboreshaji: Tulitatua changamoto ya hifadhi kwa kusawazisha kwa makini ukubwa wa upachikaji wetu ili kudumisha utendaji wa juu zaidi bila kuruhusu gharama za hifadhi kupanda kupita kiasi. Ili kudumisha usahihi wa SOTA katika ukubwa huu unaofaa, tulichagua kwa makini vipimo 320 ili kusawazisha vyema utendaji wa urejeshaji na gharama ya hifadhi.

• • Kiwango cha msingi: Mbinu ya kawaida (kama NVIDIA Nemo-3B) huhitaji takribani TB 10.3 kuhifadhi upachikaji wa picha milioni 1 (tokeni 1,802 @ vipimo 3,072).

  • ColQwen3: Huhifadhi picha hizo milioni 1 katika TB 0.82 pekee (hadi tokeni 1,280 @ vipimo 320).

ColQwen3 hufikia usahihi wa SOTA wa urejeshaji bila kuongeza kupita kiasi bajeti ya miundombinu ya wingu.

Tulithibitisha mbinu yetu kwa kutumia mkusanyiko wa vigezo vya ViDoRe. Matokeo yanathibitisha kuwa ColQwen3 inaweka viwango vipya kwenye vigezo vya karibuni vya V3 na V2 (vya Kiingereza na lugha nyingi), huku ikidumisha utendaji wa kiwango cha juu kwenye kazi za zamani za V1.

ColQwen3-8B inaongoza katika urejeshaji wa Kiingereza na lugha nyingi.

nDCG@5 ya Kiingereza

nDCG@5 ya lugha nyingi

Utendaji bora kwa uthabiti katika ESG, Uchumi na DocVQA.

Ili kuonyesha kuwa ColQwen3 inaweza kutumika vyema katika urejeshaji wa video, tulitathmini miundo kwa kutumia kigezo cha CareBench kwa kazi za kubadili maandishi kuwa video (Urejeshaji wa Jumla).

Kwa tathmini hii, tulitumia mbinu ya usimbaji wa video ghafi: miundo yetu ilisimba faili za video moja kwa moja bila ufafanuzi wa ziada wa maandishi au ingizo la metadata. Hili linaonyesha uwezo wa muundo kufanya urejeshaji kwa kutegemea maana ya picha pekee.

Mojawapo ya mabadiliko makubwa zaidi yanayowezeshwa na ColQwen3 ni uwezo wake wa kushughulikia video kama hati. Katika mashirika mengi, video ni “data iliyofichika.” Huhifadhiwa kwenye hifadhi isiyotumika mara kwa mara na haiwezi kutafutwa kabisa isipokuwa mtu aweke lebo kwenye kila faili.

ColQwen3 inabadilisha hali hii kwa kuwezesha urejeshaji wa kila fremu kwenye klipu zilizogawanywa.

Kila siku, mashirika hurekodi maelfu ya saa za mikutano ya ndani ya video na kwa kawaida rekodi hizi husahaulika kabisa.

• Mtiririko wa kazi: Kwa kugawanya kiotomatiki rekodi ndefu za mikutano kuwa klipu fupi zenye mantiki na kuziorodhesha kwa ColQwen3, unaunda “kumbukumbu ya shirika” inayoweza kutafutwa.

• Hoja: Msimamizi wa mradi anaweza kuuliza: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Matokeo: Badala ya kurudisha faili ya video ya dakika 60, mfumo hurejesha sehemu halisi ya sekunde 45 ambapo mchoro huo ulionyeshwa kwenye skrini na kujadiliwa, hata kama wazungumzaji hawakutaja neno “latency” katika sekunde hiyo.

Kuhamia kwenye upachikaji asilia wa modi nyingi kunafungua mitiririko mipya kabisa ya kazi katika sekta mbalimbali. Tumepima muundo huu kwa kina dhidi ya baadhi ya mazingira changamano zaidi ya data za mashirika.

Tulijaribu ColQwen3 dhidi ya changamoto za data zinazokabili kampuni za ushauri wa mijini, ambazo husimamia maktaba kubwa za mipango kabambe, ramani za matumizi ya ardhi na michoro changamano ya majengo.

• Changamoto: Katika mazingira haya, mifumo ya kawaida ya RAG hupata matatizo. Zana za OCR kwa kawaida hufafanua mipango changamano ya maeneo kwa neno “mchoro” pekee, hivyo kukosa maelezo muhimu kuhusu mtiririko wa magari, maeneo ya kijani au nafasi kati ya jengo na mpaka.

• Utendaji: Tathmini zetu za ndani zinaonyesha kuwa ColQwen3 huondoa kwa ufanisi hitaji la uchakataji wa awali wa gharama kubwa wa OCR/ufafanuzi wa picha. Katika majaribio ya michoro ya usanifu yenye maelezo mengi, muundo ulirejesha hati kwa mafanikio kulingana na viashiria maalum vya picha, kama vile njia za waenda kwa miguu au mipaka tofauti ya matumizi ya ardhi. Ulizidi kwa kiasi kikubwa viwango vya mifumo ya maandishi pekee, huku ukiahidi kupunguza sana gharama za kuingiza maarifa.

Mabenki ya uwekezaji na wachambuzi hutumia maelfu ya saa kuchunguza ripoti za mwaka na slaidi za wawekezaji.

• Mtiririko wa kazi: Mchambuzi anaweza kuuliza, “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Mabadiliko: Badala ya kutegemea maneno yanayolingana, muundo hurejesha slaidi halisi kulingana na uwepo wa picha wa uwasilishaji mahususi wa data, hivyo kuruhusu mfumo wa RAG kujibu maswali kwa usahihi wa juu.

Kampuni za utengenezaji zina maktaba kubwa za miongozo ya kiufundi na michoro ya mabomba (P&IDs).

• Mtiririko wa kazi: Mhandisi wa nyanjani anayerekebisha turbine anaweza kupiga picha ya sehemu au kuuliza, “Show me the wiring diagram for the hydraulic pump assembly.”

• Mabadiliko: ColQwen3 hutambua uwakilishi wa picha wa mchoro wa nyaya na kurejesha ukurasa sahihi, jambo linaloweza kupunguza muda wa kusimama kwa kazi kwa saa kadhaa.

Ugunduzi wa kisheria huhusisha kukagua mamilioni ya kurasa zilizochanganuliwa ambapo kitu kinachotafutwa mara nyingi ni kiashiria cha picha.

• Mtiririko wa kazi: Afisa wa uzingatiaji anaweza kutafuta “Documents signed by the CFO” au “Contracts containing the official ‘Confidential’ stamp.”

• Mabadiliko: Muundo hutofautisha rasimu na hati iliyokamilishwa kwa kutambua saini au mihuri inayoonekana, jambo ambalo OCR pekee mara nyingi hukosa.

ColQwen3 ina uzani wazi (Apache 2.0) na sasa inapatikana kwenye Hugging Face. Tumeiunda iwe toleo jipya linaloweza kuongezwa moja kwa moja kwenye mifumo ya kisasa ya RAG, huku ikitoa msimbo wa uendeshaji unaohitajika kuchakata maandishi, picha na video mara moja.

Kwa mashirika yaliyo tayari kuvuka utafutaji rahisi wa maandishi na kufungua maarifa yaliyofichwa katika rasilimali zao za picha, hiki ndicho kiwango kipya.

Hatua inayofuata: Chunguza kadi ya muundo na ujaribu onyesho la moja kwa moja kwenye Hugging Face: /-colqwen3-embed-8b na /-colqwen3-embed-4b