Thar théacs: RAG ilmhódach ó cheann ceann a fhíorchumasú

Le dhá bhliain anuas, bhí “RAG” (Giniúint Bhreisithe le hAisghabháil) beagnach comhchiallach go huile agus go hiomlán le téacs. Tá an gnáthchur chuige simplí: glac doiciméid, bain an téacs astu, roinn ina smutáin é agus innéacsaigh é.

Ach ní ar chomhaid ghnáth-théacs a fheidhmíonn saol na bhfiontar. Feidhmíonn sé ar PDFanna casta, deiceanna sleamhnán le cairteacha dlútha, líníochtaí CAD, sonraisc scanta agus, de réir a chéile, cartlanna ollmhóra d’ábhar físe.

Is scrogall ollmhór é caighdeán an tionscail chun déileáil leis seo: OCR nó LLManna Físe a úsáid chun “fotheideal” téacsúil a dhéanamh d’íomhá sula leabaítear í. Tá sé mall agus costasach, agus cailleann sé comhthéacs saibhir spásúil agus amhairc na sonraí bunaidh gan teip. Má chuireann d’IS síos ar amharc casta mar “ghormchló” amháin, cailltear an cumas an chomhla nó an scéimléaráid sreangaithe shonrach atá ann a chuardach.

Inniu, táimid ag eisiúint teaghlach samhlacha leabaithe ilmhódaigh úrscothacha, bunaithe ar ailtireacht ColPali, atá ceaptha chun an fhadhb seo a réiteach trí aisghabháil amhairc ó cheann ceann a chumasú.

Ní leor Samhail Físe-Teanga (VLM) réamhdhéanta a thógáil agus iarraidh uirthi cuardach a dhéanamh chun aisghabhálaí ilmhódach atá fíoréifeachtach a chruthú. Chun na dúshláin a réiteach a chuir bac ar RAG ilmhódach go stairiúil agus ColQwen3 a chruthú, d’úsáideamar straitéisí cumaiscthe samhlacha agus oiliúna.

In ionad bunsamhail a mhionchoigeartú ón tús, dhearamar modh chun eolas ar thascanna aisghabhála a aistriú ó shamhail leabaithe téacsúil atá ann cheana. Tá a fhios ag VLM caighdeánach conas cur síos a dhéanamh ar íomhánna, ach ní gá go mbeadh a fhios aige conas iad a rangú go séimeantach i gcoinne iarratais.

Chun an bhearna seo a líonadh, d’úsáideamar straitéisí ualaithe chumaiscthe thiúnta. Inár dturgnaimh, fuaireamar amach go bhféadfaí cumas aisghabhála Qwen3-Embedding sa spás folaigh téacsúil a aistriú go díreach chuig an spás ilmhódach, agus go nginearálódh sé chuig aisghabháil íomhá agus físe fiú gan oiliúint láithreach. Agus an t-inisealú éifeachtach seo á úsáid mar phointe tosaigh láidir, rinneamar an tsamhail a mhionchoigeartú ansin chun an fheidhmíocht a bharrfheabhsú tuilleadh agus stóinseacht a chinntiú. Feabhsaíonn sé an fheidhmíocht aisghabhála deiridh i gcomparáid le mionchoigeartú ón mbunsamhail Qwen3-VL.

Nuair a bhí na cumais leabaithe aistrithe, dhíríomar ar ailíniú. Rinneamar cuardaigh chúramacha hipearpharaiméadar agus staidéir díbhe, lena n-áirítear an líon ab fhearr agaí, méid baisce, ráta foghlama, rang LoRA agus meascán tacar sonraí, chun an fheidhmíocht aisghabhála a uasmhéadú.

Mar thacair sonraí mionchoigeartaithe, roghnaíomar VDR, tacar oiliúna ColPali, visrag_syn, agus visrag_ind. D’úsáideamar sampláil UniMax don mhionchoigeartú. Ós rud é gur chumascamar samhlacha agus go bhfaigheann an bhunsamhail chumaiscthe cuid den chumas aisghabhála ilmhódach le hoidhreacht cheana féin, fuaireamar amach go laghdódh tuilleadh tacar sonraí an fheidhmíocht beagán. Dá bhrí sin, níor mhéadaíomar líon na dtacar sonraí.

Seo iad na hipearpharaiméadair a roghnaíomar don mhionchoigeartú:

Go stairiúil, thairg samhlacha a d’úsáid leabuithe ar leibhéal téacschomhartha ar “stíl ColBERT” (amhail ColPali) feidhmíocht dochreidte, ach bhí an costas stórála ró-ard. Chruthaigh innéacsú gach téacschomhartha amhairc bunachair sonraí veicteora ollmhóra a bhí róchostasach ar scála fiontair.

• An Straitéis Barrfheabhsaithe: Thugamar aghaidh ar an dúshlán stórála trí mhéid ár leabuithe a chothromú go cúramach chun an fheidhmíocht is airde a choinneáil gan ligean do chostais stórála dul ó smacht. Chun cruinneas SOTA a choinneáil laistigh den lorg éifeachtúil seo, roghnaíomar méid toise 320 go cúramach chun an chothromaíocht is fearr a bhaint amach idir feidhmíocht aisghabhála agus costas stórála.

• • Bonnlíne: Teastaíonn tuairim is 10.3 TB ó chur chuige caighdeánach (amhail NVIDIA Nemo-3B) chun leabuithe 1 mhilliún íomhá a stóráil (1,802 téacschomhartha @ 3,072 toise).

  • ColQwen3: Stórálann sé an 1 mhilliún íomhá céanna in 0.82 TB amháin (uasmhéid 1,280 téacschomhartha @ 320 toise).

Baineann ColQwen3 cruinneas aisghabhála SOTA amach gan buiséad an bhonneagair néil a chur ó smacht.

Rinneamar ár gcur chuige a bhailíochtú ar shraith tagarmharcanna ViDoRe. Deimhníonn na torthaí go leagann ColQwen3 caighdeáin nua síos ar na tagarmharcanna V3 agus V2 is déanaí (idir Bhéarla agus Ilteangach), agus feidhmíocht den scoth á coinneáil aige ar thascanna oidhreachta V1.

Tá ColQwen3-8B ar thús cadhnaíochta san aisghabháil Bhéarla agus ilteangach.

nDCG@5 Béarla

nDCG@5 ilteangach

Ardfheidhmíocht chomhsheasmhach in ESG, Eacnamaíocht agus DocVQA.

Chun cumas láidir ColQwen3 ginearálú chuig aisghabháil físe a léiriú, rinneamar na samhlacha a mheas ar thagarmharc CareBench do thascanna téacs-go-físeán (Aisghabháil Ghinearálta).

Don mheastóireacht seo, d’úsáideamar cur chuige amh-ionchódaithe físe: d’ionchódaigh ár samhlacha na comhaid físe go díreach gan aon anótálacha téacsúla ná ionchuir mheiteashonraí bhreise. Léiríonn sé seo cumas na samhla aisghabháil a dhéanamh bunaithe go hiomlán ar shéimeantaic amhairc.

Ceann de na hathruithe is suntasaí a chumasaíonn ColQwen3 ná a chumas caitheamh le físeán díreach mar a chaitear le doiciméid. I mórán fiontar, is “sonraí dorcha” iad físeáin. Bíonn siad i stóras fuar agus ní féidir iad a chuardach ar chor ar bith mura bhfuil gach comhad clibeáilte de láimh ag duine.

Athraíonn ColQwen3 é seo trí aisghabháil fráma ar fhráma a chumasú i ngearrthóga deighilte.

Gach lá, taifeadann fiontair na mílte uair an chloig de chruinnithe inmheánacha físe agus, de ghnáth, téann na taifeadtaí sin amú sa duibheagán.

• An Sreabhadh Oibre: Trí thaifeadtaí fada cruinnithe a dheighilt go huathoibríoch ina ngearrthóga giorra loighciúla agus iad a innéacsú le ColQwen3, cruthaítear “cuimhne chorparáideach” inchuardaithe.

• An tIarratas: Is féidir le bainisteoir tionscadail fiafraí: “Show me the clip where the engineering lead explained the latency issue with the API.”

• An Toradh: In ionad comhad físe 60 nóiméad a thabhairt ar ais, aisghabhann an córas an mhír bheacht 45 soicind inar taispeánadh agus inar pléadh an léaráid shonrach sin ar an scáileán, fiú mura ndúirt na cainteoirí an focal “latency” go sonrach ag an soicind sin.

Cumasaíonn an t-aistriú chuig leabú dúchasach ilmhódach sreafaí oibre úrnua ar fud tionscal. Rinneamar an tsamhail seo a thagarmharcáil go fairsing i gcoinne cuid de na timpeallachtaí sonraí fiontair is casta.

Thástálamar ColQwen3 ar na dúshláin sonraí a bhíonn roimh ghnólachtaí comhairleachta uirbí, a bhainistíonn leabharlanna ollmhóra de mháistirphleananna, léarscáileanna criosaithe agus ingearchlónna ailtireachta casta.

• An Dúshlán: Bíonn deacrachtaí ag píblínte traidisiúnta RAG sna timpeallachtaí seo. De ghnáth, ní chuireann uirlisí OCR ach “scéimléaráid” mar fhotheideal ar phleananna suímh casta, agus fágtar sonraí ríthábhachtacha ar lár faoi shreabhadh tráchta, limistéir ghlasa nó cúlrianta foirgneamh.

• An Fheidhmíocht: Léiríonn ár dtagarmharcanna inmheánacha go seachnaíonn ColQwen3 go héifeachtach an gá le réamhphróiseáil chostasach OCR/fotheidealaithe. I dtástálacha ar líníochtaí ailtireachta ard-dlúis, d’aisghabh an tsamhail doiciméid go rathúil bunaithe ar mharcóirí amhairc sonracha, amhail pointí rochtana coisithe nó teorainneacha criosaithe ar leith. Sháraigh sí bonnlínte téacs-amháin go suntasach agus geallann sí laghdú mór ar chostais ionghabhála eolais.

Caitheann baincéirí infheistíochta agus anailísithe na mílte uair an chloig ag cíoradh tuarascálacha bliantúla agus deiceanna infheisteoirí.

• An Sreabhadh Oibre: Is féidir le hanailísí iarraidh, “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• An tAthrú: In ionad a bheith ag brath ar mheaitseálacha eochairfhocal, aisghabhann an tsamhail an sleamhnán beacht bunaithe ar láithreacht amhairc na léirshamhlaithe sonraí ar leith, rud a ligeann don chóras RAG ceisteanna a fhreagairt le hardchruinneas.

Tá leabharlanna ollmhóra lámhleabhar teicniúil agus léaráidí píobaireachta (P&IDanna) ag gnólachtaí déantúsaíochta.

• An Sreabhadh Oibre: Is féidir le hinnealtóir allamuigh atá ag deisiú tuirbín grianghraf de pháirt a thógáil nó iarraidh, “Show me the wiring diagram for the hydraulic pump assembly.”

• An tAthrú: Aithníonn ColQwen3 léiriú amhairc na léaráide sreangaithe agus aisghabhann sé an leathanach ceart, rud a d’fhéadfadh an tréimhse neamhfhónaimh a laghdú roinnt uaireanta an chloig.

Bíonn athbhreithniú ar na milliúin leathanach scanta i gceist le follasú dlíthiúil, agus is minic gur marcóir amhairc an rud deacair atá á lorg.

• An Sreabhadh Oibre: Is féidir le hoifigeach comhlíonta cuardach a dhéanamh ar “Documents signed by the CFO” nó “Contracts containing the official ‘Confidential’ stamp.”

• An tAthrú: Déanann an tsamhail idirdhealú idir dréacht agus doiciméad críochnaithe bunaithe ar láithreacht amhairc sínithe nó stampaí, rud nach dtugann OCR amháin faoi deara go minic.

Tá meáchain oscailte ag ColQwen3 (Apache 2.0) agus tá sé ar fáil anois ar Hugging Face. Dhearamar é mar uasghrádú díreach do phíblínte RAG nua-aimseartha, agus tá an cód tátail ann a theastaíonn chun téacs, íomhánna agus físeáin a phróiseáil láithreach.

D’fhiontair atá réidh dul níos faide ná cuardach simplí téacs agus an fhaisnéis atá faoi ghlas ina sócmhainní amhairc a scaoileadh, seo é an caighdeán nua.

An Chéad Chéim Eile: Féach ar an gcárta samhail agus bain triail as an taispeántas beo ar Hugging Face: /-colqwen3-embed-8b agus /-colqwen3-embed-4b