Megjithatë, ndonëse shumë njerëz e kanë përdorur kërkimin e thelluar individualisht—për të kërkuar dhe përmbledhur informacione në internet—pak prej tyre kanë përfituar prej tij në një ndërmarrje. Kjo nuk ndodh sepse nuk do të ishte i dobishëm (përkundrazi), por për shkak të shqetësimeve më të gjera rreth besueshmërisë, burimeve të shpërndara të të dhënave dhe/ose aftësisë së modelit për të përballuar sasi të mëdha konteksti (mendoni një numër të stërmadh skedarësh të llojeve të ndryshme).
Përvoja jonë gjatë 12 muajve të fundit në ndërtimin e mjeteve të kërkimit të thelluar për ndërmarrje ka treguar se këto shqetësime mund të zbuten gjithnjë e më shumë përmes inxhinierisë së menduar mirë. Në këtë artikull diskutojmë pengesat kryesore për zbatime efektive të kërkimit të thelluar në ndërmarrje, mënyrën si do t’i kapërcenim dhe si presim të zhvillohet kjo fushë gjatë vitit 2026.
Kufiri i ekzekutimit është rritur ndjeshëm. Mbërritja e gpt-5 në gusht 2025 shënoi një pikë kthese për IA-në në ndërmarrje. Në sistemet tona në prodhim, përfshirë një platformë për zbulimin e objektivave farmakologjikë për një nga kompanitë më të mëdha farmaceutike në botë, pamë se halucinimi i burimeve ra nga 3–4% në praktikisht zero. Më pas, në dhjetor, gpt-5.2 e zgjati edhe më tej kontekstin efektiv. Rezultati praktik: tani mund të kalojmë nga qindra në mijëra burime për çdo proces kërkimi, pa cenuar besueshmërinë. Pengesa është zhvendosur nga aftësia e modelit atje ku duhej të ishte: te të dhënat, vlerësimet dhe projektimi i programit tuaj.
Strategjia e të dhënave: qasja është më e rëndësishme se unifikimi. Prirja për ta trajtuar IA-në në ndërmarrje si problem të integrimit të të dhënave është e kuptueshme, por shpesh kundërproduktive. Unifikimi i plotë është i ngadaltë, ndikohet nga politika e brendshme dhe ju detyron të angazhoheni para kohe, pa mësuar ende se cilat pyetje kanë vërtet rëndësi. Zgjidhja pragmatike në vitin 2026 është lidhja e rrallë. Bëjini të dhënat të qasshme përmes pikave referuese me sinjal të lartë (specifikime, politika, SKU, klauzola kontratash), në vend që të prisni vite për të unifikuar gjithçka. Modelet avangardë tani mund të kryejnë «bashkime të buta» ndërmjet sistemeve gjatë inferencës, duke lidhur terma pa përkufizime formale të korrespondencës. Kështu ruani shpejtësinë e vendosjes dhe fleksibilitetin për të shtuar burime më vonë.
Orientimi parandalon endjen pa drejtim. Të dhënat e ndërmarrjes nuk janë si uebi. Ato janë të rralla, plot konvencione lokale dhe shpesh kanë vetëm një burim të saktë për një fakt të caktuar. Pa udhëzim, modelet priren të kalojnë pareshtur nga një kërkim te tjetri për të gjetur edhe një burim, duke rritur vonesën dhe duke shteruar durimin e përdoruesit. Një shtresë e lehtë semantike (harta hash, kërkime entitetesh, grafikë të thjeshtë marrëdhëniesh) i jep sistemit mënyra të shpejta dhe me kosto të ulët për të arritur me efikasitet te konteksti i duhur. Mendojeni si këshillën që një koleg me përvojë i jep një punonjësi të ri: «Ruaji këto sajte te faqeshënuesit; për probleme me AWS, fol me Ross-in.» Nuk ka pse të jetë e ndërlikuar. Mjafton ta ndihmojë sistemin të gjejë shpejt atë që i nevojitet.
Mekanike (kryhen për çdo pyetje): cilësia e citimeve, përdorimi korrekt i mjeteve, vonesa dhe kostoja. Këto janë masat tuaja mbrojtëse: të zakonshme, por thelbësore.
Analitike (kryhen periodikisht): A po zgjedh sistemi mjetet e duhura, drejtime të arsyeshme kërkimi dhe burime autoritative? A di kur të ndalojë? Zakonisht vlerësohen me metodën LLM-si-gjykues, kundrejt shembujve të etiketuar.
Të përdoruesit (në vazhdimësi): normat e përfundimit të detyrave, komentet cilësore nga përdoruesit e avancuar dhe analitika e përdorimit. Prova përfundimtare. A kemi ndërtuar diçka që njerëzit e konsiderojnë të dobishme?
ROI-ja vjen nga problemet e vështira, jo nga ato pa rrezik. Pas raportimeve se shumica e projekteve të IA-së në ndërmarrje nuk arrijnë ROI, toleranca për demonstrime mbresëlënëse që nuk dalin kurrë në prodhim është zhdukur. Drejtuesit duan prova dhe i duan shpejt. Në mënyrë paradoksale, ky presion mund t’i shtyjë ekipet drejt zgjedhjeve të gabuara. Tundimi është të fillohet me detyra me pak rrezik, sepse vendosen lehtë dhe nuk pritet të shkaktojnë kundërshtime. Por këto raste përdorimi rrallë sjellin ndikim të mjaftueshëm për të përligjur investime të mëtejshme. Sistemet e kërkimit të thelluar për ndërmarrje janë të pozicionuara mirë për të dëshmuar vlerën, sepse synojnë punë që tashmë kushtojnë shumë: procese komplekse me rrezik të lartë, ku kostoja e gjendjes aktuale është e dukshme. Rastet më të fuqishme që kemi parë përfshijnë hartimin e RFP-ve dhe ofertave, analizën e panoramës shkencore dhe kërkimin për investime—fusha ku ndikimi matet me normën e fitimit, rrugën më të shpejtë drejt provave klinike dhe shpejtësinë e arritjes së bindjes, jo vetëm me orët e kursyera.
Ndryshimi në UX: nga biseda te delegimi, nga përgjigjet te produktet përfundimtare. Mendojmë se ky është një nga ndryshimet në përvojën e përdoruesit që do të përcaktojnë vitin 2026. Kur shohim zgjidhjet me përvetësimin më të lartë kohët e fundit, bien në sy disa gjëra. Me rritjen e besueshmërisë së këtyre sistemeve, përdoruesit kanë filluar t’i trajtojnë më pak si chatbot-e që pyeten dhe më shumë si analistë të cilëve u delegohet puna. Këtë e mundësojnë dy gjëra: mundësia që ekipet të përshtatin shabllonet dhe kriteret e ndalimit sipas proceseve të tyre, si dhe eksportimi drejtpërdrejt në formatin që u nevojitet (memo, prezantim, përmbledhje etj.), në vend që ta përpilojnë produktin përfundimtar nga një bisedë. Kur plotësohen të dyja, sistemi pushon së qeni mjet referimi dhe bëhet mënyra se si kryhet puna.
Vitin e kaluar shkruam për sjelljen e kërkimit të thelluar në ndërmarrje. Morëm paradigmën e kërkimit të thelluar të përqendruar te uebi, të popullarizuar fillimisht nga OpenAI, dhe e shtrimë te burimet pronësore të të dhënave të kompanive pa humbur prejardhjen ose kontrollin. Gjithashtu theksuam se sistemet e kërkimit të thelluar nuk duhen parë si largim nga sistemet më klasike RAG, por si evoluim i tyre.
Me hyrjen në vitin 2026, nuk ka ndryshuar aq ideja e kërkimit të thelluar, sa kufiri i ekzekutimit të saj.
Kur nisëm ndërtimin e këtyre sistemeve në fillim të vitit 2025, modelet avangardë përfshinin o1, gpt-4o dhe claude-3.5-sonnet (vërtet kemi përparuar shumë në vetëm 12 muaj…), ndërsa hapa të mëdhenj erdhën në muajt e parë të vitit me modele si o3 dhe gemini-2.5-pro. Ishin të shkëlqyera për kohën e tyre dhe me to mund të ndërtoheshin zbatime të qëndrueshme të kërkimit të thelluar, por vetëm deri në një pikë. Kjo pikë zakonisht ishte te qindëshet e ulëta të burimeve; më pas duhej ta krasitnit në mënyrë agresive kontekstin ose të përballeshit me përgjigje ku humbte informacioni, dështim në ndjekjen e udhëzimeve apo halucinime të mirëfillta.
Nëse keni ndërtuar sisteme të tilla, do t’i njihni disa prej këtyre mënyrave të dështimit.
Për ta bërë më konkrete: në mesin e vitit 2025 filluam të ndërtonim një zgjidhje kërkimi të thelluar për një nga kompanitë më të mëdha farmaceutike në botë. Ky sistem përshpejton zbulimin e objektivave farmakologjikë, proces ku studiuesit kërkojnë gjene, hormone ose elemente të tjera në trupin e njeriut që mund të synohen për trajtimin e një gjendjeje. Në atë kohë, modeli më i fuqishëm i disponueshëm ishte o3. Ndonëse ofronte performancë të lartë, 3–4% e përgjigjeve të gjeneruara nga ky model përmbanin burime që nuk i ishin dhënë modelit përmes thirrjeve të mjeteve nga burimet pronësore të të dhënave të klientit. Këtë e zbutëm me kontrolle të mëpasshme të citimeve, të cilat shënonin pjesët e përgjigjeve që nuk mbështeteshin nga konteksti i dhënë. Kjo funksionoi mirë për të rritur besimin e palëve të interesuara te mjeti gjatë fazës së hershme PoC të projektit dhe na ndihmoi të përparonim shpejt. Megjithatë, vazhduam përpjekjet për t’i ulur këto gabime, duke zbutur kufizimet e modeleve dhe njëkohësisht duke përmbushur kërkesat e palëve të interesuara për shtimin e burimeve të tjera në sistem.
Një pikë kyçe kthese për ndërtimin e zgjidhjeve avangardë të kërkimit të thelluar—dhe të zgjidhjeve agjentike në përgjithësi—erdhi me shfaqjen e gpt-5 në gusht. Pasi kaluam nga o3 te gpt-5, vlerësimet tona treguan se norma e halucinimit të burimeve ra menjëherë në 0%.
Për ta përcaktuar saktë këtë metrikë: ajo mat vetëm nëse modeli citon një ID dokumenti ose URL që nuk gjendej në kontekstin e marrë. Në epokën e o3 dhe më herët, modelet ndonjëherë shpiknin emra skedarësh ose punime që tingëllonin të besueshme, për të plotësuar boshllëqet në njohuritë e tyre. gpt-5 na mundësoi ta eliminonim praktikisht këtë patologji të veçantë.
Vini re se kjo ndryshon nga gabimet e besnikërisë (citimi i dokumentit të duhur, por keqinterpretimi i tekstit), të cilat mbeten një sfidë që e menaxhojmë përmes kontrolleve të mëpasshme të përmendura më sipër.
Ky ishte një përparim vendimtar. Më pas filluam ta testonim sistemin për të parë sa larg mund ta çonim me brezin e ri të modeleve. Konstatuam se mund ta rrisnim afërsisht dhjetëfish numrin e burimeve të shqyrtuara në një proces kërkimi të thelluar, në rreth 3 000–5 000. Kufiri përfundimtar nuk ishte dështimi në ndjekjen e udhëzimeve, por performanca me kontekst të gjatë (gjatësia efektive e kontekstit të modeleve shpesh është shumë më e ulët se ajo e deklaruar, sidomos me të dhëna të dendura farmaceutike).
Ky kufizim u zbut pjesërisht me publikimin e gpt-5.2 në mes të dhjetorit. Standardet tona të brendshme për kontekst të gjatë treguan një përmirësim të madh të performancës efektive, duke na mundësuar t’i çonim edhe më tej sistemet tona avangardë të kërkimit të thelluar. Kjo ishte e dobishme sepse na lejoi të rrisnim numrin e tokenëve që mund t’i kalohen drejtpërdrejt modelit që prodhon rezultatin për përdoruesin, duke ofruar kështu një përgjigje më të pasur. Megjithatë, duam që gjatësitë efektive të kontekstit të modeleve avangardë të vazhdojnë të rriten gjatë vitit 2026.
Falë këtyre përparimeve në aftësinë bazë të modelit, pengesat për ndërtimin e sistemeve të afta të kërkimit të thelluar janë kthyer në shumë mënyra atje ku duhej të ishin gjithmonë: te të dhënat, vlerësimet dhe mënyra si e ngrini programin e kërkimit të thelluar në biznesin tuaj. Secili prej këtyre hapave kërkon vendime pragmatike për atë që sjell ndikim real në ndërtimin e kërkimit të thelluar.
Pjesa tjetër e artikullit shpjegon se si i trajtojmë këto vendime.
Mund të jetë tunduese që projektet e kërkimit në ndërmarrje të trajtohen si problem i integrimit të të dhënave. Unifikoni burimet, normalizoni skemën dhe lërini modelet të veprojnë mbi to.
Dhe, për të qenë të qartë, ndonjëherë kjo është pikërisht zgjidhja e duhur. Nëse veproni në një fushë ku entitetet bazë janë të qëndrueshme, pyetjet përsëriten dhe synimi përfundimtar është industrializimi i procesit, unifikimi mund të sjellë përfitime reale. Rastet klasike përfshijnë bashkimin e të dhënave të klientëve dhe të ardhurave, të dhënat e çmimeve të tregut ose gjithçka që kërkon raportim të besueshëm ndërmjet sistemeve.
Megjithatë, në praktikë, udhëheqësit novatorë të sotëm kërkojnë diçka tjetër nga sistemet e kërkimit të thelluar për ndërmarrje.
Me përqendrimin gjithnjë e më të madh te ROI-ja e shpenzimeve për IA, një synim kryesor i vendimmarrësve është ta dëshmojnë shpejt vlerën në realitetin e çrregullt të funksionimit të biznesit. Unifikimi i plotë i burimeve të të dhënave është një nga mënyrat më të ngadalta për të arritur te prova e parë. Është proces i rëndë. Ndikohet nga politika e brendshme. Dhe shpesh ju detyron të angazhoheni në një drejtim para se të mësoni se cilat pyetje kanë vërtet rëndësi.
Prandaj besojmë se pikënisja pragmatike për ndërtimin e sistemeve avangardë të kërkimit të thelluar në vitin 2026 është zakonisht kjo: bëjini të dhënat të qasshme para se t’i bëni të përsosura.
Nëse ka gjasa reale që me kalimin e kohës të shtoni burime të tjera—siç ndodh në shumicën e ndërmarrjeve—lidhjet e rralla nënvlerësohen. Mund të ekspozoni dhjetëra burime pas një ndërfaqeje të qëndrueshme për marrjen e të dhënave. Sistemi do të jetë ende në gjendje të punojë dhe, ç’është më e rëndësishmja, ju ruani aftësinë për ta vendosur shpejt. Kur të shtoni burime të tjera, nuk keni pse të përmbysni gjithçka. Thjesht mund të lidhni një lidhës të ri, t’i shpjegoni sistemit bazë çfarë është dhe si përdoret, pastaj t’ua lini modeleve vazhdimin. Kjo funksionon sepse modelet avangardë të sotme mund të bëjnë bashkim të butë të dy ose më shumë burimeve gjatë inferencës, duke lidhur «Customer ID» në një sistem me «Client Reference» në një tjetër, pa pasur nevojë për një përkufizim formal të korrespondencës. Nuk jemi i vetmi ekip që mendon kështu. Nuk jemi i vetmi ekip që mendon kështu: agjenti i brendshëm i të dhënave i OpenAI është projektuar që modelet të arsyetojnë mbi 70 000 grupe heterogjene të dhënash, duke i bërë kontekstin dhe lidhjet të qasshme gjatë kërkimit, në vend që të imponojë unifikim të plotë paraprak.
Një hollësi që ia vlen të sqarohet është se integrimi i rrallë nuk duhet të jetë sipërfaqësor.
Integrimi i rrallë funksionon më mirë kur lidhjet që krijoni janë domethënëse dhe shprehen në një mënyrë që sistemi mund ta shfrytëzojë lehtësisht. Një mënyrë e mirë për ta konceptuar është t’i trajtoni disa informacione si pika referimi (specifikime, politika, përkufizime produktesh, SKU, klauzola kontratash e të ngjashme). Nuk duhet të unifikoni çdo grup të dhënash që këto pika të jenë të fuqishme; ju nevojitet vetëm një identifikues i qëndrueshëm me disa lidhje me sinjal të lartë.
Për shembull, imagjinoni sikur një model ose përdorues kërkon një specifikim. Në një sistem naiv, ndërveprimi përfundon aty. Merrni specifikimin, e përmblidhni dhe ndoshta e citoni. Megjithatë, gjatë ndërtimit të strukturave të dobishme të të dhënave, duam që ky kërkim të bëhet fillimi i një zgjerimi të kontrolluar. Për shembull, mund ta lidhim regjistrimin e specifikimit me produkte historikisht relevante. «Relevant» mund të nënkuptojë disa gjëra, por zakonisht do të varej nga detyra që po kryen sistemi dhe mund të përfshinte RFP që përmendnin specifikimin, përgjigje të mëparshme që fituan oferta për të, redaktime ku ekipi ligjor kundërshtoi specifikimin e kështu me radhë. Kjo qasje mund të sjellë përfitime të mëdha në cilësinë dhe shpejtësinë e përgjigjeve, duke i paraqitur shpejt sistemit të kërkimit të thelluar njohuritë më kritike gjatë kërkimit.
Kjo shtron pyetjen tjetër: pasi të keni një botë burimesh të dhënash me lidhje të rralla dhe disa lidhje me sinjal të lartë, si ta pengoni sistemin e kërkimit të thelluar të endet si fëmijë në një dyqan ëmbëlsirash dhe ta bëni të orientohet si një analist me përvojë?
Burimet e të dhënave të ndërmarrjes nuk funksionojnë si uebi. Ato janë të rralla, plot konvencione lokale dhe shpesh kanë vetëm një burim «të saktë» për një fakt të caktuar, nëse arrini ta gjeni. Për më tepër, modelet e sotme priren të përpiqen gjithmonë të maksimizojnë rikthimin e rezultateve, duke kaluar nga një kërkim te tjetri për të gjetur edhe një burim, ndërkohë që rrisin vonesën dhe shterojnë durimin e përdoruesit (kjo mund të zbutet disi me udhëzime të hartuara me kujdes).
Zgjidhja më efektive është një mjet i lehtë që e ndihmon modelin të orientohet në peizazhin e çrregullt të të dhënave të ndërmarrjes. Disa ekipe e quajnë ontologji. Të tjerë e quajnë shtresë semantike, shërbim kërkimi, grafik ose depo konceptesh. Emërtimi nuk ka shumë rëndësi.
Rëndësi ka që t’i japë sistemit një sërë lëvizjesh të shpejta e me kosto të ulët, në mënyrë që modeli të kalojë me efikasitet ndërmjet pjesëve të duhura të kontekstit, në vend që të endet pafund.
Një metaforë e thjeshtë është kur sapo i jeni bashkuar një kompanie ose projekti dhe kolegët e rinj ju thonë: «You must bookmark these sites, you’ll use them all the time,» ose «any time you have an issue with AWS just speak to Ross, he’ll get you the info you need,» e kështu me radhë. Edhe këtu thjesht po përpiqemi ta ndihmojmë sistemin e kërkimit të thelluar të gjejë shpejt atë që i nevojitet.
Në praktikë, ky sistem nuk ka pse të jetë i ndërlikuar ose të mirëmbahet manualisht. Implementimet më të mira që kemi gjetur krijohen ose nga LLM-të gjatë procesit të marrjes së të dhënave (duke nxjerrë entitete për të populluar automatikisht grafikun), ose janë kalime të thjeshta drejt sistemeve ekzistuese të regjistrimit (si një kërkim përmes API-së së Salesforce). Disa shembuj të zakonshëm përfshijnë:
Kërkime në harta hash (p.sh. kërkoni me emrin e produktit dhe merrni përshkrimin e tij)
Një kërkim i thjeshtë i marrëdhënieve «të zakonshme» (p.sh. ky gjen lidhet më shpesh me këto sëmundje në grafikun tonë të marrëdhënieve shkakësore të gjeneve)
Modele për njohjen e entiteteve të emërtuara (kryesisht të dobishme në fusha me probleme komplekse të dallimit të entiteteve, si industria farmaceutike)
Për marrëdhëniet më komplekse të të dhënave, grafikët e lehtë RDF mund të ofrojnë zgjidhjen më të zgjerueshme për një ontologji
…dhe të tjera
Pasi kjo të jetë ngritur, sistemi mund të lëvizë me efikasitet nëpër burimet tuaja të të dhënave. Pyetja e radhës është e thjeshtë: si e dini se po bën vazhdimisht gjënë e duhur në përdorim real?
Tani që të dhënat janë të qasshme dhe shtresa e orientimit siguron hartën, sistemi ka aftësinë ta kryejë punën. Por në një ndërmarrje, aftësia nuk vlen asgjë pa besueshmëri.
Këtu gjendet varreza më e madhe e projekteve të IA-së. Shumë ekipe kanë rënë në grackën e vlerësimeve «me intuitë». Ata kryejnë një kërkim, lexojnë rezultatin, tundin kokën në shenjë miratimi dhe e nxjerrin në prodhim. Kjo qasje nuk funksionon kur ndërtoni një sistem kërkimi të thelluar që mund të përshkojë vetë 5 000 dokumente për të bërë një rekomandim mbi një vendim shumëmilionësh të zinxhirit të furnizimit.
Ndryshimi i rëndësishëm është se nuk po vlerësoni më një model, por një sistem. Interpretimi i pyetjes, planifikimi, thirrja e mjeteve, interpretimi, krasitja e kontekstit, rirenditja dhe madje hollësi në dukje të mërzitshme të lidhësve, si vulat kohore, shfaqen të gjitha në përvojën e përdoruesit.
Vlerësimet e strukturuara dhe të përsëritshme na ndihmojnë t’i zgjidhim këto probleme.
Gjatë hartimit të vlerësimeve, mund t’i ndajmë përgjithësisht në tri kategori, nga mekaniket te subjektivet.
Kjo është pjesa më e ngjashme me testet e njësive dhe shpesh ajo ku ekipet mund të përparojnë më shpejt në fillim. Zakonisht këto janë edhe më të qëndrueshmet me kalimin e kohës; pasi t’i konfiguroni, mund të vazhdojnë të japin përfitime gjatë gjithë jetës së projektit.
«Vlerësimet mekanike» janë përgjithësisht kontrolle që mund të kryhen për çdo pyetje pa ndërhyrje njerëzore. Ato na ndihmojnë të bindemi se sistemi sillet në mënyrë të parashikueshme dhe të sigurt nën ngarkesa reale përdorimi.
Disa shembuj përfshijnë:
Cilësia e citimeve: A tregojnë të gjitha citimet fragmente që janë marrë vërtet? A ka pohime pa citime? A ka pohime që nuk mbështeten nga materiali burimor? A janë citimet tepër të përgjithshme (p.sh. citohet një dokument i tërë për një pohim të vetëm)?
Përdorimi korrekt i mjeteve: A i përdori sistemi të gjitha mjetet që tha se përdori? A i përdori siç duhet mjetet e orientimit? A formatizoi gabim ndonjë kërkesë për mjetet? A riprovoi në mënyrë të arsyeshme kur u kthyen gabime?
Kufijtë e vonesës dhe kostos: A qëndroi brenda kohës së synuar deri te tokeni i parë? A e tejkaloi numrin e pritshëm të thirrjeve të mjeteve ose buxhetin? A shpenzoi shumë kohë dhe fuqi përpunuese për një përfitim minimal?
Këto mund të duken të rëndomta, por janë pikërisht testet që parandalojnë degradimin e një sistemi për ndërmarrje.
Si shembull real, në projektin e kërkimit të thelluar për zbulimin e objektivave farmakologjikë përdorëm dy shtresa kontrollesh të citimeve që kryhen për çdo pyetje. Së pari, gjatë gjenerimit të një përgjigjeje, e udhëzojmë modelin të prodhojë shpesh citime brenda tekstit. Aftësia e LLM-ve për ta bërë këtë në mënyrë të besueshme është gjithashtu relativisht e re dhe u shfaq në gjysmën e parë të vitit 2025 (kushdo që është përpjekur ta bëjë këtë më herët me sasi domethënëse të dhënash e kupton sa e vështirë ishte). Kështu mund të kryejmë disa kontrolle të thjeshta me regex, për të parë, për shembull, nëse përmendet një lidhje artikulli që nuk gjendej në burimet e dhëna.
Shtresa e dytë e kontrolleve kryhet pas transmetimit të përgjigjes. Fillimisht përgjigjja ndahet në fragmente dhe më pas vlerësohet secili fragment, ndërsa sistemi kërkon te të dhënat e marra burime që mbështetin pohimin ose pohimet e bëra në të. Nëse nuk gjendet asnjë provë mbështetëse, kjo shënohet si halucinim i mundshëm.
Nëse vlerësimet mekanike janë testet tuaja të njësive, vlerësimet analitike janë rishikimi i kodit.
Këtu përpiqemi të kuptojmë nëse sistemi po e kryen punën mirë. Zakonisht duam të kuptojmë nëse përdor mjetet e duhura, ndjek drejtimet e duhura të kërkimit, zgjedh burimet më autoritative ose di kur të ndalojë, ndër të tjera.
Në praktikë, këto zakonisht marrin formën e një serie çiftesh pyetje-përgjigje (P-P), për të cilat njihen, për shembull, renditjet e arsyeshme të thirrjes së mjeteve ose vendimi i duhur bazuar në materialin e gjetur nga mjeti i parë. Çiftet P-P nuk duhet të përkojnë domosdoshmërisht 1:1 me hyrjen dhe daljen e sistemit të plotë të kërkimit të thelluar; me këto metoda mund të testojmë edhe nënprocese. Me këto etiketa—të krijuara nga një etiketues njerëzor ose një model i fuqishëm etiketimi («i fuqishëm» është relativ këtu)—mund të përdorim metodën LLM-si-gjykues për t’u dhënë pikë proceseve të kërkimit dhe për të vlerësuar performancën e tyre. Duke i ndjekur këto rezultate me kalimin e kohës, mund të kuptojmë nëse ndryshimet tona po e përmirësojnë sistemin në drejtimin e duhur apo kanë sjellë regres në performancë.
Për shkak të kostos më të lartë në para dhe kohë, këto procese zakonisht duhen kryer periodikisht, sipas një orari të caktuar ose para përditësimeve të versionit.
Ka edhe një përfitim të këndshëm dytësor: këto vlerësime analitike mund të udhëzojnë drejtpërdrejt përmirësimet e lidhjeve të rralla që përmendëm më herët. Nëse shihni vazhdimisht se modeli bën të njëjtin kapërcim cilësor—p.sh. «specifikim → shembuj historikisht relevantë RFP-sh»—edhe kur sot njerëzit nuk i lidhin shprehimisht këto produkte, kjo është e dobishme. Mund ta shndërroni atë kapërcim në një lidhje ose shkurtore të mirëfilltë, që proceset e ardhshme të përfitojnë nga vonesa më e ulët dhe qëndrueshmëria më e lartë.
Këtu kapni edhe një nga patologjitë më të kushtueshme të sistemeve të kërkimit të thelluar: prirjen për të maksimizuar si parazgjedhje rikthimin e rezultateve. Një model mund të gjejë gjithmonë edhe një burim. Pyetja është nëse duhet ta bëjë. Mund ta përshtatim modelin që të përforcojë ndalimin e arsyeshëm: sistemi kupton se marrja e materialeve shtesë nuk ka gjasa ta ndryshojë përfundimin dhe zgjedh të japë një përgjigje të mbështetur mirë që adreson pyetjen e përdoruesit.
Vlerësimet mekanike ju tregojnë se sistemi është i sigurt. Vlerësimet analitike ju tregojnë se është i aftë. Vlerësimet e përdoruesve ju tregojnë nëse është vërtet i dobishëm.
Kjo është një tjetër fushë ku shumë ekipe pengohen. Ata ndërtojnë diçka teknikisht mbresëlënëse që askush nuk dëshiron ta përdorë për herë të dytë. Në një ndërmarrje, ky është dallimi ndërmjet një vendosjeje të suksesshme dhe një projekti të kushtueshëm kërkimor.
Në thelb, vlerësimet e përdoruesve synojnë të kuptojnë nëse sistemi po e zgjidh problemin e duhur në mënyrën e duhur. Kjo do të thotë të shkoni përtej pyetjes «a e dha saktë përgjigjen?» dhe të pyesni «a më dha diçka mbi të cilën mund të veproj?»
Në praktikë, vlerësimet e përdoruesve zakonisht marrin disa forma:
Studime të përfundimit të detyrave: A mund ta përfundojnë vërtet përdoruesit punën e tyre reale më shpejt ose më mirë me sistemin? Nuk bëhet fjalë nëse modeli mund t’i përgjigjej një pyetjeje, por nëse një përdorues real, në procesin e tij të vërtetë, mori atë që i nevojitej.
Cikle të komenteve cilësore: Biseda të rregullta e të strukturuara me përdoruesit e avancuar. Cilat pyetje i kryejnë vazhdimisht? Ku e humbasin besimin? Kur heqin dorë dhe kthehen te mënyra e vjetër? Këto seanca shpesh zbulojnë mënyra dështimi që nuk shfaqen kurrë në grupet tuaja të testimit, sepse përdoruesit bëjnë pyetje në mënyra që nuk i kishit parashikuar ose kanë standarde të nënkuptuara cilësie që nuk e dinit se ekzistonin.
Analitika e përdorimit: Cilat pyetje përsëriten? Cilat përgjigje kopjohen dhe përdoren diku tjetër? Ku klikojnë përdoruesit butonin e mospëlqimit? Rënia e përdorimit nuk është gjithmonë dështim—ndonjëherë përdoruesit marrin përgjigjen dhe vazhdojnë më tej—por modelet që tregojnë kur dhe si i braktisin pyetjet zbulojnë shumë për pikat ku sistemi nuk përmbush pritshmëritë.
Së bashku, këto ju japin një mënyrë për të matur dobinë pa hamendësuar dhe ju ndihmojnë t’i dalloni problemet para se të fillojnë të cenojnë besimin e përdoruesve.
Megjithatë, edhe një sistem me rezultate të përsosura në saktësinë mekanike dhe që kënaq përdoruesit e parë mund të dështojë në provën përfundimtare: rritjen e të ardhurave të biznesit. Besueshmëria dhe kënaqësia e përdoruesit janë vetëm parakushte për këtë. Për të kaluar nga një projekt pilot i suksesshëm te një aset transformues i ndërmarrjes, duhet të shihni përtej mënyrës si funksionon sistemi dhe të përqendroheni te vendi ku zbatohet.
Kemi shpjeguar si t’i bëni të dhënat të punojnë për sistemin dhe më pas si ta bëni sistemin të punojë për përdoruesit. Tani duhet të flasim se si ky sistem mund të punojë për biznesin tuaj.
Kohët e fundit, drejtuesit e bizneseve janë përqendruar fort te kjo çështje, dhe me të drejtë. Pas raportimeve si pretendimi i MIT-it se 95% e projekteve të IA-së në ndërmarrje nuk arrijnë ROI, toleranca për demonstrime mbresëlënëse që nuk dalin në prodhim është zhdukur. Modelet janë gati. Arkitekturat janë të provuara. Pyetja tani është: a mund ta vendosni realisht në një mënyrë që krijon vlerë për biznesin tuaj?
Lajmi i mirë është se sistemet avangardë të kërkimit të thelluar, të ndërtuara mbi parimet e mësipërme, janë të pozicionuara mirë për ta përmbushur këtë standard. Ato nuk përpiqen të automatizojnë gjithçka ose të zëvendësojnë funksione të tëra pune. Synojnë t’i bëjnë njerëzit tuaj më të mirë shumë më efektivë në punën me vlerë të lartë që tashmë kryejnë.
Por kalimi nga «funksionon teknikisht» te «sjell ROI» kërkon disa hapa të tjerë vendimtarë: zgjedhjet organizative, të përvojës së përdoruesit (UX) dhe të matjes, që përcaktojnë nëse kjo bëhet një mjet i përditshëm apo një skedë e harruar.
Sipas përvojës sonë, janë dy.
Tundimi është shpesh të fillohet me detyra të brendshme me pak rrezik, si «summarise this meeting». Ndonëse janë të sigurta, këto raste përdorimi rrallë dëshmojnë vlerë të mjaftueshme për të përligjur koston.
Sistemet e kërkimit të thelluar japin rezultatet më të mira kur drejtohen te detyra të mëdha e të vështira—probleme të kushtueshme ku përmirësimi i cilësisë ose shpejtësisë sjell rritje të demonstrueshme të të ardhurave ose avantazh strategjik.
ROI-në më të lartë e shohim kur kompanitë synojnë pika hyrëse si:
Hartimi i ofertave komplekse & RFP-ve: sistemet e kërkimit të thelluar mund të gjejnë automatikisht fitoret dhe humbjet historike më të ngjashme, të nxjerrin klauzolat që shkaktojnë gjithmonë redaktime, të gjejnë provat më bindëse për një kërkesë të caktuar e më shumë, pastaj t’i shndërrojnë të gjitha në një pozicionim të fortë dhe koherent për tenderin. Matësi këtu nuk është koha e kursyer, por norma e fitimit, ruajtja e marzhit dhe më pak surpriza ligjore ose tregtare në fazat e vona.
Analiza e panoramës shkencore: Në organizatat me aktivitet intensiv K&Zh-je (farmaceutikë, bioteknologji, gjysmëpërçues), pika hyrëse është ngjeshja e javëve të tëra literature dhe njohurish të brendshme në një drejtim kërkimor të përdorshëm. Një sistem kërkimi të thelluar mund të lexojë mijëra punime, patenta, raporte të brendshme, shënime laboratorike dhe shqyrtime programesh të mëparshme, për të hartëzuar çfarë dihet e çfarë kundërshtohet dhe për të krijuar një panoramë të mbështetur në prova. Kështu mund të ofrojë cikle më të shpejta përsëritjeje, më pak investime pa rrugëdalje dhe, më e rëndësishmja, më pak kohë deri te prova e parë te njerëzit.
Analiza e tregut: Për bankat dhe fondet spekulative, vlera qëndron në shndërrimin e kërkimit të fragmentuar të brendshëm (shënime, modele, transkripte, komente ndërmjetësish) dhe sinjaleve të jashtme (deklarime, rezultate financiare, tregues makroekonomikë, lajme) në mbështetje për tregtim të nivelit vendimmarrës. Një sistem kërkimi të thelluar mund të ndërtojë dhe rifreskojë vazhdimisht një pikëpamje për një kompani, temë ose çështje makroekonomike—të nxjerrë ndryshimet kryesore që nga java e kaluar, të pajtojë burimet kundërshtuese dhe të prodhojë një memo investimi ose paketë tregtimi me prejardhje të plotë.
E përbashkëta është se këto nuk janë biseda. Janë procese komplekse që zakonisht kërkojnë konsulentë të jashtëm të kushtueshëm ose javë të tëra pune nga personeli i lartë. Kur një sistem kërkimi të thelluar përqendrohet në këto probleme, vlera është e pamohueshme.
Ky është një nga ndryshimet në përvojën e përdoruesit që do të përcaktojnë vitin 2026.
Nëse sistemi juaj i kërkimit të thelluar është thjesht një chatbot ku përdoruesit kërkojnë të gjejnë gjëra, ai mund të përfundojë shpejt në përdorim sporadik. Ai mbetet mjet referimi dhe, në fund, vetë përdoruesit duhet t’i përpilojnë rezultatet në produktin përfundimtar që dëshirojnë. Megjithatë, nëse ndihet si një analist gjithmonë aktiv të cilit mund t’i caktoni punë, mund ta ndryshojë tërësisht modelin operativ të ekipit.
Po shohim një largim nga «biseda» (ndërveprime të shkurtra vajtje-ardhje) drejt delegimit (përcaktimit të fushës, shabllonit dhe synimit, pastaj lënies së sistemit të punojë).
Këtë e mundësojnë tri ndryshime konkrete:
Rezultatet si produkte përfundimtare: Puna me vlerë të lartë rrallë qëndron në një dritare bisede; ajo gjendet në dokumente, memo dhe prezantime. Sistemet moderne të kërkimit të thelluar duhet ta anashkalojnë fazën e bisedës dhe të gjenerojnë drejtpërdrejt produktin përfundimtar të biznesit. Kur një përdorues mund të kërkojë një «3-page investment memo in our corporate format» dhe të marrë një skedar të shkarkueshëm, në vend të një rrjedhe teksti, koha deri në realizimin e vlerës bie ndjeshëm. Kjo shpesh zgjerohet edhe me gjenerime të planifikuara, ku përdoruesit mund të kërkojnë që email-et ose raportet të krijohen automatikisht me njohuri të reja dhe t’u shpërndahen palëve përkatëse sapo të shfaqen të dhëna të reja.
Optimizim lokal përmes shablloneve të personalizuara: Modelet janë bërë aq të qëndrueshme, sa tani mund t’i lejojmë njësitë e biznesit ose edhe përdoruesit individualë të formësojnë udhëzimet dhe sjelljet e tyre pa e prishur sistemin. Një raport rreziku duket ndryshe në Londër nga ai në Nju-Jork. Duke u lejuar ekipeve të ngarkojnë ose projektojnë shabllonet e tyre strukturore dhe të përcaktojnë kriteret e ndalimit (p.sh. «always check these three specific internal databases») ose formatin e rezultatit, përdoruesit mund të përfitojnë shumë më tepër nga sistemi dhe të krijojnë diçka që duan ta përdorin gjithnjë e më shumë.
Besimi si ndërfaqe: Kur një përdorues delegon një detyrë që kërkon mbi 20 minuta, besimi bëhet çështje me përparësi të lartë. Nuk mund të paraqitni një kuti të zezë. Ndërfaqja duhet të zbulojë arsyetimin dhe zgjedhjet e sistemit, duke i treguar përdoruesit se cilat mjete po përdoren, duke gjeneruar citime e më shumë. Shpesh konstatojmë se përvoja më e mirë UX për këto sisteme shfaq automatikisht njohuri të përgjithshme mbi ecurinë e kërkimit dhe i jep përdoruesit mundësinë të hyjë në hollësi duke zgjeruar një panel anësor ose të ngjashëm.
Parashikojmë një të ardhme ku çdo ndërmarrje udhëheqëse ka një sistem të personalizuar kërkimi të thelluar pas proceseve të saj më kritike. Kjo do të marrë formën e një sërë analistësh gjithmonë aktivë, që mund të përshkojnë me besueshmëri mijëra produkte të brendshme dhe të nxjerrin vendime e materiale mbi të cilat njerëzit mund të veprojnë. Ndërsa modelet avangardë ngrenë kufirin e ekzekutimit, dallimi kalon te bazat: bërja e të dhënave të qasshme, pajisja e sistemit me një hartë dhe operacionalizimi i besueshmërisë përmes vlerësimeve.
Përmirësimet e aftësive të modeleve gjatë vitit të fundit janë sinjali më i qartë se ku po shkon kjo fushë. Mundësia për udhëheqësit në vitin 2026 është të veprojnë herët. Zgjidhni një pikë hyrëse ku vlera është e dukshme, fitoni besim përmes prejardhjes dhe masave mbrojtëse dhe shndërrojeni zgjidhjen e kërkimit të thelluar nga një projekt pilot në një aftësi që rritet me kalimin e kohës dhe përdoret çdo ditë nga biznesi.