Nidaamyada hadda jira ee is-horumarinta madaxbannaan waxay natiijooyin xooggan ka muujiyeen hawlaha koodh-qorista, balse weli ma cadda inay hagaajin karaan habraacyada AI ee adag, muddada dheerna socda, kuwaas oo u eg hirgelinta dhabta ah ee shirkadaha.
Cilmi-baaristayada Meta-Harness waxay is-horumarinta madaxbannaan ku dabaqaysaa soo-celinta wakiilka ah, cilmi-baarista qotada dheer iyo habraacyada sirdoonka calaamadaha, iyadoo ku daraysa shuruudaha shirkadaha sida qiimaynta xogta qarsoon, awoodda hanti-dhawrka, xakamaynta miisaaniyadda iyo ansixinta aadanaha.
Saddex hawlood oo matalaad leh, Meta-Harness si weyn ayuu waxqabadka u hagaajiyey, oo ay ku jiraan 84% hagaajin waxqabadka imtixaanka qarsoon ee Signal Engine iyo saxnaan sare oo ay weheliso fulin 16× ka dhakhso badan ee Soo-celinta Hababka Badan ee Wakiilka ah.
Si ka duwan hababkii hore intooda badan, Meta-Harness wuxuu guusha ku cabbiraa xog-ururin qarsoon marka ay suurtagal tahay, si loo ogaado in hagaajintu ka gudbayso xogtii loo adeegsaday tayaynta.
Natiijooyinkani waxay muujinayaan in horumarinta habraacyada madaxbannaani ay ka gudbi karto halbeegyada koodh-qorista oo gaadhi karto nidaamyada AI ee shirkadaha, iyadoo bixinaysa waddo wax-ku-ool ah oo barnaamijyada AI si joogto ah loogu hagaajiyo.
Shaqooyinkii dhowaa ee cilmi-baarista AI ee madaxbannaan, oo ay ku jiraan maqaalka Meta-Harness, qaabdhismeedka CORAL iyo karpathy/autoresearch, waxay muujiyeen in wakiillada koodh-qoristu si isdaba-joog ah u hagaajin karaan xal marka la siiyo cabbir qiimayn. Waxa weli furan waa in hababkaasi ku shaqayn karaan habraacyada AI ee muddada dheer socda, sida soo-celinta hababka badan ee wakiilka ah—halkaas oo wakiilku si isdaba-joog ah uga raadiyo kaydad qoraal iyo muuqaal ah si uu su'aal uga jawaabo—ama dhuumaha xog-farsamaynta adag ee u baahan tallaabooyin badan oo isku tiirsan, wicitaanno qalab iyo go'aanno maaraynta ka-reebitaannada ah. Su'aasha ka qotada dheer waxay tahay in faa'iidooyinku ku sii jiraan xog aanu tayayuhu waligiis arag.
Cilmi-baarista iyo horumarinta Meta-Harness ayaa ah jawaabtayada su'aashaas. Waxay fikradaha cilmi-baaristii dhowayd u qaabaynaysaa baahiyaha shirkadaha: qiimaynta xogta qarsoon, raadadka hanti-dhawrka, saqafyada kharashka iyo meel cad oo shaqada loogu wareejiyo dib-u-eege bani'aadam ah ka hor hawlgelinta.
Waxaan ku tijaabinnay saddex hawlood oo muddada dheer socda, lagana qaabeeyey shaqooyin dhab ah oo macaamiil. Signal Engine wuxuu la socdaa qulqul toos ah oo qoraallada X ah oo ku saabsan suuqa AI, wuxuuna soo saaraa warbixinno isbeddel oo habaysan, ilahooduna cad yihiin. Soo-celinta Hababka Badan ee Wakiilka ah waxay ka baaraan-degtaa weydiimo isku jira qoraal iyo sawir si ay u soo celiso bogagga dukumenti ee ugu habboon. Cilmi-baarista qotada dheer waxay isku dubbariddaa wakiillo badan si ay webka u baadhaan, ilaha isu hubiyaan una qoraan warbixinno cilmi-baaris oo dhaadheer.
Signal Engine: isku-darka imtixaanka qarsoon 0.456 → 0.841, koror qaraabo ah oo 84% ah. CORAL iyo karpathy/autoresearch waxay isla miisaaniyaddaas kaga hooseeyeen 0.50.
Soo-celinta Hababka Badan ee Wakiilka ah: NDCG@10-ka imtixaanka qarsoon 0.705 → 0.744, iyadoo waqtiga dhabta ah ee qiimayn kasta uu ka dhacay 869s ilaa 54s. Taasi waa dedejin 16× ah oo saxnaantu korodhay.
Cilmi-baarista qotada dheer: isku-darka tayada warbixinta 0.449 → 0.802 ee 10 su'aalood oo tixraac ah, marka la barbar dhigo qiyaastii 0.52 ee hababka aasaasiga ah. Hawshani ma lahayn qayb qarsoon, sidaas darteed tirada waxaan u tixgelinaynaa natiijo xogta gudaheeda ah oo keliya.
Hufnaanta raadinta: Kala-hormarinta Saadaalinta Mala-awaalka, Signal Engine wuxuu 3 wareeg ku gaadhay 91% dhibcihii ugu fiicnaa ee socodsiinta tixraaca, halkii uu ka qaadan lahaa 20, iyadoo la adeegsanayo isla miisaaniyadda qiimaynta.
Nidaamyada cilmi-baarista madaxbannaan intooda badan waxay tayayn iyo qiimayn ku sameeyaan isla xog-ururinta, taas oo aan la ogaan karin in natiijadu xog kale ku shaqaynayso. Signal Engine iyo Soo-celinta Hababka Badan ee Wakiilka ah waxaan ku dabaqnaa kala-qaybin adag: xog tababar oo musharraxiintu isku qiimayn karaan, xog horumarin oo hubin macquulnimo ah iyo xog imtixaan qarsoon oo aanu tayayuhu waligiis arag. Natiijo kasta oo la soo sheegay waxay ka timid hal nooc koodh oo gaar ah oo lagu qiimeeyey qayb kasta; sidaas darteed iskuma darno dhibcaha tababarka ugu fiican ee musharrax iyo dhibcaha imtixaanka ugu fiican ee musharrax kale.
Wareeg kasta, dejinta dhammaystiran waxay soo saartaa koox mala-awaallo habaysan ah oo lagu beddelayo koodhka. Mala-awaal kasta wuxuu magacaabaa habka uu doonayo inuu beddelo, noocii hore ee uu ku dhisan yahay iyo nooca fashilka uu beegsanayo. Tallaabo kala-saarid ah ayaa kooxda shaandhaysa ka hor inta aan kharash lagu bixin qiimayno qaali ah. Mala-awaallada soo baxa waxaa loo diraa wakiillo shaqaale ah oo isbarbar socda, kuwaas oo wadaaga saldhig aqooneed balse koodhka ku saxaya goobo shaqo oo gebi ahaan kala go'an, si musharrax kasta si caddaalad iyo madax-bannaani leh loo qiimeeyo. Dhammaadka wareegga, fuliyuhu wuxuu dallacsiiyaa hal guulayste: musharraxa dhibcaha ugu sarreeya ee sidoo kale ka gudbay dhammaan hubinnada qaybaha muuqda. Guulaystahaasi wuxuu noqdaa saldhigga ugu horreeya ee wareegga xiga. Tijaabo kasta waxay kayd caddayneed oo wax keliya lagu daro ku qortaa xidhmo go'an: balastarka koodhka, dhibcaha qayb kasta, diiwaanka dhacdooyinka iyo afar falanqayn oo gaaban oo uu qoray LLM (Qaabka Luuqadda Ballaaran), kuwaas oo daboolaya raadraaca, khaladaadka, kharashka iyo milicsiga. Soo-jeediyaha wareegga xiga ayaa taariikhdan dib u akhriya; sidaas ayay dejinta dhammaystiran u sii kobcisaa wixii ay baratay halkii ay ku celin lahayd waddooyinkii fashilmay.
Saddex xayndaab ayaa wareegga ka dhiga mid ammaan ah in la socodsiiyo. Siyaasadda baaxaddu waxay xaddidaysaa faylasha uu musharraxu taaban karo, wixii ka baxsanna way celisaa. Miisaaniyadaha qeyb-qoraalka iyo waqtiga dhabta ahi waxay joojiyaan socodsiinta marka kharashku dhaafo xadka, halka xaddidaadaha hawlaha isku mar ahi dejinta dhammaystiran ku hayaan xuduudaha isticmaalka nooca iyo GPU-ga. Dejinta dhammaystiranna waligeed iskeed wax uma hawlgeliso. Waxay soo saartaa musharrax la kala hormariyey oo si buuxda loo diiwaangeliyey; injineer bani'aadam ah ayaa dib u eega kala duwanaanshaha oo go'aamiya in wax-soo-saarka loo gudbiyo iyo in kale.
Nidaam maxalli ah, shan aasaas oo injineernimo ayaa hoos yimaadda wareeg kasta oo kor lagu sheegay.
Go'doominta Goobta Shaqada. Musharrax kasta wuxuu leeyahay git worktree u gaar ah. Laamuhu waxay wadaagaan kayd walxo balse ma wadaagaan faylasha, taas oo u oggolaanaysa musharraxiinta inay isbarbar socdaan iyadoo kharashka disku ku dhow yahay joogto, isla markaana fududaynaysa in kala duwanaanshaha lala barbar dhigo nooca hadda hoggaaminaya.
Sanduuqa Go'doonsan ee Fulinta. Qaabayntu waxay bixisaa laba hab: habsocod-hoosaad asal ah oo loogu talagalay tijaabo degdeg ah ama deegaan fulineed oo gebi ahaan go'doonsan. Kaydadka xogta waxaa lagu rakibaa akhris-keliya, galka ku-meelgaarka ah ee tijaabo kastana waa la tirayaa qiimaynta ka dib. Sidaas darteed, tijaabo ma beddeli karto xog-ururinta, xaaladna uma gudbin karto tijaabada xigta.
Siyaasadda Baaxadda. Liiska waddooyinka la oggol yahay oo lagu qeexay qaabaynta tijaabada. Wax kasta oo dibadda uga baxa waa la celiyaa ka hor inta aan tijaabada la qiimayn, tijaabadana calaamad ayaa la saaraa. Sidaas awgeed, kala duwanaanshaha uu dib-u-eeguhu arko waxaa la xaqiijiyaa inuu ku ekaado baaxadda la qeexay.
Dhaqangelinta Miisaaniyadda. Saddex heer: xadka qeyb-qoraalka iyo waqtiga dhabta ah ee tijaabo kasta, saqafka wadarta socodsiin kasta iyo xadka hawlaha isku mar socda. Wadajir ahaan, waxay kharashka ka dhigaan mid la sii saadaalin karo, dejinta dhammaystiranna ku hayaan xuduudaha isticmaalka nooca iyo kaabayaasha.
Kaydka Caddaynta. JSONL wax keliya lagu daro oo ka kooban balastarka koodhka, dhibcaha qayb kasta, diiwaanka dhacdooyinka iyo afarta falanqayn ee uu qoray LLM (Qaabka Luuqadda Ballaaran). Muuqaallada la diyaariyey—miiska kala-hormarinta, musharraxa hoggaaminaya iyo tusmada fashillada—ayaa dib loo abuuraa tijaabo kasta ka dib. Taasi waxay wareegyada dambe u saamaxdaa inay ku dhismaan taariikhdii hore iyadoo socodsiin kasta bayt-bayt dib loogu soo saari karo.
Aasaasyadan midkoodna ikhtiyaari ma aha. Ujeeddada dejinta dhammaystiran waa in dhammaadka socodsiinta dib-u-eegaha loo reebo wax uu dhab ahaan ansixin karo: musharrax guulaystay, kala duwanaansho xaddidan, diiwaan buuxa oo wixii la tijaabiyey ah iyo kharash la og yahay. Haddii shanta mid laga saaro, mid ka mid ah dammaanadahaas ayaa baaba'aya.
Saddexda tijaaboba waxay adeegsadaan isla istaraatiijiyadda mala-awaalka. Wareeg kasta, soo-jeediyuhu wuxuu abuuraa mala-awaallo ka badan inta miisaaniyaddu fulin karto: M = 8 musharrax, halka miisaaniyadda diristu tahay K = 4. Kala-hormariye LLM (Qaabka Luuqadda Ballaaran) oo gaar ah ayaa markaas dhammaan 8-da ku kala hormariya hal wicitaan oo soddon ilbidhiqsi ah, isagoo wada arka dhibcaha hadda ugu fiican iyo dhinacyadooda liita, falanqaynta fashillada tijaabooyinkii dhowaa iyo dhammaan 8-da soo-jeedin oo dhinac yaal. Afarta ugu sarreeya waxaa loo diraa fuliyaha, mid kastana wuxuu qaataa 15 ilaa 30 daqiiqo. Afarta kale waa la reebaa ka hor inta aanay wax kharash ah keenin.
Noocyada aasaasiga ah lama beddelin intii lagu jiray tijaabooyinka; dejinta dhammaystiran waxay saxday oo keliya koodhka ku hareeraysan. Signal Engine iyo cilmi-baarista qotada dheer waxay ku socdeen gpt-5.5. Soo-celinta Hababka Badan ee Wakiilka ah waxay ku socotay Qwen3.6-35B-A3B oo miisaankiisu furan yahay, laguna adeegayey maxalli ahaan vLLM, iyadoo lala adeegsaday soo-celiyaha sawirrada ColQwen3-4B; isku-darkan waxaa loo doortay kharashkiisa gudaha xarunta ee la sii saadaalin karo.
Jaantuska hoose wuxuu muujinayaa sida dhibcaha saddexdayada hawlood ee waaweyn isu beddeleen. “Seed” waa koodhka bilowga ah ee uu qoray injineer bani'aadam ah. “Meta-Harness” waa noocii ugu fiicnaa ee Meta-Harness helay. Waxaan saddexda hawloodba ku aragnaa horumar waxqabad oo ka muuqda xogta imtixaanka qarsoon.
Signal Engine waxaa qiimeeyey garsoore LLM (Qaabka Luuqadda Ballaaran) ah marka loo eego cusboonaanta, xaqiiqnimada, faahfaahinta iyo codka, iyadoo la adeegsaday 150 qoraal X ah oo tababar iyo 150 qoraal X ah oo imtixaan qarsoon. Intii socodsiintu socotay, nooca ugu fiicani wuxuu isku-darka tababarka ka qaaday 0.431 ilaa 0.756, dhibcaha qarsoonna 0.456 ilaa 0.841. Horumarku wuxuu ka yimid isbeddello lagu sameeyey dejinta dhammaystiran lafteeda, ee ma ahayn hagaajin weydiimo oo keliya: wareegyadii guulaystay waxay barteen inay shaandheeyaan buuqa baraha bulshada, ku dareen tallaabooyin xaqiiqooyinka la isu hubiyo, wax-soo-saar kastana ku xidhay caddayn cad. Jaantuska hoose wuxuu muujinayaa habka wareegyada.
Taariikhda tijaabooyinku waxay muujinaysaa sida horumarkaas isu urursaday. Isbeddel dhismeed oo hore ayaa dhibcaha ugu fiican ee socda gaadhsiiyey 0.625; maarayn caddayn oo faahfaahsan ayaa u qaaday 0.679; wareeg milicsi iyo halbeeg oo la sifeeyeyna wuxuu gaadhsiiyey 0.819. Qiyaastii kala badh socodsiinnada musharraxiintu way liiteen ama gebi ahaan fashilmeen, balse ma ay khaldin miiska kala-hormarinta: laan kastaa si go'doonsan ayay u socotay, kala duwanaanshihii guuldarraystay waa la tuuray, fashilladana waxaa lagu qoray kaydka milicsiga si soo-jeediyaha xiga aanu ugu celin isla waddada fashilantay.
Tan ugu muhiimsan, qalooca xogta qarsoon wuxuu la kacay qalooca tababarka intii socodsiintu socotay. Taasi waxay muujinaysaa in dejinta dhammaystiran ay hagaajinaysay habraaca halkii ay xafidi lahayd kaydka tababarka. Dhibcaha xogta qarsoon wax yar ayay ka sarreeyeen dhibcaha tababarka; waxaan taas u fasirnay kala-duwanaansho muunadeed oo caadi ah oo u dhexeeya laba qaybood oo yaryar oo kala go'an.
Soo-celinta Hababka Badan ee Wakiilka ah waxaa lagu cabbiraa NDCG@10 qaybta Computer Science ee dadweynaha ah ee ViDoRe V3, oo loo habeeyey 20 weydiin tababar, 10 horumarin iyo 20 imtixaan qarsoon. Dejinta dhammaystiran waxay NDCG@10-ka qarsoon ka qaaday 0.705 ilaa 0.744, iyadoo waqtiga dhabta ah ee qiimaynta oo dhan laga dhimay 869 ilbidhiqsi ilaa 54 ilbidhiqsi.
Cilmi-baarista qotada dheer waxaa lagu qiimeeyaa isku-dar uu garsoore LLM (Qaabka Luuqadda Ballaaran) ahi ka bixiyo tayada nuxurka iyo tayada tixraacyada, iyadoo la raacayo DeepResearch-Eval, laguna tijaabiyo 10 su'aalood oo tixraac ah. Koodhka la hagaajiyey wuxuu celceliska ka qaaday 0.449 ilaa 0.802. Isbeddellada guulaystay si fudud ayaa looga akhriyi karay kala duwanaanshaha: tallaabo qorshayn hore ah oo hababka isbarbar dhigta ka hor inta aan wakiillada cilmi-baarista la dirin, iyo tallaabo dib-u-eegis kama-dambays ah oo beegsanaysa dhinacyadii ay warbixinnadu taariikh ahaan dhibcaha hoose ka heli jireen. Maadaama xogtani yar tahay oo qiimaynteedu qaali tahay, ma aannu kala qaybin; natiijadana waxaan u tixgelinaynaa mid xogta gudaheeda ah.
Saddexda habba waxaan ku cabbirnay isla miisaaniyad: isla xog-ururinta, isla noocyada aasaasiga ah, isla xadka wareegyada iyo isla wadarta qiimaynnada musharraxiinta. Signal Engine, Meta-Harness wuxuu imtixaanka qarsoon ka gaadhay 0.841, halka labada hab ee aasaasiga ahi ay ka hooseeyeen 0.50. Soo-celinta Hababka Badan ee Wakiilka ah, kooxdayadu waxay haysataa NDCG@10-ka qarsoon ee ugu sarreeya (0.744, marka loo eego 0.700 ee CORAL iyo 0.738 ee karpathy), qiimaynta rasmiga ahna waxay u fulisaa 12 ilaa 14 jeer ka dhakhso badan: 54s marka loo eego 786s iyo 650s. Cilmi-baarista qotada dheer, kooxdayadu waxay gaadhay 0.802, halka labada hab ee aasaasiga ahi ku ekaadeen qiyaastii 0.52. Hal taxaddar ayaa dhammaan khuseeya: CORAL iyo karpathy/autoresearch waxaan dib uga hirgelinnay sharraxaadahooda la daabacay, sidaas darteed qayb ka mid ah farqigu wuxuu ka iman karaa kala duwanaanshaha hirgelinta, ee ma aha hababka oo keliya.
Afar doorasho oo naqshadeed ayaa sharraxaya farqiga. Kow, kooxdayadu waxay samaysaa qeexitaan naqshadeed oo habaysan ka hor inta aan koodhka la saxin, taas oo u jihaysa isbeddello dhismeed sida marxalado dhuumeed oo cusub halkii ay ka samayn lahayd hagaajin weydiimo. Laba, waxay socodsiisaa laamo isku mar ah oo ku qotoma musharrax hoggaamiye ah oo la wadaago, sidaas darteed horumarku wuxuu isu dulsaaraa si ka dhakhso badan wakiillada madaxbannaan ee CORAL ama wareegga taxanaha adag ee karpathy. Saddex, tijaabo kasta waxay reebtaa waxyaabo habaysan—dhibco, diiwaannada dhacdooyinka iyo afar falanqayn oo uu qoray LLM (Qaabka Luuqadda Ballaaran)—kuwaas oo soo-jeediyaha xiga dib u akhriyo, halka hababka aasaasiga ahi hayaan oo keliya diiwaanno isku-day oo siman. Afar, xakameeye la-qabsada ayaa soo-jeediyaha u jiheeya sahamin marka horumarku istaago iyo sifayn marka guul la helo; korkana waxaa saaran Dib-u-kala-hormarinta Saadaalinta Mala-awaalka si fikradaha liita loo reebo ka hor inta aanay miisaaniyadda cunin.
Qaloocyada xogta qarsooni waxay muujinayaan guudmar gudaha isla qaybta, ee ma aha u gudbid qayb kale: habraac loo habeeyey soo-saarista calaamadaha suuqa AI lagama filan karo inuu ku shaqeeyo qoraal sharci ama caafimaad iyadoo aan dejinta dhammaystiran dib loo socodsiin. Dejinta dhammaystiranna waxay kor u kacdaa oo keliya jiirada uu qiimeeyuhu qeexay; sidaas darteed xog tababar oo buuq leh ama garsoore si qaldan loo miisaamay si daacad ah ayaa xad-dhaaf loogu waafajin doonaa. Kahor socodsiin dhab ah, waxaan ku talinaynaa ugu yaraan 20 shay tababar oo si wanaagsan loo xushay iyo qayb horumarin oo gaar ah. Kharashku waa caqabadda wax-ku-oolka ah ee ugu weyn. Qiimayn kasta waxay dhuumaha oo dhan dib ugu socodsiisaa qaybaha oo dhan; musharraxa soo-celinta ee la doortay keliya wuxuu isticmaalay qiyaastii 2.2 milyan qeybo-qoraal oo gelin ah, tayayn dhab ah oo nooc heerka gpt-5.5 ahna waxay hawl kasta ku kacdaa boqollaal ilaa dhowr kun oo doollar. Ugu dambayn, tirooyinkani waxay ka yimaadeen socodsiinno keliya halkii ay ka ahaan lahaayeen tijaabooyin soo noqnoqda; sidaas darteed waxaan u wadaagaynaa qoraal bog injineernimo ahaan, ee ma aha daraasad rasmi ah.
Meta-Harness wuxuu muujinayaa in horumarinta koodhka ee madaxbannaan loo nidaamin karo si ku filan isticmaalka shirkadaha. Waxyaabaha lagama maarmaanka ahi waa mala-awaallo dhismeed, shaandhayn saadaalineed oo hore, qiimayn go'doonsan, imtixaan xog qarsoon marka xogtu saamaxdo iyo raad hanti-dhawr oo buuxa oo ka dambeeya isbeddel kasta oo la dallacsiiyo. Wadajir ahaan, waxay kooxda injineernimada siinayaan waddo la sii saadaalin karo oo ay dhuun bilow ah oo shaqaynaysa ugu beddelaan mid si la cabbiri karo uga wanaagsan. Milkiilaha hawlgalkana waxay siinayaan qaab fudud: faa'iidada sahanka madaxbannaan oo lagu hayo qaabdhismeed adag, miisaaniyadda tixgeliya, qofna ku jiro wareegga ka hor hawlgelin kasta.