Is-sistemi eżistenti ta’ titjib awtonomu wrew riżultati tajbin f’kompiti tal-ipprogrammar, iżda għadu mhux ċar jekk jistgħux itejbu flussi tax-xogħol tal-IA kumplessi u fit-tul li jixbhu implimentazzjonijiet korporattivi reali.
Ir-riċerka tagħna dwar Meta-Harness tapplika l-awtotitjib awtonomu għal flussi tax-xogħol ta’ rkupru aġentiku, riċerka profonda u intelligence tas-sinjali, filwaqt li żżid rekwiżiti korporattivi bħall-evalwazzjoni fuq data miżmuma barra, l-awditabbiltà, il-kontrolli tal-baġit u l-approvazzjoni umana.
Fi tliet tagħbijiet tax-xogħol rappreżentattivi, Meta-Harness tejjeb il-prestazzjoni b’mod sostanzjali, inkluż titjib ta’ 84% fil-prestazzjoni tat-test fuq data miżmuma barra għal Signal Engine u preċiżjoni ogħla b’eżekuzzjoni 16-il darba aktar mgħaġġla għall-Irkupru Multimodali Aġentiku.
Għall-kuntrarju tal-biċċa l-kbira tal-approċċi preċedenti, Meta-Harness ikejjel is-suċċess fuq settijiet tad-data miżmuma barra kull fejn ikun possibbli, biex jivvaluta jekk it-titjib jiġġeneralizzax lil hinn mid-data użata waqt l-ottimizzazzjoni.
Dawn ir-riżultati jindikaw li t-titjib awtonomu tal-flussi tax-xogħol jista’ jmur lil hinn mill-parametri referenzjarji tal-ipprogrammar u jilħaq sistemi korporattivi reali tal-IA, u b’hekk joffri triq prattika lejn applikazzjonijiet tal-IA li jitjiebu kontinwament.
Riċerka reċenti dwar ir-riċerka awtonoma bl-IA, inkluż l-artiklu dwar Meta-Harness, il-qafas CORAL u karpathy/autoresearch, uriet li aġenti tal-ipprogrammar jistgħu jtejbu soluzzjoni b’mod iterattiv meta jingħataw metrika ta’ evalwazzjoni. Il-mistoqsija li għadha miftuħa hija jekk dawk il-metodi jaħdmux ukoll għal flussi tax-xogħol tal-IA fit-tul, bħall-irkupru multimodali aġentiku, fejn aġent irid ifittex b’mod iterattiv f’korpora multimodali speċjalizzati biex iwieġeb mistoqsija, jew għal pipelines kumplessi tal-ipproċessar tad-data li jeħtieġu ħafna passi dipendenti, sejħiet tal-għodod u deċiżjonijiet dwar l-immaniġġjar tal-eċċezzjonijiet. Il-mistoqsija aktar profonda hija jekk il-kisbiet jibqgħux validi fuq data li l-ottimizzatur qatt ma jara.
Ir-R&Ż tagħna dwar Meta-Harness hija t-tweġiba tagħna għal dik il-mistoqsija. Din tieħu ideat minn riċerka reċenti u tfassalhom mill-ġdid skont il-ħtiġijiet korporattivi: evalwazzjoni fuq data miżmuma barra, rekords tal-awditjar, limiti tal-ispejjeż u punt ċar ta’ trasferiment lil rieżaminatur uman qabel ma xi ħaġa titqiegħed fil-produzzjoni.
Ittestjajnieh fuq tliet kompiti fit-tul immudellati fuq xogħol reali għall-klijenti. Signal Engine jimmonitorja fluss dirett ta’ posts fuq X dwar is-suq tal-IA u jipproduċi rapporti strutturati dwar ix-xejriet, sostnuti tajjeb bis-sorsi. L-Irkupru Multimodali Aġentiku jirraġuna fuq mistoqsijiet li jgħaqqdu test u immaġnijiet biex jirritorna l-aktar paġni rilevanti tad-dokumenti. Ir-Riċerka Profonda tikkoordina diversi aġenti biex ifittxu fuq il-web, jivverifikaw is-sorsi ma’ xulxin u jiktbu rapporti ta’ riċerka estensivi.
Signal Engine: punteġġ kompost tat-test fuq data miżmuma barra ta’ 0.456 → 0.841, żieda relattiva ta’ 84%. CORAL u karpathy/autoresearch baqgħu taħt 0.50 bl-istess baġit.
Irkupru Multimodali Aġentiku: NDCG@10 fuq data miżmuma barra ta’ 0.705 → 0.744, filwaqt li l-ħin reali għal kull evalwazzjoni niżel minn 869s għal 54s. Dan ifisser żieda ta’ 16-il darba fil-veloċità, bi preċiżjoni ogħla.
Riċerka Profonda: punteġġ kompost tal-kwalità tar-rapporti ta’ 0.449 → 0.802 fuq 10 mistoqsijiet ta’ referenza, meta mqabbel ma’ madwar 0.52 għal-linji bażi. Dan il-kompitu ma kellux partizzjoni miżmuma barra, għalhekk inqisu ċ-ċifra bħala valida biss fil-kampjun.
Effiċjenza tat-tiftix: bil-Klassifikazzjoni mill-Ġdid Predittiva tal-Ipoteżijiet, Signal Engine laħaq 91% tal-aħjar punteġġ tal-eżekuzzjoni ta’ referenza fi 3 iterazzjonijiet minflok 20, bl-istess baġit ta’ evalwazzjoni.
Il-biċċa l-kbira tas-sistemi ta’ riċerka awtonoma jottimizzaw u jevalwaw fuq l-istess sett tad-data, u għalhekk ikun impossibbli li jiġi ddeterminat jekk ir-riżultat jiġġeneralizzax. Għal Signal Engine u l-Irkupru Multimodali Aġentiku ninfurzaw separazzjoni stretta: sett tat-taħriġ li fuqu jistgħu jiġu vvalutati l-kandidati, sett tal-iżvilupp għal kontrolli bażiċi u sett tat-test miżmum barra li l-ottimizzatur qatt ma jara. Kull riżultat irrappurtat ġej minn verżjoni speċifika waħda tal-kodiċi vvalutata fuq kull partizzjoni. Għalhekk, qatt ma nħalltu l-aħjar punteġġ tat-taħriġ ta’ kandidat mal-aħjar punteġġ tat-test ta’ ieħor.
F’kull ċiklu, il-harness jiġġenera grupp ta’ ipoteżijiet strutturati biex jinbidel il-kodiċi. Kull ipoteżi tispeċifika l-mekkaniżmu li trid tibdel, il-verżjoni preċedenti li tibni fuqha u t-tip ta’ falliment li tindirizza. Pass ta’ klassifikazzjoni jiffiltra l-grupp qabel ma jintefaq xi riżors fuq evalwazzjonijiet għaljin. L-ipoteżijiet li jibqgħu jintbagħtu lil aġenti eżekuturi paralleli li jaqsmu bażi komuni ta’ għarfien iżda jeditjaw il-kodiċi fi workspaces kompletament iżolati, biex kull kandidat jiġi vvalutat b’mod ġust u indipendenti. Fi tmiem iċ-ċiklu, is-sistema tagħżel rebbieħ wieħed: il-kandidat bl-ogħla punteġġ li jkun għadda wkoll mill-kontrolli kollha fuq il-partizzjonijiet viżibbli. Dak ir-rebbieħ isir il-fruntiera li fuqha jinbena ċ-ċiklu li jmiss. Kull prova tikteb pakkett fiss f’maħżen tal-evidenza li miegħu jista’ jiżdied biss: il-garża tal-kodiċi tagħha, il-punteġġi għal kull partizzjoni, reġistru tal-avvenimenti u erba’ analiżijiet qosra miktuba minn LLM dwar it-traċċa, l-iżbalji, l-ispiża u riflessjoni. Il-proponent taċ-ċiklu li jmiss jerġa’ jaqra din l-istorja; b’hekk il-harness jibni fuq dak li tgħallem minflok jerġa’ jsegwi l-istess toroq mingħajr riżultat.
Tliet salvagwardji jiżguraw li ċ-ċiklu jitħaddem b’mod sikur. Politika tal-ambitu tillimita liema fajls jista’ jimmodifika kandidat u treġġa’ lura kull bidla barra minnu. Il-baġits tat-tokens u tal-ħin reali jwaqqfu l-eżekuzzjoni meta l-infiq jaqbeż il-limitu, filwaqt li l-limiti tal-konkorrenza jżommu l-harness fil-limiti tar-rata tal-mudell u tal-GPU. U l-harness qatt ma jqiegħed xejn fil-produzzjoni waħdu. Huwa jipproduċi kandidat ikklassifikat u ddokumentat bis-sħiħ, imbagħad inġinier uman jirrieżamina d-diff u jiddeċiedi jekk għandux jitqiegħed fil-produzzjoni.
F’ambjent lokali, ħames elementi fundamentali tal-inġinerija jsostnu kull ċiklu deskritt hawn fuq.
Iżolament tal-Workspace. git worktree għal kull kandidat. Il-forks jaqsmu database tal-oġġetti iżda qatt il-fajls ta’ xulxin. Dan jippermetti lill-kandidati jaħdmu b’mod parallel bi spiża tad-diska kważi kostanti u jagħmilha faċli ħafna li jsir diff mal-fruntiera attwali.
Sandbox tal-Eżekuzzjoni. Żewġ modi permezz tal-konfigurazzjoni: subprocess nattiv għal iterazzjoni rapida jew runtime kompletament iżolat. Il-korpora jiġu mmuntati għall-qari biss, u d-direttorju temporanju ta’ kull prova jintrema wara l-valutazzjoni. Għalhekk, prova ma tistax tibdel is-sett tad-data jew tgħaddi stat lill-prova ta’ warajha.
Politika tal-Ambitu. Lista ta’ mogħdijiet permessi ddikjarata fil-konfigurazzjoni tal-esperiment. Kull bidla barra minnha titreġġa’ lura qabel ma tiġi vvalutata l-prova, u l-prova tiġi mmarkata. B’hekk, id-diff li jara r-rieżaminatur ikun garantit li jibqa’ fl-ambitu ddikjarat.
Infurzar tal-Baġit. Tliet saffi: limiti tat-tokens u tal-ħin reali għal kull prova, limitu aggregat għal kull eżekuzzjoni u limitu tal-konkorrenza. Flimkien iżommu l-infiq prevedibbli u jiżguraw li l-harness jibqa’ fil-limiti tar-rata tal-mudell u tal-infrastruttura.
Maħżen tal-Evidenza. JSONL li miegħu jista’ jiżdied biss, bil-garża tal-kodiċi, il-punteġġi għal kull partizzjoni, ir-reġistru tal-avvenimenti u l-erba’ analiżijiet miktuba minn LLM. Il-veduti mmaterjalizzati (klassifika, fruntiera u indiċi tal-fallimenti) jerġgħu jiġu ġġenerati wara kull prova. B’hekk, iċ-ċikli ta’ wara jistgħu jibnu fuq l-istorja preċedenti filwaqt li kull eżekuzzjoni tibqa’ riproduċibbli byte b’byte.
Ebda wieħed minn dawn l-elementi fundamentali mhu fakultattiv. L-għan tal-harness huwa li, fi tmiem eżekuzzjoni, ir-rieżaminatur ikollu xi ħaġa li tassew jista’ japprova: kandidat rebbieħ, diff b’ambitu limitat, rekord sħiħ ta’ dak kollu li ġie ppruvat u spiża magħrufa. Jekk tneħħi wieħed mill-ħamsa, tisparixxi waħda minn dawk il-garanziji.
It-tliet esperimenti kollha jużaw l-istess strateġija tal-ipoteżijiet. F’kull iterazzjoni, il-proponent jiġġenera aktar ipoteżijiet milli jippermetti l-baġit: M = 8 kandidati għal baġit ta’ tqassim ta’ K = 4. Imbagħad klassifikatur LLM separat jordna t-tmienja kollha f’sejħa waħda ta’ tletin sekonda, bl-istampa sħiħa quddiemu: l-aħjar punteġġ attwali u d-dimensjonijiet dgħajfa tiegħu, analiżijiet tal-fallimenti minn provi reċenti u t-tmien proposti kollha ħdejn xulxin. L-aqwa 4 jintbagħtu lill-eżekutur, bi spiża ta’ bejn 15 u 30 minuta kull wieħed. L-4 l-oħra jitwarrbu qabel ma jonfqu xi riżorsi.
Il-mudelli sottostanti baqgħu fissi tul il-proċess kollu; il-harness edita biss il-kodiċi ta’ madwarhom. Signal Engine u r-Riċerka Profonda tħaddmu fuq gpt-5.5. L-Irkupru Multimodali Aġentiku tħaddem fuq Qwen3.6-35B-A3B b’piżijiet miftuħa, servut lokalment permezz ta’ vLLM u mqabbad ma’ sistema ColQwen3-4B għall-irkupru tal-immaġnijiet. Din il-kombinazzjoni ntgħażlet biex l-ispiża fuq il-post tkun prevedibbli.
Il-grafika hawn taħt turi kif inbidlu l-punteġġi tat-tliet kompiti ewlenin tagħna. “Żerriegħa” hija l-kodiċi inizjali miktub minn inġinier uman. “Meta-Harness” hija l-aħjar verżjoni li sab Meta-Harness. Naraw titjib fil-prestazzjoni tat-tliet kompiti kollha fuq is-sett tat-test miżmum barra.
Signal Engine ġie evalwat minn ġudikatur LLM skont l-attwalità, il-korrettezza fattwali, il-granularità u t-ton, bl-użu ta’ 150 tweet tat-taħriġ u 150 tweet tat-test miżmuma barra. Matul l-eżekuzzjoni, l-aħjar verżjoni tejbet il-punteġġ kompost tat-taħriġ minn 0.431 għal 0.756 u l-punteġġ fuq data miżmuma barra minn 0.456 għal 0.841. Il-kisbiet ġew minn bidliet fil-harness innifsu, mhux biss minn aġġustamenti fil-prompt: l-iterazzjonijiet rebbieħa tgħallmu jiffiltraw l-istorbju tal-midja soċjali, żiedu passi għall-verifika inkroċjata tal-fatti u esiġew li kull output ikun ibbażat fuq evidenza espliċita. Id-dijagramma hawn taħt turi l-proċess tal-iterazzjoni.
L-istorja tal-provi turi kif akkumulaw dawn il-kisbiet. Bidla strutturali bikrija għolliet l-aħjar punteġġ sa dak il-ħin għal 0.625; immaniġġjar aktar granulari tal-evidenza wasslu għal 0.679; u ċiklu mtejjeb ta’ riflessjoni u rubrika għollieh għal 0.819. Madwar nofs l-eżekuzzjonijiet tal-kandidati kellhom prestazzjoni agħar jew fallew għalkollox, iżda ma kkontaminawx il-klassifika: kull fork tħaddem f’iżolament, id-diffs telliefa ntremew u l-fallimenti nkitbu fil-maħżen tar-riflessjonijiet biex il-proponent ta’ wara ma jirrepetix l-istess triq mingħajr riżultat.
L-aktar importanti huwa li l-kurva tad-data miżmuma barra żdiedet flimkien mal-kurva tat-taħriġ tul l-eżekuzzjoni kollha. Dan jindika li l-harness kien qed itejjeb il-fluss tax-xogħol, mhux jimmemorizza l-korpus tat-taħriġ. Il-punteġġi fuq data miżmuma barra kienu ftit ogħla minn dawk tat-taħriġ, u dan ninterpretawh bħala varjazzjoni normali tal-kampjunar bejn żewġ partizzjonijiet żgħar u separati.
L-Irkupru Multimodali Aġentiku jitkejjel b’NDCG@10 fuq il-partizzjoni pubblika tax-Xjenza tal-Kompjuter ViDoRe V3, organizzata f’20 mistoqsija tat-taħriġ, 10 tal-iżvilupp u 20 tat-test miżmuma barra. Il-harness għolla l-NDCG@10 fuq data miżmuma barra minn 0.705 għal 0.744, filwaqt li naqqas il-ħin reali totali tal-evalwazzjoni minn 869 sekonda għal 54 sekonda.
Ir-Riċerka Profonda tiġi vvalutata permezz ta’ punteġġ kompost, iġġudikat minn LLM, tal-kwalità sostantiva u l-kwalità tar-referenzi, skont DeepResearch-Eval, fuq 10 mistoqsijiet ta’ referenza. Il-kodiċi mtejjeb għolla l-medja minn 0.449 għal 0.802. Il-bidliet rebbieħa kienu faċli biex jintgħarfu mid-diff: pass inizjali ta’ ppjanar li jqabbel l-approċċi qabel jintbagħtu xi aġenti tar-riċerka, u pass finali ta’ rieżami mmirat lejn id-dimensjonijiet fejn storikament ir-rapporti kienu kisbu punteġġi baxxi. Minħabba li dan is-sett huwa żgħir u għali biex jiġi evalwat, ma qsamniehx u nqisu r-riżultat bħala validu fil-kampjun biss.
Ittestjajna t-tliet metodi kollha bl-istess baġit: l-istess settijiet tad-data, l-istess mudelli sottostanti, l-istess limitu ta’ iterazzjonijiet u l-istess għadd totali ta’ evalwazzjonijiet tal-kandidati. F’Signal Engine, Meta-Harness jilħaq 0.841 fit-test fuq data miżmuma barra, filwaqt li ż-żewġ linji bażi baqgħu taħt 0.50. Fl-Irkupru Multimodali Aġentiku, it-tim tagħna kiseb l-ogħla NDCG@10 fuq data miżmuma barra (0.744, meta mqabbel ma’ 0.700 għal CORAL u 0.738 għal karpathy) u jwettaq l-evalwazzjoni uffiċjali minn 12 sa 14-il darba aktar malajr: 54s, meta mqabbel ma’ 786s u 650s. Fir-Riċerka Profonda, it-tim tagħna jilħaq 0.802, filwaqt li ż-żewġ linji bażi baqgħu qrib 0.52. Hemm riżerva li tapplika għal kollox: aħna implimentajna mill-ġdid lil CORAL u karpathy/autoresearch mid-deskrizzjonijiet ippubblikati tagħhom, għalhekk parti mid-differenza tista’ tirrifletti differenzi fl-implimentazzjoni u mhux biss fil-metodi.
Erba’ għażliet tad-disinn jispjegaw id-differenza. L-ewwel, it-tim tagħna jiġġenera speċifikazzjoni strutturata tad-disinn qabel ma jiġi editjat xi kodiċi. Dan imexxih lejn bidliet strutturali, bħal stadji ġodda fil-pipeline, aktar milli lejn aġġustamenti fil-prompt. It-tieni, iħaddem forks konkorrenti ankrati ma’ kandidat ta’ fruntiera komuni, biex it-titjib jakkumula aktar malajr milli bl-aġenti indipendenti ta’ CORAL jew iċ-ċiklu strettament sekwenzjali ta’ karpathy. It-tielet, kull prova tħalli artefatti strutturati (punteġġi, reġistri tal-avvenimenti u erba’ analiżijiet miktuba minn LLM) li l-proponent ta’ wara jerġa’ jaqra, filwaqt li l-linji bażi jżommu biss reġistri sempliċi tat-tentattivi. Ir-raba’, kontrollur adattiv imexxi lill-proponent lejn l-esplorazzjoni wara staġnar u lejn l-irfinar wara rebħa, filwaqt li l-Klassifikazzjoni mill-Ġdid Predittiva tal-Ipoteżijiet telimina l-ideat dgħajfa qabel ma jonfqu l-baġit.
Il-kurvi tad-data miżmuma barra juru ġeneralizzazzjoni fl-istess qasam, mhux trasferiment bejn oqsma: fluss tax-xogħol irfinat għall-estrazzjoni ta’ sinjali mis-suq tal-IA mhuwiex mistenni jaħdem tajjeb fuq test legali jew bijomediku mingħajr ma jerġa’ jitħaddem il-harness. Il-harness javvanza wkoll biss fid-direzzjoni definita mill-valutatur. Għalhekk, sett tat-taħriġ storbjuż jew ġudikatur ikkalibrat ħażin iwassal fedelment għal adattament żejjed; qabel eżekuzzjoni serja, nirrakkomandaw mill-inqas 20 element tat-taħriġ magħżula bir-reqqa u partizzjoni separata tal-iżvilupp. L-ispiża hija l-akbar restrizzjoni prattika. Kull evalwazzjoni terġa’ tħaddem il-pipeline kollu fuq il-partizzjonijiet sħaħ; il-kandidat magħżul għall-irkupru waħdu kkonsma madwar 2.2 miljun token tal-input; u ottimizzazzjoni serja fuq mudell tal-klassi ta’ gpt-5.5 tiswa minn mijiet sa ftit eluf ta’ dollari għal kull kompitu. Fl-aħħar nett, dawn iċ-ċifri ġejjin minn eżekuzzjonijiet singoli u mhux minn provi ripetuti. Għalhekk qed naqsmuhom bħala artiklu tekniku fuq blog, aktar milli bħala studju formali.
Meta-Harness juri li t-titjib awtonomu tal-kodiċi jista’ jsir dixxiplinat biżżejjed għall-użu korporattiv. L-ingredjenti huma ipoteżijiet strutturali, filtrazzjoni predittiva minn qabel, evalwazzjoni iżolata, testijiet fuq data miżmuma barra kull fejn tippermetti d-data u rekord sħiħ tal-awditjar wara kull bidla adottata. Flimkien, dawn jagħtu lit-tim tal-inġinerija triq prevedibbli minn pipeline inizjali li jaħdem għal wieħed li jista’ jitkejjel li huwa aħjar. Jagħtu wkoll lis-sid tal-operazzjonijiet mudell sempliċi: il-benefiċċji tal-esplorazzjoni awtonoma, miżmuma f’qafas strett u konxju tal-baġit, b’persuna involuta qabel ma xi ħaġa titqiegħed fil-produzzjoni.