Nagpakita ng magagandang resulta sa mga coding task ang mga kasalukuyang sistema para sa awtonomong pagpapahusay, ngunit hindi pa malinaw kung mapapahusay nila ang mga masalimuot at pangmatagalang AI workflow na kahawig ng tunay na deployment sa negosyo.
Ginagamit ng aming Meta-Harness Research ang awtonomong pagpapahusay sa sarili para sa agentic retrieval, malalimang pananaliksik, at mga workflow ng signal intelligence, kasabay ng pagdaragdag ng mga pangangailangan ng negosyo gaya ng held-out na pagsusuri, auditability, mga kontrol sa badyet, at pag-apruba ng tao.
Sa tatlong kumakatawang workload, lubos na pinahusay ng Meta-Harness ang performance, kabilang ang 84% pagtaas sa performance ng held-out test para sa Signal Engine at mas mataas na accuracy na may 16× mas mabilis na execution para sa Agentic Multimodal Retrieval.
Hindi tulad ng karamihan sa mga naunang paraan, sinusukat ng Meta-Harness ang tagumpay sa mga held-out dataset hangga't maaari upang masuri kung ang mga pagpapahusay ay nagagamit din sa labas ng data na ginamit sa optimization.
Ipinahihiwatig ng mga resultang ito na maaaring lumampas sa mga coding benchmark ang awtonomong pagpapahusay ng workflow at magamit sa mga tunay na enterprise AI system, na nagbibigay ng praktikal na paraan para patuloy na mapahusay ang mga AI application.
Ipinakita ng mga kamakailang pag-aaral sa awtonomong AI research, kabilang ang papel na Meta-Harness, ang framework na CORAL, at karpathy/autoresearch, na maaaring paulit-ulit na pahusayin ng mga coding agent ang isang solusyon kapag may ibinigay na sukatan ng pagsusuri. Hindi pa nasasagot kung gumagana rin ang mga paraang iyon sa mga pangmatagalang AI workflow, gaya ng agentic multimodal retrieval kung saan kailangang paulit-ulit na maghanap ang isang agent sa multimodal na corpora ng isang domain upang sagutin ang tanong, o sa masalimuot na data-processing pipeline na nangangailangan ng maraming magkakaugnay na hakbang, tool call, at desisyon sa paghawak ng exception. Ang mas malalim na tanong ay kung mananatili ang mga pagbuti sa data na hindi kailanman nakikita ng optimizer.
Ang aming Meta-Harness R&D ang sagot namin sa tanong na iyon. Ginagamit nito ang mga ideya mula sa kamakailang pananaliksik at inaangkop ang mga ito sa pangangailangan ng negosyo: held-out na pagsusuri, mga audit trail, limitasyon sa gastos, at malinaw na punto ng paglilipat sa isang human reviewer bago ilabas ang anuman.
Sinubukan namin ito sa tatlong pangmatagalang task na ibinatay sa tunay na trabaho para sa mga kliyente. Sinusubaybayan ng Signal Engine ang live stream ng mga post sa X tungkol sa AI market at gumagawa ng nakabalangkas na mga ulat sa trend na may matibay na sanggunian. Sinusuri ng Agentic Multimodal Retrieval ang mga query na may magkahalong teksto at larawan upang ibalik ang mga pinakanauugnay na pahina ng dokumento. Pinag-uugnay ng Malalimang Pananaliksik ang maraming agent upang maghanap sa web, mag-cross-check ng mga source, at sumulat ng mahahabang research report.
Signal Engine: composite ng held-out test na 0.456 → 0.841, isang relatibong pagtaas na 84%. Nanatiling mas mababa sa 0.50 ang CORAL at karpathy/autoresearch sa parehong badyet.
Agentic Multimodal Retrieval: held-out NDCG@10 na 0.705 → 0.744, habang bumaba ang wall-clock time ng bawat pagsusuri mula 869s patungong 54s. Iyon ay 16× na pagbilis kasabay ng mas mataas na accuracy.
Malalimang Pananaliksik: composite ng kalidad ng ulat na 0.449 → 0.802 sa 10 reference question, kumpara sa humigit-kumulang 0.52 para sa mga baseline. Walang held-out split ang task na ito, kaya itinuturing naming in-sample lamang ang bilang.
Kahusayan sa paghahanap: gamit ang Predictive Hypothesis Reranking, naabot ng Signal Engine ang 91% ng pinakamahusay na score ng reference run sa 3 iteration sa halip na 20 gamit ang parehong badyet sa pagsusuri.
Nag-o-optimize at nagsusuri sa iisang dataset ang karamihan sa mga awtonomong research system, kaya imposibleng malaman kung magagamit sa iba pang data ang resulta. Para sa Signal Engine at Agentic Multimodal Retrieval, nagpapatupad kami ng mahigpit na paghahati: isang training set na maaaring pagkuhanan ng score ng mga kandidato, isang development set para sa mga sanity check, at isang held-out test set na hindi kailanman nakikita ng optimizer. Ang bawat iniulat na resulta ay mula sa iisang partikular na bersyon ng code na minarkahan sa lahat ng split, kaya hindi namin kailanman pinaghahalo ang pinakamahusay na training score ng isang kandidato at ang pinakamahusay na test score ng iba.
Sa bawat round, bumubuo ang harness ng isang batch ng mga nakabalangkas na hypothesis para baguhin ang code. Tinutukoy ng bawat hypothesis ang mekanismong babaguhin nito, ang naunang bersyong pagbabatayan nito, at ang failure mode na tinutugunan nito. Sinasala muna ng isang hakbang sa pagraranggo ang batch bago gumastos sa anumang magastos na pagsusuri. Ipinapasa ang mga natitirang hypothesis sa magkakaagapay na worker agent na may iisang knowledge base ngunit nag-e-edit ng code sa ganap na magkakahiwalay na workspace, kaya patas at hiwalay na namarkahan ang bawat kandidato. Sa pagtatapos ng round, itinataguyod ng runner ang isang panalo: ang kandidatong may pinakamataas na score na nakapasa rin sa bawat pagsusuri sa mga nakikitang split. Ang nanalong iyon ang nagiging batayan ng susunod na round. Nagsusulat ang bawat trial ng isang nakapirming bundle sa append-only na imbakan ng ebidensya: ang code patch nito, mga score sa bawat split, event log, at apat na maiikling pagsusuring isinulat ng LLM tungkol sa trace, mga error, gastos, at pagninilay nito. Muling binabasa ng proposer sa susunod na round ang kasaysayang ito, kaya napagsasama-sama ng harness ang mga natutuhan nito sa halip na ulitin ang mga pagsubok na wala nang patutunguhan.
Tatlong guardrail ang nagpapanatiling ligtas patakbuhin ang loop. Nililimitahan ng patakaran sa saklaw kung aling mga file ang maaaring baguhin ng isang kandidato at ibinabalik nito ang anumang pagbabago sa labas ng saklaw. Ihihinto ng mga badyet sa token at oras ang run kapag lumampas ang gastos sa itinakdang hangganan, habang pinananatili ng mga limitasyon sa concurrency ang harness sa loob ng mga rate limit ng modelo at GPU. At hindi kailanman ang harness mismo ang naglalabas ng anuman. Gumagawa ito ng ganap na dokumentado at nakaranggo na kandidato, at sinusuri ng isang human engineer ang diff at nagpapasya kung ilalagay iyon sa production.
Sa isang lokal na stack, limang pangunahing bahagi ng engineering ang sumusuporta sa bawat round ng loop sa itaas.
Pagbubukod ng Workspace. Isang git worktree para sa bawat kandidato. Iisa ang object database ng mga fork ngunit hindi nila kailanman ibinabahagi ang mga file ng isa't isa. Dahil dito, maaaring tumakbo nang sabay-sabay ang mga kandidato sa halos hindi nagbabagong gastos sa disk, at napakadaling ihambing ang diff sa kasalukuyang nangungunang bersyon.
Execution Sandbox. Dalawang mode ayon sa config: native subprocess para sa mabilis na pag-ulit o isang ganap na nakahiwalay na runtime. Naka-mount bilang read-only ang corpora, at itinatapon ang scratch directory ng bawat trial pagkatapos markahan. Dahil dito, hindi mababago ng isang trial ang dataset o makapagpapasa ng state sa susunod na trial.
Patakaran sa Saklaw. Isang allow-list ng path na idineklara sa experiment config. Ibinabalik ang anumang binago sa labas nito bago markahan ang trial, at fina-flag ang trial. Kaya garantisadong mananatili sa idineklarang saklaw ang diff na makikita ng reviewer.
Pagpapatupad ng Badyet. Tatlong antas: mga limitasyon sa token at oras ng bawat trial, kabuuang limitasyon sa bawat run, at limitasyon sa concurrency. Sama-sama, pinananatili ng mga ito na mahuhulaan ang gastos at nasa loob ng mga rate limit ng modelo at imprastraktura ang harness.
Imbakan ng Ebidensya. Isang append-only na JSONL ng code patch, mga score sa bawat split, event log, at apat na pagsusuring isinulat ng LLM. Muling binubuo ang mga materialized view (leaderboard, nangungunang bersyon, failure index) pagkatapos ng bawat trial. Dahil dito, napakikinabangan ng mga susunod na round ang naunang kasaysayan habang nananatiling eksaktong nauulit, byte-for-byte, ang bawat run.
Walang opsyonal sa mga pangunahing bahaging ito. Layunin ng harness na sa pagtatapos ng isang run, may aktuwal na maaaprubahan ang reviewer: isang nanalong kandidato, diff na nasa itinakdang saklaw, kumpletong tala ng lahat ng sinubukan, at tiyak na gastos. Alisin ang alinman sa lima at mawawala ang isa sa mga garantiyang iyon.
Iisang diskarte sa hypothesis ang ginagamit ng lahat ng tatlong eksperimento. Sa bawat iteration, bumubuo ang proposer ng mas maraming hypothesis kaysa kayang patakbuhin ng badyet: M = 8 kandidato para sa dispatch budget na K = 4. Pagkatapos, inaayos ng isang hiwalay na LLM ranker ang lahat ng 8 sa iisang tatlumpung segundong call, habang nasa harap nito ang buong larawan: ang kasalukuyang pinakamahusay na score at mahihinang dimensyon nito, mga pagsusuri sa kabiguan mula sa mga kamakailang trial, at lahat ng 8 proposal na magkakatabi. Ipinapasa sa executor ang nangungunang 4, na gumugugol ng 15 hanggang 30 minuto bawat isa. Inaalis ang iba pang 4 bago pa sila gumastos ng anuman.
Hindi binago ang mga pinagbabatayang modelo sa buong proseso; ang code lamang sa paligid ng mga ito ang in-edit ng harness. Tumakbo sa gpt-5.5 ang Signal Engine at Malalimang Pananaliksik. Tumakbo ang Agentic Multimodal Retrieval sa open-weight na Qwen3.6-35B-A3B na lokal na inihain sa pamamagitan ng vLLM, kasama ang ColQwen3-4B image retriever—isang kombinasyong pinili para sa mahuhulaang on-prem na gastos.
Ipinapakita ng chart sa ibaba kung paano nagbago ang mga score ng aming tatlong pangunahing task. Ang "Seed" ay ang panimulang code na isinulat ng isang human engineer. Ang "Meta-Harness" ay ang pinakamahusay na bersyong natagpuan ng Meta-Harness. Nakita namin ang pagbuti ng performance ng lahat ng tatlong task sa held-out test set.
Sinuri ang Signal Engine ng isang LLM judge batay sa pagiging napapanahon, katumpakan ng impormasyon, granularity, at tono, gamit ang 150 training tweet at 150 held-out test tweet. Sa buong run, pinahusay ng pinakamahusay na bersyon ang training composite mula 0.431 patungong 0.756 at ang held-out score mula 0.456 patungong 0.841. Nagmumula ang mga pagbuti sa mismong harness, hindi lamang sa mga pagbabago sa prompt: natutong magsala ng ingay sa social media ang mga nanalong iteration, nagdagdag ng mga hakbang sa pag-cross-check ng impormasyon, at nag-atas na ibatay ang bawat output sa tahasang ebidensya. Ipinapakita ng diagram sa ibaba ang proseso ng iteration.
Ipinapakita ng kasaysayan ng trial kung paano naipon ang mga pagbuting iyon. Itinaas ng isang maagang pagbabago sa estruktura ang pinakamataas na score sa 0.625; itinulak ito ng mas detalyadong pangangasiwa ng ebidensya sa 0.679; at iniangat ito ng pinahusay na reflection-and-rubric loop sa 0.819. Humigit-kumulang kalahati ng lahat ng candidate run ang hindi umabot sa inaasahan o tuluyang nabigo, ngunit hindi nila naapektuhan ang leaderboard: hiwalay na tumakbo ang bawat fork, itinapon ang mga natalong diff, at isinulat ang mga kabiguan sa reflection store upang hindi ulitin ng susunod na proposer ang parehong walang patutunguhang pagsubok.
Pinakamahalaga, kasabay na tumaas ang held-out curve at training curve sa buong run. Ipinahihiwatig nito na pinahusay ng harness ang workflow sa halip na isaulo ang training corpus. Bahagyang mas mataas ang mga held-out score kaysa sa mga training score, na itinuturing naming karaniwang sampling noise sa pagitan ng dalawang maliit at magkahiwalay na split.
Sinusukat ang Agentic Multimodal Retrieval gamit ang NDCG@10 sa pampublikong ViDoRe V3 Computer Science split, na inayos bilang 20 training, 10 development, at 20 held-out test query. Itinaas ng harness ang held-out NDCG@10 mula 0.705 patungong 0.744 habang binabawasan ang kabuuang wall-clock ng pagsusuri mula 869 segundo patungong 54 segundo.
Minamarkahan ang Malalimang Pananaliksik gamit ang composite na sinusuri ng LLM batay sa kalidad ng nilalaman at mga sanggunian, alinsunod sa DeepResearch-Eval, sa 10 reference question. Itinaas ng pinahusay na code ang mean mula 0.449 patungong 0.802. Madaling makita sa diff ang mga nanalong pagbabago: isang paunang hakbang sa pagpaplano na naghahambing ng mga paraan bago italaga ang anumang research agent, at isang panghuling review na nakatuon sa mga dimensyong dati ay mababa ang score ng mga ulat. Dahil maliit at magastos suriin ang set na ito, hindi namin ito hinati at itinuturing naming in-sample ang resulta.
Sinukat namin ang lahat ng tatlong paraan gamit ang parehong badyet: parehong dataset, parehong pinagbabatayang modelo, parehong limitasyon sa iteration, at parehong kabuuang bilang ng pagsusuri sa kandidato. Sa Signal Engine, umabot ang Meta-Harness sa 0.841 sa held-out test habang nanatiling mas mababa sa 0.50 ang dalawang baseline. Sa Agentic Multimodal Retrieval, ang aming team ang may pinakamataas na held-out NDCG@10 (0.744 kumpara sa 0.700 ng CORAL at 0.738 ng karpathy) at napapatakbo nito ang opisyal na pagsusuri nang labindalawa hanggang labing-apat na beses na mas mabilis: 54s kumpara sa 786s at 650s. Sa Malalimang Pananaliksik, umabot ang aming team sa 0.802 habang nanatiling malapit sa 0.52 ang dalawang baseline. May isang mahalagang paalala: muli naming ipinatupad ang CORAL at karpathy/autoresearch batay sa mga inilathalang paglalarawan ng mga ito, kaya maaaring nagmumula ang bahagi ng agwat sa mga pagkakaiba sa implementation at hindi lamang sa mismong mga paraan.
Apat na desisyon sa disenyo ang nagpapaliwanag sa agwat. Una, bumubuo ang aming team ng nakabalangkas na design spec bago mag-edit ng anumang code. Dahil dito, mas nakatuon ito sa mga pagbabago sa estruktura, gaya ng mga bagong yugto ng pipeline, kaysa sa mga pagbabago lang sa prompt. Ikalawa, sabay-sabay nitong pinapatakbo ang mga fork na nakabatay sa iisang nangungunang kandidato, kaya mas mabilis na naiipon ang mga pagpapahusay kaysa sa magkakahiwalay na agent ng CORAL o sa mahigpit na sunod-sunod na loop ng karpathy. Ikatlo, nag-iiwan ang bawat trial ng mga nakabalangkas na artifact (mga score, event log, at apat na pagsusuring isinulat ng LLM) na muling binabasa ng susunod na proposer, samantalang mga simpleng attempt log lamang ang pinapanatili ng mga baseline. Ikaapat, itinutulak ng isang adaptive controller ang proposer tungo sa paggalugad pagkatapos hindi umusad at sa pagpino pagkatapos manalo, habang ginagamit sa ibabaw nito ang Predictive Hypothesis Reranking upang alisin ang mahihinang ideya bago gumastos ng badyet.
Ipinapakita ng mga held-out curve ang in-domain generalization, hindi cross-domain transfer: hindi dapat asahang gagana sa legal o biomedical na teksto ang isang workflow na iniangkop para sa pagkuha ng signal sa AI market nang hindi muling pinapatakbo ang harness. Umaangat lamang ang harness ayon sa pamantayang itinakda ng grader, kaya matapat nitong io-overfit ang isang maingay na training set o judge na mali ang calibration. Inirerekomenda namin ang hindi bababa sa 20 maingat na piniling training item at isang hiwalay na development split bago ang seryosong run. Gastos ang pinakamalaking praktikal na limitasyon. Muling pinapatakbo ng bawat pagsusuri ang buong pipeline sa lahat ng split; ang napiling retrieval candidate lamang ay gumamit ng humigit-kumulang 2.2 milyong input token; at ang seryosong optimization sa isang modelong kauri ng gpt-5.5 ay nagkakahalaga ng ilang daan hanggang mahigit isang libong dolyar bawat task. Panghuli, mula sa iisang run ang mga bilang na ito at hindi sa mga inulit na trial, kaya ibinabahagi namin ang mga ito bilang engineering blog post sa halip na pormal na pag-aaral.
Ipinapakita ng Meta-Harness na maaaring gawing sapat na disiplinado para sa negosyo ang awtonomong pagpapahusay ng code. Ang mahahalagang sangkap ay mga hypothesis sa estruktura, predictive pre-filtering, nakahiwalay na pagsusuri, held-out testing hangga't pinapayagan ng data, at kumpletong audit trail sa likod ng bawat itinataguyod na pagbabago. Sama-sama, binibigyan ng mga ito ang engineering team ng mahuhulaang landas mula sa gumaganang seed pipeline tungo sa isang pipeline na mas mahusay ayon sa sukat. Binibigyan din nila ang operations owner ng simpleng modelo: ang pakinabang ng awtonomong paggalugad sa loob ng isang mahigpit at sensitibo sa badyet na framework, na may taong kasama sa proseso bago ilabas ang anuman.