Tá torthaí láidre léirithe ag córais reatha um fheabhsú uathrialach i dtascanna códaithe, ach níl sé soiléir fós an féidir leo sreafaí oibre casta fadtéarmacha AI atá cosúil le fíor-imscaradh fiontair a fheabhsú.
Cuireann ár dTaighde Meta-Harness féinfheabhsú uathrialach i bhfeidhm ar aisghabháil ghníomhach, diantaighde agus sreafaí oibre faisnéise comharthaí, agus cuireann sé riachtanais fiontair leo amhail meastóireacht choinnithe amach, iniúchthacht, rialuithe buiséid agus ceadú daonna.
I dtrí ualach oibre ionadaíocha, chuir Meta-Harness feabhas suntasach ar an bhfeidhmíocht, lena n-áirítear feabhas 84% ar fheidhmíocht tástála coinnithe amach do Signal Engine agus cruinneas níos airde le rith 16× níos tapúla d’Aisghabháil Ilmhódach Ghníomhach.
Murab ionann agus formhór na gcur chuige roimhe seo, tomhaiseann Meta-Harness an rath ar thacair sonraí choinnithe amach nuair is féidir, lena mheas an nginearálann na feabhsuithe thar na sonraí a úsáideadh le linn an optamaithe.
Tugann na torthaí seo le fios gur féidir feabhsú uathrialach sreafaí oibre a leathnú ó thagarmharcanna códaithe go córais AI fiontair san fhíorshaol, rud a chuireann bealach praiticiúil ar fáil chun feidhmchláir AI a fheabhsú go leanúnach.
Léirigh taighde le déanaí ar thaighde uathrialach AI, lena n-áirítear páipéar Meta-Harness, creat CORAL agus karpathy/autoresearch, gur féidir le gníomhairí códaithe réiteach a fheabhsú go hatriallach nuair a thugtar méadrach meastóireachta dóibh. Is í an cheist atá fós gan freagra an n-oibríonn na modhanna sin do shreafaí oibre fadtéarmacha AI, amhail aisghabháil ilmhódach ghníomhach, ina gcaithfidh gníomhaire corpais ilmhódacha fearainn a chuardach arís agus arís eile chun ceist a fhreagairt, nó do phíblínte casta próiseála sonraí ina mbíonn go leor céimeanna spleácha, glaonna uirlisí agus cinntí maidir le heisceachtaí a láimhseáil. Is í an cheist is doimhne an seasann na gnóthachain ar shonraí nach bhfeiceann an t-optamóir riamh.
Is é ár dT&F Meta-Harness ár bhfreagra ar an gceist sin. Glacann sé smaointe ó thaighde le déanaí agus athmhúnlaíonn sé iad de réir riachtanais fiontair: meastóireacht choinnithe amach, rianta iniúchta, uasteorainneacha costais, agus pointe soiléir aistrithe chuig athbhreithneoir daonna sula n-eisítear aon rud.
Thástálamar é ar thrí thasc fhadtéarmacha a samhlaíodh ar fhíorobair cliant. Déanann Signal Engine monatóireacht ar shruth beo postálacha X faoi mhargadh AI agus táirgeann sé tuarascálacha struchtúrtha treochtaí a bhfuil foinsí maithe leo. Déanann Aisghabháil Ilmhódach Ghníomhach réasúnú ar cheisteanna ina measctar téacs agus íomhánna chun na leathanaigh doiciméid is ábhartha a thabhairt ar ais. Comhordaíonn Diantaighde gníomhairí iomadúla chun an gréasán a chuardach, foinsí a chros-seiceáil agus tuarascálacha fada taighde a scríobh.
Signal Engine: comhscór tástála coinnithe amach 0.456 → 0.841, ardú coibhneasta 84%. D’fhan CORAL agus karpathy/autoresearch faoi bhun 0.50 leis an mbuiséad céanna.
Aisghabháil Ilmhódach Ghníomhach: NDCG@10 coinnithe amach 0.705 → 0.744, agus thit an t-am iarbhír do gach meastóireacht ó 869s go 54s. Sin luasghéarú 16× agus cruinneas níos airde ag an am céanna.
Diantaighde: comhscór cáilíochta tuarascála 0.449 → 0.802 thar 10 gceist tagartha, i gcomparáid le thart ar 0.52 do na bonnlínte. Ní raibh deighilt choinnithe amach sa tasc seo, mar sin caithimid leis an bhfigiúr mar thoradh laistigh den sampla amháin.
Éifeachtúlacht chuardaigh: le hAthrangú Réamh-mheastach Hipitéisí, bhain Signal Engine 91% den scór ab fhearr sa rith tagartha amach i 3 atriall seachas 20 leis an mbuiséad meastóireachta céanna.
Déanann formhór na gcóras taighde uathrialaigh optamú agus meastóireacht ar an tacar sonraí céanna, rud a fhágann nach féidir a dhéanamh amach an nginearálann an toradh. I gcás Signal Engine agus Aisghabháil Ilmhódach Ghníomhach, cuirimid deighilt dhocht i bhfeidhm: tacar oiliúna ar féidir iarrthóirí a scóráil ina aghaidh, tacar forbartha le haghaidh seiceálacha bunúsacha, agus tacar tástála coinnithe amach nach bhfeiceann an t-optamóir riamh. Tagann gach toradh tuairiscithe ó leagan sonrach amháin den chód a scóráiltear ar gach deighilt, mar sin ní mheascaimid riamh an scór oiliúna is fearr ó iarrthóir amháin leis an scór tástála is fearr ó iarrthóir eile.
I ngach babhta, gineann an creat baisc hipitéisí struchtúrtha maidir leis an gcód a athrú. Sonraíonn gach hipitéis an mheicníocht atá le hathrú, an leagan roimhe sin ar a dtógann sí, agus an cineál teipe a bhfuil sí dírithe air. Scagann céim rangaithe an bhaisc sula gcaitear acmhainní ar aon mheastóireacht chostasach. Seoltar na hipitéisí a mhaireann chuig gníomhairí oibre comhthreomhara a roinneann bonn eolais coiteann ach a chuireann cód in eagar i spásanna oibre atá scoite amach go hiomlán, ionas go measúnaítear gach iarrthóir go cothrom agus go neamhspleách. Ag deireadh an bhabhta, tugann an riteoir ardú céime d’aon bhuaiteoir amháin: an t-iarrthóir leis an scór is airde a d’éirigh leis sna seiceálacha uile ar na deighiltí infheicthe freisin. Is é an buaiteoir sin an teorainn ar a dtógann an chéad bhabhta eile. Scríobhann gach triail beart seasta i stór fianaise nach féidir ach cur leis: paiste an chóid, scóir de réir deighilte, loga teagmhas, agus ceithre anailís ghearra scríofa ag LLM a chlúdaíonn a rian, earráidí, costas agus machnamh. Léann moltaóir an chéad bhabhta eile an stair seo ar ais; sin é an chaoi a gcuireann an creat leis an méid atá foghlamtha aige in ionad na bealaí céanna gan toradh a atriail.
Coinníonn trí ráille cosanta an lúb sábháilte le rith. Cuireann beartas scóipe srian leis na comhaid ar féidir le hiarrthóir baint leo agus cealaíonn sé aon athrú lasmuigh den scóip. Stopann buiséid téacschomharthaí agus ama iarbhír an rith nuair a sháraíonn an caiteachas uasteorainn, agus coinníonn teorainneacha comhthreomhaireachta an creat laistigh de theorainneacha ráta na samhla agus GPU. Agus ní chuireann an creat aon rud á eisiúint é féin riamh. Táirgeann sé iarrthóir rangaithe atá doiciméadaithe go hiomlán, agus déanann innealtóir daonna athbhreithniú ar an difríocht agus cinneann sé an gcuirfear i dtáirgeadh é.
Ar chruach áitiúil, tá cúig bhunghné innealtóireachta mar bhonn le gach babhta den lúb thuas.
Spásanna Oibre a Leithlisiú. Crann oibre git amháin do gach iarrthóir. Roinneann na craobhacha bunachar sonraí oibiachtaí ach ní roinneann siad comhaid a chéile riamh. Dá bhrí sin, is féidir iarrthóirí a rith go comhthreomhar ar chostas diosca nach mór seasmhach agus is furasta iad a chur i gcomparáid leis an teorainn reatha.
Bosca Gainimh Rite. Dhá mhód de réir cumraíochta: fophróiseas dúchasach le haghaidh atriallta thapa nó timpeallacht rite atá scoite amach go hiomlán. Feistítear na corpais mar inléite amháin, agus caitear amach comhadlann sealadach gach trialach tar éis na grádála. Mar thoradh air sin, ní féidir le triail an tacar sonraí a athrú ná staid a ligean isteach sa chéad triail eile.
Beartas Scóipe. Liosta ceadaithe cosán a shainítear i gcumraíocht an turgnaimh. Cealaítear aon athrú lasmuigh de sula ngrádaítear an triail, agus cuirtear bratach leis an triail. Dá bhrí sin, ráthaítear go bhfanfaidh an difríocht a fheiceann an t-athbhreithneoir laistigh den scóip shainithe.
Forfheidhmiú Buiséid. Trí shraith: teorainneacha téacschomharthaí agus ama iarbhír do gach triail, uasteorainn chomhiomlán do gach rith, agus teorainn chomhthreomhaireachta. Le chéile, coinníonn siad an caiteachas intuartha agus cinntíonn siad go bhfanann an creat laistigh de theorainneacha ráta na samhla agus an bhonneagair.
Stór Fianaise. Comhad JSONL nach féidir ach cur leis, ina bhfuil paiste an chóid, scóir de réir deighilte, loga teagmhas agus na ceithre anailís scríofa ag LLM. Athghintear amhairc ábharaithe (clár ceannais, teorainn, innéacs teipeanna) tar éis gach trialach. Fágann sé sin gur féidir le babhtaí ina dhiaidh sin tógáil ar an stair roimhe seo agus gach rith a choinneáil in-atáirgthe beart ar bheart.
Níl aon cheann de na bunghnéithe seo roghnach. Is é cuspóir an chreata rud is féidir leis an athbhreithneoir a cheadú i ndáiríre ag deireadh rite a fhágáil aige: iarrthóir buaiteach, difríocht theoranta, taifead iomlán ar gach rud a triaileadh, agus costas aitheanta. Má bhaintear aon cheann den chúig cinn, imíonn ceann de na ráthaíochtaí sin.
Úsáideann na trí thurgnamh uile an straitéis hipitéisí chéanna. I ngach atriall, gineann an moltaóir níos mó hipitéisí ná mar is féidir leis an mbuiséad a rith: M = 8 n-iarrthóir do bhuiséad seolta K = 4. Ansin, cuireann rangaitheoir LLM ar leith na 8 gcinn ar fad in ord in aon ghlao tríocha soicind amháin, agus an pictiúr iomlán os a chomhair: an scór reatha is fearr agus na gnéithe laga de, anailísí ar theipeanna ó thrialacha le déanaí, agus na 8 dtogra taobh le taobh. Téann na 4 cinn is fearr chuig an riteoir ar chostas 15 go 30 nóiméad an ceann. Cuirtear na 4 cinn eile ar ceal sula gcaitear aon rud orthu.
Coinníodh na samhlacha bunúsacha seasta ó thús deireadh; níor chuir an creat in eagar ach an cód timpeall orthu. Rith Signal Engine agus Diantaighde ar gpt-5.5. Rith Aisghabháil Ilmhódach Ghníomhach ar Qwen3.6-35B-A3B le meáchain oscailte, arna riar go háitiúil trí vLLM, i bpéire le haisghabhálaí íomhánna ColQwen3-4B; roghnaíodh an teaglaim seo mar gheall ar a chostas intuartha ar an láthair.
Léiríonn an chairt thíos an chaoi ar athraigh na scóir dár dtrí phríomhthasc. Is éard is "Síol" ann ná an cód tosaigh a scríobh innealtóir daonna. Is éard is "Meta-Harness" ann ná an leagan is fearr a d’aimsigh Meta-Harness. Feicimid feabhas feidhmíochta do na trí thasc uile sa tacar tástála coinnithe amach.
Rinne breitheamh LLM meastóireacht ar Signal Engine de réir úire, fíriciúlachta, gráinneachta agus tuin, ag úsáid 150 tvuít oiliúna agus 150 tvuít tástála choinnithe amach. Le linn an rite, d’fheabhsaigh an leagan ab fhearr comhscór na hoiliúna ó 0.431 go 0.756 agus an scór coinnithe amach ó 0.456 go 0.841. Tháinig na gnóthachain ó athruithe ar an gcreat féin, ní hamháin ó leasuithe ar an leid: d’fhoghlaim na hatreoruithe buaiteacha torann ó na meáin shóisialta a scagadh, chuir siad céimeanna cros-seiceála fíricí leis, agus d’éiligh siad go mbeadh gach aschur bunaithe ar fhianaise shainráite. Léiríonn an léaráid thíos an próiseas atriallta.
Léiríonn stair na dtrialacha an chaoi ar charnaigh na gnóthachain sin. D’ardaigh athrú struchtúrach luath an scór reatha is fearr go 0.625; bhrúigh láimhseáil fianaise níos mionsonraithe é go 0.679; agus d’ardaigh lúb fheabhsaithe machnaimh agus rúibricí é go 0.819. D’fheidhmigh thart ar leath de na ritheanna iarrthóra go dona nó theip orthu go hiomlán, ach níor thruailligh siad an clár ceannais: rith gach craobh ina haonar, caitheadh amach na difríochtaí a chaill, agus scríobhadh na teipeanna sa stór machnaimh ionas nach ndéanfadh an chéad mholtóir eile an bealach céanna gan toradh arís.
Níos tábhachtaí fós, d’ardaigh an cuar coinnithe amach in éineacht leis an gcuar oiliúna ar feadh an rite. Tugann sé sin le fios go raibh an creat ag feabhsú an tsreafa oibre seachas an corpas oiliúna a chur de ghlanmheabhair. Bhí na scóir choinnithe amach beagán níos airde ná na scóir oiliúna; measaimid gur gnáth-thorann samplála idir dhá dheighilt bheaga ar leith é sin.
Tomhaistear Aisghabháil Ilmhódach Ghníomhach le NDCG@10 ar dheighilt ríomheolaíochta phoiblí ViDoRe V3, a coimeádadh ina 20 ceist oiliúna, 10 gceist forbartha agus 20 ceist tástála choinnithe amach. D’ardaigh an creat NDCG@10 coinnithe amach ó 0.705 go 0.744 agus laghdaigh sé am iarbhír iomlán na meastóireachta ó 869 soicind go 54 soicind.
Grádaítear Diantaighde de réir comhscóir, arna mheas ag LLM, de cháilíocht ábhair agus de cháilíocht tagairtí, ag leanúint DeepResearch-Eval, thar 10 gceist tagartha. D’ardaigh an cód feabhsaithe an meán ó 0.449 go 0.802. Bhí na hathruithe buaiteacha soiléir sa difríocht: céim phleanála roimh ré a dhéanann comparáid idir cuir chuige sula seoltar aon ghníomhairí taighde, agus céim athbhreithnithe deiridh dírithe ar na gnéithe ina raibh scóir ísle ag tuarascálacha roimhe seo. Toisc go bhfuil an tacar seo beag agus costasach le meastóireacht, níor dhearnamar é a dheighilt agus caithimid leis an toradh mar thoradh laistigh den sampla.
Rinneamar tagarmharcáil ar na trí mhodh leis an mbuiséad céanna: na tacair sonraí chéanna, na samhlacha bunúsacha céanna, an teorainn chéanna atriallta agus an líon iomlán céanna meastóireachtaí iarrthóirí. Ar Signal Engine, baineann Meta-Harness 0.841 amach sa tástáil choinnithe amach, agus d’fhan an dá bhonnlíne faoi bhun 0.50. In Aisghabháil Ilmhódach Ghníomhach, tá an NDCG@10 coinnithe amach is airde ag ár bhfoireann (0.744 i gcomparáid le 0.700 do CORAL agus 0.738 do karpathy) agus ritheann sí an mheastóireacht oifigiúil idir dhá oiread déag agus ceithre oiread déag níos tapúla: 54s i gcomparáid le 786s agus 650s. Sa Diantaighde, baineann ár bhfoireann 0.802 amach agus d’fhan an dá bhonnlíne gar do 0.52. Tá foláireamh amháin i gceist tríd síos: d’athchruthaíomar CORAL agus karpathy/autoresearch óna dtuairiscí foilsithe, mar sin d’fhéadfadh difríochtaí cur chun feidhme cuid den bhearna a mhíniú, seachas difríochtaí modha amháin.
Míníonn ceithre rogha dearaidh an bhearna. Ar an gcéad dul síos, gineann ár bhfoireann sonraíocht struchtúrtha dearaidh sula gcuirtear aon chód in eagar. Treoraíonn sé sin í i dtreo athruithe struchtúracha, amhail céimeanna nua píblíne, seachas mionathruithe ar an leid. Ar an dara dul síos, ritheann sí craobhacha comhthráthacha atá fréamhaithe in iarrthóir teorann comhroinnte, ionas go gcarnann feabhsuithe níos tapúla ná mar a dhéanann gníomhairí neamhspleácha CORAL nó lúb dhocht sheicheamhach karpathy. Ar an tríú dul síos, fágann gach triail déantáin struchtúrtha (scóir, logaí teagmhas agus ceithre anailís scríofa ag LLM) a léann an chéad mholtóir eile, ach ní choinníonn na bonnlínte ach logaí simplí iarrachtaí. Ar an gceathrú dul síos, treoraíonn rialaitheoir oiriúnaitheach an moltaóir i dtreo taiscéalaíochta tar éis dó dul i bhfostú agus i dtreo mionchoigeartaithe tar éis bua, agus os a chionn sin scagann Athrangú Réamh-mheastach Hipitéisí smaointe laga amach sula n-ídíonn siad an buiséad.
Léiríonn na cuair choinnithe amach ginearálú laistigh den fhearann, ní aistriú idir fearainn: níor cheart a bheith ag súil go n-oibreodh sreabhadh oibre a tiúnadh chun comharthaí faoi mhargadh AI a bhaint ar théacs dlíthiúil nó bithleighis gan an creat a rith arís. Ní dhreapann an creat ach an cnoc a shainíonn an grádóir, mar sin déanfar ró-oiriúnú dílis do thacar oiliúna torannach nó do bhreitheamh drochchalabraithe; molaimid 20 mír oiliúna dea-choimeádta ar a laghad agus deighilt forbartha ar leith roimh rith tromchúiseach. Is é an costas an srian praiticiúil is mó. Ritheann gach meastóireacht an phíblíne iomlán arís i gcoinne na ndeighiltí iomlána; d’ídigh an t-iarrthóir aisghabhála roghnaithe amháin thart ar 2.2 milliún téacschomhartha ionchuir; agus cosnaíonn optamú tromchúiseach ar shamhail d’aicme gpt-5.5 idir na céadta dollar agus cúpla míle dollar in aghaidh an taisc. Ar deireadh, tagann na figiúirí seo ó ritheanna aonair seachas ó thrialacha athdhéanta. Sin an fáth a bhfuilimid á roinnt mar bhlagmhír innealtóireachta seachas mar staidéar foirmiúil.
Léiríonn Meta-Harness gur féidir feabhsú uathrialach cóid a dhéanamh sách rialaithe lena úsáid i bhfiontair. Is iad na comhábhair ná hipitéisí struchtúrtha, réamhscagadh réamh-mheastach, meastóireacht leithlisithe, tástáil choinnithe amach nuair a cheadaíonn na sonraí é, agus rian iniúchta iomlán taobh thiar de gach athrú a fhaigheann ardú céime. Le chéile, tugann siad bealach intuartha d’fhoireann innealtóireachta ó phíblíne síl atá ag obair go píblíne atá níos fearr ar bhealach intomhaiste. Tugann siad samhail shimplí d’úinéir oibríochtaí freisin: buntáistí na taiscéalaíochta uathrialaí, coinnithe laistigh de chreat docht a chuireann an buiséad san áireamh, agus duine sa lúb sula n-eisítear aon rud.