Postojeći sustavi autonomnog poboljšavanja pokazali su dobre rezultate u programerskim zadacima, no još nije jasno mogu li poboljšati složene i dugotrajne tijekove rada uz AI koji nalikuju stvarnim implementacijama u poslovnom okruženju.
Naše istraživanje sustava Meta-Harness primjenjuje autonomno samopoboljšavanje na agentsko dohvaćanje, dubinsko istraživanje i tijekove analize signala te uvodi poslovne zahtjeve kao što su evaluacija na izdvojenim podacima, mogućnost revizije, kontrola proračuna i ljudsko odobrenje.
U tri reprezentativna radna opterećenja Meta-Harness znatno je poboljšao rezultate, uključujući poboljšanje rezultata na izdvojenom testu od 84 % za Signal Engine te veću točnost uz 16 puta brže izvršavanje za agentsko multimodalno dohvaćanje.
Za razliku od većine prethodnih pristupa, Meta-Harness uspjeh, kad god je to moguće, mjeri na izdvojenim skupovima podataka kako bi provjerio mogu li se poboljšanja generalizirati izvan podataka korištenih tijekom optimizacije.
Rezultati upućuju na to da autonomno poboljšavanje tijekova rada može nadići programerska mjerila i primijeniti se na stvarne poslovne AI sustave, čime se otvara praktičan put prema neprekidnom poboljšavanju AI aplikacija.
Nedavni radovi o autonomnom istraživanju uz pomoć AI-ja, uključujući rad Meta-Harness, radni okvir CORAL i karpathy/autoresearch, pokazali su da agenti za programiranje mogu iterativno poboljšavati rješenje na temelju evaluacijske metrike. Otvoreno je pitanje mogu li se te metode prenijeti na dugotrajne tijekove rada uz AI, poput agentskog multimodalnog dohvaćanja, u kojem agent mora iterativno pretraživati multimodalne domenske korpuse kako bi odgovorio na pitanje, ili na složene cjevovode za obradu podataka koji zahtijevaju mnogo međusobno ovisnih koraka, poziva alata i odluka o obradi iznimaka. Ključno je pitanje zadržavaju li se poboljšanja na podacima koje optimizator nikad ne vidi.
Naše istraživanje i razvoj sustava Meta-Harness odgovor su na to pitanje. Sustav preuzima ideje iz nedavnih istraživanja i prilagođava ih poslovnim potrebama: evaluaciji na izdvojenim podacima, revizijskim tragovima, gornjim granicama troškova i jasnoj predaji ljudskom pregledavatelju prije puštanja bilo čega u produkciju.
Testirali smo ga na tri dugotrajna zadatka oblikovana prema stvarnim projektima za klijente. Signal Engine u stvarnom vremenu prati objave na platformi X o tržištu AI-ja te izrađuje strukturirana izvješća o trendovima s jasno navedenim izvorima. Agentsko multimodalno dohvaćanje zaključuje na temelju kombiniranih tekstualnih i slikovnih upita kako bi vratilo najrelevantnije stranice dokumenata. Dubinsko istraživanje koordinira više agenata koji pretražuju web, međusobno provjeravaju izvore i pišu opsežna istraživačka izvješća.
Signal Engine: zbirni rezultat na izdvojenom testu 0,456 → 0,841, odnosno relativno poboljšanje od 84 %. CORAL i karpathy/autoresearch ostali su ispod 0,50 uz isti proračun.
Agentsko multimodalno dohvaćanje: NDCG@10 na izdvojenom skupu porastao je s 0,705 na 0,744, dok se trajanje pojedine evaluacije smanjilo s 869 s na 54 s. To znači 16 puta brže izvođenje uz veću točnost.
Dubinsko istraživanje: zbirna ocjena kvalitete izvješća porasla je s 0,449 na 0,802 na 10 referentnih pitanja, u usporedbi s približno 0,52 za osnovne sustave. Taj zadatak nije imao izdvojeni skup, pa rezultat smatramo valjanim samo unutar uzorka.
Učinkovitost pretraživanja: uz prediktivno ponovno rangiranje hipoteza Signal Engine dosegnuo je 91 % najboljeg rezultata referentnog izvođenja u 3 iteracije umjesto u 20, uz isti evaluacijski proračun.
Većina sustava za autonomno istraživanje optimizira se i evaluira na istom skupu podataka, zbog čega nije moguće utvrditi može li se rezultat generalizirati. Za Signal Engine i agentsko multimodalno dohvaćanje primjenjujemo strogu podjelu: skup za treniranje na kojem se kandidati mogu ocjenjivati, razvojni skup za provjere smislenosti te izdvojeni testni skup koji optimizator nikad ne vidi. Svaki objavljeni rezultat potječe iz jedne određene verzije koda ocijenjene na svim skupovima, pa nikad ne spajamo najbolji rezultat treniranja jednog kandidata s najboljim testnim rezultatom drugoga.
U svakom krugu testni sklop generira skup strukturiranih hipoteza za izmjenu koda. Svaka hipoteza navodi mehanizam koji želi promijeniti, prethodnu verziju na kojoj se temelji i vrstu neuspjeha koju nastoji ukloniti. Korak rangiranja filtrira skup prije pokretanja skupih evaluacija. Preostale hipoteze preuzimaju paralelni radni agenti koji dijele zajedničku bazu znanja, ali uređuju kod u potpuno izoliranim radnim prostorima, pa se svaki kandidat ocjenjuje pravedno i neovisno. Na kraju kruga izvršitelj odabire jednog pobjednika: kandidata s najvišim rezultatom koji je prošao i sve provjere na vidljivim podskupovima. Taj pobjednik postaje trenutačno najbolja verzija na kojoj se temelji sljedeći krug. Svaki pokušaj zapisuje unaprijed definiran paket u spremište dokaza samo za dodavanje: zakrpu koda, rezultate po podskupovima, zapisnik događaja i četiri kratke analize koje je napisao LLM, a obuhvaćaju tijek izvođenja, pogreške, trošak i osvrt. Predlagatelj u sljedećem krugu ponovno čita tu povijest, čime testni sklop nadograđuje naučeno umjesto da opet prolazi istim slijepim ulicama.
Tri zaštitne mjere omogućuju sigurno izvođenje petlje. Pravila opsega ograničavaju datoteke koje kandidat smije mijenjati i poništavaju sve izmjene izvan tog opsega. Ograničenja broja tokena i trajanja izvođenja zaustavljaju postupak kada potrošnja premaši gornju granicu, dok ograničenja istodobnog izvođenja drže testni sklop unutar dopuštenog opterećenja modela i GPU-a. Testni sklop pritom nikad ništa samostalno ne pušta u produkciju. On izrađuje najbolje rangiranog, potpuno dokumentiranog kandidata, a ljudski inženjer pregledava razlike i odlučuje hoće li ga pustiti u produkciju.
Na lokalnoj infrastrukturi svaki krug opisane petlje počiva na pet inženjerskih temelja.
Izolacija radnih prostora. Jedno radno stablo gita po kandidatu. Račvanja dijele bazu objekata, ali nikad međusobno ne dijele datoteke, što kandidatima omogućuje paralelno izvođenje uz gotovo nepromjenjiv trošak prostora na disku te jednostavnu usporedbu s trenutačno najboljom verzijom.
Izolirano okruženje za izvršavanje. Konfiguracijom se bira između dva načina rada: nativnog potprocesa za brzo ponavljanje ili potpuno izoliranog okruženja za izvođenje. Korpusi se postavljaju samo za čitanje, a privremeni direktorij pojedinog pokušaja odbacuje se nakon ocjenjivanja. Zbog toga pokušaj ne može izmijeniti skup podataka ni prenijeti stanje u sljedeći pokušaj.
Pravila opsega. Popis dopuštenih putanja definiran u konfiguraciji eksperimenta. Sve izmjene izvan njega poništavaju se prije ocjenjivanja, a pokušaj se označava. Time se jamči da će razlike koje pregledavatelj vidi ostati unutar definiranog opsega.
Provedba proračunskih ograničenja. Tri razine: ograničenja broja tokena i trajanja izvođenja po pokušaju, ukupna gornja granica po izvođenju te ograničenje istodobnog izvođenja. Zajedno održavaju troškove predvidljivima i osiguravaju da testni sklop ostane unutar dopuštenog opterećenja modela i infrastrukture.
Spremište dokaza. JSONL samo za dodavanje koji sadržava zakrpu koda, rezultate po podskupovima, zapisnik događaja i četiri analize koje je napisao LLM. Materijalizirani prikazi (ljestvica, trenutačno najbolja verzija i indeks neuspjelih pokušaja) ponovno se generiraju nakon svakog pokušaja, pa se sljedeći krugovi mogu osloniti na prethodnu povijest, a svako izvođenje ostaje ponovljivo do posljednjeg bajta.
Nijedan od tih temelja nije neobavezan. Svrha testnog sklopa jest da pregledavatelju na kraju izvođenja ostavi nešto što doista može odobriti: pobjedničkog kandidata, razlike ograničenog opsega, potpun zapis svih pokušaja i poznat trošak. Uklonite li bilo koji od tih pet temelja, nestaje i jedno od navedenih jamstava.
Sva tri eksperimenta koriste istu strategiju hipoteza. U svakoj iteraciji predlagatelj generira više hipoteza nego što ih proračun dopušta pokrenuti: M = 8 kandidata za proračun slanja K = 4. Zasebni LLM za rangiranje zatim svih osam poredava jednim pozivom od trideset sekundi, uz potpunu sliku: trenutačni najbolji rezultat i njegove slabije dimenzije, analize pogrešaka iz nedavnih pokušaja te svih osam prijedloga prikazanih usporedno. Najbolja četiri šalju se izvršitelju, uz trošak od 15 do 30 minuta za svakog. Preostala četiri odbacuju se prije nego što išta potroše.
Temeljni modeli cijelo su vrijeme ostali nepromijenjeni; testni sklop uređivao je samo kod oko njih. Signal Engine i dubinsko istraživanje izvodili su se na modelu gpt-5.5. Za agentsko multimodalno dohvaćanje upotrebljavao se model otvorenih težina Qwen3.6-35B-A3B, koji se lokalno izvodio putem vLLM-a i bio uparen sa slikovnim dohvatiteljem ColQwen3-4B; ta je kombinacija odabrana zbog predvidljivih troškova lokalne infrastrukture.
Grafikon u nastavku prikazuje kretanje rezultata za naša tri glavna zadatka. "Početna verzija" početni je kod koji je napisao ljudski inženjer. "Meta-Harness" najbolja je verzija koju je Meta-Harness pronašao. Na izdvojenom testnom skupu sva su tri zadatka ostvarila bolje rezultate.
Signal Engine evaluirao je LLM ocjenjivač prema aktualnosti, činjeničnoj točnosti, detaljnosti i tonu, na 150 objava za treniranje i 150 izdvojenih testnih objava s platforme X. Tijekom izvođenja najbolja je verzija poboljšala zbirni rezultat treniranja s 0,431 na 0,756, a rezultat na izdvojenom skupu s 0,456 na 0,841. Napredak je proizašao iz izmjena samog testnog sklopa, a ne samo dorade upita: pobjedničke iteracije naučile su filtrirati šum s društvenih mreža, dodale korake za unakrsnu provjeru činjenica i zahtijevale da svaki rezultat bude utemeljen na izričitim dokazima. Dijagram u nastavku prikazuje proces iteracije.
Povijest pokušaja pokazuje kako su se ta poboljšanja akumulirala. Rana strukturna izmjena podigla je dotad najbolji rezultat na 0,625; detaljnija obrada dokaza povisila ga je na 0,679; a dorađena petlja osvrta i kriterija na 0,819. Otprilike polovina svih izvođenja kandidata ostvarila je slabije rezultate ili potpuno podbacila, ali nisu narušila ljestvicu: svako se račvanje izvodilo izolirano, razlike gubitničkih verzija odbacivale su se, a pogreške su se zapisivale u spremište osvrta kako sljedeći predlagatelj ne bi ponovio istu slijepu ulicu.
Najvažnije je da je krivulja izdvojenog skupa rasla usporedno s krivuljom treniranja tijekom cijelog izvođenja. To upućuje na to da je testni sklop poboljšavao tijek rada umjesto da pamti korpus za treniranje. Rezultati na izdvojenom skupu bili su malo viši od rezultata treniranja, što tumačimo kao uobičajeni šum uzorkovanja između dva mala, odvojena skupa.
Agentsko multimodalno dohvaćanje mjeri se metrikom NDCG@10 na javnom podskupu Computer Science skupa ViDoRe V3, podijeljenom na 20 upita za treniranje, 10 razvojnih upita i 20 izdvojenih testnih upita. Testni sklop povećao je NDCG@10 na izdvojenom skupu s 0,705 na 0,744, uz smanjenje ukupnog trajanja evaluacije s 869 sekundi na 54 sekunde.
Dubinsko istraživanje ocjenjuje se zbirnom LLM ocjenom sadržajne kvalitete i kvalitete referenci prema evaluaciji DeepResearch-Eval, na 10 referentnih pitanja. Poboljšani kod povećao je prosjek s 0,449 na 0,802. Pobjedničke izmjene jasno su se vidjele u razlikama: početni korak planiranja koji uspoređuje pristupe prije slanja istraživačkih agenata te završni korak pregleda usmjeren na dimenzije u kojima su izvješća dotad dobivala slabije ocjene. Budući da je taj skup malen i skup za evaluaciju, nismo ga podijelili te rezultat smatramo valjanim samo unutar uzorka.
Sve tri metode usporedili smo uz isti proračun: iste skupove podataka, iste temeljne modele, isto ograničenje broja iteracija i isti ukupan broj evaluacija kandidata. Za Signal Engine Meta-Harness na izdvojenom testu postiže 0,841, dok su oba osnovna sustava ostala ispod 0,50. Za agentsko multimodalno dohvaćanje naš tim ima najviši NDCG@10 na izdvojenom skupu (0,744, u usporedbi s 0,700 za CORAL i 0,738 za karpathy) te službenu evaluaciju izvodi dvanaest do četrnaest puta brže: 54 s u usporedbi sa 786 s i 650 s. Za dubinsko istraživanje naš tim postiže 0,802, dok su oba osnovna sustava ostala blizu 0,52. Pritom vrijedi jedno ograničenje: CORAL i karpathy/autoresearch ponovno smo implementirali prema njihovim objavljenim opisima, pa dio razlike možda proizlazi iz razlika u implementaciji, a ne samo u metodama.
Razliku objašnjavaju četiri projektne odluke. Prvo, naš tim prije uređivanja koda izrađuje strukturiranu projektnu specifikaciju, što ga usmjerava prema strukturnim izmjenama poput novih faza cjevovoda umjesto prema doradama upita. Drugo, istodobno pokreće račvanja utemeljena na zajedničkom kandidatu koji trenutačno ima najbolji rezultat, pa se poboljšanja nadograđuju brže nego kod neovisnih agenata sustava CORAL ili strogo slijedne petlje sustava karpathy. Treće, svaki pokušaj ostavlja strukturirane artefakte (rezultate, zapisnike događaja i četiri analize koje je napisao LLM) koje sljedeći predlagatelj ponovno čita, dok osnovni sustavi čuvaju samo obične zapisnike pokušaja. Četvrto, prilagodljivi kontroler nakon zastoja usmjerava predlagatelja prema istraživanju, a nakon uspjeha prema doradi, dok prediktivno ponovno rangiranje hipoteza povrh toga odbacuje slabe ideje prije nego što potroše proračun.
Krivulje izdvojenog skupa pokazuju generalizaciju unutar domene, a ne prijenos među domenama: ne treba očekivati da tijek rada prilagođen izdvajanju signala s tržišta AI-ja dobro radi na pravnim ili biomedicinskim tekstovima bez ponovnog pokretanja testnog sklopa. Testni sklop napreduje samo prema cilju koji definira ocjenjivač, pa će se vjerno prekomjerno prilagoditi bučnom skupu za treniranje ili loše kalibriranom ocjenjivaču; prije ozbiljnog izvođenja preporučujemo najmanje 20 pažljivo odabranih stavki za treniranje i zaseban razvojni skup. Trošak je najveće praktično ograničenje. Svaka evaluacija ponovno izvodi cijeli cjevovod na svim skupovima, samo je odabrani kandidat za dohvaćanje potrošio približno 2,2 milijuna ulaznih tokena, a ozbiljna optimizacija na modelu klase gpt-5.5 stoji od nekoliko stotina do nekoliko tisuća USD po zadatku. Naposljetku, ti rezultati potječu iz pojedinačnih izvođenja, a ne ponovljenih pokušaja, pa ih objavljujemo kao inženjerski zapis na blogu, a ne kao formalno istraživanje.
Meta-Harness pokazuje da se autonomno poboljšavanje koda može učiniti dovoljno discipliniranim za poslovnu primjenu. Ključni su sastojci strukturne hipoteze, prediktivno predfiltriranje, izolirana evaluacija, testiranje na izdvojenim podacima kad god to podaci dopuštaju te potpun revizijski trag svake promaknute izmjene. Zajedno inženjerskom timu pružaju predvidljiv put od funkcionalnog početnog cjevovoda do mjerljivo boljeg, a voditelju operacija jednostavan model: prednosti autonomnog istraživanja zadržane unutar strogog okvira koji poštuje proračun i uključuje čovjeka prije puštanja bilo čega u produkciju.