Obstoječi sistemi za avtonomno izboljševanje dosegajo dobre rezultate pri programskih nalogah, vendar še ni jasno, ali lahko izboljšajo kompleksne in dolgotrajne delovne tokove z UI, podobne dejanskim uvedbam v podjetjih.
Naša raziskava Meta-Harness uporablja avtonomno samoizboljševanje pri agentskem iskanju, poglobljenem raziskovanju in delovnih tokovih pridobivanja signalov, obenem pa dodaja zahteve podjetij, kot so ocenjevanje na ločenih podatkih, revizijska sledljivost, nadzor proračuna in človeška odobritev.
Meta-Harness je pri treh reprezentativnih delovnih obremenitvah občutno izboljšal uspešnost, med drugim za 84 % pri preizkusu na ločenih podatkih za Signal Engine, pri agentskem večmodalnem iskanju pa je dosegel večjo natančnost in 16-krat hitrejše izvajanje.
Za razliko od večine prejšnjih pristopov Meta-Harness uspešnost, kadar je le mogoče, meri na ločenih naborih podatkov in tako preverja, ali izboljšave posplošujejo tudi zunaj podatkov, uporabljenih med optimizacijo.
Ti rezultati nakazujejo, da je mogoče avtonomno izboljševanje potekov dela razširiti s programskih primerjalnih preizkusov na dejanske sisteme UI v podjetjih ter tako omogočiti praktično pot do nenehnega izboljševanja aplikacij UI.
Nedavne raziskave avtonomnega raziskovanja umetne inteligence, med drugim članek Meta-Harness, okvir CORAL in karpathy/autoresearch, so pokazale, da lahko programski agenti ob podani metriki ocenjevanja iterativno izboljšujejo rešitev. Odprto ostaja vprašanje, ali je mogoče te metode prenesti na dolgotrajne delovne tokove z UI, kot je agentsko večmodalno iskanje, pri katerem mora agent za odgovor na vprašanje iterativno preiskovati večmodalne področne korpuse, ali na kompleksne cevovode za obdelavo podatkov, ki zahtevajo veliko odvisnih korakov, klicev orodij in odločitev pri obravnavi izjem. Globlje vprašanje je, ali izboljšave vzdržijo tudi na podatkih, ki jih optimizator nikoli ne vidi.
Naš razvojno-raziskovalni projekt Meta-Harness je odgovor na to vprašanje. Zamisli iz nedavnih raziskav prilagaja potrebam podjetij: ocenjevanju na ločenih podatkih, revizijskim sledem, omejitvam stroškov in jasni predaji človeškemu pregledovalcu, preden se kar koli uvede.
Preizkusili smo ga pri treh dolgotrajnih nalogah, zasnovanih po resničnih projektih za stranke. Signal Engine spremlja tok objav na omrežju X o trgu UI v živo ter pripravlja strukturirana poročila o trendih z dobro navedenimi viri. Agentsko večmodalno iskanje sklepa na podlagi poizvedb, ki združujejo besedilo in slike, ter vrne najustreznejše strani dokumentov. Poglobljeno raziskovanje usklajuje več agentov, ki iščejo po spletu, navzkrižno preverjajo vire in pišejo obsežna raziskovalna poročila.
Signal Engine: skupni rezultat preizkusa na ločenih podatkih se je izboljšal z 0,456 na 0,841, kar je 84-odstotno relativno izboljšanje. CORAL in karpathy/autoresearch sta ob enakem proračunu ostala pod 0,50.
Agentsko večmodalno iskanje: NDCG@10 na ločenih podatkih se je izboljšal z 0,705 na 0,744, dejanski čas posameznega ocenjevanja pa se je skrajšal z 869 na 54 sekund. To pomeni 16-kratno pohitritev ob večji natančnosti.
Poglobljeno raziskovanje: skupni rezultat kakovosti poročil se je pri 10 referenčnih vprašanjih izboljšal z 0,449 na 0,802, osnovni metodi pa sta dosegli približno 0,52. Ta naloga ni imela ločene razdelitve, zato rezultat obravnavamo le kot rezultat na učnih podatkih.
Učinkovitost iskanja: s prediktivnim prerazvrščanjem hipotez je Signal Engine ob enakem proračunu za ocenjevanje dosegel 91 % najboljšega rezultata referenčnega izvajanja v 3 ponovitvah namesto v 20.
Večina sistemov za avtonomno raziskovanje optimizira in vrednoti na istem naboru podatkov, zato ni mogoče ugotoviti, ali se rezultat posplošuje. Pri Signal Engine in agentskem večmodalnem iskanju uveljavljamo strogo razdelitev: učno množico, na kateri se kandidati lahko ocenjujejo, razvojno množico za osnovna preverjanja in ločeno preizkusno množico, ki je optimizator nikoli ne vidi. Vsak objavljeni rezultat izhaja iz ene konkretne različice kode, ocenjene na vseh razdelitvah, zato najboljšega učnega rezultata enega kandidata nikoli ne združujemo z najboljšim preizkusnim rezultatom drugega.
Ogrodje v vsakem krogu ustvari sveženj strukturiranih hipotez za spremembo kode. Vsaka hipoteza opredeli mehanizem, ki ga želi spremeniti, predhodno različico, na kateri temelji, in vrsto napake, ki jo odpravlja. Korak razvrščanja prefiltrira sveženj, še preden se porabijo sredstva za draga ocenjevanja. Preostale hipoteze prevzamejo vzporedni izvajalni agenti, ki si delijo skupno zbirko znanja, vendar kodo urejajo v popolnoma ločenih delovnih prostorih, zato je vsak kandidat ocenjen pošteno in neodvisno. Ob koncu kroga izvajalnik izbere enega zmagovalca: kandidata z najvišjim rezultatom, ki je obenem prestal vsa preverjanja pri vidnih razdelitvah. Ta zmagovalec postane izhodišče za naslednji krog. Vsak poskus v nespremenljivo shrambo dokazov zapiše določen sveženj: popravek kode, rezultate po razdelitvah, dnevnik dogodkov in štiri kratke analize, ki jih napiše veliki jezikovni model ter obravnavajo sled izvajanja, napake, stroške in razmislek. Predlagatelj v naslednjem krogu znova prebere to zgodovino, zato ogrodje nadgrajuje pridobljeno znanje, namesto da bi ponavljalo iste poti v slepo ulico.
Tri varovalke zagotavljajo varno izvajanje zanke. Pravilnik obsega omejuje datoteke, ki jih kandidat sme spreminjati, in razveljavi vse spremembe zunaj dovoljenega obsega. Omejitve žetonov in dejanskega časa ustavijo izvajanje, ko poraba preseže zgornjo mejo, omejitve sočasnosti pa ohranjajo ogrodje znotraj omejitev pogostosti modela in grafičnih procesorjev. Ogrodje prav tako nikoli ničesar samo ne uvede v produkcijo. Pripravi razvrščenega in v celoti dokumentiranega kandidata, človeški inženir pa pregleda razliko ter odloči, ali bo kandidat uveden v produkcijo.
V lokalnem tehnološkem skladu vsak krog opisane zanke podpira pet temeljnih inženirskih gradnikov.
Ločevanje delovnih prostorov. Eno delovno drevo Git za vsakega kandidata. Veje si delijo zbirko predmetov, nikoli pa datotek drugih vej. Kandidati se zato lahko izvajajo vzporedno ob skoraj nespremenjeni porabi prostora na disku, primerjava s trenutno najboljšo različico pa je preprosta.
Izolirano izvajalno okolje. Konfiguracija omogoča dva načina: izvorni podproces za hitro ponavljanje ali popolnoma izolirano izvajalno okolje. Korpusi so priklopljeni samo za branje, začasni imenik posameznega poskusa pa se po ocenjevanju zavrže. Poskus zato ne more spremeniti nabora podatkov ali prenesti stanja v naslednji poskus.
Pravilnik obsega. Seznam dovoljenih poti, določen v konfiguraciji poskusa. Vse spremembe zunaj tega seznama se pred ocenjevanjem razveljavijo, poskus pa se označi. Zato je zagotovljeno, da razlika, ki jo vidi pregledovalec, ostane znotraj določenega obsega.
Uveljavljanje proračuna. Tri ravni: omejitve žetonov in dejanskega časa za posamezni poskus, skupna zgornja meja za celotno izvajanje ter omejitev sočasnosti. Skupaj zagotavljajo predvidljivo porabo in ohranjajo ogrodje znotraj omejitev pogostosti modela in infrastrukture.
Shramba dokazov. Datoteka JSONL, ki se lahko le dopolnjuje ter vsebuje popravek kode, rezultate po razdelkih, dnevnik dogodkov in štiri analize, ki jih je napisal veliki jezikovni model. Materializirani pogledi (lestvica, najboljša različica in kazalo napak) se po vsakem poskusu znova ustvarijo. Naslednji krogi lahko tako gradijo na preteklih rezultatih, vsako izvajanje pa ostane ponovljivo do zadnjega bajta.
Noben od teh gradnikov ni izbiren. Namen ogrodja je, da pregledovalec ob koncu izvajanja prejme nekaj, kar lahko dejansko odobri: zmagovalnega kandidata, omejeno razliko, celovit zapis vseh poskusov in znane stroške. Če odstranite katerega koli od petih gradnikov, izgubite eno od teh zagotovil.
Vsi trije poskusi uporabljajo enako strategijo hipotez. Predlagatelj v vsaki ponovitvi ustvari več hipotez, kot jih dopušča proračun: M = 8 kandidatov pri proračunu za izvedbo K = 4. Ločeni veliki jezikovni model za razvrščanje nato vseh 8 razvrsti v enem tridesetsekundnem klicu, pri čemer ima pred seboj celotno sliko: trenutni najboljši rezultat in njegove šibke razsežnosti, analize napak nedavnih poskusov ter vseh 8 predlogov drugega ob drugem. Najboljše 4 prejme izvajalnik, vsak pa zahteva od 15 do 30 minut. Preostali 4 se zavržejo, še preden nastanejo kakršni koli stroški.
Osnovni modeli so ves čas ostali nespremenjeni; ogrodje je urejalo le kodo okoli njih. Signal Engine in poglobljeno raziskovanje sta se izvajala na modelu gpt-5.5. Agentsko večmodalno iskanje se je izvajalo na modelu z odprtimi utežmi Qwen3.6-35B-A3B, ki je bil lokalno strežen prek vLLM in povezan s slikovnim iskalnikom ColQwen3-4B. Ta kombinacija je bila izbrana zaradi predvidljivih stroškov lokalnega izvajanja.
Spodnji grafikon prikazuje spreminjanje rezultatov pri naših treh glavnih nalogah. »Seed« je izhodiščna koda, ki jo je napisal človeški inženir. »Meta-Harness« je najboljša različica, ki jo je našel Meta-Harness. Pri vseh treh nalogah opažamo izboljšanje uspešnosti na ločeni preizkusni množici.
Signal Engine je ocenjeval veliki jezikovni model glede na aktualnost, točnost, podrobnost in ton, pri čemer je uporabil 150 učnih ter 150 ločenih preizkusnih objav z omrežja X. Najboljša različica je med izvajanjem izboljšala skupni učni rezultat z 0,431 na 0,756, rezultat na ločenih podatkih pa z 0,456 na 0,841. Izboljšave niso izhajale le iz prilagajanja pozivov, temveč iz sprememb samega ogrodja: zmagovalne ponovitve so se naučile filtrirati šum družbenih omrežij, dodale korake za navzkrižno preverjanje dejstev in zahtevale, da vsak rezultat temelji na izrecnih dokazih. Spodnji diagram prikazuje postopek ponavljanja.
Zgodovina poskusov kaže, kako so se te izboljšave seštevale. Zgodnja strukturna sprememba je dotlej najboljši rezultat dvignila na 0,625; podrobnejša obravnava dokazov ga je zvišala na 0,679; izpopolnjena zanka razmisleka in meril pa na 0,819. Približno polovica vseh izvajanj kandidatov je dosegla slabši rezultat ali povsem spodletela, vendar niso vplivala na lestvico: vsaka veja se je izvajala ločeno, razlike neuspešnih različic so bile zavržene, napake pa zapisane v shrambo razmislekov, da naslednji predlagatelj ne bi znova zašel v slepo ulico.
Najpomembnejše pa je, da je krivulja rezultatov na ločenih podatkih med celotnim izvajanjem rasla skupaj z učno krivuljo. To nakazuje, da je ogrodje izboljševalo delovni tok, namesto da bi si zapomnilo učni korpus. Rezultati na ločenih podatkih so bili nekoliko višji od učnih, kar pripisujemo običajnemu vzorčnemu šumu med dvema majhnima in nepovezanima razdelitvama.
Agentsko večmodalno iskanje se meri z NDCG@10 na javni razdelitvi Computer Science nabora ViDoRe V3, urejenem v 20 učnih, 10 razvojnih in 20 ločenih preizkusnih poizvedb. Ogrodje je NDCG@10 na ločenih podatkih zvišalo z 0,705 na 0,744, skupni dejanski čas ocenjevanja pa skrajšalo z 869 sekund na 54 sekund.
Poglobljeno raziskovanje se pri 10 referenčnih vprašanjih ocenjuje s skupno oceno vsebinske kakovosti in kakovosti virov, ki jo po metodologiji DeepResearch-Eval določi veliki jezikovni model. Izboljšana koda je povprečje zvišala z 0,449 na 0,802. Zmagovalne spremembe so bile jasno razvidne iz razlike: začetni korak načrtovanja, ki primerja pristope pred pošiljanjem raziskovalnih agentov, in končni pregled, usmerjen v razsežnosti, pri katerih so poročila v preteklosti dosegala slabe rezultate. Ker je ta nabor majhen in drag za ocenjevanje, ga nismo razdelili, zato rezultat obravnavamo kot rezultat na učnih podatkih.
Vse tri metode smo primerjalno preizkusili z enakim proračunom: enaki nabori podatkov, enaki osnovni modeli, enaka omejitev števila ponovitev in enako skupno število ocenjevanj kandidatov. Pri Signal Engine je Meta-Harness na ločenem preizkusu dosegel 0,841, obe osnovni metodi pa sta ostali pod 0,50. Pri agentskem večmodalnem iskanju je naša ekipa dosegla najvišji NDCG@10 na ločenih podatkih (0,744 v primerjavi z 0,700 za CORAL in 0,738 za karpathy), uradno ocenjevanje pa izvede od dvanajst- do štirinajstkrat hitreje: v 54 sekundah namesto v 786 oziroma 650 sekundah. Pri poglobljenem raziskovanju je naša ekipa dosegla 0,802, obe osnovni metodi pa sta ostali blizu 0,52. Vseskozi velja en pridržek: metodi CORAL in karpathy/autoresearch smo znova implementirali po njunih objavljenih opisih, zato del razlike morda izhaja iz razlik v implementaciji in ne le iz razlik med metodami.
Razliko pojasnjujejo štiri odločitve glede same zasnove. Prvič, naša ekipa pred kakršnim koli urejanjem kode pripravi strukturirano specifikacijo zasnove, kar jo usmerja k strukturnim spremembam, kot so nove stopnje cevovoda, namesto k prilagajanju pozivov. Drugič, izvaja sočasne veje, zasnovane na skupnem vodilnem kandidatu, zato se izboljšave seštevajo hitreje kot pri neodvisnih agentih ogrodja CORAL ali strogo zaporedni zanki karpathy. Tretjič, vsak poskus ustvari strukturirane artefakte (rezultate, dnevnike dogodkov in štiri analize velikega jezikovnega modela), ki jih naslednji predlagatelj znova prebere, medtem ko osnovni metodi hranita le preproste dnevnike poskusov. Četrtič, prilagodljivi krmilnik po zastoju usmeri predlagatelja v raziskovanje, po uspehu pa v izpopolnjevanje. Prediktivno prerazvrščanje hipotez nato šibke zamisli zavrže, še preden porabijo proračun.
Krivulje rezultatov na ločenih podatkih dokazujejo posploševanje znotraj domene, ne prenosa med domenami: od delovnega toka, prilagojenega pridobivanju signalov s trga UI, ni mogoče pričakovati dobrih rezultatov pri pravnih ali biomedicinskih besedilih brez ponovnega zagona ogrodja. Ogrodje se vzpenja le proti cilju, ki ga določa ocenjevalec, zato se bo dosledno prekomerno prilagodilo šumni učni množici ali slabo umerjenemu razsodniku. Pred resnim izvajanjem priporočamo vsaj 20 skrbno izbranih učnih primerov in ločeno razvojno razdelitev. Največja praktična omejitev so stroški. Vsako ocenjevanje znova izvede celoten cevovod na vseh razdelitvah; samo izbrani kandidat za iskanje je porabil približno 2,2 milijona vhodnih žetonov, resna optimizacija z modelom razreda gpt-5.5 pa stane od nekaj sto do nekaj tisoč dolarjev na nalogo. Ti rezultati nazadnje izhajajo iz posameznih izvajanj in ne iz ponovljenih poskusov, zato jih objavljamo kot inženirski zapis na spletnem dnevniku, ne kot formalno študijo.
Meta-Harness dokazuje, da je mogoče avtonomno izboljševanje kode izvajati dovolj nadzorovano za uporabo v podjetjih. Ključni elementi so strukturne hipoteze, prediktivno predhodno filtriranje, izolirano ocenjevanje, preizkušanje na ločenih podatkih, kjer to podatki omogočajo, in popolna revizijska sled vsake sprejete spremembe. Skupaj inženirski ekipi omogočajo predvidljivo pot od delujočega začetnega cevovoda do merljivo boljšega, vodji operacij pa ponujajo preprost model: prednosti avtonomnega raziskovanja znotraj strogega, proračunsko ozaveščenega okvira, v katerem človek odloča pred vsako uvedbo.