Eksisterende systemer for autonom forbedring har gitt gode resultater på programmeringsoppgaver, men det er fortsatt uklart om de kan forbedre komplekse, langsiktige KI-arbeidsflyter som ligner reelle bedriftsløsninger.
Vår forskning på Meta-Harness bruker autonom selvforbedring på arbeidsflyter for agentbasert gjenfinning, dyp forskning og signaletterretning, samtidig som den ivaretar bedriftskrav som evaluering på holdt-utenfor-data, revisjonsspor, budsjettkontroll og menneskelig godkjenning.
På tvers av tre representative arbeidsbelastninger ga Meta-Harness betydelig bedre ytelse, blant annet 84 % forbedring på holdt-utenfor-testen for Signal Engine og høyere presisjon med 16 ganger raskere kjøring for Agentic Multimodal Retrieval.
I motsetning til de fleste tidligere metodene måler Meta-Harness så langt det er mulig resultatene på holdt-utenfor-datasett, for å vurdere om forbedringene kan generaliseres utover dataene som ble brukt under optimaliseringen.
Resultatene tyder på at autonom forbedring av arbeidsflyter kan gå utover programmeringsreferanser og brukes på KI-systemer for bedrifter i den virkelige verden. Det gir en praktisk vei mot KI-applikasjoner som forbedres kontinuerlig.
Nyere forskning på autonom KI-forskning, blant annet artikkelen om Meta-Harness, rammeverket CORAL og karpathy/autoresearch, har vist at programmeringsagenter kan forbedre en løsning iterativt ved hjelp av et evalueringsmål. Det åpne spørsmålet er om disse metodene også fungerer for langsiktige KI-arbeidsflyter, som agentbasert multimodal gjenfinning, der en agent må søke iterativt i multimodale fagkorpuser for å besvare et spørsmål, eller komplekse databehandlingsflyter med mange avhengige trinn, verktøykall og beslutninger om unntakshåndtering. Det mer grunnleggende spørsmålet er om gevinstene holder seg på data optimaliseringssystemet aldri får se.
Vårt FoU-arbeid med Meta-Harness er svaret på dette spørsmålet. Det bygger på ideer fra nyere forskning og tilpasser dem til bedriftenes behov: evaluering på holdt-utenfor-data, revisjonsspor, kostnadstak og et tydelig overleveringspunkt til en menneskelig kontrollør før noe settes i produksjon.
Vi testet det på tre langsiktige oppgaver basert på reelt kundearbeid. Signal Engine overvåker en direktestrøm med innlegg på X om KI-markedet og lager strukturerte trendrapporter med solide kildehenvisninger. Agentic Multimodal Retrieval resonnerer over spørringer som kombinerer tekst og bilder, for å finne de mest relevante dokumentsidene. Dyp forskning koordinerer flere agenter som søker på nettet, kryssjekker kilder og skriver omfattende forskningsrapporter.
Signal Engine: samlet poengsum på holdt-utenfor-testen 0,456 → 0,841, en relativ økning på 84 %. CORAL og karpathy/autoresearch holdt seg under 0,50 med samme budsjett.
Agentic Multimodal Retrieval: NDCG@10 på holdt-utenfor-data 0,705 → 0,744, samtidig som kjøretiden per evaluering falt fra 869 til 54 sekunder. Det er 16 ganger høyere hastighet og samtidig bedre presisjon.
Dyp forskning: samlet poengsum for rapportkvalitet 0,449 → 0,802 på tvers av ti referansespørsmål, mot rundt 0,52 for referansemetodene. Denne oppgaven hadde ikke noe holdt-utenfor-delsett, så tallet gjelder bare data i utvalget.
Søkeeffektivitet: Med prediktiv omrangering av hypoteser nådde Signal Engine 91 % av referansekjøringens beste poengsum på 3 iterasjoner i stedet for 20, med samme evalueringsbudsjett.
De fleste autonome forskningssystemer optimaliserer og evaluerer på samme datasett. Da er det umulig å vite om resultatet kan generaliseres. For Signal Engine og Agentic Multimodal Retrieval håndhever vi et strengt skille: et treningssett som kandidatene kan vurderes mot, et utviklingssett for rimelighetskontroller og et holdt-utenfor-testsett som optimaliseringssystemet aldri får se. Hvert rapporterte resultat kommer fra én bestemt kodeversjon som er vurdert på alle delsettene. Vi blander derfor aldri den beste treningspoengsummen fra én kandidat med den beste testpoengsummen fra en annen.
I hver runde genererer rammeverket en gruppe strukturerte hypoteser om endringer i koden. Hver hypotese angir mekanismen som skal endres, den tidligere versjonen den bygger på, og feiltypen den retter seg mot. Et rangeringstrinn filtrerer gruppen før det brukes ressurser på kostbare evalueringer. Hypotesene som gjenstår, sendes til parallelle arbeidsagenter. De deler en felles kunnskapsbase, men redigerer kode i fullstendig isolerte arbeidsområder, slik at hver kandidat vurderes rettferdig og uavhengig. På slutten av runden velger kjøringssystemet én vinner: kandidaten med høyest poengsum som også besto alle kontrollene på de synlige delsettene. Vinneren blir utgangspunktet for neste runde. Hvert forsøk skriver en fast pakke til et evidenslager som bare kan utvides: kodeendringen, poengsummer per delsett, en hendelseslogg og fire korte LLM-skrevne analyser av sporingen, feilene, kostnadene og en refleksjon. Forslagsgeneratoren i neste runde leser denne historikken. Slik bygger rammeverket videre på det som er lært, i stedet for å gjenta de samme blindsporene.
Tre sikkerhetsmekanismer gjør løkken trygg å kjøre. En omfangspolicy begrenser hvilke filer en kandidat kan endre, og tilbakestiller alt utenfor dette omfanget. Budsjetter for tokener og kjøretid stopper kjøringen når kostnadstaket nås, mens samtidighetsgrenser holder rammeverket innenfor kapasitetsgrensene for modeller og GPU-er. Rammeverket setter heller aldri noe i produksjon på egen hånd. Det leverer en rangert og fullstendig dokumentert kandidat. En utvikler gjennomgår endringene og avgjør om kandidaten skal settes i produksjon.
I en lokal teknologistakk ligger fem grunnleggende utviklingsmekanismer til grunn for hver runde i løkken ovenfor.
Isolering av arbeidsområder. Ett git-arbeidstre per kandidat. Kopiene deler en objektdatabase, men aldri hverandres filer. Dermed kan kandidatene kjøres parallelt med tilnærmet konstant diskforbruk, og det blir enkelt å sammenligne endringene med den beste nåværende kandidaten.
Kjøresandkasse. Konfigurerbar med to moduser: en lokal underprosess for rask iterasjon eller et fullstendig isolert kjøremiljø. Korpuser monteres skrivebeskyttet, og den midlertidige mappen for hvert forsøk slettes etter vurderingen. Dermed kan ikke et forsøk endre datasettet eller lekke tilstand til det neste.
Omfangspolicy. En liste over tillatte baner angitt i eksperimentkonfigurasjonen. Alt som endres utenfor listen, tilbakestilles før forsøket vurderes, og forsøket merkes. Dermed er det garantert at endringene en kontrollør ser, holder seg innenfor det angitte omfanget.
Håndheving av budsjett. Tre lag: grenser for tokener og kjøretid per forsøk, et samlet tak per kjøring og en samtidighetsgrense. Til sammen gjør de kostnadene forutsigbare og sikrer at rammeverket holder seg innenfor kapasitetsgrensene for modellene og infrastrukturen.
Evidenslager. En JSONL-fil som bare kan utvides, med kodeendringen, poengsummer per delsett, hendelsesloggen og de fire LLM-skrevne analysene. Materialiserte visninger (resultatliste, beste kandidat og feilindeks) genereres på nytt etter hvert forsøk. Dermed kan senere runder bygge på historikken, samtidig som hver kjøring kan reproduseres identisk ned til hver byte.
Ingen av disse mekanismene er valgfrie. Hensikten med rammeverket er at kontrolløren ved slutten av en kjøring skal sitte igjen med noe som faktisk kan godkjennes: en vinnerkandidat, avgrensede endringer, en fullstendig oversikt over alt som ble prøvd, og en kjent kostnad. Fjernes én av de fem, forsvinner én av disse garantiene.
Alle de tre eksperimentene bruker samme hypotesestrategi. I hver iterasjon genererer forslagsgeneratoren flere hypoteser enn budsjettet tillater å kjøre: M = 8 kandidater for et utsendingsbudsjett på K = 4. En separat LLM-rangerer sorterer deretter alle åtte i ett enkelt kall på 30 sekunder, med hele bildet foran seg: den beste nåværende poengsummen og dens svake dimensjoner, feilanalyser fra nyere forsøk og alle de åtte forslagene side om side. De fire beste sendes til kjøresystemet og bruker 15 til 30 minutter hver. De fire andre forkastes før de bruker noen ressurser.
De underliggende modellene var uendret gjennom hele prosessen. Rammeverket redigerte bare koden rundt dem. Signal Engine og dyp forskning kjørte på gpt-5.5. Agentic Multimodal Retrieval kjørte på Qwen3.6-35B-A3B med åpne vekter, driftet lokalt gjennom vLLM og kombinert med bildegjenfinneren ColQwen3-4B. Denne kombinasjonen ble valgt for å gi forutsigbare kostnader lokalt.
Diagrammet nedenfor viser hvordan poengsummene utviklet seg for de tre hovedoppgavene våre. «Utgangspunkt» er startkoden som ble skrevet av en utvikler. «Meta-Harness» er den beste versjonen Meta-Harness fant. Vi ser bedre ytelse for alle de tre oppgavene i holdt-utenfor-testsettet.
Signal Engine ble evaluert av en LLM-dommer på aktualitet, faktagrunnlag, detaljnivå og tone, ved hjelp av 150 treningsinnlegg og 150 holdt-utenfor-testinnlegg fra X. I løpet av kjøringen økte den beste versjonen den samlede treningspoengsummen fra 0,431 til 0,756 og poengsummen på holdt-utenfor-data fra 0,456 til 0,841. Gevinstene kom fra endringer i selve rammeverket, ikke bare justeringer av prompter: De beste iterasjonene lærte å filtrere bort støy fra sosiale medier, la til trinn for kryssjekking av fakta og krevde at alle resultater skulle underbygges med tydelig evidens. Diagrammet nedenfor viser iterasjonsprosessen.
Forsøkshistorikken viser hvordan gevinstene bygde seg opp. En tidlig strukturell endring løftet den løpende toppverdien til 0,625. Mer detaljert evidenshåndtering økte den til 0,679, og en forbedret løkke for refleksjon og vurderingskriterier løftet den til 0,819. Omtrent halvparten av alle kandidatkjøringene presterte dårligere eller mislyktes helt, men de forurenset ikke resultatlisten: Hver kopi kjørte isolert, tapende endringer ble forkastet, og feil ble skrevet til refleksjonslageret slik at neste forslagsgenerator ikke skulle gjenta samme blindspor.
Viktigst av alt var at kurven for holdt-utenfor-data steg sammen med treningskurven gjennom hele kjøringen. Det tyder på at rammeverket forbedret arbeidsflyten i stedet for å memorere treningskorpuset. Poengsummene på holdt-utenfor-data var litt høyere enn treningspoengsummene. Vi tolker dette som vanlig utvalgsstøy mellom to små, separate delsett.
Agentic Multimodal Retrieval måles med NDCG@10 på Computer Science-delsettet i det offentlige ViDoRe V3-datasettet, satt sammen av 20 treningsspørringer, 10 utviklingsspørringer og 20 holdt-utenfor-testspørringer. Rammeverket økte NDCG@10 på holdt-utenfor-data fra 0,705 til 0,744, samtidig som den samlede evalueringstiden ble redusert fra 869 til 54 sekunder.
Dyp forskning vurderes med en samlet LLM-bedømt poengsum for innholdskvalitet og referansekvalitet, etter DeepResearch-Eval, på tvers av ti referansespørsmål. Den forbedrede koden økte gjennomsnittet fra 0,449 til 0,802. Vinnerendringene var enkle å lese ut av kodedifferansen: et innledende planleggingstrinn som sammenligner fremgangsmåter før forskningsagentene sendes ut, og et avsluttende gjennomgangstrinn rettet mot dimensjonene der rapportene tidligere hadde fått lave poengsummer. Fordi dette datasettet er lite og kostbart å evaluere, delte vi det ikke opp. Resultatet gjelder derfor data i utvalget.
Vi testet alle tre metodene med samme budsjett: de samme datasettene, de samme underliggende modellene, samme grense for antall iterasjoner og samme samlede antall kandidatevalueringer. På Signal Engine oppnår Meta-Harness 0,841 på holdt-utenfor-testen, mens begge referansemetodene holdt seg under 0,50. På Agentic Multimodal Retrieval oppnår teamet vårt høyest NDCG@10 på holdt-utenfor-data (0,744 mot 0,700 for CORAL og 0,738 for karpathy) og kjører den offisielle evalueringen 12–14 ganger raskere: 54 sekunder mot 786 og 650 sekunder. På dyp forskning oppnår teamet vårt 0,802, mens begge referansemetodene holdt seg rundt 0,52. Ett forbehold gjelder for hele sammenligningen: Vi implementerte CORAL og karpathy/autoresearch på nytt ut fra de publiserte beskrivelsene. Noe av forskjellen kan derfor skyldes ulik implementering, ikke bare ulike metoder.
Fire designvalg forklarer forskjellen. For det første lager teamet vårt en strukturert designspesifikasjon før koden redigeres. Det styrer arbeidet mot strukturelle endringer, som nye trinn i behandlingsflyten, fremfor justeringer av prompter. For det andre kjører det samtidige kopier forankret i en felles beste kandidat. Dermed bygges forbedringene opp raskere enn med de uavhengige agentene i CORAL eller den strengt sekvensielle løkken til karpathy. For det tredje etterlater hvert forsøk strukturerte artefakter – poengsummer, hendelseslogger og fire LLM-skrevne analyser – som neste forslagsgenerator leser, mens referansemetodene bare beholder enkle forsøkslogger. For det fjerde styrer en adaptiv kontroller forslagsgeneratoren mot utforskning etter stagnasjon og forbedring etter et godt resultat. Prediktiv omrangering av hypoteser ligger på toppen og forkaster svake ideer før de bruker av budsjettet.
Kurvene for holdt-utenfor-data viser generalisering innenfor domenet, ikke overføring mellom domener. En arbeidsflyt som er finjustert for å hente ut signaler fra KI-markedet, kan ikke forventes å fungere like godt på juridiske eller biomedisinske tekster uten at rammeverket kjøres på nytt. Rammeverket optimaliserer dessuten bare mot målet vurderingssystemet definerer. Et støyende treningssett eller en feilkalibrert dommer vil derfor bli trofast overtilpasset. Før en omfattende kjøring anbefaler vi minst 20 godt kuraterte treningselementer og et separat utviklingssett. Kostnadene er den største praktiske begrensningen. Hver evaluering kjører hele behandlingsflyten på nytt mot alle delsettene. Bare den valgte gjenfinningskandidaten brukte omtrent 2,2 millioner inndatatokener, og en omfattende optimalisering med en modell i gpt-5.5-klassen koster fra noen hundre til litt over tusen dollar per oppgave. Til slutt kommer disse tallene fra enkeltkjøringer, ikke gjentatte forsøk. Derfor deler vi dem i et teknisk blogginnlegg fremfor en formell studie.
Meta-Harness viser at autonom forbedring av kode kan gjøres strukturert og kontrollert nok for bruk i bedrifter. Nøkkelen er strukturelle hypoteser, prediktiv forhåndsfiltrering, isolert evaluering, testing på holdt-utenfor-data når datagrunnlaget tillater det, og et fullstendig revisjonsspor for hver endring som tas videre. Til sammen gir dette utviklingsteamet en forutsigbar vei fra en fungerende startflyt til en målbart bedre løsning. Samtidig får den driftsansvarlige en enkel modell: fordelene ved autonom utforskning innenfor et strengt og budsjettstyrt rammeverk, med et menneske involvert før noe settes i produksjon.