Eksisterende systemer til autonom forbedring har leveret stærke resultater på kodeopgaver, men det er fortsat uklart, om de kan forbedre komplekse, langvarige AI-workflows, der minder om virkelige erhvervsløsninger.
Vores forskning i Meta-Harness anvender autonom selvforbedring på agentbaseret informationssøgning, dybdegående research og signalanalyse og tilføjer samtidig virksomhedskrav som holdout-evaluering, revisionsspor, budgetstyring og menneskelig godkendelse.
På tværs af tre repræsentative workloads forbedrede Meta-Harness resultaterne markant, blandt andet med 84 % bedre resultater på holdout-testen for Signal Engine og større nøjagtighed med 16× hurtigere kørsel for Agentic Multimodal Retrieval.
I modsætning til de fleste tidligere metoder måler Meta-Harness så vidt muligt resultaterne på holdout-datasæt for at vurdere, om forbedringerne kan generaliseres ud over de data, der blev brugt til optimeringen.
Resultaterne tyder på, at autonom forbedring af workflows kan række ud over benchmarks for kodning til virkelige AI-systemer i virksomheder og bane en praktisk vej for løbende forbedring af AI-applikationer.
Nyere forskning i autonom AI-research, herunder artiklen om Meta-Harness, frameworket CORAL og karpathy/autoresearch, har vist, at kodeagenter iterativt kan forbedre en løsning ud fra et evalueringsmål. Det uafklarede spørgsmål er, om metoderne kan overføres til langvarige AI-workflows som agentbaseret multimodal informationssøgning, hvor en agent iterativt skal søge i multimodale fagkorpusser for at besvare et spørgsmål, eller til komplekse databehandlingspipelines, der kræver mange indbyrdes afhængige trin, værktøjskald og beslutninger om undtagelseshåndtering. Det dybere spørgsmål er, om gevinsterne holder på data, som optimeringssystemet aldrig ser.
Vores forskning og udvikling af Meta-Harness er svaret på det spørgsmål. Løsningen bygger på idéer fra nyere forskning og tilpasser dem til virksomheders behov: holdout-evaluering, revisionsspor, omkostningslofter og en klar overdragelse til en menneskelig reviewer, før noget sættes i produktion.
Vi testede den på tre langvarige opgaver baseret på virkeligt kundearbejde. Signal Engine overvåger en livefeed med opslag på X om AI-markedet og udarbejder strukturerede trendrapporter med grundige kildehenvisninger. Agentic Multimodal Retrieval ræsonnerer over forespørgsler med både tekst og billeder for at finde de mest relevante dokumentsider. Dybdegående research koordinerer flere agenter, som søger på nettet, krydstjekker kilder og skriver omfattende researchrapporter.
Signal Engine: den samlede score på holdout-testen steg fra 0,456 → 0,841, en relativ forbedring på 84 %. CORAL og karpathy/autoresearch forblev under 0,50 med samme budget.
Agentic Multimodal Retrieval: NDCG@10 på holdout-testen steg fra 0,705 → 0,744, mens køretiden pr. evaluering faldt fra 869 s til 54 s. Det er 16× hurtigere og samtidig mere nøjagtigt.
Dybdegående research: den samlede score for rapportkvalitet steg fra 0,449 → 0,802 på tværs af ti referencespørgsmål mod cirka 0,52 for baselinemetoderne. Opgaven havde intet holdout-datasæt, så vi betragter kun tallet som et in-sample-resultat.
Søgeeffektivitet: Med forudsigende omrangering af hypoteser nåede Signal Engine 91 % af referencekørslens bedste score på 3 iterationer i stedet for 20 med samme evalueringsbudget.
De fleste autonome researchsystemer optimerer og evaluerer på samme datasæt, så det er umuligt at afgøre, om resultatet kan generaliseres. For Signal Engine og Agentic Multimodal Retrieval håndhæver vi en streng opdeling: et træningssæt, som kandidater kan bedømmes på, et udviklingssæt til rimelighedskontrol og et holdout-testsæt, som optimeringssystemet aldrig ser. Hvert rapporteret resultat stammer fra én bestemt kodeversion, der er bedømt på alle datasæt. Vi kombinerer derfor aldrig den bedste træningsscore fra én kandidat med den bedste testscore fra en anden.
I hver runde genererer harnesset en gruppe strukturerede hypoteser om ændringer af koden. Hver hypotese angiver den mekanisme, der skal ændres, den tidligere version, den bygger på, og den fejltype, den retter sig mod. Et rangeringstrin filtrerer gruppen, før der bruges ressourcer på dyre evalueringer. De resterende hypoteser sendes til parallelle arbejdsagenter, som deler en fælles vidensbase, men redigerer kode i fuldstændigt isolerede arbejdsområder. Dermed bedømmes hver kandidat retfærdigt og uafhængigt. Ved rundens afslutning udpeger systemet én vinder: kandidaten med den højeste score, som samtidig bestod alle kontroller på de synlige datasæt. Vinderen bliver udgangspunktet for næste runde. Hvert forsøg skriver en fast pakke til et evidenslager, der kun kan udvides: kodeændringen, scorer for hvert datasæt, en hændelseslog og fire korte LLM-skrevne analyser af forløb, fejl, omkostninger og refleksion. Forslagsagenten i næste runde læser historikken, så harnesset bygger videre på det lærte i stedet for at gentage de samme blindgyder.
Tre sikkerhedsforanstaltninger gør det forsvarligt at køre løkken. En afgrænsningspolitik begrænser, hvilke filer en kandidat må ændre, og tilbagefører alt uden for afgrænsningen. Budgetter for tokens og køretid stopper kørslen, når loftet overskrides, mens samtidighedsgrænser holder harnesset inden for modellens og GPU'ernes hastighedsgrænser. Og harnesset sætter aldrig selv noget i produktion. Det leverer en rangeret og fuldt dokumenteret kandidat, hvorefter en udvikler gennemgår diffen og beslutter, om den skal sættes i produktion.
I en lokal stack ligger fem tekniske grundelementer bag hver runde i ovenstående løkke.
Isolering af arbejdsområder. Ét git-worktree pr. kandidat. Forgreningerne deler en objektdatabase, men aldrig filer. Derfor kan kandidater køre parallelt med næsten konstant diskforbrug, og de kan nemt sammenlignes med den aktuelt bedste kandidat.
Sandkasse til kørsel. Konfigurerbar med to tilstande: en integreret underproces til hurtige iterationer eller et fuldt isoleret kørselsmiljø. Korpusser monteres skrivebeskyttet, og hvert forsøgs midlertidige mappe slettes efter bedømmelsen. Et forsøg kan derfor ikke ændre datasættet eller overføre tilstand til det næste forsøg.
Afgrænsningspolitik. En liste over tilladte stier, der er angivet i eksperimentets konfiguration. Alle ændringer uden for listen tilbageføres, før forsøget bedømmes, og forsøget markeres. Diffen, som en reviewer ser, holder sig derfor med garanti inden for den angivne afgrænsning.
Håndhævelse af budgetter. Tre lag: grænser for tokens og køretid pr. forsøg, et samlet loft pr. kørsel og en samtidighedsgrænse. Tilsammen gør de forbruget forudsigeligt og sikrer, at harnesset overholder modellens og infrastrukturens hastighedsgrænser.
Evidenslager. En JSONL-fil, der kun kan udvides, med kodeændringen, scorer for hvert datasæt, hændelsesloggen og de fire LLM-skrevne analyser. Materialiserede visninger (resultatliste, bedste kandidat og fejlindeks) gendannes efter hvert forsøg. Dermed kan efterfølgende runder bygge videre på historikken, mens hver kørsel forbliver reproducerbar byte for byte.
Ingen af disse grundelementer er valgfrie. Formålet med harnesset er at give en reviewer noget, der faktisk kan godkendes efter en kørsel: en vinderkandidat, en afgrænset diff, en komplet historik over alle forsøg og en kendt omkostning. Fjernes blot ét af de fem elementer, forsvinder en af garantierne.
Alle tre eksperimenter bruger samme hypotesestrategi. I hver iteration genererer forslagsagenten flere hypoteser, end budgettet tillader at afprøve: M = 8 kandidater med et afviklingsbudget på K = 4. En separat LLM-rangeringsmodel ordner derefter alle otte i ét kald på 30 sekunder med det fulde overblik: den aktuelt bedste score og dens svage dimensioner, fejlanalyser fra de seneste forsøg og alle otte forslag side om side. De fire bedste sendes til eksekvering og koster hver 15 til 30 minutter. De øvrige fire fravælges, før de bruger af budgettet.
De underliggende modeller var uændrede hele vejen igennem. Harnesset redigerede kun koden omkring dem. Signal Engine og Dybdegående research kørte på gpt-5.5. Agentic Multimodal Retrieval kørte på open-weight-modellen Qwen3.6-35B-A3B, der blev leveret lokalt via vLLM og kombineret med billedretrieveren ColQwen3-4B. Kombinationen blev valgt for at sikre forudsigelige lokale omkostninger.
Diagrammet nedenfor viser udviklingen i scorerne for vores tre hovedopgaver. "Startversion" er den oprindelige kode, som en udvikler har skrevet. "Meta-Harness" er den bedste version, som Meta-Harness fandt. Vi ser bedre resultater for alle tre opgaver i holdout-testsættet.
Signal Engine blev vurderet af en LLM-dommer på aktualitet, faktuel korrekthed, detaljeringsgrad og tone med 150 træningsopslag og 150 holdout-testopslag fra X. Under kørslen forbedrede den bedste version den samlede træningsscore fra 0,431 til 0,756 og holdout-scoren fra 0,456 til 0,841. Forbedringerne kom fra ændringer af selve harnesset og ikke blot justeringer af prompts: De vindende iterationer lærte at filtrere støj fra sociale medier, tilføjede trin til krydstjek af fakta og krævede, at alle resultater blev underbygget af eksplicit evidens. Diagrammet nedenfor viser iterationsprocessen.
Forsøgshistorikken viser, hvordan forbedringerne blev bygget op. En tidlig strukturel ændring løftede den hidtil bedste score til 0,625. Mere detaljeret evidenshåndtering øgede den til 0,679, og en forbedret løkke til refleksion og vurderingskriterier løftede den til 0,819. Omtrent halvdelen af alle kandidatforløb klarede sig dårligere eller fejlede helt, men de forurenede ikke resultatlisten: Hver forgrening kørte isoleret, tabende diffs blev kasseret, og fejl blev skrevet til refleksionslageret, så den næste forslagsagent ikke gentog samme blindgyde.
Vigtigst af alt steg holdout-kurven sammen med træningskurven under hele kørslen. Det tyder på, at harnesset forbedrede workflowet frem for at memorere træningskorpusset. Holdout-scorerne var lidt højere end træningsscorerne, hvilket vi fortolker som almindelig stikprøvestøj mellem to små, adskilte datasæt.
Agentic Multimodal Retrieval måles med NDCG@10 på Computer Science-delen af det offentlige ViDoRe V3-datasæt, som er kurateret til 20 træningsforespørgsler, 10 udviklingsforespørgsler og 20 holdout-testforespørgsler. Harnesset løftede NDCG@10 på holdout-testen fra 0,705 til 0,744, samtidig med at den samlede evalueringstid faldt fra 869 sekunder til 54 sekunder.
Dybdegående research bedømmes på en samlet LLM-vurdering af indholdets og referencernes kvalitet efter DeepResearch-Eval på tværs af ti referencespørgsmål. Den forbedrede kode hævede gennemsnittet fra 0,449 til 0,802. De vindende ændringer var tydelige i diffen: et indledende planlægningstrin, der sammenligner tilgange, før researchagenterne sættes i gang, og et afsluttende gennemgangstrin målrettet de dimensioner, hvor rapporterne historisk havde klaret sig dårligt. Da datasættet er lille og dyrt at evaluere, opdelte vi det ikke og betragter resultatet som in-sample.
Vi benchmarkede alle tre metoder med samme budget: samme datasæt, samme underliggende modeller, samme iterationsgrænse og samme samlede antal kandidatevalueringer. På Signal Engine opnår Meta-Harness 0,841 på holdout-testen, mens begge baselinemetoder forblev under 0,50. På Agentic Multimodal Retrieval opnår vores team den højeste NDCG@10 på holdout-testen (0,744 mod 0,700 for CORAL og 0,738 for karpathy) og gennemfører den officielle evaluering 12 til 14 gange hurtigere: 54 s mod 786 s og 650 s. På Dybdegående research opnår vores team 0,802, mens begge baselinemetoder lå omkring 0,52. Der gælder ét forbehold for hele sammenligningen: Vi genimplementerede CORAL og karpathy/autoresearch ud fra deres offentliggjorte beskrivelser, så en del af forskellen kan skyldes implementeringen og ikke kun metoderne.
Forskellen skyldes fire designvalg. For det første udarbejder vores team en struktureret designspecifikation, før koden redigeres. Det fremmer strukturelle ændringer som nye pipelinetrin frem for justeringer af prompts. For det andet kører løsningen samtidige forgreninger med udgangspunkt i en fælles bedste kandidat, så forbedringerne bygges hurtigere op end med CORALs uafhængige agenter eller karpathys strengt sekventielle løkke. For det tredje efterlader hvert forsøg strukturerede artefakter (scorer, hændelseslogge og fire LLM-skrevne analyser), som den næste forslagsagent læser, mens baselinemetoderne kun gemmer flade forsøgslogge. For det fjerde leder en adaptiv controller forslagsagenten mod udforskning efter stilstand og finjustering efter en gevinst. Oven på dette frasorterer forudsigende omrangering af hypoteser svage idéer, før de bruger af budgettet.
Holdout-kurverne viser generalisering inden for domænet, ikke overførsel mellem domæner: Et workflow, der er finjusteret til at udtrække signaler om AI-markedet, kan ikke forventes at fungere lige så godt på juridiske eller biomedicinske tekster, uden at harnesset køres igen. Harnesset optimerer desuden kun efter bedømmerens mål. Et støjfyldt træningssæt eller en fejlkalibreret dommer vil derfor blive overfittet meget præcist. Før en seriøs kørsel anbefaler vi mindst 20 velkuraterede træningseksempler og et separat udviklingssæt. Omkostningerne er den største praktiske begrænsning. Hver evaluering kører hele pipelinen igen på alle datasæt. Alene den valgte retrievalkandidat brugte cirka 2,2 millioner inputtokens, og en seriøs optimering på en model i gpt-5.5-klassen koster fra flere hundrede til godt tusind dollars pr. opgave. Endelig stammer tallene fra enkelte kørsler og ikke gentagne forsøg. Derfor deler vi dem som et teknisk blogindlæg frem for et formelt studie.
Meta-Harness viser, at autonom kodeforbedring kan gøres disciplineret nok til brug i virksomheder. Grundelementerne er strukturelle hypoteser, forudsigende forfiltrering, isoleret evaluering, holdout-tests, hvor dataene tillader det, og et komplet revisionsspor for hver godkendt ændring. Tilsammen giver de et udviklingsteam en forudsigelig vej fra en fungerende startpipeline til en målbart bedre version. Samtidig får den driftsansvarlige en enkel model: fordelene ved autonom udforskning inden for et stramt, budgetbevidst framework, hvor et menneske altid inddrages, før noget sættes i produktion.