Bestaande systemen voor autonome verbetering hebben sterke resultaten behaald bij programmeertaken. Het is echter nog onduidelijk of ze ook complexe AI-workflows met een lange tijdshorizon kunnen verbeteren die lijken op echte bedrijfsimplementaties.
Ons Meta-Harness-onderzoek past autonome zelfverbetering toe op agentgestuurde zoekprocessen, Deep Research en workflows voor signal intelligence. Daarbij voegen we bedrijfseisen toe zoals afgeschermde evaluaties, controleerbaarheid, budgetbewaking en menselijke goedkeuring.
Meta-Harness verbeterde de prestaties aanzienlijk bij drie representatieve workloads. Zo stegen de prestaties van Signal Engine op afgeschermde tests met 84% en behaalde Agentic Multimodal Retrieval een hogere nauwkeurigheid met een 16× snellere uitvoering.
Anders dan de meeste eerdere methoden meet Meta-Harness succes waar mogelijk op afgeschermde datasets. Zo toetsen we of verbeteringen ook buiten de voor optimalisatie gebruikte gegevens generaliseren.
Deze resultaten wijzen erop dat autonome workflowverbetering niet beperkt hoeft te blijven tot programmeerbenchmarks, maar ook kan werken voor AI-systemen in de praktijk. Daarmee ontstaat een praktische route naar AI-toepassingen die zich voortdurend verbeteren.
Recent onderzoek naar autonoom AI-onderzoek, waaronder het artikel over Meta-Harness, het CORAL-framework en karpathy/autoresearch, heeft aangetoond dat programmeeragents een oplossing iteratief kunnen verbeteren op basis van een evaluatiemaatstaf. De open vraag is of die methoden ook werken voor AI-workflows met een lange tijdshorizon, zoals agentgestuurde multimodale zoekprocessen waarbij een agent herhaaldelijk multimodale vakcorpora doorzoekt om een vraag te beantwoorden, of complexe gegevenspijplijnen met veel afhankelijke stappen, toolaanroepen en beslissingen over uitzonderingsafhandeling. De wezenlijke vraag is of de winst standhoudt op gegevens die de optimalisator nooit te zien krijgt.
Ons R&D-werk aan Meta-Harness is ons antwoord op die vraag. Het neemt ideeën uit recent onderzoek over en past ze aan bedrijfsbehoeften aan: afgeschermde evaluaties, audittrails, kostenplafonds en een duidelijk overdrachtsmoment aan een menselijke beoordelaar voordat iets in productie gaat.
We hebben het getest op drie taken met een lange tijdshorizon, gemodelleerd naar echt klantwerk. Signal Engine volgt een live stroom X-berichten over de AI-markt en produceert gestructureerde trendrapporten met gedegen bronvermelding. Agentic Multimodal Retrieval redeneert over zoekvragen met tekst en afbeeldingen om de relevantste documentpagina's te vinden. Deep Research coördineert meerdere agents om het web te doorzoeken, bronnen te controleren en uitgebreide onderzoeksrapporten te schrijven.
Signal Engine: samengestelde score op de afgeschermde test 0,456 → 0,841, een relatieve stijging van 84%. CORAL en karpathy/autoresearch bleven met hetzelfde budget onder 0,50.
Agentic Multimodal Retrieval: NDCG@10 op de afgeschermde test 0,705 → 0,744, terwijl de doorlooptijd per evaluatie daalde van 869 s naar 54 s. Dat is een zestienvoudige versnelling bij een hogere nauwkeurigheid.
Deep Research: samengestelde score voor rapportkwaliteit 0,449 → 0,802 over tien referentievragen, tegenover circa 0,52 voor de baselines. Deze taak had geen afgeschermde splitsing, dus we beschouwen deze score uitsluitend als een resultaat binnen de steekproef.
Zoekefficiëntie: met Predictive Hypothesis Reranking bereikte Signal Engine na 3 in plaats van 20 iteraties 91% van de beste score uit de referentie-uitvoering, met hetzelfde evaluatiebudget.
De meeste autonome onderzoekssystemen optimaliseren en evalueren op dezelfde dataset. Daardoor is niet vast te stellen of het resultaat generaliseert. Voor Signal Engine en Agentic Multimodal Retrieval hanteren we een strikte scheiding: een trainingsset waarop kandidaten mogen worden beoordeeld, een ontwikkelset voor controles en een afgeschermde testset die de optimalisator nooit ziet. Elk gerapporteerd resultaat is afkomstig van één specifieke codeversie die op elke splitsing is beoordeeld. We combineren dus nooit de beste trainingsscore van de ene kandidaat met de beste testscore van een andere.
In elke ronde genereert de harness een reeks gestructureerde hypothesen voor wijzigingen aan de code. Elke hypothese benoemt het mechanisme dat moet veranderen, de eerdere versie waarop wordt voortgebouwd en het beoogde foutscenario. Een rangschikkingsstap filtert de reeks voordat er kostbare evaluaties worden uitgevoerd. De overgebleven hypothesen gaan naar parallelle uitvoerende agents. Zij delen een kennisbank, maar bewerken code in volledig geïsoleerde werkruimten, zodat elke kandidaat eerlijk en onafhankelijk wordt beoordeeld. Aan het einde van de ronde kiest het systeem één winnaar: de kandidaat met de hoogste score die ook alle controles op de zichtbare datasetsplitsingen heeft doorstaan. Die winnaar vormt het uitgangspunt voor de volgende ronde. Elke poging schrijft een vaste bundel naar een bewijsarchief waaraan alleen kan worden toegevoegd: de codepatch, scores per splitsing, een gebeurtenislogboek en vier korte, door een LLM geschreven analyses van het uitvoeringstraject, de fouten, de kosten en een reflectie. De indiener van de volgende ronde leest deze geschiedenis terug. Zo bouwt de harness voort op wat is geleerd, in plaats van steeds dezelfde doodlopende wegen opnieuw te bewandelen.
Drie beveiligingen zorgen dat de cyclus veilig kan worden uitgevoerd. Een bereikbeleid beperkt welke bestanden een kandidaat mag wijzigen en draait alle wijzigingen daarbuiten terug. Budgetten voor tokens en doorlooptijd stoppen de uitvoering zodra het plafond wordt overschreden. Gelijktijdigheidslimieten houden de harness binnen de gebruikslimieten van modellen en GPU's. De harness brengt bovendien nooit zelf iets in productie. Het resultaat is een gerangschikte, volledig gedocumenteerde kandidaat. Een menselijke engineer beoordeelt de diff en beslist of deze in productie gaat.
In een lokale stack liggen vijf technische bouwstenen ten grondslag aan elke ronde van de bovenstaande cyclus.
Isolatie van werkruimten. Eén Git-worktree per kandidaat. Forks delen een objectdatabase, maar nooit elkaars bestanden. Daardoor kunnen kandidaten parallel worden uitgevoerd tegen vrijwel constante opslagkosten en zijn ze eenvoudig te vergelijken met de huidige beste versie.
Uitvoeringssandbox. Via de configuratie zijn twee modi beschikbaar: een native subproces voor snelle iteraties of een volledig geïsoleerde runtime. Corpora worden alleen-lezen gekoppeld en de tijdelijke map van elke poging wordt na de beoordeling verwijderd. Daardoor kan een poging de dataset niet wijzigen of status naar de volgende poging laten lekken.
Bereikbeleid. Een lijst met toegestane paden die in de experimentconfiguratie is vastgelegd. Alles wat daarbuiten wordt gewijzigd, wordt vóór de beoordeling teruggedraaid en de poging wordt gemarkeerd. De diff die een beoordelaar ziet, blijft daardoor gegarandeerd binnen het vastgelegde bereik.
Budgetbewaking. Drie lagen: limieten voor tokens en doorlooptijd per poging, een totaalplafond per uitvoering en een gelijktijdigheidslimiet. Samen houden ze de uitgaven voorspelbaar en de harness binnen de gebruikslimieten van het model en de infrastructuur.
Bewijsarchief. Een JSONL-bestand waaraan alleen kan worden toegevoegd, met de codepatch, scores per splitsing, het gebeurtenislogboek en de vier door een LLM geschreven analyses. Gematerialiseerde weergaven (scorebord, beste versie en foutenindex) worden na elke poging opnieuw opgebouwd. Zo kunnen volgende rondes voortbouwen op de geschiedenis en blijft elke uitvoering tot op de byte reproduceerbaar.
Geen van deze bouwstenen is optioneel. De harness moet een beoordelaar na afloop iets bieden wat daadwerkelijk kan worden goedgekeurd: een winnende kandidaat, een afgebakende diff, een volledig overzicht van alle pogingen en bekende kosten. Als een van de vijf ontbreekt, vervalt een van die garanties.
Alle drie de experimenten gebruiken dezelfde hypothesestrategie. Bij elke iteratie genereert de indiener meer hypothesen dan binnen het uitvoeringsbudget passen: M = 8 kandidaten bij een budget van K = 4. Een afzonderlijke LLM rangschikt alle acht vervolgens in één aanroep van dertig seconden. Daarbij krijgt die het volledige beeld: de huidige beste score en de zwakke dimensies ervan, foutanalyses van recente pogingen en alle acht voorstellen naast elkaar. De beste vier gaan naar de uitvoerder en kosten elk 15 tot 30 minuten. De overige vier vallen af voordat ze budget verbruiken.
De onderliggende modellen bleven gedurende het hele proces ongewijzigd; de harness bewerkte alleen de omringende code. Signal Engine en Deep Research draaiden op gpt-5.5. Agentic Multimodal Retrieval draaide op het open-weight-model Qwen3.6-35B-A3B, dat lokaal via vLLM werd aangeboden en was gekoppeld aan de ColQwen3-4B-zoekmodule voor afbeeldingen. Deze combinatie is gekozen vanwege de voorspelbare on-premises kosten.
De onderstaande grafiek toont hoe de scores voor onze drie hoofdtaken veranderden. "Seed" is de oorspronkelijke code die door een menselijke engineer is geschreven. "Meta-Harness" is de beste versie die Meta-Harness heeft gevonden. Voor alle drie de taken zien we betere prestaties op de afgeschermde testset.
Signal Engine werd door een LLM-beoordelaar geëvalueerd op actualiteit, feitelijkheid, detailniveau en toon, met 150 trainingstweets en 150 afgeschermde testtweets. Tijdens de uitvoering verbeterde de beste versie de samengestelde trainingsscore van 0,431 naar 0,756 en de afgeschermde score van 0,456 naar 0,841. De winst kwam voort uit wijzigingen aan de harness zelf, niet alleen uit aanpassingen aan prompts. Winnende iteraties leerden ruis op sociale media te filteren, voegden stappen toe om feiten te controleren en vereisten dat elke uitvoer expliciet met bewijs werd onderbouwd. Het onderstaande diagram toont het iteratieproces.
De pogingengeschiedenis laat zien hoe die winst zich opstapelde. Een vroege structurele wijziging verhoogde de beste score tot dan toe naar 0,625; gedetailleerdere verwerking van bewijs bracht deze op 0,679; en een verfijnde cyclus voor reflectie en beoordelingscriteria tilde de score naar 0,819. Ongeveer de helft van alle kandidaatuitvoeringen presteerde slechter of mislukte volledig, maar vervuilde het scorebord niet. Elke fork draaide geïsoleerd, verliezende diffs werden verwijderd en fouten werden in het reflectiearchief opgeslagen, zodat de volgende indiener niet dezelfde doodlopende weg zou kiezen.
Het belangrijkste is dat de curve van de afgeschermde test gedurende de hele uitvoering samen met de trainingscurve steeg. Dat wijst erop dat de harness de workflow verbeterde in plaats van het trainingscorpus uit het hoofd te leren. De afgeschermde scores lagen iets boven de trainingsscores. We interpreteren dit als normale steekproefruis tussen twee kleine, niet-overlappende splitsingen.
Agentic Multimodal Retrieval wordt gemeten met NDCG@10 op de openbare Computer Science-splitsing van ViDoRe V3, samengesteld uit 20 trainingsvragen, 10 ontwikkelvragen en 20 afgeschermde testvragen. De harness verhoogde de afgeschermde NDCG@10 van 0,705 naar 0,744 en verkortte tegelijkertijd de totale doorlooptijd van de evaluatie van 869 seconden naar 54 seconden.
Deep Research wordt over tien referentievragen beoordeeld met een door een LLM bepaalde samengestelde score voor inhoudelijke kwaliteit en bronkwaliteit, volgens DeepResearch-Eval. De verbeterde code verhoogde het gemiddelde van 0,449 naar 0,802. De winnende wijzigingen waren duidelijk zichtbaar in de diff: een planningsstap vooraf waarin benaderingen worden vergeleken voordat onderzoeksagents worden ingezet, en een laatste beoordelingsstap gericht op de dimensies waarop rapporten eerder slecht scoorden. Omdat deze set klein en duur te evalueren is, hebben we hem niet gesplitst en beschouwen we het resultaat als binnen de steekproef.
We hebben alle drie de methoden met hetzelfde budget gebenchmarkt: dezelfde datasets, dezelfde onderliggende modellen, hetzelfde maximumaantal iteraties en hetzelfde totale aantal kandidaatevaluaties. Voor Signal Engine behaalt Meta-Harness 0,841 op de afgeschermde test, terwijl beide baselines onder 0,50 bleven. Voor Agentic Multimodal Retrieval behaalt ons team de hoogste afgeschermde NDCG@10 (0,744, tegenover 0,700 voor CORAL en 0,738 voor karpathy) en voert het de officiële evaluatie twaalf tot veertien keer sneller uit: 54 s tegenover 786 s en 650 s. Voor Deep Research behaalt ons team 0,802, terwijl beide baselines rond 0,52 bleven. Hierbij geldt één kanttekening: we hebben CORAL en karpathy/autoresearch opnieuw geïmplementeerd op basis van hun gepubliceerde beschrijvingen. Een deel van het verschil kan daarom voortkomen uit implementatieverschillen en niet alleen uit de methoden zelf.
Vier ontwerpkeuzes verklaren het verschil. Ten eerste stelt ons team een gestructureerde ontwerpspecificatie op voordat er code wordt bewerkt. Daardoor ligt de nadruk eerder op structurele wijzigingen, zoals nieuwe pijplijnfasen, dan op kleine aanpassingen aan prompts. Ten tweede voert het gelijktijdige forks uit die zijn gebaseerd op een gedeelde beste kandidaat. Daardoor stapelen verbeteringen zich sneller op dan bij de onafhankelijke agents van CORAL of de strikt opeenvolgende cyclus van karpathy. Ten derde levert elke poging gestructureerde artefacten op (scores, gebeurtenislogboeken en vier door een LLM geschreven analyses) die de volgende indiener terugleest, terwijl de baselines alleen platte logboeken van pogingen bewaren. Ten vierde stuurt een adaptieve regelaar de indiener na stilstand richting verkenning en na succes richting verfijning. Daarbovenop laat Predictive Hypothesis Reranking zwakke ideeën afvallen voordat ze budget verbruiken.
De afgeschermde curves tonen generalisatie binnen hetzelfde domein, niet overdracht naar andere domeinen. Van een workflow die is afgestemd op het herkennen van signalen in de AI-markt mag niet worden verwacht dat deze ook goed werkt op juridische of biomedische teksten zonder de harness opnieuw uit te voeren. De harness optimaliseert bovendien alleen voor wat de beoordelaar meet. Een rumoerige trainingsset of verkeerd gekalibreerde beoordelaar zal dus systematisch tot overfitting leiden. Voor een serieuze uitvoering adviseren we minstens twintig zorgvuldig samengestelde trainingsitems en een afzonderlijke ontwikkelsplitsing. De kosten vormen de grootste praktische beperking. Bij elke evaluatie wordt de volledige pijplijn opnieuw uitgevoerd op alle splitsingen. Alleen al de geselecteerde kandidaat voor het zoekproces verbruikte ongeveer 2,2 miljoen invoertokens, en een serieuze optimalisatie met een model uit de gpt-5.5-klasse kost per taak honderden tot enkele duizenden dollars. Tot slot zijn deze cijfers afkomstig uit afzonderlijke uitvoeringen en niet uit herhaalde proeven. Daarom delen we ze in een technisch blogartikel en niet als formeel onderzoek.
Meta-Harness laat zien dat autonome codeverbetering gedisciplineerd genoeg kan worden gemaakt voor zakelijk gebruik. De bouwstenen zijn structurele hypothesen, voorspellende voorselectie, geïsoleerde evaluaties, afgeschermde tests waar de gegevens dat toelaten en een volledige audittrail voor elke doorgevoerde wijziging. Samen bieden ze een engineeringteam een voorspelbare route van een werkende basispijplijn naar een aantoonbaar betere versie. Voor operationeel verantwoordelijken is het model eenvoudig: de voordelen van autonome verkenning binnen een strikt, budgetbewust kader, met menselijke controle voordat iets in productie gaat.