Bestehende Systeme zur autonomen Verbesserung haben bei Programmieraufgaben gute Ergebnisse erzielt. Es bleibt jedoch offen, ob sie auch komplexe, langfristige KI-Workflows verbessern können, die realen Unternehmensimplementierungen ähneln.
Unsere Forschung zu Meta-Harness überträgt autonome Selbstoptimierung auf agentenbasierte Suche, Deep Research und Signal-Intelligence-Workflows. Hinzu kommen Anforderungen von Unternehmen wie Evaluierungen anhand zurückgehaltener Daten, Nachvollziehbarkeit, Budgetkontrollen und menschliche Freigaben.
Bei drei repräsentativen Aufgaben verbesserte Meta-Harness die Leistung deutlich. Dazu zählen eine Verbesserung der Leistung bei zurückgehaltenen Testdaten um 84 % für Signal Engine sowie eine höhere Genauigkeit bei 16-mal schnellerer Ausführung für Agentic Multimodal Retrieval.
Anders als die meisten bisherigen Ansätze misst Meta-Harness den Erfolg nach Möglichkeit anhand zurückgehaltener Datensätze. So lässt sich beurteilen, ob Verbesserungen über die bei der Optimierung verwendeten Daten hinaus verallgemeinerbar sind.
Diese Ergebnisse legen nahe, dass sich autonome Workflow-Verbesserungen über Programmier-Benchmarks hinaus auf reale KI-Systeme in Unternehmen übertragen lassen. Damit eröffnen sie einen praktikablen Weg zu kontinuierlich verbesserten KI-Anwendungen.
Jüngste Arbeiten zur autonomen KI-Forschung, darunter der Artikel zu Meta-Harness, das Framework CORAL und karpathy/autoresearch, haben gezeigt, dass Programmieragenten eine Lösung anhand einer Evaluierungsmetrik iterativ verbessern können. Offen bleibt, ob sich diese Methoden auf langfristige KI-Workflows übertragen lassen. Dazu zählt etwa die agentenbasierte multimodale Suche, bei der ein Agent wiederholt multimodale Fachkorpora durchsuchen muss, um eine Frage zu beantworten. Ein weiteres Beispiel sind komplexe Datenverarbeitungspipelines mit vielen voneinander abhängigen Schritten, Werkzeugaufrufen und Entscheidungen zur Ausnahmebehandlung. Die grundlegendere Frage lautet, ob die Verbesserungen auch bei Daten bestehen bleiben, die das Optimierungssystem nie sieht.
Unsere Forschungs- und Entwicklungsarbeit zu Meta-Harness ist unsere Antwort auf diese Frage. Sie greift Ideen aus der jüngsten Forschung auf und richtet sie an den Anforderungen von Unternehmen aus: Evaluierungen anhand zurückgehaltener Daten, Prüfpfade, Kostenobergrenzen und ein klarer Übergabepunkt zur menschlichen Prüfung, bevor etwas veröffentlicht wird.
Wir haben Meta-Harness anhand von drei langfristigen Aufgaben getestet, die realen Kundenprojekten nachempfunden sind. Signal Engine überwacht einen Live-Stream von Beiträgen auf X zum KI-Markt und erstellt strukturierte Trendberichte mit fundierten Quellenangaben. Agentic Multimodal Retrieval verarbeitet kombinierte Text- und Bildanfragen, um die relevantesten Dokumentseiten zurückzugeben. Deep Research koordiniert mehrere Agenten, die das Internet durchsuchen, Quellen gegenprüfen und ausführliche Forschungsberichte verfassen.
Signal Engine: kombinierte Bewertung im zurückgehaltenen Testdatensatz von 0,456 auf 0,841, eine relative Steigerung um 84 %. CORAL und karpathy/autoresearch blieben mit demselben Budget unter 0,50.
Agentic Multimodal Retrieval: NDCG@10 im zurückgehaltenen Testdatensatz von 0,705 auf 0,744, während die verstrichene Zeit pro Evaluierung von 869 s auf 54 s sank. Das entspricht einer 16-fachen Beschleunigung bei höherer Genauigkeit.
Deep Research: kombinierte Bewertung der Berichtsqualität von 0,449 auf 0,802 bei zehn Referenzfragen, gegenüber etwa 0,52 bei den Vergleichsansätzen. Für diese Aufgabe gab es keine zurückgehaltene Datenteilmenge. Daher betrachten wir den Wert nur als Ergebnis innerhalb der Stichprobe.
Sucheffizienz: Mit Predictive Hypothesis Reranking erreichte Signal Engine bei gleichem Evaluierungsbudget 91 % der Bestleistung des Referenzdurchlaufs in drei statt 20 Iterationen.
Die meisten Systeme für autonome Forschung optimieren und evaluieren mit demselben Datensatz. Dadurch lässt sich nicht feststellen, ob das Ergebnis verallgemeinerbar ist. Für Signal Engine und Agentic Multimodal Retrieval setzen wir eine strikte Aufteilung durch: einen Trainingsdatensatz, anhand dessen Kandidaten bewertet werden können, einen Entwicklungsdatensatz für Plausibilitätsprüfungen und einen zurückgehaltenen Testdatensatz, den das Optimierungssystem nie sieht. Jedes gemeldete Ergebnis stammt von einer bestimmten Codeversion, die anhand aller Datenteilmengen bewertet wurde. So kombinieren wir nie die beste Trainingsbewertung eines Kandidaten mit der besten Testbewertung eines anderen.
In jeder Runde erzeugt der Harness eine Reihe strukturierter Hypothesen für Änderungen am Code. Jede Hypothese benennt den Mechanismus, den sie ändern soll, die vorherige Version, auf der sie aufbaut, und den Fehlermodus, auf den sie abzielt. Ein Ranking-Schritt filtert die Hypothesen, bevor Ressourcen für aufwendige Evaluierungen eingesetzt werden. Die verbleibenden Hypothesen gehen an parallele ausführende Agenten. Sie nutzen eine gemeinsame Wissensbasis, bearbeiten den Code jedoch in vollständig isolierten Workspaces, sodass alle Kandidaten fair und unabhängig bewertet werden. Am Ende der Runde bestimmt das Ausführungssystem einen Gewinner: den Kandidaten mit der höchsten Bewertung, der zugleich alle Prüfungen der sichtbaren Datenteilmengen bestanden hat. Dieser Gewinner bildet die Grundlage für die nächste Runde. Jeder Versuch schreibt ein festes Paket in einen unveränderlich ergänzten Evidenzspeicher: seinen Code-Patch, Bewertungen je Datenteilmenge, ein Ereignisprotokoll und vier kurze, von einem LLM verfasste Analysen zu Ablauf, Fehlern, Kosten und Reflexion. Das Vorschlagsmodul der nächsten Runde liest diesen Verlauf ein. So baut der Harness auf dem Gelernten auf, anstatt dieselben Sackgassen erneut zu durchlaufen.
Drei Schutzmechanismen sorgen für einen sicheren Ablauf der Schleife. Eine Bereichsrichtlinie beschränkt, welche Dateien ein Kandidat ändern darf, und setzt alle Änderungen außerhalb dieses Bereichs zurück. Token- und Laufzeitbudgets beenden den Durchlauf, sobald die Ausgaben einen Höchstwert überschreiten. Parallelitätsgrenzen sorgen dafür, dass der Harness die Ratenlimits für Modelle und GPUs einhält. Der Harness selbst überführt zudem nie etwas in den Produktivbetrieb. Er liefert einen eingestuften, vollständig dokumentierten Kandidaten. Eine technische Fachkraft prüft den Diff und entscheidet, ob er in den Produktivbetrieb geht.
In einem lokalen Stack bilden fünf technische Grundbausteine die Basis jeder Runde der beschriebenen Schleife.
Workspace-Isolierung. Ein Git-Worktree pro Kandidat. Forks teilen sich eine Objektdatenbank, aber niemals ihre Dateien. Dadurch können Kandidaten bei nahezu konstantem Speicherbedarf parallel ausgeführt und problemlos mit dem aktuellen Spitzenkandidaten verglichen werden.
Ausführungs-Sandbox. Über die Konfiguration stehen zwei Modi zur Verfügung: ein nativer Unterprozess für schnelle Iterationen oder eine vollständig isolierte Laufzeitumgebung. Korpora werden schreibgeschützt eingebunden, und das temporäre Verzeichnis jedes Versuchs wird nach der Bewertung verworfen. Ein Versuch kann daher weder den Datensatz verändern noch Zustandsdaten an den nächsten Versuch weitergeben.
Bereichsrichtlinie. Eine in der Versuchskonfiguration festgelegte Positivliste zulässiger Pfade. Änderungen außerhalb dieser Pfade werden vor der Bewertung zurückgesetzt und der Versuch wird gekennzeichnet. Damit bleibt der angezeigte Diff garantiert innerhalb des festgelegten Bereichs.
Durchsetzung des Budgets. Drei Ebenen: Token- und Laufzeitgrenzen pro Versuch, ein Gesamtlimit pro Durchlauf und eine Parallelitätsgrenze. Zusammen halten sie die Ausgaben planbar und stellen sicher, dass der Harness die Ratenlimits der Modelle und Infrastruktur einhält.
Evidenzspeicher. Eine unveränderlich ergänzte JSONL-Datei mit Code-Patch, Bewertungen je Datenteilmenge, Ereignisprotokoll und den vier von einem LLM verfassten Analysen. Materialisierte Ansichten (Bestenliste, Spitzenkandidat und Fehlerindex) werden nach jedem Versuch neu erstellt. So können nachfolgende Runden auf dem bisherigen Verlauf aufbauen, während jeder Durchlauf Byte für Byte reproduzierbar bleibt.
Keiner dieser Grundbausteine ist optional. Der Harness soll am Ende eines Durchlaufs etwas liefern, das tatsächlich freigegeben werden kann: einen siegreichen Kandidaten, einen klar begrenzten Diff, eine vollständige Aufzeichnung aller Versuche und bekannte Kosten. Wird einer der fünf Bausteine entfernt, entfällt eine dieser Garantien.
Alle drei Experimente verwenden dieselbe Hypothesenstrategie. In jeder Iteration erzeugt das Vorschlagsmodul mehr Hypothesen, als das Budget zur Ausführung zulässt: M = 8 Kandidaten bei einem Ausführungsbudget von K = 4. Ein separates LLM-Ranking-Modul ordnet anschließend alle acht in einem einzigen, 30 Sekunden dauernden Aufruf. Dabei berücksichtigt es das Gesamtbild: die aktuell beste Bewertung und ihre Schwächen, Fehleranalysen der jüngsten Versuche sowie alle acht Vorschläge im direkten Vergleich. Die besten vier gehen an das Ausführungsmodul und benötigen jeweils 15 bis 30 Minuten. Die anderen vier werden verworfen, bevor sie Kosten verursachen.
Die zugrunde liegenden Modelle blieben durchgehend unverändert. Der Harness bearbeitete nur den Code um sie herum. Signal Engine und Deep Research wurden mit gpt-5.5 ausgeführt. Agentic Multimodal Retrieval wurde mit dem Open-Weight-Modell Qwen3.6-35B-A3B ausgeführt, das lokal über vLLM bereitgestellt und mit dem Bild-Retriever ColQwen3-4B kombiniert wurde. Diese Kombination wurde wegen ihrer planbaren lokalen Kosten gewählt.
Das folgende Diagramm zeigt die Entwicklung der Bewertungen für unsere drei Hauptaufgaben. „Seed“ bezeichnet den von einer technischen Fachkraft geschriebenen Ausgangscode. „Meta-Harness“ bezeichnet die beste von Meta-Harness gefundene Version. Bei allen drei Aufgaben sehen wir im zurückgehaltenen Testdatensatz eine Leistungssteigerung.
Signal Engine wurde von einem LLM-Bewertungssystem hinsichtlich Aktualität, Faktentreue, Detailtiefe und Ton bewertet. Verwendet wurden 150 Trainings-Tweets und 150 zurückgehaltene Test-Tweets. Im Verlauf des Durchlaufs verbesserte die beste Version die kombinierte Trainingsbewertung von 0,431 auf 0,756 und die Bewertung anhand zurückgehaltener Daten von 0,456 auf 0,841. Die Verbesserungen ergaben sich aus Änderungen am Harness selbst, nicht nur aus Anpassungen der Prompts. Erfolgreiche Iterationen lernten, Störsignale in sozialen Medien herauszufiltern, ergänzten Schritte zur Gegenprüfung von Fakten und verlangten, dass jedes Ergebnis durch konkrete Belege gestützt wird. Das folgende Diagramm zeigt den Iterationsprozess.
Der Versuchsverlauf zeigt, wie sich diese Verbesserungen summierten. Eine frühe strukturelle Änderung erhöhte den bisherigen Bestwert auf 0,625. Eine differenziertere Verarbeitung der Belege steigerte ihn auf 0,679, und eine verfeinerte Reflexions- und Bewertungsschleife hob ihn auf 0,819. Etwa die Hälfte aller Kandidatendurchläufe schnitt schlechter ab oder scheiterte vollständig. Die Bestenliste wurde dadurch jedoch nicht verfälscht: Jeder Fork lief isoliert, erfolglose Diffs wurden verworfen und Fehler im Reflexionsspeicher erfasst, damit das nächste Vorschlagsmodul dieselbe Sackgasse nicht erneut verfolgt.
Besonders wichtig ist, dass die Kurve für zurückgehaltene Daten während des gesamten Durchlaufs parallel zur Trainingskurve anstieg. Das deutet darauf hin, dass der Harness den Workflow verbesserte, statt das Trainingskorpus auswendig zu lernen. Die Bewertungen anhand zurückgehaltener Daten lagen leicht über den Trainingsbewertungen. Wir deuten dies als gewöhnliches Stichprobenrauschen zwischen zwei kleinen, getrennten Datenteilmengen.
Agentic Multimodal Retrieval wird anhand von NDCG@10 für die öffentliche ViDoRe-V3-Datenteilmenge „Computer Science“ gemessen. Sie wurde in 20 Trainings-, zehn Entwicklungs- und 20 zurückgehaltene Testanfragen aufgeteilt. Der Harness erhöhte NDCG@10 für zurückgehaltene Daten von 0,705 auf 0,744 und verkürzte zugleich die gesamte verstrichene Evaluierungszeit von 869 Sekunden auf 54 Sekunden.
Deep Research wird anhand einer von einem LLM bewerteten Kombination aus inhaltlicher Qualität und Qualität der Quellenangaben beurteilt. Die Evaluierung folgt DeepResearch-Eval und umfasst zehn Referenzfragen. Der verbesserte Code erhöhte den Mittelwert von 0,449 auf 0,802. Die erfolgreichen Änderungen waren im Diff leicht erkennbar: ein vorgelagerter Planungsschritt, der Ansätze vergleicht, bevor Forschungsagenten eingesetzt werden, sowie ein abschließender Prüfschritt, der auf die Bereiche abzielt, in denen Berichte zuvor schlecht abgeschnitten hatten. Da dieser Datensatz klein und seine Evaluierung teuer ist, haben wir ihn nicht aufgeteilt und betrachten das Ergebnis als innerhalb der Stichprobe erzielt.
Wir haben alle drei Methoden mit demselben Budget verglichen: dieselben Datensätze, dieselben zugrunde liegenden Modelle, dieselbe maximale Iterationszahl und dieselbe Gesamtzahl an Kandidatenevaluierungen. Bei Signal Engine erreicht Meta-Harness im zurückgehaltenen Testdatensatz 0,841, während beide Vergleichsansätze unter 0,50 blieben. Bei Agentic Multimodal Retrieval erzielt unser Team mit 0,744 den höchsten NDCG@10-Wert im zurückgehaltenen Testdatensatz, gegenüber 0,700 für CORAL und 0,738 für karpathy. Zudem führen wir die offizielle Evaluierung zwölf- bis vierzehnmal schneller aus: in 54 s statt 786 s beziehungsweise 650 s. Bei Deep Research erreicht unser Team 0,802, während beide Vergleichsansätze bei etwa 0,52 blieben. Dabei gilt eine Einschränkung: Wir haben CORAL und karpathy/autoresearch anhand ihrer veröffentlichten Beschreibungen neu implementiert. Ein Teil des Abstands kann daher auf Unterschiede in der Implementierung statt allein auf methodische Unterschiede zurückgehen.
Vier Designentscheidungen erklären den Abstand. Erstens erstellt unser Team eine strukturierte Designspezifikation, bevor Code bearbeitet wird. Dadurch werden strukturelle Änderungen wie neue Pipeline-Phasen gegenüber bloßen Anpassungen von Prompts bevorzugt. Zweitens führt es parallele Forks aus, die auf einem gemeinsamen Spitzenkandidaten aufbauen. Dadurch summieren sich Verbesserungen schneller als bei den unabhängigen Agenten von CORAL oder der strikt sequenziellen Schleife von karpathy. Drittens erzeugt jeder Versuch strukturierte Artefakte (Bewertungen, Ereignisprotokolle und vier von einem LLM verfasste Analysen), die das nächste Vorschlagsmodul einliest. Die Vergleichsansätze speichern dagegen nur einfache Versuchsprotokolle. Viertens lenkt eine adaptive Steuerung das Vorschlagsmodul nach einem Stillstand zur Exploration und nach einem Erfolg zur Verfeinerung. Darüber liegt Predictive Hypothesis Reranking, das schwache Ideen verwirft, bevor sie Budget verbrauchen.
Die Kurven für zurückgehaltene Daten belegen eine Verallgemeinerung innerhalb derselben Domäne, keine Übertragung auf andere Domänen. Von einem Workflow, der für das Erkennen von Signalen im KI-Markt optimiert wurde, ist ohne erneute Ausführung des Harness keine vergleichbare Leistung bei juristischen oder biomedizinischen Texten zu erwarten. Der Harness optimiert außerdem nur das Ziel, das das Bewertungssystem vorgibt. Ein verrauschter Trainingsdatensatz oder ein falsch kalibriertes Bewertungssystem führt daher zuverlässig zu Überanpassung. Vor einem ernsthaften Durchlauf empfehlen wir mindestens 20 sorgfältig kuratierte Trainingselemente und eine separate Entwicklungsdatenteilmenge. Die Kosten sind die größte praktische Einschränkung. Bei jeder Evaluierung wird die vollständige Pipeline erneut mit allen Datenteilmengen ausgeführt. Allein der ausgewählte Suchkandidat verbrauchte rund 2,2 Millionen Eingabe-Token. Eine umfassende Optimierung mit einem Modell der Klasse gpt-5.5 kostet pro Aufgabe mehrere Hundert bis wenige Tausend US-Dollar. Schließlich stammen diese Zahlen aus einzelnen Durchläufen und nicht aus wiederholten Versuchen. Deshalb veröffentlichen wir sie als technischen Blogbeitrag und nicht als formale Studie.
Meta-Harness zeigt, dass sich autonome Codeverbesserung ausreichend systematisch für den Einsatz in Unternehmen gestalten lässt. Die entscheidenden Bestandteile sind strukturelle Hypothesen, eine vorausschauende Vorfilterung, isolierte Evaluierungen, Tests mit zurückgehaltenen Daten, sofern die Datenlage dies zulässt, und ein vollständiger Prüfpfad für jede übernommene Änderung. Zusammen bieten sie einem Entwicklungsteam einen planbaren Weg von einer funktionsfähigen Seed-Pipeline zu einer messbar besseren Version. Verantwortliche für den Betrieb erhalten zugleich ein einfaches Modell: die Vorteile autonomer Exploration innerhalb eines strikten, budgetbewussten Rahmens, in dem vor jeder Veröffentlichung ein Mensch entscheidet.