A meglévő autonóm fejlesztési rendszerek erős eredményeket értek el programozási feladatokban, de továbbra sem világos, hogy képesek-e javítani a valós vállalati megoldásokhoz hasonló, összetett és hosszú távú MI-munkafolyamatokat.
Meta-Harness-kutatásunk az autonóm önfejlesztést ügynöki visszakeresési, mély kutatási és jelintelligencia-munkafolyamatokra alkalmazza, vállalati követelményekkel kiegészítve: elkülönített értékeléssel, auditálhatósággal, költségvetés-vezérléssel és emberi jóváhagyással.
A Meta-Harness mindhárom reprezentatív feladattípusban jelentősen javította a teljesítményt: a Signal Engine esetében például 84%-kal jobb eredményt ért el az elkülönített teszten, az ügynöki multimodális visszakeresésnél nagyobb pontosságot biztosított 16-szor gyorsabb végrehajtás mellett.
A legtöbb korábbi megközelítéssel ellentétben a Meta-Harness lehetőség szerint elkülönített adathalmazokon méri a sikert, hogy kiderüljön, az optimalizálás során használt adatokon túl is általánosíthatók-e a fejlesztések.
Az eredmények arra utalnak, hogy az autonóm munkafolyamat-fejlesztés a programozási mérőteszteken túl valós vállalati MI-rendszerekre is kiterjeszthető, és gyakorlati utat kínál a folyamatosan javuló MI-alkalmazásokhoz.
Az autonóm MI-kutatás legújabb eredményei — köztük a Meta-Harness tanulmány, a CORAL keretrendszer és a karpathy/autoresearch — bemutatták, hogy a programozó ügynökök egy értékelési mérőszám alapján iteratívan javíthatnak egy megoldáson. Az továbbra is nyitott kérdés, hogy ezek a módszerek működnek-e hosszú időtávú MI-munkafolyamatoknál is. Ilyen például az ügynöki multimodális visszakeresés, ahol egy ügynöknek multimodális szakterületi korpuszokban kell ismételten keresnie egy kérdés megválaszolásához, vagy az összetett adatfeldolgozási folyamat, amely sok egymásra épülő lépést, eszközhívást és kivételkezelési döntést igényel. A mélyebb kérdés az, hogy a javulás az optimalizáló számára láthatatlan adatokon is fennmarad-e.
Erre a kérdésre válaszol a Meta-Harness K+F projektünk. A legújabb kutatások ötleteit vállalati igényekhez igazítja: elkülönített értékelést, auditnaplókat, költségplafonokat és az üzembe helyezés előtti, egyértelmű emberi felülvizsgálati pontot biztosít.
Három, valós ügyfélmunkák alapján modellezett, hosszú időtávú feladaton teszteltük. A Signal Engine folyamatosan figyeli az MI-piacról szóló X-bejegyzéseket, és jól alátámasztott, strukturált trendjelentéseket készít. Az ügynöki multimodális visszakeresés szöveget és képet vegyítő lekérdezéseket értelmez, és visszaadja a legrelevánsabb dokumentumoldalakat. A mély kutatás több ügynök munkáját hangolja össze a webes kereséshez, a források keresztellenőrzéséhez és hosszú kutatási jelentések készítéséhez.
Signal Engine: az elkülönített teszt összesített pontszáma 0,456 → 0,841, ami 84%-os relatív javulás. Azonos költségvetés mellett a CORAL és a karpathy/autoresearch is 0,50 alatt maradt.
Ügynöki multimodális visszakeresés: az elkülönített NDCG@10 érték 0,705 → 0,744, miközben egy kiértékelés teljes futási ideje 869 másodpercről 54 másodpercre csökkent. Ez 16-szoros sebesség, nagyobb pontosság mellett.
Mély kutatás: a jelentésminőség összesített pontszáma 0,449 → 0,802 tíz referenciakérdésen, míg az alapmódszerek nagyjából 0,52-t értek el. Ehhez a feladathoz nem tartozott elkülönített adathalmazrész, ezért az eredményt csak mintán belülinek tekintjük.
Keresési hatékonyság: a prediktív hipotézis-újrarangsorolással a Signal Engine azonos értékelési költségvetés mellett 3 iteráció alatt érte el a referenciafutás legjobb pontszámának 91%-át, nem 20 alatt.
A legtöbb autonóm kutatási rendszer ugyanazon az adathalmazon optimalizál és értékel, ezért nem állapítható meg, hogy az eredmény általánosítható-e. A Signal Engine és az ügynöki multimodális visszakeresés esetében szigorú felosztást alkalmazunk: egy tanítóhalmazt, amelyen a jelöltek pontozhatók; egy fejlesztési halmazt az észszerűségi ellenőrzésekhez; illetve egy elkülönített teszthalmazt, amelyet az optimalizáló soha nem lát. Minden közölt eredmény egyetlen konkrét kódverzió minden adathalmazrészen mért pontszámaiból származik, így soha nem párosítjuk az egyik jelölt legjobb tanítási eredményét egy másik jelölt legjobb teszteredményével.
A végrehajtási környezet minden körben strukturált hipotéziseket állít elő a kód módosítására. Minden hipotézis megnevezi a módosítandó mechanizmust, az alapjául szolgáló korábbi verziót és a kezelni kívánt hibatípust. Egy rangsorolási lépés még a költséges kiértékelések előtt megszűri a köteget. A továbbjutó hipotézisek párhuzamos végrehajtó ügynökökhöz kerülnek. Ezek közös tudásbázist használnak, de teljesen elkülönített munkaterületeken szerkesztik a kódot, így minden jelölt értékelése tisztességes és független. A kör végén a futtató egy győztest léptet elő: a legmagasabb pontszámú jelöltet, amely a látható adathalmazrészek minden ellenőrzésén megfelelt. Ez a győztes lesz a következő kör kiindulópontja. Minden próba rögzített csomagot ír egy csak bővíthető bizonyítéktárba: a kódjavítást, az adathalmazrészenkénti pontszámokat, egy eseménynaplót, valamint négy rövid, LLM által írt elemzést a végrehajtási nyomról, a hibákról, a költségről és a tanulságokról. A következő kör javaslattevője visszaolvassa ezt az előzményt, így a végrehajtási környezet a megszerzett tudásra épít ahelyett, hogy ugyanazokat a zsákutcákat járná végig újra.
Három védőkorlát gondoskodik a ciklus biztonságos futtatásáról. Egy hatókör-szabályzat korlátozza, hogy a jelölt mely fájlokat módosíthatja, és visszavon minden azon kívüli változtatást. A token- és időköltségvetések leállítják a futtatást a költségplafon elérésekor, a párhuzamossági korlátok a modell és a GPU sebességkorlátain belül tartják a végrehajtási környezetet. A végrehajtási környezet pedig soha nem helyez üzembe semmit önállóan. Egy rangsorolt, teljes körűen dokumentált jelöltet állít elő; a különbségeket emberi mérnök vizsgálja felül, és ő dönt az élesítésről.
Helyi környezetben öt mérnöki alapelem támogatja a fenti ciklus minden körét.
Munkaterületek elkülönítése. Jelöltenként egy git worktree. Az elágazások közös objektum-adatbázist használnak, de egymás fájljaihoz nem férnek hozzá. Így a jelöltek párhuzamosan, közel állandó lemezterület-igénnyel futtathatók, és egyszerűen összevethetők az aktuális élvonalbeli változattal.
Végrehajtási sandbox. A konfiguráció két módot kínál: natív alfolyamatot a gyors iterációhoz vagy teljesen elkülönített futtatókörnyezetet. A korpuszok csak olvashatóként vannak csatolva, a próbánkénti ideiglenes könyvtárat az értékelés után töröljük. Így egy próba sem módosíthatja az adathalmazt, és nem szivárogtathat állapotot a következőbe.
Hatókör-szabályzat. A kísérlet konfigurációjában megadott engedélyezett útvonallista. A rendszer az értékelés előtt visszavon minden ezen kívüli módosítást, és megjelöli a próbát. Így garantált, hogy a felülvizsgáló által látott különbségek a megadott hatókörön belül maradnak.
Költségvetés betartatása. Három réteg: próbánkénti token- és időkorlát, futásonkénti összesített plafon, valamint párhuzamossági korlát. Ezek együtt kiszámíthatóvá teszik a költségeket, és a modell, illetve az infrastruktúra sebességkorlátain belül tartják a végrehajtási környezetet.
Bizonyítéktár. Csak bővíthető JSONL-fájl a kódjavítással, az adathalmazrészenkénti pontszámokkal, az eseménynaplóval és a négy, LLM által írt elemzéssel. A materializált nézetek — ranglista, élvonalbeli változat és hibaindex — minden próba után újragenerálódnak. Így a későbbi körök építhetnek az előzményekre, miközben minden futás bájtról bájtra reprodukálható marad.
Ezen alapelemek egyike sem opcionális. A végrehajtási környezet célja, hogy a futás végén valóban jóváhagyható eredményt adjon a felülvizsgálónak: egy győztes jelöltet, korlátozott módosításkészletet, az összes próbálkozás teljes dokumentációját és ismert költséget. Ha az öt közül bármelyiket eltávolítjuk, az egyik garancia is megszűnik.
Mindhárom kísérlet ugyanazt a hipotézisstratégiát alkalmazza. A javaslattevő minden iterációban több hipotézist állít elő, mint amennyit a költségvetés enged futtatni: K = 4 végrehajtható jelölthöz M = 8 jelöltet. Ezután egy külön LLM-rangsoroló egyetlen harminc másodperces hívással sorba rendezi mind a nyolcat, a teljes képet figyelembe véve: az aktuális legjobb pontszámot és annak gyenge dimenzióit, a közelmúltbeli próbák hibaelemzéseit, valamint mind a nyolc javaslatot egymás mellett. A legjobb négy a végrehajtóhoz kerül, ahol egyenként 15–30 percet vesz igénybe. A másik négyet még azelőtt elvetik, hogy bármilyen költséget okoznának.
Az alapul szolgáló modellek végig változatlanok maradtak; a végrehajtási környezet csak a körülöttük lévő kódot módosította. A Signal Engine és a mély kutatás a gpt-5.5 modellen futott. Az ügynöki multimodális visszakeresés a nyílt súlyú Qwen3.6-35B-A3B modellen futott, helyben, vLLM-en keresztül kiszolgálva és egy ColQwen3-4B kép-visszakeresővel párosítva. Ezt a kombinációt a kiszámítható helyszíni költségek miatt választottuk.
Az alábbi diagram három fő feladatunk pontszámainak változását mutatja. A „Kiinduló változat” az emberi mérnök által írt kezdőkód. A „Meta-Harness” a Meta-Harness által megtalált legjobb verzió. Mindhárom feladat teljesítménye javult az elkülönített teszthalmazon.
A Signal Engine frissességét, tényszerűségét, részletességét és hangnemét LLM-bíró értékelte 150 tanítási és 150 elkülönített tesztbejegyzés alapján. A futtatás során a legjobb verzió összesített tanítási pontszáma 0,431-ről 0,756-ra, elkülönített pontszáma 0,456-ról 0,841-re nőtt. A javulást nem pusztán az utasítások finomhangolása, hanem magának a végrehajtási környezetnek a módosítása hozta: a győztes iterációk megtanulták kiszűrni a közösségi média zaját, tény-keresztellenőrzési lépéseket adtak hozzá, és minden kimenettől kifejezett bizonyítékokon alapuló indoklást követeltek. Az alábbi ábra az iterációs folyamatot mutatja.
A próbák előzményei megmutatják, hogyan adódtak össze ezek a javulások. Egy korai szerkezeti módosítás 0,625-re emelte az addigi legjobb eredményt; a bizonyítékok részletesebb kezelése 0,679-re növelte; majd egy továbbfejlesztett reflexiós és értékelési ciklus 0,819-re javította. A jelölt futtatások nagyjából fele gyengébben teljesített vagy teljesen meghiúsult, de nem szennyezte a ranglistát: minden elágazás elkülönítve futott, a vesztes módosításokat elvetettük, a hibákat rögzítettük a tanulságtárban, hogy a következő javaslattevő ne fusson ugyanabba a zsákutcába.
A legfontosabb, hogy az elkülönített eredménygörbe a teljes futtatás során a tanítási görbével együtt emelkedett. Ez arra utal, hogy a végrehajtási környezet valóban javította a munkafolyamatot, nem csupán megjegyezte a tanítási korpuszt. Az elkülönített pontszámok kissé meghaladták a tanítási értékeket, amit két kis méretű, egymást nem átfedő adathalmazrész szokásos mintavételi zajának tekintünk.
Az ügynöki multimodális visszakeresést NDCG@10 alapján mérjük a nyilvános ViDoRe V3 Computer Science adathalmazrészen, amelyből 20 tanítási, 10 fejlesztési és 20 elkülönített tesztlekérdezést állítottunk össze. A végrehajtási környezet az elkülönített NDCG@10 értéket 0,705-ről 0,744-re emelte, miközben a kiértékelés teljes futási idejét 869 másodpercről 54 másodpercre csökkentette.
A mély kutatást tíz referenciakérdésen, a DeepResearch-Eval módszert követve, a tartalmi és a hivatkozási minőség LLM által megítélt összesített pontszámával értékeljük. A továbbfejlesztett kód 0,449-ről 0,802-re emelte az átlagot. A győztes módosítások könnyen kiolvashatók voltak a különbségekből: egy kezdeti tervezési lépés, amely a kutatóügynökök elindítása előtt összeveti a megközelítéseket, valamint egy záró felülvizsgálat, amely azokra a dimenziókra összpontosít, amelyekben a jelentések korábban gyengén teljesítettek. Mivel ennek a halmaznak a kiértékelése kis mérete ellenére költséges, nem osztottuk fel, az eredményt mintán belülinek tekintjük.
Mindhárom módszert azonos költségvetés között mértük össze: ugyanazokkal az adathalmazokkal és alapmodellekkel, azonos iterációs korláttal és ugyanannyi jelöltértékeléssel. A Signal Engine esetében a Meta-Harness 0,841-et ér el az elkülönített teszten, míg mindkét alapmódszer 0,50 alatt maradt. Az ügynöki multimodális visszakeresésben csapatunk érte el a legmagasabb elkülönített NDCG@10 értéket (0,744, szemben a CORAL 0,700-as és a karpathy 0,738-as eredményével), a hivatalos kiértékelést 12–14-szer gyorsabban futtatja: 54 másodperc alatt, szemben a 786 és 650 másodperccel. A mély kutatásban csapatunk 0,802-t ért el, míg mindkét alapmódszer 0,52 körül maradt. Egy fontos fenntartás minden eredményre vonatkozik: a CORAL és a karpathy/autoresearch módszert a közzétett leírásuk alapján újraimplementáltuk, ezért a különbség egy része nemcsak a módszerekből, hanem a megvalósítás eltéréseiből is adódhat.
A különbséget négy tervezési döntés magyarázza. Először is csapatunk még a kód szerkesztése előtt strukturált tervezési specifikációt készít, ami az utasítások finomhangolása helyett inkább szerkezeti módosítások — például új folyamatlépések — felé tereli. Másodszor, közös élvonalbeli jelöltre épülő párhuzamos elágazásokat futtat, így a fejlesztések gyorsabban összeadódnak, mint a CORAL független ügynökeinél vagy a karpathy szigorúan szekvenciális ciklusában. Harmadszor, minden próba strukturált anyagokat hagy maga után — pontszámokat, eseménynaplókat és négy, LLM által írt elemzést —, amelyeket a következő javaslattevő visszaolvas; az alapmódszerek ezzel szemben csak egyszerű próbálkozási naplókat őriznek meg. Negyedszer, egy adaptív vezérlő elakadás után feltárásra, siker után pedig finomításra ösztönzi a javaslattevőt; a prediktív hipotézis-újrarangsorolás még a költségvetés felhasználása előtt kiszűri a gyenge ötleteket.
Az elkülönített görbék a szakterületen belüli általánosítást igazolják, nem a szakterületek közötti átvihetőséget: az MI-piaci jelek kinyerésére hangolt munkafolyamattól nem várható el, hogy jogi vagy orvosbiológiai szövegeken is megállja a helyét a végrehajtási környezet újbóli futtatása nélkül. A végrehajtási környezet csak az értékelő által kijelölt célt optimalizálja, ezért egy zajos tanítóhalmazhoz vagy rosszul kalibrált bíróhoz is pontosan túlilleszkedik. Komoly futtatás előtt legalább 20 gondosan válogatott tanítási elemet és külön fejlesztési adathalmazrészt javaslunk. A legnagyobb gyakorlati korlát a költség. Minden értékelés újrafuttatja a teljes folyamatot az összes adathalmazrészen. Csak a kiválasztott visszakeresési jelölt nagyjából 2,2 millió bemeneti tokent használt fel, egy komoly optimalizálás gpt-5.5 kategóriájú modellen feladatonként több száz–néhány ezer dollárba kerül. Végül ezek az adatok egyedi futásokból, nem pedig ismételt próbákból származnak, ezért mérnöki blogbejegyzésként, nem hivatalos tanulmányként tesszük közzé őket.
A Meta-Harness bemutatja, hogy az autonóm kódfejlesztés a vállalati használathoz szükséges fegyelmezett keretek közé szorítható. Ehhez szerkezeti hipotézisek, prediktív előszűrés, elkülönített értékelés, ahol az adatok lehetővé teszik, elkülönített tesztelés, valamint minden előléptetett módosításhoz teljes auditnapló szükséges. Ezek együtt kiszámítható utat kínálnak a mérnökcsapatnak a működő kiinduló folyamattól egy mérhetően jobb változatig. Az üzemeltetés felelőse számára egyszerű modellt adnak: az autonóm feltárás előnyeit szigorú, költségtudatos keretek között, emberi felügyelettel lehet kihasználni, mielőtt bármi élesbe kerül.