Съществуващите системи за автономно усъвършенстване показват добри резултати при задачи за програмиране, но все още не е ясно дали могат да подобряват сложни, продължителни AI процеси, наподобяващи реални корпоративни внедрявания.
Нашето изследване на Meta-Harness прилага автономно самоусъвършенстване към процеси за агентно извличане, дълбоко проучване и разузнаване на сигнали, като добавя корпоративни изисквания за оценяване върху отделени за проверка набори от данни, възможност за одит, контрол на бюджета и човешко одобрение.
При три представителни работни натоварвания Meta-Harness значително подобри ефективността, включително с 84% подобрение на резултата върху отделения за проверка тестов набор за Signal Engine и по-висока точност при 16 пъти по-бързо изпълнение за агентното мултимодално извличане.
За разлика от повечето предходни подходи Meta-Harness измерва успеха върху отделени за проверка набори от данни, когато това е възможно, за да установи дали подобренията се пренасят отвъд данните, използвани при оптимизацията.
Тези резултати показват, че автономното подобряване на работни процеси може да излезе извън тестовете за програмиране и да обхване реални корпоративни AI системи, осигурявайки практичен път към непрекъснато усъвършенстване на AI приложенията.
Скорошните разработки в областта на автономните AI изследвания, включително статията за Meta-Harness, рамката CORAL и karpathy/autoresearch, показват, че агентите за програмиране могат итеративно да подобряват решение въз основа на определена метрика за оценяване. Все още остава открит въпросът дали тези методи се пренасят към продължителни AI процеси, като агентното мултимодално извличане, при което агентът трябва итеративно да претърсва мултимодални специализирани корпуси, за да отговори на въпрос, или към сложни конвейери за обработка на данни с множество зависими стъпки, извиквания на инструменти и решения за обработка на изключения. По-същественият въпрос е дали подобренията се запазват и при данни, които оптимизаторът никога не вижда.
Нашата научноизследователска работа по Meta-Harness е отговорът ни на този въпрос. Тя използва идеи от последните изследвания и ги адаптира към корпоративните нужди: оценяване върху отделени за проверка набори от данни, одитни следи, ограничения на разходите и ясно определен момент за предаване на резултата на човек за преглед преди внедряването.
Тествахме я върху три продължителни задачи, моделирани по реална работа с клиенти. Signal Engine следи поток в реално време от публикации в X за пазара на AI и създава структурирани доклади за тенденциите, подкрепени с надеждни източници. Агентното мултимодално извличане анализира заявки, съчетаващи текст и изображения, за да върне най-подходящите страници от документи. Дълбокото проучване координира множество агенти, които търсят в мрежата, проверяват информацията чрез съпоставка на източници и създават подробни изследователски доклади.
Signal Engine: комбинираният резултат върху тестовия набор, отделен за проверка, се повиши от 0,456 → 0,841 – относително увеличение с 84%. CORAL и karpathy/autoresearch останаха под 0,50 при същия бюджет.
Агентно мултимодално извличане: NDCG@10 върху тестовия набор, отделен за проверка, се повиши от 0,705 → 0,744, като времето за изпълнение за една оценка спадна от 869 на 54 секунди. Това е 16 пъти по-бързо изпълнение при по-висока точност.
Дълбоко проучване: комбинираният резултат за качеството на докладите се повиши от 0,449 → 0,802 при 10 контролни въпроса спрямо приблизително 0,52 за базовите методи. Тази задача нямаше тестов набор, отделен за проверка, затова разглеждаме резултата само като резултат върху данните, използвани за оптимизацията.
Ефективност на търсенето: с прогнозно прекласиране на хипотезите Signal Engine достигна 91% от най-добрия резултат на контролното изпълнение само за 3 вместо за 20 итерации при същия бюджет за оценяване.
Повечето системи за автономни изследвания оптимизират и оценяват върху един и същ набор от данни, което не позволява да се установи дали резултатът се обобщава. За Signal Engine и агентното мултимодално извличане налагаме строго разделение: набор за обучение, по който кандидатите могат да се оценяват, набор за разработка за проверки на коректността и тестов набор, отделен за проверка, който оптимизаторът никога не вижда. Всеки отчетен резултат идва от конкретна версия на кода, оценена върху всички набори, така че никога не комбинираме най-добрия резултат върху набора за обучение от един кандидат с най-добрия резултат върху тестов набор от друг кандидат.
Във всеки цикъл рамката генерира набор от структурирани хипотези за промени в кода. Всяка хипотеза посочва механизма, който цели да промени, предходната версия, върху която надгражда, и целевия режим на отказ. След това етап на класиране филтрира пакета, преди да бъдат изразходвани ресурси за скъпите оценки. Оцелелите хипотези се изпращат към паралелно работещи агентни екипи, които споделят обща база от знания, но редактират кода в напълно изолирани работни пространства, така че всеки кандидат да бъде оценен справедливо и независимо. В края на цикъла системата избира един победител: кандидата с най-висок резултат, който е преминал и всички проверки върху видимите поднабори. Този победител става водещата отправна точка, върху която се надгражда в следващия цикъл. При всеки опит се записва фиксиран набор от данни в хранилище за доказателства само с добавяне: корекцията на кода, резултатите от всеки поднабор, дневникът на събитията и четири кратки анализа, генерирани от големи езикови модели, които обхващат хода на изпълнението, грешките, разходите и равносметката. Предлагащият модул в следващия цикъл прочита тази история и така рамката надгражда наученото, вместо да повтаря същите безрезултатни опити.
Три защитни механизма гарантират безопасното изпълнение на цикъла. Политика за обхвата ограничава файловете, които кандидатът може да променя, и отменя всички промени извън него. Бюджетите за токени и реално време прекратяват изпълнението, когато разходът надхвърли зададен праг, а ограниченията за паралелност поддържат рамката в границите за заявки към модела и графичните процесори. Самата рамка никога не внедрява нищо. Тя създава класиран и напълно документиран кандидат, а инженер преглежда разликите и решава дали да бъде внедрен в продукционна среда.
В локалната инфраструктура всеки цикъл се опира на пет основни инженерни механизма.
Изолиране на работните пространства. Отделно git worktree за всеки кандидат. Клонираните варианти споделят база от обекти, но никога файловете си, което позволява на кандидатите могат да работят паралелно при почти постоянен разход на дисково пространство и улеснява сравняването с текущото водещо решение.
Изолирана среда за изпълнение. Конфигурацията позволява два режима: собствен подпроцес за бързи итерации или напълно изолирана среда за изпълнение. Корпусите от данни се монтират само за четене, а временната директория за всеки опит се изтрива след оценяването. Така даден опит не може да промени набора от данни или да пренесе състояние към следващия.
Политика за обхвата. Списък с разрешени пътища, зададен в конфигурацията на експеримента. Всички промени извън него се отменят преди оценяването, а опитът се маркира. Така е гарантирано, че разликите, които проверяващият вижда, остават в рамките на зададения обхват.
Контрол на бюджета. Три нива: лимити за токени и реално време за всеки опит, общ максимален лимит за изпълнението и ограничение на паралелността. Заедно те поддържат разходите предвидими и гарантират, че рамката спазва лимитите за заявки към моделите и инфраструктурата.
Хранилище за доказателства. JSONL файл само с добавяне, съдържащ корекцията на кода, резултатите за всеки поднабор, дневника на събитията и четирите анализа, генерирани от големи езикови модели. Материализираните изгледи – класация, водещо решение и индекс на неуспешните опити – се генерират отново след всеки опит. Така следващите цикли надграждат предходната история, а всяко изпълнение остава възпроизводимо байт по байт.
Нито един от тези механизми не е по избор. Целта на рамката е в края на изпълнението проверяващият да получи нещо, което действително може да одобри: печеливш кандидат, промени в ясен обхват, пълен запис на всички опити и известен разход. Премахването на който и да е от петте примитива премахва една от тези гаранции.
И трите експеримента използват една и съща стратегия за хипотезите. При всяка итерация предлагащият модул генерира повече хипотези, отколкото бюджетът позволява да бъдат изпълнени: M = 8 кандидата при бюджет за изпълнение K = 4. След това отделен модул за класиране с големи езикови модели подрежда и осемте в рамките на едно 30-секундно извикване, като разполага с цялата необходима информация: текущия най-добър резултат и неговите слаби страни, анализите на неуспешните опити от последните изпълнения и всичките 8 предложения едно до друго. Първите 4 се изпращат към изпълняващия модул при цена от 15 до 30 минути за всеки. Останалите 4 се отхвърлят, преди да изразходват каквито и да било ресурси.
Базовите модели останаха непроменени през цялото време; рамката редактираше само кода около тях. Signal Engine и дълбокото проучване работеха с gpt-5.5. Агентното мултимодално извличане работеше с модела с отворени тегла Qwen3.6-35B-A3B, обслужван локално чрез vLLM, заедно с инструмента за извличане на изображения ColQwen3-4B – комбинация, избрана заради предвидимите разходи при локално внедряване.
Диаграмата по-долу показва как се променят резултатите при трите ни основни задачи. „Seed“ е началният код, написан от инженер. „Meta-Harness“ е най-добрата версия, открита от Meta-Harness. И при трите задачи наблюдаваме подобрение на резултатите върху отделения тестов набор.
Signal Engine беше оценен от голям езиков модел по актуалност, фактологична точност, детайлност и тон с помощта на 150 публикации в X за обучение и 150 отделени тестови публикации. В хода на изпълнението най-добрата версия повиши общия резултат при набора за обучение от 0,431 на 0,756, а резултата върху отделения набор – от 0,456 на 0,841. Подобренията произтичаха от промени в самата рамка, а не само от корекции в подканите: при успешните итерации системата се научи да филтрира шума от социалните медии, добави стъпки за проверка на фактите и изискваше всеки резултат да бъде обоснован с изрично посочени доказателства. Схемата по-долу показва итеративния процес.
Историята на опитите показва постепенното натрупване на тези подобрения. Ранна структурна промяна повиши текущия най-добър резултат до 0,625; по-прецизното обработване на доказателствата го увеличи до 0,679; а усъвършенстван цикъл за равносметка и критерии го изведе до 0,819. Около половината от всички изпълнения на кандидати се представиха по-слабо или се провалиха напълно, но не повлияха на класацията: всеки клониран вариант работеше изолирано, губещите промени се отхвърляха, а неуспехите се записваха в хранилището за равносметки, за да не повтаря следващият предлагащ модул същия безрезултатен подход.
Най-важното е, че кривата на резултатите върху тестовия набор, отделен за проверка, се повишаваше паралелно с кривата на резултатите върху обучаващия набор през целия процес. Това предполага, че рамката е подобрявала работния процес, вместо да запаметява корпуса за обучение. Резултатите върху отделения набор бяха малко по-високи от тези при обучение – нещо, което тълкуваме като обичаен статистически шум при извадка между два малки и независими набора
Агентното мултимодално извличане се измерва чрез NDCG@10 върху публичния набор за компютърни науки от ViDoRe V3, структуриран в 20 заявки за обучение, 10 за разработка и 20 тестови заявки, отделени за проверка. Рамката повиши NDCG@10 върху тестовия набор, отделен за проверка, от 0,705 на 0,744, като същевременно съкрати общото реално време за оценяване от 869 на 54 секунди.
Дълбокото проучване се оценява чрез комбиниран показател, определен от LLM, който обхваща качеството на съдържанието и качеството на източниците, по методологията на DeepResearch-Eval, при 10 контролни въпроса. Подобреният код повиши средния резултат от 0,449 на 0,802. Печелившите промени се виждаха ясно в разликите: предварителна стъпка за планиране, която сравнява подходите, преди да бъдат стартирани изследователските агенти, и финална стъпка за преглед, насочена към показателите, по които докладите традиционно получават ниски резултати. Тъй като този набор е малък и оценяването му е скъпо, не го разделихме и разглеждаме резултата като резултат върху данните, използвани за оптимизацията.
Сравнихме и трите метода при еднакъв бюджет: едни и същи набори от данни и базови модели, един и същ максимален брой итерации и един и същ общ брой оценки на кандидати. При Signal Engine Meta-Harness достига 0,841 върху отделения тестов набор, докато и двата базови метода остават под 0,50. При агентното мултимодално извличане нашият екип постига най-високия NDCG@10 върху отделения набор (0,744 спрямо 0,700 за CORAL и 0,738 за karpathy) и изпълнява официалното оценяване 12 до 14 пъти по-бързо: 54 секунди спрямо 786 и 650 секунди. При дълбокото проучване нашият екип достига 0,802, докато и двата базови метода остават около 0,52. Навсякъде важи една уговорка: пресъздадохме CORAL и karpathy/autoresearch по публикуваните им описания, затова част от разликата може да се дължи на различия в реализацията, а не само на различия между самите методи.
Разликата се обяснява с четири проектни решения. Първо, нашият екип създава структурирана проектна спецификация преди редактирането на кода, което насърчава структурни промени, като нови етапи в конвейера, вместо корекции в подканите. Второ, той изпълнява паралелни клонирани варианти, изградени върху общ водещ кандидат, така че подобренията се натрупват по-бързо, отколкото при независимите агенти на CORAL или строго последователния цикъл на karpathy. Трето, всеки опит оставя структурирани артефакти – резултати, дневници на събитията и четири анализа, написани от големи езикови модели – които следващият предлагащ модул прочита, докато базовите методи пазят само обикновени дневници на опитите. Четвърто, адаптивен контролер насочва предлагащия модул към проучване след застой и към усъвършенстване след успешно изпълнение, като отгоре се прилага прогнозното прекласиране на хипотезите, което отхвърля слабите идеи, преди да изразходват бюджет.
Кривите за отделените набори показват обобщаване в рамките на областта, а не пренос между области: не бива да се очаква работен процес, настроен за извличане на сигнали от пазара на AI, ще работи добре с юридически или биомедицински текстове, без рамката да бъде изпълнена отново. Освен това рамката оптимизира единствено целта, зададена от оценителя, така че ще се пренастрои стриктно към шумен набор за обучение или неправилно калибриран оценител. Препоръчваме поне 20 внимателно подбрани примера за обучение и отделен набор за разработка преди сериозно изпълнение. Разходите са най-голямото практическо ограничение. Всяко оценяване изпълнява отново целия конвейер върху всички набори. При всяко оценяване целият конвейер се изпълнява отново върху всички поднабори, а само избраният кандидат за извличане е изразходвал приблизително 2,2 милиона входни токена; сериозна оптимизация с модел от клас gpt-5.5 струва от стотици до няколко хиляди долара на задача. И накрая, тези стойности идват от единични изпълнения, а не от многократни опити, затова ги споделяме в инженерна статия в блог, а не като официално изследване.
Meta-Harness показва, че автономното подобряване на код може да бъде достатъчно систематично за корпоративна употреба. Основните елементи са структурни хипотези, предсказващо предварително филтриране, изолирано оценяване, тестване върху отделен за проверка набор, когато данните го позволяват, и пълна одитна следа за всяка промяна, която е избрана за внедряване. Заедно те осигуряват на инженерния екип предвидим път от работещ начален конвейер до измеримо по-добър вариант, а на оперативния ръководител – ясен модел: ползите от автономното изследване, поставени в строга рамка с контрол на бюджета и участие на човек в процеса преди всяко внедряване.