Постојећи системи за аутономно унапређивање показали су добре резултате у програмерским задацима, али још није јасно могу ли да побољшају сложене, дуготрајне AI токове рада налик стварним пословним применама.
Наше истраживање Meta-Harness примењује аутономно самоунапређивање на токове агентског преузимања, дубоког истраживања и обавештавања о сигналима, уз пословне захтеве као што су евалуација на издвојеним скуповима, могућност ревизије, контрола буџета и људско одобрење.
У три репрезентативна радна оптерећења Meta-Harness је знатно побољшао учинак, укључујући побољшање од 84% на издвојеном тесту за Signal Engine и већу прецизност уз 16 пута брже извршавање за агентско мултимодално преузимање.
За разлику од већине ранијих приступа, Meta-Harness мери успех на издвојеним скуповима података где год је то могуће, како би проверио да ли побољшања важе и изван података коришћених током оптимизације.
Ови резултати указују на то да аутономно побољшавање токова рада може да превазиђе програмерска мерила и примени се на стварне пословне AI системе, пружајући практичан пут ка непрекидном унапређивању AI апликација.
Недавна истраживања аутономног AI истраживања, укључујући рад Meta-Harness, оквир CORAL и karpathy/autoresearch, показала су да агенти за програмирање могу итеративно да побољшавају решење када им се зада метрика евалуације. И даље је отворено питање да ли се те методе могу применити на дуготрајне AI токове рада, као што је агентско мултимодално преузимање, где агент мора итеративно да претражује мултимодалне стручне корпусе како би одговорио на питање, или на сложене токове обраде података који захтевају бројне међузависне кораке, позиве алата и одлуке о обради изузетака. Важније питање јесте да ли се добици одржавају и на подацима које оптимизатор никада не види.
Наш истраживачко-развојни рад на Meta-Harness представља одговор на то питање. Он преузима идеје из недавних истраживања и прилагођава их потребама предузећа: евалуацији на издвојеним скуповима, ревизијским траговима, горњим границама трошкова и јасној предаји човеку на преглед пре пуштања у продукцију.
Тестирали смо га на три дуготрајна задатка обликована према стварном раду за клијенте. Signal Engine прати ток објава на мрежи X о тржишту вештачке интелигенције и израђује структуриране извештаје о трендовима, поткрепљене поузданим изворима. Агентско мултимодално преузимање анализира упите који комбинују текст и слике како би вратило најрелевантније странице докумената. Дубоко истраживање координише више агената који претражују веб, унакрсно проверавају изворе и пишу опширне истраживачке извештаје.
Signal Engine: збирни резултат на издвојеном тесту 0,456 → 0,841, што је релативно повећање од 84%. CORAL и karpathy/autoresearch остали су испод 0,50 уз исти буџет.
Агентско мултимодално преузимање: NDCG@10 на издвојеном тесту 0,705 → 0,744, док је стварно време по евалуацији смањено са 869 s на 54 s. То је 16 пута брже уз већу прецизност.
Дубоко истраживање: збирна оцена квалитета извештаја 0,449 → 0,802 на 10 референтних питања, у поређењу с приближно 0,52 за основне методе. Овај задатак није имао издвојени скуп, па резултат сматрамо важећим само унутар узорка.
Ефикасност претраге: уз предиктивно поновно рангирање хипотеза, Signal Engine је достигао 91% најбољег резултата референтног извршавања у 3 итерације уместо у 20, уз исти буџет за евалуацију.
Већина система за аутономно истраживање оптимизује и оцењује на истом скупу података, због чега није могуће утврдити да ли се резултат уопштава. За Signal Engine и агентско мултимодално преузимање примењујемо строгу поделу: скуп за обуку на којем кандидати могу да се оцењују, развојни скуп за основне провере и издвојени тест-скуп који оптимизатор никада не види. Сваки објављени резултат потиче од једне конкретне верзије кода оцењене на свим скуповима, па никада не комбинујемо најбољи резултат обуке једног кандидата с најбољим тест-резултатом другог.
У сваком кругу окружење генерише скуп структурираних хипотеза за измену кода. Свака хипотеза наводи механизам који жели да промени, претходну верзију на којој се заснива и врсту грешке коју циља. Корак рангирања филтрира скуп пре него што се ресурси потроше на скупе евалуације. Преостале хипотезе преузимају паралелни извршни агенти који деле заједничку базу знања, али уређују код у потпуно изолованим радним просторима, па се сваки кандидат оцењује правично и независно. На крају круга извршилац унапређује једног победника: кандидата с највишим резултатом који је прошао и све провере на видљивим скуповима. Тај победник постаје најбоља верзија на којој се заснива следећи круг. Сваки покушај уписује фиксни пакет у складиште доказа које дозвољава само додавање: закрпу кода, резултате по скуповима, дневник догађаја и четири кратке анализе које је написао велики језички модел (LLM), а обухватају ток извршавања, грешке, трошкове и осврт. Предлагач у следећем кругу поново чита ову историју, па окружење надограђује научено уместо да понавља исте безуспешне покушаје.
Три заштитне мере омогућавају безбедно извршавање петље. Политика опсега ограничава датотеке које кандидат сме да мења и поништава све измене изван тог опсега. Ограничења токена и стварног времена заустављају извршавање када трошак пређе горњу границу, док ограничења конкурентности држе окружење унутар ограничења учесталости модела и GPU-а. Окружење притом никада ништа не пушта само у продукцију. Оно даје рангираног и потпуно документованог кандидата, а инжењер прегледа разлике и одлучује да ли ће бити пуштен у продукцију.
На локалном стеку, сваки круг описане петље ослања се на пет основних инжењерских механизама.
Изолација радног простора. По једно git радно стабло за сваког кандидата. Гране деле базу објеката, али не и међусобне датотеке, што омогућава паралелно извршавање кандидата уз готово непромењен утрошак простора на диску и једноставно поређење разлика у односу на тренутно граничну верзију.
Изоловано окружење за извршавање. Конфигурација подржава два режима: изворни потпроцес за брзе итерације или потпуно изоловано окружење за извршавање. Корпуси се монтирају само за читање, а привремени директоријум сваког покушаја одбацује се након оцењивања. Зато покушај не може да измени скуп података нити да пренесе стање у следећи покушај.
Политика опсега. Листа дозвољених путања дефинисана у конфигурацији експеримента. Све измене изван ње поништавају се пре оцењивања, а покушај се означава. Зато је гарантовано да разлике које рецензент види остају унутар дефинисаног опсега.
Спровођење буџетских ограничења. Три слоја: ограничења токена и стварног времена по покушају, укупна горња граница по извршавању и ограничење конкурентности. Заједно обезбеђују предвидљив трошак и задржавају окружење унутар ограничења учесталости модела и инфраструктуре.
Складиште доказа. JSONL датотека која дозвољава само додавање, са закрпом кода, резултатима по скуповима, дневником догађаја и четири анализе које је написао велики језички модел (LLM). Материјализовани прикази – ранг-листа, најбоља верзија и индекс грешака – поново се генеришу после сваког покушаја, па наредни кругови могу да надограђују претходну историју, док свако извршавање остаје поновљиво бајт по бајт.
Ниједан од ових механизама није опционалан. Сврха окружења јесте да рецензенту на крају извршавања остави нешто што заиста може да одобри: победничког кандидата, ограничен скуп разлика, потпун запис свих покушаја и познат трошак. Уклоните било који од ових пет механизама и једна од тих гаранција нестаје.
Сва три експеримента користе исту стратегију за хипотезе. У свакој итерацији предлагач генерише више хипотеза него што буџет дозвољава да се изврши: M = 8 кандидата за буџет слања K = 4. Засебни велики језички модел (LLM) за рангирање затим поређа свих 8 у једном позиву од тридесет секунди, имајући пред собом целу слику: тренутни најбољи резултат и његове слабе димензије, анализе грешака из недавних покушаја и свих 8 предлога један поред другог. Најбоља 4 предлога шаљу се извршиоцу, а сваки кошта од 15 до 30 минута. Преостала 4 одбацују се пре него што потроше било шта.
Основни модели нису мењани током целог поступка; окружење је уређивало само код око њих. Signal Engine и дубоко истраживање извршавани су на моделу gpt-5.5. Агентско мултимодално преузимање извршавано је на моделу отворених тежина Qwen3.6-35B-A3B, локално послуженом преко vLLM-а и упареном са системом ColQwen3-4B за преузимање слика; ова комбинација изабрана је због предвидљивих локалних трошкова.
Графикон испод приказује кретање резултата за наша три главна задатка. „Почетна верзија“ је почетни код који је написао инжењер. „Meta-Harness“ је најбоља верзија коју је Meta-Harness пронашао. На издвојеном тест-скупу видимо побољшање учинка за сва три задатка.
Signal Engine је оцењивао велики језички модел (LLM) према актуелности, чињеничној тачности, подробности и тону, користећи 150 твитова за обуку и 150 издвојених тест-твитова. Током извршавања најбоља верзија побољшала је збирни резултат обуке са 0,431 на 0,756, а резултат на издвојеном скупу са 0,456 на 0,841. Напредак је потекао од измена самог окружења, а не само од прилагођавања инструкција: победничке итерације научиле су да филтрирају шум са друштвених мрежа, додале кораке за унакрсну проверу чињеница и захтевале да сваки излаз буде заснован на изричитим доказима. Дијаграм испод приказује процес итерације.
Историја покушаја показује како су се ти добици акумулирали. Једна рана структурна измена подигла је текући најбољи резултат на 0,625; подробнија обрада доказа повећала га је на 0,679; а унапређена петља осврта и критеријума оцењивања довела га је до 0,819. Приближно половина свих покретања кандидата имала је слабији учинак или је потпуно отказала, али није нарушила ранг-листу: свака грана извршавала се изоловано, разлике неуспешних кандидата су одбачене, а грешке су уписане у складиште осврта како следећи предлагач не би поновио исти безуспешни покушај.
Најважније је што је крива издвојеног скупа расла упоредо с кривом обуке током целог извршавања. То указује на то да је окружење побољшавало ток рада, а не памтило корпус за обуку. Резултати на издвојеном скупу били су незнатно виши од резултата обуке, што тумачимо као уобичајен шум узорковања између два мала, неповезана скупа.
Агентско мултимодално преузимање мери се показатељем NDCG@10 на јавном скупу ViDoRe V3 Computer Science, уређеном у 20 упита за обуку, 10 развојних и 20 издвојених тест-упита. Окружење је повећало NDCG@10 на издвојеном скупу са 0,705 на 0,744, док је укупно стварно време евалуације смањило са 869 секунди на 54 секунде.
Дубоко истраживање оцењује се збирном оценом суштинског квалитета и квалитета извора коју даје велики језички модел (LLM), према методи DeepResearch-Eval, на 10 референтних питања. Побољшани код повећао је просек са 0,449 на 0,802. Победничке измене биле су јасно видљиве у разликама: почетни корак планирања који пореди приступе пре слања истраживачких агената и завршни корак прегледа усмерен на димензије у којима су извештаји раније добијали слабе оцене. Пошто је овај скуп мали и скуп за евалуацију, нисмо га делили и резултат сматрамо важећим унутар узорка.
Све три методе тестирали смо уз исти буџет: исте скупове података, исте основне моделе, исто ограничење броја итерација и исти укупан број евалуација кандидата. На задатку Signal Engine, Meta-Harness достиже 0,841 на издвојеном тесту, док су обе основне методе остале испод 0,50. На задатку агентског мултимодалног преузимања наш тим има највиши NDCG@10 на издвојеном скупу (0,744 према 0,700 за CORAL и 0,738 за karpathy) и званичну евалуацију извршава од дванаест до четрнаест пута брже: 54 s према 786 s и 650 s. На задатку дубоког истраживања наш тим достиже 0,802, док су обе основне методе остале близу 0,52. Свуда важи једна ограда: CORAL и karpathy/autoresearch поново смо применили на основу њихових објављених описа, па део разлике можда потиче од разлика у примени, а не само у методама.
Разлику објашњавају четири пројектантске одлуке. Прво, наш тим израђује структуриране спецификације решења пре било каквог уређивања кода, што га усмерава ка структурним изменама, попут нових фаза тока обраде, уместо ка подешавању инструкција. Друго, истовремено покреће гране засноване на заједничком најбољем кандидату, па се побољшања надограђују брже него код независних агената CORAL-а или строго секвенцијалне петље karpathy-ја. Треће, сваки покушај оставља структуриране артефакте – резултате, дневнике догађаја и четири анализе које је написао велики језички модел (LLM) – које следећи предлагач чита, док основне методе чувају само једноставне дневнике покушаја. Четврто, прилагодљиви контролер после застоја усмерава предлагача ка истраживању, а после успеха ка усавршавању, док предиктивно поновно рангирање хипотеза одбацује слабе идеје пре него што потроше буџет.
Криве издвојених скупова показују уопштавање унутар истог домена, а не пренос између домена: не треба очекивати да ток рада подешен за издвајање сигнала о AI тржишту буде успешан на правним или биомедицинским текстовима без поновног покретања окружења. Окружење напредује само према циљу који оцењивач дефинише, па ће се верно прекомерно прилагодити бучном скупу за обуку или лоше калибрисаном оцењивачу; пре озбиљног покретања препоручујемо најмање 20 пажљиво одабраних ставки за обуку и засебан развојни скуп. Трошак је највеће практично ограничење. Свака евалуација поново извршава цео ток обраде над свим скуповима; само изабрани кандидат за преузимање потрошио је приближно 2,2 милиона улазних токена, а озбиљна оптимизација на моделу класе gpt-5.5 кошта од неколико стотина до нешто више од хиљаду долара по задатку. На крају, ови бројеви потичу из појединачних извршавања, а не из поновљених покушаја, због чега их објављујемо као инжењерски блог, а не као формалну студију.
Meta-Harness показује да аутономно побољшавање кода може бити довољно дисциплиновано за пословну употребу. Кључни састојци су структурне хипотезе, предиктивно претходно филтрирање, изолована евалуација, тестирање на издвојеним скуповима кад год подаци то омогућавају и потпун ревизијски траг сваке прихваћене измене. Заједно, они инжењерском тиму пружају предвидљив пут од функционалног почетног тока обраде до мерљиво бољег, а власнику операција једноставан модел: предности аутономног истраживања задржане у строгом оквиру који води рачуна о буџету, уз људску контролу пре испоруке.