Постојните системи за автономно подобрување покажаа добри резултати кај програмерските задачи, но сè уште не е јасно дали можат да подобруваат сложени, долгорочни работни текови со ВИ што наликуваат на реални деловни примени.
Нашето истражување со Meta-Harness применува автономно самоусовршување врз работните текови за агентско пребарување, длабоко истражување и разузнавање врз основа на сигнали, истовремено додавајќи деловни барања како евалуација со издвоени податоци, можност за ревизија, контрола на буџетот и човечко одобрување.
Кај три репрезентативни оптоварувања, Meta-Harness значително ги подобри перформансите, вклучувајќи подобрување од 84% на издвоениот тест за Signal Engine и поголема точност со 16 пати побрзо извршување за агентското мултимодално пребарување.
За разлика од повеќето претходни пристапи, Meta-Harness го мери успехот на издвоени податочни збирки секогаш кога е можно, за да утврди дали подобрувањата се генерализираат надвор од податоците користени при оптимизацијата.
Овие резултати укажуваат дека автономното подобрување на работните текови може да ги надмине програмерските репери и да се примени на реални деловни системи со ВИ, нудејќи практичен пат кон апликации со ВИ што постојано се подобруваат.
Неодамнешните истражувања за автономно истражување со ВИ, меѓу кои трудот Meta-Harness, рамката CORAL и karpathy/autoresearch, покажаа дека програмерските агенти можат итеративно да подобруваат решение според дадена метрика за евалуација. Останува отворено прашањето дали тие методи се применливи на долгорочни работни текови со ВИ, како агентското мултимодално пребарување, каде што агентот мора итеративно да пребарува низ мултимодални стручни корпуси за да одговори на прашање, или на сложени канали за обработка на податоци што бараат многу меѓузависни чекори, повици до алатки и одлуки за справување со исклучоци. Подлабокото прашање е дали придобивките се задржуваат и кај податоци што оптимизаторот никогаш не ги гледа.
Нашето истражување и развој со Meta-Harness е одговорот на тоа прашање. Ги презема идеите од неодамнешните истражувања и ги приспособува на деловните потреби: евалуација со издвоени податоци, ревизорски траги, горни граници на трошоците и јасна точка за предавање на човечки прегледувач пред што било да се објави.
Го тестиравме на три долгорочни задачи моделирани според реална работа за клиенти. Signal Engine следи тек во живо од објави на X за пазарот на ВИ и создава структурирани извештаи за трендовите, поткрепени со извори. Агентското мултимодално пребарување обработува комбинирани текстуални и сликовни барања за да ги врати најрелевантните страници од документите. Длабокото истражување координира повеќе агенти за пребарување на интернет, вкрстена проверка на изворите и пишување обемни истражувачки извештаи.
Signal Engine: комбиниран резултат на издвоениот тест 0,456 → 0,841, што претставува релативно зголемување од 84%. CORAL и karpathy/autoresearch останаа под 0,50 со истиот буџет.
Агентско мултимодално пребарување: NDCG@10 на издвоениот тест 0,705 → 0,744, додека вкупното време по евалуација се намали од 869 на 54 секунди. Тоа е 16-кратно забрзување со поголема точност.
Длабоко истражување: комбиниран резултат за квалитетот на извештаите 0,449 → 0,802 на 10 референтни прашања, наспроти приближно 0,52 кај основните методи. Оваа задача немаше издвоена поделба, па резултатот го третираме само како резултат во примерокот.
Ефикасност на пребарувањето: со предиктивно прерангирање на хипотезите, Signal Engine достигна 91% од најдобриот резултат на референтното извршување во 3 наместо во 20 итерации, со ист буџет за евалуација.
Повеќето системи за автономно истражување оптимизираат и евалуираат на истата податочна збирка, поради што не може да се утврди дали резултатот се генерализира. За Signal Engine и агентското мултимодално пребарување применуваме строга поделба: множество за обука врз кое кандидатите можат да се оценуваат, развојно множество за основни проверки и издвоено тест-множество што оптимизаторот никогаш не го гледа. Секој пријавен резултат доаѓа од една конкретна верзија на кодот оценета на сите поделби, па никогаш не го комбинираме најдобриот резултат од обуката на еден кандидат со најдобриот тест-резултат на друг.
Во секој круг, рамката создава група структурирани хипотези за измена на кодот. Секоја хипотеза го наведува механизмот што сака да го промени, претходната верзија врз која се надоврзува и типот на неуспех што го таргетира. Чекорот за рангирање ја филтрира групата пред да се потрошат ресурси за скапи евалуации. Преостанатите хипотези одат кај паралелни извршни агенти, кои споделуваат заедничка база на знаење, но го уредуваат кодот во целосно изолирани работни простори, така што секој кандидат се оценува праведно и независно. На крајот од кругот, извршувачот избира еден победник: кандидатот со највисок резултат што ги поминал и сите проверки на видливите поделби. Тој победник станува граничната верзија врз која се надоврзува следниот круг. Секој обид запишува фиксен пакет во складиште за докази само за додавање: закрпа на кодот, резултати по поделба, дневник на настани и четири кратки анализи напишани од големи јазични модели (LLM), кои ги опфаќаат текот, грешките, трошокот и освртот. Предлагачот во следниот круг повторно ја чита оваа историја, па рамката го надградува наученото наместо да ги повторува истите безизлезни обиди.
Три заштитни механизми овозможуваат безбедно извршување на циклусот. Политиката за опсег ограничува кои датотеки смее да ги менува кандидатот и ги поништува сите промени надвор од тој опсег. Буџетите за токени и вкупно време го запираат извршувањето кога трошокот ќе ја надмине границата, а ограничувањата за истовремено извршување ја задржуваат рамката во рамките на дозволената стапка за моделот и графичките процесори. А рамката никогаш не објавува ништо самостојно. Таа создава рангиран, целосно документиран кандидат, а инженер го прегледува diff-от и одлучува дали ќе оди во продукција.
Во локалниот технолошки систем, секој круг од горенаведениот циклус се потпира на пет инженерски основи.
Изолација на работниот простор. По едно работно стебло на git за секој кандидат. Разгранувањата споделуваат база на објекти, но никогаш меѓусебно не ги споделуваат датотеките. Така, кандидатите може да се извршуваат паралелно со речиси непроменет трошок за дискот, а споредбата со тековната гранична верзија е едноставна.
Изолиран простор за извршување. Два режима преку конфигурацијата: изворен потпроцес за брзо повторување или целосно изолирана извршна околина. Корпусите се монтираат само за читање, а привремената папка за секој обид се отстранува по оценувањето. Затоа, обидот не може да ја измени податочната збирка ниту да пренесе состојба во следниот обид.
Политика за опсег. Список на дозволени патеки наведен во конфигурацијата на експериментот. Сè што е изменето надвор од него се враќа во претходната состојба пред оценувањето, а обидот се означува. Следствено, гарантирано е дека diff-от што го гледа прегледувачот останува во наведениот опсег.
Спроведување на буџетот. Три слоја: ограничување на токените и вкупното време по обид, вкупна граница по извршување и ограничување на истовременото извршување. Заедно, тие ги одржуваат трошоците предвидливи и обезбедуваат рамката да остане во границите на дозволената стапка за моделот и инфраструктурата.
Складиште за докази. JSONL само за додавање, со закрпата на кодот, резултатите по поделба, дневникот на настани и четирите анализи напишани од големи јазични модели (LLM). Материјализираните прикази (табела со резултати, гранична верзија и индекс на неуспеси) се создаваат одново по секој обид. Така следните кругови се надоврзуваат на претходната историја, а секое извршување останува репродуктивно бајт по бајт.
Ниту една од овие основи не е изборна. Целта на рамката е по завршувањето да му понуди на прегледувачот нешто што навистина може да го одобри: победнички кандидат, diff со ограничен опсег, целосна евиденција за сите обиди и познат трошок. Ако отстраните која било од петте основи, исчезнува една од тие гаранции.
Сите три експерименти ја користат истата стратегија за хипотези. Во секоја итерација, предлагачот создава повеќе хипотези отколку што дозволува буџетот: M = 8 кандидати за буџет за испраќање од K = 4. Потоа посебен рангирач со големи јазични модели (LLM) ги подредува сите 8 со еден повик од триесет секунди, имајќи ја пред себе целосната слика: тековниот најдобар резултат и неговите слаби димензии, анализите на неуспесите од неодамнешните обиди и сите 8 предлози еден до друг. Најдобрите 4 одат кај извршувачот, со трошок од 15 до 30 минути за секој од нив. Другите 4 се отфрлаат пред да потрошат какви било ресурси.
Основните модели останаа непроменети во текот на целиот процес; рамката го уредуваше само кодот околу нив. Signal Engine и длабокото истражување се извршуваа на gpt-5.5. Агентското мултимодално пребарување се извршуваше на моделот со отворени тежини Qwen3.6-35B-A3B, локално опслужуван преку vLLM и спарен со пребарувачот за слики ColQwen3-4B. Оваа комбинација беше избрана поради предвидливите локални трошоци.
Графиконот подолу покажува како се менуваа резултатите за нашите три главни задачи. „Почетна верзија“ е почетниот код напишан од инженер. „Meta-Harness“ е најдобрата верзија што ја пронајде Meta-Harness. Кај сите три задачи забележуваме подобрување на перформансите на издвоеното тест-множество.
Signal Engine беше евалуиран од оценувач со големи јазични модели (LLM) според актуелноста, фактичката точност, подробноста и тонот, со 150 твита за обука и 150 издвоени тест-твита. Во текот на извршувањето, најдобрата верзија го подобри комбинираниот резултат за обука од 0,431 на 0,756, а резултатот на издвоениот тест од 0,456 на 0,841. Подобрувањата произлегоа од измени во самата рамка, а не само од дотерување на промптовите: победничките итерации научија да го филтрираат шумот од социјалните мрежи, додадоа чекори за вкрстена проверка на фактите и бараа секој резултат да биде поткрепен со конкретни докази. Дијаграмот подолу го прикажува процесот на итерација.
Историјата на обидите покажува како се наталожуваа тие подобрувања. Една рана структурна промена го зголеми дотогашниот најдобар резултат на 0,625; поподробната обработка на доказите го зголеми на 0,679; а усовршениот циклус на осврт и критериуми го крена на 0,819. Околу половина од сите извршувања на кандидатите дадоа послаби резултати или целосно пропаднаа, но не ја нарушија табелата со резултати: секое разгранување се извршуваше изолирано, diff-овите на неуспешните верзии се отфрлаа, а неуспесите се запишуваа во складиштето за осврти за следниот предлагач да не го повтори истиот безизлезен обид.
Најважно е што кривата за издвоените податоци растеше паралелно со кривата за обука во текот на целото извршување. Тоа укажува дека рамката го подобрувала работниот тек наместо да го запаметува корпусот за обука. Резултатите на издвоените податоци беа малку повисоки од резултатите за обука, што го толкуваме како вообичаен шум од земањето примероци меѓу две мали, неповрзани поделби.
Агентското мултимодално пребарување се мери со NDCG@10 на јавно достапната поделба ViDoRe V3 Computer Science, организирана во 20 барања за обука, 10 за развој и 20 за издвоено тестирање. Рамката го зголеми NDCG@10 на издвоениот тест од 0,705 на 0,744, а вкупното време за евалуација го намали од 869 на 54 секунди.
Длабокото истражување се оценува со комбиниран резултат од оценувач со големи јазични модели (LLM) за суштинскиот квалитет и квалитетот на референците, според DeepResearch-Eval, на 10 референтни прашања. Подобрениот код ја зголеми средната вредност од 0,449 на 0,802. Победничките измени јасно се гледаа во diff-от: почетен чекор за планирање што ги споредува пристапите пред да се испратат истражувачките агенти и завршен чекор за преглед насочен кон димензиите за кои извештаите историски добивале слаби оценки. Бидејќи ова множество е мало и скапо за евалуација, не го поделивме и резултатот го третираме како резултат во примерокот.
Ги споредивме сите три методи со ист буџет: исти податочни збирки, исти основни модели, ист максимален број итерации и ист вкупен број евалуации на кандидатите. Кај Signal Engine, Meta-Harness достигнува 0,841 на издвоениот тест, додека двата основни метода останаа под 0,50. Кај агентското мултимодално пребарување, нашиот тим има највисок NDCG@10 на издвоениот тест (0,744 наспроти 0,700 за CORAL и 0,738 за karpathy) и ја извршува официјалната евалуација 12 до 14 пати побрзо: 54 секунди наспроти 786 и 650 секунди. Кај длабокото истражување, нашиот тим достигнува 0,802, додека двата основни метода останаа близу 0,52. Во сите случаи важи една ограда: CORAL и karpathy/autoresearch ги имплементиравме одново според нивните објавени описи, па дел од разликата може да произлегува од разлики во имплементацијата, а не само во методите.
Разликата се должи на четири проектантски одлуки. Прво, нашиот тим создава структурирана проектна спецификација пред да се уреди кодот, што го насочува кон структурни промени, како нови фази во каналот, наместо кон дотерување на промптовите. Второ, извршува истовремени разгранувања врз основа на заеднички граничен кандидат, па подобрувањата се надградуваат побрзо отколку со независните агенти на CORAL или строго последователниот циклус на karpathy. Трето, секој обид остава структурирани артефакти (резултати, дневници на настани и четири анализи изработени од големи јазични модели (LLM)) што ги чита следниот предлагач, додека основните методи чуваат само едноставни дневници на обидите. Четврто, приспособлив контролер го насочува предлагачот кон истражување по застој, а кон усовршување по успех. Над него се наоѓа предиктивното прерангирање на хипотезите, кое ги отфрла слабите идеи пред да потрошат од буџетот.
Кривите за издвоените податоци покажуваат генерализација во рамките на доменот, а не пренос меѓу домени: не треба да се очекува работен тек приспособен за извлекување сигнали од пазарот на ВИ да дава добри резултати со правни или биомедицински текстови без рамката да се изврши повторно. Рамката напредува само според критериумите што ги задава оценувачот, па верно ќе се преобучи на бучно множество за обука или погрешно калибриран оценувач. Пред сериозно извршување препорачуваме најмалку 20 внимателно избрани ставки за обука и посебна развојна поделба. Трошокот е најголемото практично ограничување. Секоја евалуација повторно го извршува целиот канал врз сите поделби. Само избраниот кандидат за пребарување потроши приближно 2,2 милиони влезни токени, а сериозна оптимизација со модел од класата на gpt-5.5 чини од неколку стотици до нешто над илјада долари по задача. На крај, овие бројки доаѓаат од поединечни извршувања, а не од повторени обиди, па затоа ги споделуваме како инженерска блог-објава, а не како формална студија.
Meta-Harness покажува дека автономното подобрување на кодот може да биде доволно дисциплинирано за деловна употреба. Клучните состојки се структурни хипотези, предиктивно претфилтрирање, изолирана евалуација, тестирање со издвоени податоци секогаш кога податоците го дозволуваат тоа и целосна ревизорска трага зад секоја прифатена промена. Заедно, тие му нудат на инженерскиот тим предвидлив пат од функционален почетен канал до мерливо подобар, а на раководителот на операциите му даваат едноставен модел: придобивките од автономното истражување остануваат во строга рамка што го почитува буџетот, а човек е вклучен во процесот пред што било да се објави.