Sistemele actuale de îmbunătățire autonomă au obținut rezultate solide la sarcini de programare, dar nu este clar dacă pot îmbunătăți fluxuri IA complexe, de lungă durată, similare implementărilor reale din companii.
Proiectul nostru de cercetare Meta-Harness aplică autoîmbunătățirea autonomă fluxurilor de regăsire agentivă, cercetare aprofundată și analiză a semnalelor, adăugând cerințe enterprise precum evaluarea pe date rezervate, auditabilitatea, controlul bugetului și aprobarea umană.
În trei sarcini reprezentative, Meta-Harness a îmbunătățit substanțial performanța, inclusiv printr-o creștere de 84% a performanței la testele rezervate pentru Signal Engine și o precizie mai mare, cu o execuție de 16 ori mai rapidă, pentru regăsirea multimodală agentivă.
Spre deosebire de majoritatea abordărilor anterioare, Meta-Harness măsoară succesul pe seturi de date rezervate ori de câte ori este posibil, pentru a evalua dacă îmbunătățirile se generalizează dincolo de datele folosite la optimizare.
Aceste rezultate sugerează că îmbunătățirea autonomă a fluxurilor poate depăși testele comparative de programare și poate fi aplicată sistemelor IA enterprise din lumea reală, oferind o cale practică spre implementări IA care se îmbunătățesc continuu.
Lucrările recente privind cercetarea IA autonomă, inclusiv Meta-Harness, cadrul CORAL și karpathy/autoresearch, au arătat că agenții de programare pot îmbunătăți iterativ o soluție pe baza unui indicator de evaluare. Rămâne de văzut dacă aceste metode se aplică fluxurilor IA de lungă durată, precum regăsirea multimodală agentivă, unde un agent trebuie să caute iterativ în corpuri de date multimodale specializate pentru a răspunde unei întrebări sau fluxurilor complexe de prelucrare a datelor, care impun mulți pași dependenți, apeluri de instrumente și decizii de gestionare a excepțiilor. Întrebarea fundamentală este dacă avantajele se mențin pe date pe care sistemul de optimizare nu le vede niciodată.
Proiectul nostru de cercetare și dezvoltare Meta-Harness este răspunsul la această întrebare. Acesta preia idei din cercetările recente și le adaptează cerințelor companiilor: evaluare pe date rezervate, piste de audit, plafoane de cost și un punct clar de predare către un evaluator uman înainte de orice lansare.
L-am testat pe trei sarcini de lungă durată, inspirate din proiecte reale pentru clienți. Signal Engine monitorizează un flux live de postări de pe X despre piața IA și produce rapoarte structurate despre tendințe, susținute de surse solide. Regăsirea multimodală agentivă analizează interogări care combină text și imagini pentru a returna cele mai relevante pagini ale documentelor. Cercetarea aprofundată coordonează mai mulți agenți pentru a căuta pe web, verifica încrucișat sursele și redacta rapoarte de cercetare ample.
Signal Engine: scor compozit la testul rezervat 0,456 → 0,841, o creștere relativă de 84%. CORAL și karpathy/autoresearch au rămas sub 0,50 cu același buget.
Regăsirea multimodală agentivă: NDCG@10 pe datele rezervate 0,705 → 0,744, iar timpul efectiv pentru fiecare evaluare a scăzut de la 869 s la 54 s. Aceasta înseamnă o accelerare de 16 ori, însoțită de o precizie mai mare.
Cercetare aprofundată: scor compozit al calității rapoartelor 0,449 → 0,802 pentru 10 întrebări de referință, față de aproximativ 0,52 pentru soluțiile de bază. Această sarcină nu a avut o partiție rezervată, așa că tratăm valoarea ca rezultat exclusiv în eșantion.
Eficiența căutării: cu reclasificarea predictivă a ipotezelor, Signal Engine a atins 91% din cel mai bun scor al rulării de referință în 3 iterații în loc de 20, cu același buget de evaluare.
Majoritatea sistemelor de cercetare autonomă optimizează și evaluează pe același set de date, ceea ce face imposibil de stabilit dacă rezultatul se generalizează. Pentru Signal Engine și regăsirea multimodală agentivă impunem o separare strictă: un set de instruire pe care sunt evaluați candidații, un set de dezvoltare pentru verificări de coerență și un set de testare rezervat, pe care sistemul de optimizare nu îl vede niciodată. Fiecare rezultat raportat provine dintr-o anumită versiune a codului, evaluată pe toate partițiile, astfel încât nu combinăm niciodată cel mai bun scor de instruire al unui candidat cu cel mai bun scor de testare al altuia.
În fiecare rundă, cadrul de testare generează un lot de ipoteze structurate pentru modificarea codului. Fiecare ipoteză indică mecanismul pe care vrea să-l schimbe, versiunea anterioară pe care se bazează și tipul de eroare pe care îl vizează. O etapă de clasificare filtrează lotul înainte de efectuarea oricărei evaluări costisitoare. Ipotezele rămase ajung la agenți executanți care lucrează în paralel și folosesc o bază comună de cunoștințe, dar editează codul în spații de lucru complet izolate, astfel încât fiecare candidat să fie evaluat corect și independent. La sfârșitul rundei, sistemul promovează un singur câștigător: candidatul cu cel mai mare scor care a trecut și toate verificările pe partițiile vizibile. Câștigătorul devine reperul pe care se bazează runda următoare. Fiecare încercare scrie un pachet fix într-un depozit de dovezi exclusiv pentru adăugare: patch-ul de cod, scorurile fiecărei partiții, un jurnal de evenimente și patru analize scurte scrise de LLM despre traseu, erori, cost și concluzii. Sistemul care propune ipoteze în runda următoare recitește acest istoric, ceea ce-i permite cadrului de testare să valorifice cumulativ ce a învățat, în loc să repete aceleași piste fără rezultat.
Trei măsuri de protecție permit rularea în siguranță a buclei. O politică de definire a domeniului limitează fișierele pe care le poate modifica un candidat și anulează orice schimbare din afara acestuia. Bugetele de tokenuri și timp efectiv opresc rularea când costul depășește plafonul, iar limitele de concurență mențin cadrul de testare în limitele de utilizare ale modelului și GPU-ului. În plus, cadrul de testare nu lansează niciodată nimic de unul singur. Acesta produce un candidat clasificat și documentat complet, iar un inginer verifică diferențele și decide dacă va fi lansat în producție.
Într-o infrastructură locală, fiecare rundă a buclei de mai sus se bazează pe cinci componente tehnice fundamentale.
Izolarea spațiilor de lucru. Câte un arbore de lucru git pentru fiecare candidat. Forkurile folosesc aceeași bază de date cu obiecte, dar nu și fișierele celorlalte, ceea ce permite rularea în paralel a candidaților cu un cost de stocare aproape constant și simplifică compararea cu reperul actual.
Mediul izolat de execuție. Două moduri selectabile prin configurare: subproces nativ pentru iterații rapide sau mediu de execuție complet izolat. Corpurile de date sunt montate doar în citire, iar directorul temporar al fiecărei încercări este eliminat după evaluare. Astfel, o încercare nu poate modifica setul de date și nici transfera starea către următoarea.
Politica de definire a domeniului. O listă de căi permise, declarată în configurația experimentului. Orice modificare din afara listei este anulată înainte de evaluarea încercării, iar aceasta este marcată. Prin urmare, diferențele văzute de evaluator rămân garantat în domeniul declarat.
Respectarea bugetului. Trei niveluri: limite de tokenuri și de timp efectiv pentru fiecare încercare, un plafon cumulat pentru fiecare rulare și o limită de concurență. Împreună, acestea fac costurile previzibile și mențin cadrul de testare în limitele de rată ale modelului și infrastructurii.
Depozitul de dovezi. Un fișier JSONL exclusiv pentru adăugare, care conține patch-ul de cod, scorurile fiecărei partiții, jurnalul de evenimente și cele patru analize scrise de LLM. Vizualizările materializate (clasament, reper, index al erorilor) sunt regenerate după fiecare încercare, permițând ca rundele următoare să valorifice istoricul, în timp ce fiecare rulare rămâne reproductibilă octet cu octet.
Niciuna dintre aceste componente nu este opțională. Scopul cadrului de testare este ca, la sfârșitul unei rulări, evaluatorul să primească ceva ce poate aproba efectiv: un candidat câștigător, un set delimitat de diferențe, evidența completă a încercărilor și un cost cunoscut. Dacă elimini oricare dintre cele cinci componente, dispare una dintre aceste garanții.
Toate cele trei experimente folosesc aceeași strategie pentru ipoteze. La fiecare iterație, sistemul de propunere generează mai multe ipoteze decât permite bugetul: M = 8 candidați pentru un buget de execuție K = 4. Apoi, un LLM separat clasifică toate cele 8 ipoteze într-un singur apel de 30 de secunde, având imaginea completă: cel mai bun scor actual și dimensiunile sale slabe, analizele erorilor din încercările recente și toate cele 8 propuneri alăturate. Primele 4 sunt trimise sistemului de execuție, la un cost de 15–30 de minute fiecare. Celelalte 4 sunt eliminate înainte de a genera vreun cost.
Modelele de bază au rămas neschimbate pe tot parcursul experimentelor; cadrul de testare a modificat doar codul din jurul lor. Signal Engine și cercetarea aprofundată au rulat pe gpt-5.5. Regăsirea multimodală agentivă a rulat pe modelul cu ponderi deschise Qwen3.6-35B-A3B, furnizat local prin vLLM și asociat cu sistemul de regăsire a imaginilor ColQwen3-4B, o combinație aleasă pentru costurile locale previzibile.
Graficul de mai jos ilustrează evoluția scorurilor pentru cele trei sarcini principale. „Seed” reprezintă codul inițial scris de un inginer uman. „Meta-Harness” este cea mai bună versiune identificată de Meta-Harness. Observăm o îmbunătățire a performanței pentru toate cele trei sarcini în setul de testare reținut.
Signal Engine a fost evaluat de un LLM după actualitate, corectitudine factuală, granularitate și ton, folosind 150 de postări de pe X pentru instruire și 150 pentru testarea rezervată. Pe parcursul rulării, cea mai bună versiune a îmbunătățit scorul compozit de instruire de la 0,431 la 0,756, iar scorul rezervat de la 0,456 la 0,841. Progresele au provenit din modificări ale cadrului de testare, nu doar din ajustări ale solicitărilor: iterațiile câștigătoare au învățat să filtreze zgomotul din rețelele sociale, au adăugat etape de verificare încrucișată a faptelor și au impus ca fiecare rezultat să se bazeze pe dovezi explicite. Diagrama de mai jos prezintă procesul iterativ.
Istoricul încercărilor arată cum s-au acumulat aceste progrese. O modificare structurală timpurie a ridicat cel mai bun scor curent la 0,625; gestionarea mai detaliată a dovezilor l-a crescut la 0,679; iar o buclă îmbunătățită de analiză și evaluare l-a dus la 0,819. Aproximativ jumătate dintre rulările candidaților au avut rezultate mai slabe sau au eșuat complet, dar nu au afectat clasamentul: fiecare fork a rulat izolat, diferențele necâștigătoare au fost eliminate, iar erorile au fost scrise în depozitul de reflecții, pentru ca următorul sistem de propunere să nu repete aceeași pistă fără rezultat.
Cel mai important este că, pe tot parcursul rulării, curba datelor rezervate a crescut împreună cu cea de instruire. Aceasta sugerează că fluxul a fost îmbunătățit de cadrul de testare, nu că acesta a memorat corpusul de instruire. Scorurile pe datele rezervate au fost ușor mai mari decât cele de instruire, ceea ce interpretăm drept zgomot obișnuit de eșantionare între două partiții mici și disjuncte.
Regăsirea multimodală agentivă este măsurată prin NDCG@10 pe partiția publică Informatică din ViDoRe V3, organizată în 20 de interogări pentru instruire, 10 pentru dezvoltare și 20 pentru testarea rezervată. Cadrul de testare a crescut NDCG@10 pe datele rezervate de la 0,705 la 0,744, reducând în același timp durata efectivă totală a evaluării de la 869 de secunde la 54 de secunde.
Cercetarea aprofundată este evaluată printr-un scor compozit stabilit de un LLM, care combină calitatea conținutului și a referințelor conform DeepResearch-Eval, pentru 10 întrebări de referință. Codul îmbunătățit a crescut media de la 0,449 la 0,802. Modificările câștigătoare se distingeau ușor în diferențe: o etapă inițială de planificare care compară abordările înainte de activarea agenților de cercetare și o etapă finală de verificare orientată spre criteriile la care rapoartele obținuseră anterior scoruri slabe. Deoarece acest set este mic și costisitor de evaluat, nu l-am împărțit și tratăm rezultatul ca fiind obținut în eșantion.
Am evaluat comparativ toate cele trei metode cu același buget: aceleași seturi de date, aceleași modele de bază, aceeași limită de iterații și același număr total de evaluări ale candidaților. Pentru Signal Engine, Meta-Harness atinge 0,841 la testul rezervat, în timp ce ambele soluții de bază au rămas sub 0,50. Pentru regăsirea multimodală agentivă, echipa noastră obține cel mai mare NDCG@10 pe datele rezervate (0,744, față de 0,700 pentru CORAL și 0,738 pentru karpathy) și execută evaluarea oficială de 12–14 ori mai rapid: 54 s, față de 786 s și 650 s. Pentru cercetarea aprofundată, echipa noastră atinge 0,802, în timp ce ambele soluții de bază au rămas în jurul valorii de 0,52. Există o rezervă generală: am reimplementat CORAL și karpathy/autoresearch pe baza descrierilor publicate, astfel încât o parte a diferenței poate proveni din implementări, nu doar din metode.
Diferența se explică prin patru alegeri de proiectare. În primul rând, echipa noastră generează o specificație de proiectare structurată înainte de editarea codului, ceea ce favorizează schimbările structurale, precum noi etape ale fluxului, în locul simplelor ajustări ale solicitărilor. În al doilea rând, rulează forkuri simultane, ancorate într-un candidat comun de referință, astfel încât îmbunătățirile se acumulează mai rapid decât în cazul agenților independenți CORAL sau al buclei strict secvențiale karpathy. În al treilea rând, fiecare încercare generează artefacte structurate (scoruri, jurnale de evenimente și patru analize redactate de LLM), pe care următorul sistem de propunere le recitește, în timp ce soluțiile de bază păstrează doar jurnale simple ale încercărilor. În al patrulea rând, un controler adaptiv orientează sistemul de propunere spre explorare după o stagnare și spre rafinare după un succes, iar reclasificarea predictivă a ipotezelor elimină ideile slabe înainte ca acestea să consume buget.
Curbele datelor rezervate demonstrează generalizarea în același domeniu, nu transferul între domenii: nu trebuie să ne așteptăm ca un flux optimizat pentru extragerea semnalelor de pe piața AI să funcționeze la fel de bine pe texte juridice sau biomedicale fără a rula din nou cadrul de testare. Cadrul de testare optimizează strict obiectivul definit de evaluator, astfel încât va supraajusta fidel un set de instruire zgomotos sau un evaluator calibrat greșit; recomandăm cel puțin 20 de elemente de instruire atent selectate și o partiție de dezvoltare separată înaintea unei rulări serioase. Costul este cea mai importantă constrângere practică. Fiecare evaluare reexecută întregul flux pe toate partițiile, numai candidatul de regăsire selectat a consumat aproximativ 2,2 milioane de tokenuri de intrare, iar o optimizare serioasă pe un model din clasa gpt-5.5 costă între câteva sute și puțin peste o mie de dolari pentru fiecare sarcină. În sfârșit, aceste valori provin din rulări unice, nu din încercări repetate, motiv pentru care le publicăm într-un articol tehnic de blog, nu într-un studiu formal.
Meta-Harness arată că îmbunătățirea autonomă a codului poate fi suficient de riguroasă pentru utilizarea în companii. Elementele esențiale sunt ipotezele structurale, prefiltrarea predictivă, evaluarea izolată, testarea pe date rezervate ori de câte ori acestea o permit și o pistă completă de audit pentru fiecare modificare promovată. Împreună, acestea oferă echipei tehnice o cale previzibilă de la un flux inițial funcțional la unul măsurabil mai bun, iar responsabilului operațional îi oferă un model simplu: avantajele explorării autonome, păstrate într-un cadru strict și atent la buget, cu intervenție umană înainte de orice lansare.