Nykyiset autonomiset parannusjärjestelmät ovat tuottaneet vahvoja tuloksia ohjelmointitehtävissä. Vielä ei kuitenkaan tiedetä, pystyvätkö ne parantamaan monimutkaisia ja pitkäkestoisia tekoälytyönkulkuja, jotka muistuttavat yritysten todellisia käyttöönottoja.
Meta-Harness-tutkimuksemme soveltaa autonomista itseparantamista agenttipohjaiseen hakuun, syvätutkimukseen ja signaalitiedustelun työnkulkuihin. Samalla se huomioi yritysten vaatimukset, kuten erillisen arvioinnin, tarkastettavuuden, budjettirajat ja ihmisen hyväksynnän.
Meta-Harness paransi suorituskykyä merkittävästi kaikissa kolmessa edustavassa työkuormassa. Signal Enginen erillisen testin suorituskyky parani 84 %, ja agenttipohjainen multimodaalinen haku saavutti paremman tarkkuuden 16 kertaa nopeammalla suorituksella.
Useimmista aiemmista menetelmistä poiketen Meta-Harness mittaa onnistumista mahdollisuuksien mukaan erillisillä aineistoilla. Näin voidaan arvioida, yleistyvätkö parannukset optimoinnissa käytetyn aineiston ulkopuolelle.
Tulokset viittaavat siihen, että työnkulkujen autonominen parantaminen voidaan ulottaa ohjelmoinnin vertailutesteistä yritysten todellisiin tekoälyjärjestelmiin. Se tarjoaa käytännöllisen tavan kehittää tekoälysovelluksia jatkuvasti.
Viimeaikainen autonomisen tekoälytutkimuksen työ, kuten Meta-Harness-julkaisu, CORAL-kehys ja karpathy/autoresearch, on osoittanut, että ohjelmointiagentit voivat parantaa ratkaisua iteratiivisesti annetun arviointimittarin perusteella. Avoimeksi jää, soveltuvatko nämä menetelmät pitkäkestoisiin tekoälytyönkulkuihin. Esimerkiksi agenttipohjaisessa multimodaalisessa haussa agentin on etsittävä vastausta kysymykseen iteratiivisesti eri alojen multimodaalisista aineistoista. Monimutkaiset tietojenkäsittelyputket puolestaan vaativat lukuisia toisistaan riippuvia vaiheita, työkalukutsuja ja päätöksiä poikkeusten käsittelystä. Perimmäinen kysymys on, säilyvätkö hyödyt aineistossa, jota optimoija ei koskaan näe.
Meta-Harness-tutkimus- ja kehitystyömme vastaa tähän kysymykseen. Se soveltaa viimeaikaisen tutkimuksen ideoita yritysten tarpeisiin: erilliseen arviointiin, kirjausketjuihin, kustannuskattoihin ja selkeään luovutuspisteeseen, jossa ihminen tarkistaa tuloksen ennen minkään julkaisemista.
Testasimme sitä kolmella todellista asiakastyötä jäljittelevällä pitkäkestoisella tehtävällä. Signal Engine seuraa reaaliaikaista virtaa tekoälymarkkinoita käsittelevistä X-julkaisuista ja tuottaa hyvin lähteistettyjä, jäsenneltyjä trendiraportteja. Agenttipohjainen multimodaalinen haku päättelee tekstiä ja kuvia yhdistävien kyselyjen perusteella ja palauttaa olennaisimmat asiakirjasivut. Syvätutkimus ohjaa useita agentteja hakemaan tietoa verkosta, tarkistamaan lähteitä ristiin ja kirjoittamaan laajoja tutkimusraportteja.
Signal Engine: erillisen testin yhdistelmäpistemäärä 0,456 → 0,841, suhteellinen parannus 84 %. CORAL ja karpathy/autoresearch jäivät samalla budjetilla alle 0,50:n.
Agenttipohjainen multimodaalinen haku: erillisen testin NDCG@10 0,705 → 0,744, ja arviointikohtainen suoritusaika lyheni 869 sekunnista 54 sekuntiin. Tarkkuus parani ja suoritus nopeutui 16-kertaiseksi.
Syvätutkimus: raportin laadun yhdistelmäpistemäärä 0,449 → 0,802 kymmenessä vertailukysymyksessä, kun vertailumenetelmien tulos oli noin 0,52. Tässä tehtävässä ei ollut erillistä aineistojakoa, joten tulos koskee vain otoksen sisäistä suorituskykyä.
Haun tehokkuus: ennakoivan hypoteesien uudelleenjärjestelyn avulla Signal Engine saavutti samalla arviointibudjetilla 91 % vertailuajon parhaasta tuloksesta kolmessa iteraatiossa 20:n sijaan.
Useimmat autonomiset tutkimusjärjestelmät optimoivat ja arvioivat samalla aineistolla, jolloin tuloksen yleistymistä on mahdotonta selvittää. Signal Enginessä ja agenttipohjaisessa multimodaalisessa haussa käytämme tiukkaa jakoa: ehdokkaiden pisteytykseen käytettävää opetusaineistoa, tarkistuksiin käytettävää kehitysaineistoa sekä erillistä testiaineistoa, jota optimoija ei koskaan näe. Jokainen raportoitu tulos perustuu yhteen tiettyyn koodiversioon, joka on pisteytetty kaikissa aineistojaoissa. Emme siis koskaan yhdistä yhden ehdokkaan parasta opetustulosta toisen parhaaseen testitulokseen.
Arviointikehys luo kullakin kierroksella joukon jäsenneltyjä hypoteeseja koodin muuttamiseksi. Jokaisessa hypoteesissa nimetään muutettava mekanismi, aiempi versio, johon muutos perustuu, sekä korjattava virhetilanne. Joukko suodatetaan paremmuusjärjestyksen avulla ennen kalliita arviointeja. Jatkoon päässeet hypoteesit annetaan rinnakkaisille työntekijäagenteille. Ne jakavat yhteisen tietopohjan mutta muokkaavat koodia täysin eristetyissä työtiloissa, joten kukin ehdokas voidaan pisteyttää oikeudenmukaisesti ja itsenäisesti. Kierroksen lopussa suoritusjärjestelmä nostaa voittajaksi parhaiten pisteytetyn ehdokkaan, joka on myös läpäissyt kaikki näkyvien aineistojakojen tarkistukset. Voittajasta tulee kärkiehdokas, jonka pohjalta seuraava kierros jatkaa. Jokainen koe tallentaa vain lisäyksiä sallivaan evidenssivarastoon vakiokokonaisuuden: koodikorjauksen, aineistojakokohtaiset pisteet, tapahtumalokin sekä neljä lyhyttä suuren kielimallin laatimaa analyysia suoritusjäljestä, virheistä, kustannuksista ja pohdinnasta. Seuraavan kierroksen ehdottaja lukee tämän historian, joten arviointikehys voi kartuttaa oppimaansa eikä päädy toistamaan samoja tuloksettomia yrityksiä.
Kolme suojamekanismia varmistaa silmukan turvallisen suorittamisen. Laajuuskäytäntö rajaa tiedostot, joita ehdokas saa muuttaa, ja kumoaa kaikki sen ulkopuoliset muutokset. Token- ja suoritusaikabudjetit pysäyttävät ajon, kun enimmäiskulutus ylittyy. Samalla rinnakkaisuusrajat pitävät arviointikehyksen mallien ja grafiikkasuorittimien käyttörajojen puitteissa. Arviointikehys ei myöskään koskaan julkaise mitään itsenäisesti. Se tuottaa järjestykseen asetetun, täysin dokumentoidun ehdokkaan. Ihmisinsinööri tarkistaa muutokset ja päättää, viedäänkö ne tuotantoon.
Paikallisessa teknisessä ympäristössä edellä kuvatun silmukan jokaista kierrosta tukee viisi teknistä perusratkaisua.
Työtilojen eristäminen. Jokaiselle ehdokkaalle oma git-työpuu. Haarat jakavat objektitietokannan mutta eivät koskaan toistensa tiedostoja. Näin ehdokkaita voidaan suorittaa rinnakkain lähes muuttumattomilla levytilakustannuksilla, ja niiden vertaaminen nykyiseen kärkiehdokkaaseen on helppoa.
Suorituksen eristysympäristö. Kaksi asetuksilla valittavaa tilaa: natiivi aliprosessi nopeaan iterointiin tai täysin eristetty suoritusympäristö. Aineistokokoelmat liitetään vain luku -tilassa, ja koekohtainen väliaikaishakemisto poistetaan pisteytyksen jälkeen. Näin koe ei voi muuttaa aineistoa eikä vuotaa tilaansa seuraavaan kokeeseen.
Laajuuskäytäntö. Kokeen asetuksissa määritetty sallittujen polkujen luettelo. Kaikki sen ulkopuoliset muutokset kumotaan ennen kokeen pisteytystä, ja koe merkitään tarkistettavaksi. Tarkistajan näkemät muutokset pysyvät siten varmasti määritetyissä rajoissa.
Budjettirajojen valvonta. Kolme tasoa: koekohtaiset token- ja suoritusaikarajat, koko ajon yhteinen enimmäisraja sekä rinnakkaisuusraja. Yhdessä ne pitävät kulut ennakoitavina ja arviointikehyksen mallien sekä infrastruktuurin käyttörajojen puitteissa.
Evidenssivarasto. Vain lisäyksiä salliva JSONL-tiedosto, joka sisältää koodikorjauksen, aineistojakokohtaiset pisteet, tapahtumalokin ja neljä suuren kielimallin laatimaa analyysia. Materialisoidut näkymät (tulostaulukko, kärkiehdokas ja virhehakemisto) luodaan uudelleen jokaisen kokeen jälkeen. Näin seuraavat kierrokset voivat hyödyntää aiempaa historiaa ja jokainen ajo on silti toistettavissa tavulleen.
Mikään näistä perusratkaisuista ei ole valinnainen. Arviointikehyksen tarkoitus on tuottaa ajon päätteeksi tarkistajalle kokonaisuus, jonka tämä voi aidosti hyväksyä: voittava ehdokas, rajattu muutosjoukko, täydellinen kirjaus kaikista kokeiluista ja tiedossa oleva kustannus. Jos yksikin viidestä poistetaan, jokin näistä takeista katoaa.
Kaikissa kolmessa kokeessa käytetään samaa hypoteesistrategiaa. Ehdottaja luo jokaisella iteraatiolla enemmän hypoteeseja kuin budjetilla voidaan suorittaa: M = 8 ehdokasta, kun suoritukseen voidaan lähettää K = 4. Erillinen suuren kielimallin järjestäjä asettaa kaikki kahdeksan paremmuusjärjestykseen yhdellä 30 sekunnin kutsulla. Sillä on käytettävissään koko tilannekuva: nykyinen paras tulos ja sen heikot osa-alueet, viime kokeiden virheanalyysit sekä kaikki kahdeksan ehdotusta rinnakkain. Neljä parasta lähetetään suorittajalle, ja kukin niistä maksaa 15–30 minuuttia suoritusaikaa. Muut neljä hylätään ennen kuin ne kuluttavat budjettia.
Taustalla olevat mallit pidettiin samoina koko ajan. Arviointikehys muokkasi vain niitä ympäröivää koodia. Signal Engine ja syvätutkimus suoritettiin gpt-5.5:llä. Agenttipohjainen multimodaalinen haku käytti paikallisesti vLLM:n kautta tarjottavaa avoimien painojen Qwen3.6-35B-A3B-mallia yhdessä ColQwen3-4B-kuvahaun kanssa. Yhdistelmä valittiin paikallisen käytön ennakoitavien kustannusten vuoksi.
Alla oleva kaavio näyttää kolmen päätehtävämme tulosten kehityksen. "Lähtöversio" tarkoittaa ihmisinsinöörin kirjoittamaa alkuperäistä koodia. "Meta-Harness" tarkoittaa parasta Meta-Harnessin löytämää versiota. Kaikkien kolmen tehtävän suorituskyky parani erillisessä testiaineistossa.
Signal Enginen tuoreutta, faktapohjaisuutta, yksityiskohtaisuutta ja sävyä arvioi suuri kielimalli. Aineistona oli 150 opetukseen käytettyä ja 150 erilliseen testiin käytettyä twiittiä. Ajon aikana paras versio nosti opetusaineiston yhdistelmäpistemäärän arvosta 0,431 arvoon 0,756 ja erillisen testin tuloksen arvosta 0,456 arvoon 0,841. Hyödyt syntyivät itse arviointikehyksen muutoksista eivätkä vain kehotteiden hienosäädöstä. Voittaneet iteraatiot oppivat suodattamaan sosiaalisen median kohinaa, lisäsivät faktantarkistusvaiheita ja edellyttivät, että jokainen tulos perustuu nimenomaiseen näyttöön. Alla oleva kaavio esittää iterointiprosessin.
Kokeiden historia osoittaa, miten parannukset kertyivät. Varhainen rakenteellinen muutos nosti siihenastisen parhaan tuloksen arvoon 0,625. Näytön yksityiskohtaisempi käsittely nosti sen arvoon 0,679, ja parannettu pohdinta- ja arviointikriteerisilmukka edelleen arvoon 0,819. Noin puolet ehdokkaiden ajoista suoriutui heikommin tai epäonnistui täysin, mutta ne eivät vääristäneet tulostaulukkoa. Kukin haara suoritettiin erillään, hävinneiden ehdokkaiden muutokset hylättiin ja epäonnistumiset kirjattiin pohdintavarastoon, jotta seuraava ehdottaja ei toistaisi samaa tuloksetonta yritystä.
Tärkeintä on, että erillisen testin tuloskäyrä nousi koko ajon ajan opetuskäyrän rinnalla. Tämä viittaa siihen, että arviointikehys paransi työnkulkua eikä opetusaineiston muistamista. Erillisen testin pisteet olivat hieman opetuspisteitä korkeammat. Tulkintamme mukaan kyse on tavallisesta otantavaihtelusta kahden pienen ja toisistaan erillisen aineistojaon välillä.
Agenttipohjaista multimodaalista hakua mitataan NDCG@10-mittarilla julkisen ViDoRe V3 -aineiston tietojenkäsittelytieteen osiossa. Siitä koottiin 20 opetus-, 10 kehitys- ja 20 erillistä testikyselyä. Arviointikehys nosti erillisen testin NDCG@10-tuloksen arvosta 0,705 arvoon 0,744 ja lyhensi arvioinnin kokonaiskeston 869 sekunnista 54 sekuntiin.
Syvätutkimus pisteytetään kymmenen vertailukysymyksen perusteella suuren kielimallin arvioimalla sisällöllisen laadun ja lähteiden laadun yhdistelmämittarilla DeepResearch-Eval-menetelmän mukaisesti. Parannettu koodi nosti keskiarvon 0,449:stä 0,802:een. Voittaneet muutokset oli helppo havaita muutosvertailusta: alun suunnitteluvaihe vertaa lähestymistapoja ennen tutkimusagenttien käynnistämistä, ja lopun tarkistusvaihe keskittyy osa-alueisiin, joilla raportit olivat aiemmin saaneet heikot pisteet. Koska aineisto on pieni ja sen arviointi kallista, emme jakaneet sitä osiin. Tulos koskee siksi otoksen sisäistä suorituskykyä.
Vertailimme kaikkia kolmea menetelmää samalla budjetilla: samat aineistot, samat taustamallit, sama iteraatioiden enimmäismäärä ja sama ehdokkaiden arviointien kokonaismäärä. Signal Enginen erillisessä testissä Meta-Harness saavutti tuloksen 0,841, kun molemmat vertailumenetelmät jäivät alle 0,50:n. Agenttipohjaisessa multimodaalisessa haussa tiimimme saavutti korkeimman erillisen testin NDCG@10-tuloksen (0,744, kun CORAL sai 0,700 ja karpathy 0,738). Virallinen arviointi suoritettiin 12–14 kertaa nopeammin: 54 sekunnissa verrattuna 786 ja 650 sekuntiin. Syvätutkimuksessa tiimimme saavutti tuloksen 0,802, kun molemmat vertailumenetelmät jäivät noin 0,52:een. Kaikkiin tuloksiin liittyy yksi varaus: toteutimme CORALin ja karpathy/autoresearchin uudelleen niiden julkaistujen kuvausten perusteella. Osa erosta saattaa siis johtua toteutusten eikä pelkästään menetelmien eroista.
Ero selittyy neljällä suunnitteluvalinnalla. Ensinnäkin tiimimme laatii jäsennellyn suunnittelumäärittelyn ennen koodin muokkaamista. Tämä ohjaa sitä kehotteiden hienosäädön sijaan kohti rakenteellisia muutoksia, kuten uusia käsittelyputken vaiheita. Toiseksi se suorittaa samanaikaisia haaroja, joiden lähtökohtana on yhteinen kärkiehdokas. Näin parannukset kasautuvat nopeammin kuin CORALin itsenäisillä agenteilla tai karpathyn täysin peräkkäisessä silmukassa. Kolmanneksi jokainen koe tuottaa jäsenneltyjä artefakteja – pisteet, tapahtumalokit ja neljä suuren kielimallin laatimaa analyysia – jotka seuraava ehdottaja lukee. Vertailumenetelmät säilyttävät vain yksinkertaiset yrityslokit. Neljänneksi mukautuva ohjain suuntaa ehdottajan pysähdyksen jälkeen tutkimiseen ja onnistumisen jälkeen viimeistelyyn. Ennakoiva hypoteesien uudelleenjärjestely karsii lisäksi heikot ideat ennen kuin ne kuluttavat budjettia.
Erillisten testien käyrät osoittavat yleistymisen samalla aihealueella, eivät siirtymistä toiselle aihealueelle. Tekoälymarkkinoiden signaalien poimintaan optimoidun työnkulun ei pidä odottaa toimivan oikeudellisessa tai biolääketieteellisessä tekstissä ilman arviointikehyksen uutta ajoa. Arviointikehys optimoi vain pisteyttäjän määrittämää tavoitetta. Siksi kohinainen opetusaineisto tai huonosti kalibroitu arvioija johtaa uskolliseen ylisovittamiseen. Suosittelemme vakavaa ajoa varten vähintään 20:tä huolellisesti valittua opetusesimerkkiä ja erillistä kehitysaineistoa. Kustannukset ovat suurin käytännön rajoite. Jokainen arviointi suorittaa koko käsittelyputken uudelleen kaikilla aineistojaoilla. Pelkästään valittu hakuehdokas kulutti noin 2,2 miljoonaa syötetokenia, ja perusteellinen optimointi gpt-5.5-tason mallilla maksaa tehtävää kohden sadoista hieman yli tuhanteen dollariin. Lopuksi luvut perustuvat yksittäisiin ajoihin eivätkä toistettuihin kokeisiin. Siksi julkaisemme ne teknisenä blogikirjoituksena emmekä muodollisena tutkimuksena.
Meta-Harness osoittaa, että koodin autonomisesta parantamisesta voidaan tehdä riittävän järjestelmällistä yrityskäyttöön. Keskeisiä osatekijöitä ovat rakenteelliset hypoteesit, ennakoiva esisuodatus, eristetty arviointi, aineiston salliessa erillinen testaus sekä jokaisen käyttöön hyväksytyn muutoksen täydellinen kirjausketju. Yhdessä ne tarjoavat kehitystiimille ennakoitavan reitin toimivasta lähtöputkesta mitattavasti parempaan. Operatiiviselle omistajalle toimintamalli on yksinkertainen: autonomisen tutkimisen hyödyt pidetään tiukassa, budjetin huomioivassa kehyksessä, ja ihminen tarkistaa tuloksen ennen minkään julkaisemista.