Sistem peningkatan otonom yang ada telah menunjukkan hasil kuat pada tugas pemrograman. Namun, belum jelas apakah sistem tersebut dapat meningkatkan alur kerja AI kompleks dan berjangka panjang yang menyerupai penerapan nyata di perusahaan.
Riset Meta-Harness kami menerapkan peningkatan mandiri otonom pada alur kerja pengambilan berbasis agen, riset mendalam, dan intelijen sinyal, sekaligus menambahkan persyaratan perusahaan seperti evaluasi tertahan, kemampuan audit, kontrol anggaran, dan persetujuan manusia.
Pada tiga beban kerja representatif, Meta-Harness meningkatkan kinerja secara signifikan, termasuk peningkatan kinerja pengujian tertahan sebesar 84% untuk Signal Engine serta akurasi yang lebih tinggi dengan eksekusi 16× lebih cepat untuk Agentic Multimodal Retrieval.
Tidak seperti kebanyakan pendekatan sebelumnya, Meta-Harness mengukur keberhasilan pada set data tertahan jika memungkinkan untuk menilai apakah peningkatan dapat digeneralisasi di luar data yang digunakan selama pengoptimalan.
Hasil ini menunjukkan bahwa peningkatan alur kerja otonom dapat diterapkan melampaui tolok ukur pemrograman ke sistem AI perusahaan di dunia nyata, sehingga membuka jalur praktis menuju aplikasi AI yang terus berkembang.
Riset terbaru tentang penelitian AI otonom, termasuk makalah Meta-Harness, kerangka kerja CORAL, dan karpathy/autoresearch, telah menunjukkan bahwa agen pemrograman dapat meningkatkan solusi secara iteratif berdasarkan metrik evaluasi. Pertanyaan yang belum terjawab adalah apakah metode tersebut dapat diterapkan pada alur kerja AI berjangka panjang, seperti pengambilan multimodal berbasis agen, ketika agen harus berulang kali menelusuri korpus domain multimodal untuk menjawab pertanyaan, atau pada pipeline pemrosesan data kompleks yang memerlukan banyak langkah saling bergantung, pemanggilan alat, dan keputusan penanganan pengecualian. Pertanyaan yang lebih mendasar adalah apakah peningkatan tersebut tetap bertahan pada data yang tidak pernah dilihat pengoptimal.
Litbang Meta-Harness kami merupakan jawaban atas pertanyaan itu. Sistem ini mengambil gagasan dari riset terbaru dan menyesuaikannya dengan kebutuhan perusahaan: evaluasi tertahan, jejak audit, plafon biaya, dan titik serah-terima yang jelas kepada peninjau manusia sebelum hasil apa pun diterapkan.
Kami mengujinya pada tiga tugas berjangka panjang yang meniru pekerjaan nyata klien. Signal Engine memantau aliran langsung postingan X tentang pasar AI dan menghasilkan laporan tren terstruktur dengan sumber yang kuat. Agentic Multimodal Retrieval menalar kueri campuran teks dan gambar untuk mengembalikan halaman dokumen yang paling relevan. Riset Mendalam mengorkestrasi beberapa agen untuk menelusuri web, memeriksa silang sumber, dan menulis laporan riset panjang.
Signal Engine: skor gabungan pengujian tertahan 0,456 → 0,841, peningkatan relatif sebesar 84%. CORAL dan karpathy/autoresearch tetap di bawah 0,50 dengan anggaran yang sama.
Agentic Multimodal Retrieval: NDCG@10 tertahan 0,705 → 0,744, sementara durasi per evaluasi turun dari 869 dtk menjadi 54 dtk. Artinya, proses 16× lebih cepat dengan akurasi lebih tinggi.
Riset Mendalam: skor gabungan kualitas laporan 0,449 → 0,802 pada 10 pertanyaan referensi, dibandingkan sekitar 0,52 untuk baseline. Tugas ini tidak memiliki pembagian data tertahan, jadi angka tersebut hanya kami perlakukan sebagai hasil dalam sampel.
Efisiensi pencarian: dengan Pemeringkatan Ulang Hipotesis Prediktif, Signal Engine mencapai 91% dari skor terbaik proses referensi dalam 3 iterasi, bukan 20, dengan anggaran evaluasi yang sama.
Sebagian besar sistem riset otonom mengoptimalkan dan mengevaluasi pada set data yang sama, sehingga hasilnya tidak dapat dipastikan bisa digeneralisasi. Untuk Signal Engine dan Agentic Multimodal Retrieval, kami menerapkan pembagian yang ketat: set pelatihan yang dapat digunakan kandidat untuk memperoleh skor, set pengembangan untuk pemeriksaan kewajaran, dan set pengujian tertahan yang tidak pernah dilihat pengoptimal. Setiap hasil yang dilaporkan berasal dari satu versi kode tertentu yang dinilai pada semua pembagian data. Jadi, kami tidak pernah mencampur skor pelatihan terbaik dari satu kandidat dengan skor pengujian terbaik dari kandidat lain.
Pada setiap putaran, harness menghasilkan sekumpulan hipotesis terstruktur untuk mengubah kode. Setiap hipotesis menyebutkan mekanisme yang hendak diubah, versi sebelumnya yang menjadi dasar, dan jenis kegagalan yang ditargetkan. Tahap pemeringkatan menyaring kumpulan tersebut sebelum evaluasi yang mahal dijalankan. Hipotesis yang lolos diteruskan kepada agen pekerja paralel. Mereka berbagi basis pengetahuan, tetapi mengedit kode di workspace yang sepenuhnya terisolasi agar setiap kandidat dinilai secara adil dan independen. Pada akhir putaran, runner memilih satu pemenang: kandidat dengan skor tertinggi yang juga lulus setiap pemeriksaan pada semua pembagian data yang terlihat. Pemenang tersebut menjadi kandidat terdepan yang dijadikan dasar putaran berikutnya. Setiap uji coba menulis paket tetap ke penyimpanan bukti yang hanya dapat ditambahi: patch kode, skor per pembagian data, log peristiwa, serta empat analisis singkat buatan LLM tentang jejak proses, kesalahan, biaya, dan refleksi. Pengusul pada putaran berikutnya membaca kembali riwayat ini. Dengan demikian, harness mengakumulasi pembelajaran alih-alih mengulangi jalan buntu yang sama.
Tiga pagar pengaman menjaga agar perulangan ini tetap aman dijalankan. Kebijakan cakupan membatasi berkas yang boleh diubah kandidat dan mengembalikan setiap perubahan di luar cakupan tersebut. Batas token dan durasi menghentikan proses saat pengeluaran melampaui plafon, sedangkan batas konkurensi menjaga harness tetap dalam batas laju model dan GPU. Harness juga tidak pernah menerapkan hasilnya sendiri. Harness menghasilkan kandidat berperingkat dengan dokumentasi lengkap, lalu engineer manusia meninjau diff dan memutuskan apakah kandidat itu akan diterapkan ke produksi.
Pada stack lokal, lima komponen dasar rekayasa menopang setiap putaran perulangan di atas.
Isolasi Workspace. Satu git worktree untuk setiap kandidat. Hasil fork berbagi satu basis data objek, tetapi tidak pernah berbagi berkas. Dengan demikian, kandidat dapat berjalan secara paralel dengan biaya disk yang nyaris konstan dan mudah dibandingkan melalui diff dengan kandidat terdepan saat ini.
Sandbox Eksekusi. Dua mode melalui konfigurasi: subproses native untuk iterasi cepat atau runtime yang sepenuhnya terisolasi. Korpus dipasang sebagai hanya-baca, dan direktori sementara setiap uji coba dibuang setelah penilaian. Akibatnya, uji coba tidak dapat mengubah set data atau membocorkan status ke uji coba berikutnya.
Kebijakan Cakupan. Daftar jalur yang diizinkan dan ditetapkan dalam konfigurasi eksperimen. Setiap perubahan di luar daftar itu dikembalikan sebelum uji coba dinilai, dan uji coba tersebut ditandai. Dengan demikian, diff yang dilihat peninjau dijamin tetap berada dalam cakupan yang ditetapkan.
Penegakan Anggaran. Tiga lapisan: batas token dan durasi per uji coba, plafon agregat per proses, dan batas konkurensi. Ketiganya menjaga pengeluaran tetap terprediksi dan memastikan harness mematuhi batas laju model serta infrastruktur.
Penyimpanan Bukti. JSONL yang hanya dapat ditambahi, berisi patch kode, skor per pembagian data, log peristiwa, dan empat analisis buatan LLM. Tampilan termaterialisasi (papan peringkat, kandidat terdepan, indeks kegagalan) dibuat ulang setelah setiap uji coba. Putaran selanjutnya dapat memanfaatkan riwayat sebelumnya, sementara setiap proses tetap dapat direproduksi secara identik hingga tingkat byte.
Tidak satu pun komponen dasar ini bersifat opsional. Tujuan harness adalah memberi peninjau sesuatu yang benar-benar dapat disetujui pada akhir proses: kandidat pemenang, diff yang dibatasi, catatan lengkap seluruh percobaan, dan biaya yang diketahui. Hilangkan salah satu dari kelimanya, maka salah satu jaminan tersebut juga hilang.
Ketiga eksperimen menggunakan strategi hipotesis yang sama. Pada setiap iterasi, pengusul menghasilkan lebih banyak hipotesis daripada yang dapat dijalankan anggaran: M = 8 kandidat untuk anggaran eksekusi K = 4. Pemeringkat LLM terpisah kemudian mengurutkan kedelapan kandidat dalam satu panggilan selama 30 detik, dengan gambaran lengkap: skor terbaik saat ini beserta dimensi lemahnya, analisis kegagalan dari uji coba terbaru, dan kedelapan proposal yang ditampilkan berdampingan. Empat teratas dikirim ke pelaksana dengan biaya waktu masing-masing 15 hingga 30 menit. Empat lainnya dibuang sebelum memakai anggaran apa pun.
Model dasarnya tidak berubah selama proses; harness hanya mengedit kode di sekelilingnya. Signal Engine dan Riset Mendalam dijalankan pada gpt-5.5. Agentic Multimodal Retrieval dijalankan pada Qwen3.6-35B-A3B berbobot terbuka yang disajikan secara lokal melalui vLLM dan dipasangkan dengan pengambil gambar ColQwen3-4B. Kombinasi ini dipilih agar biaya lokal dapat diprediksi.
Diagram di bawah menunjukkan perubahan skor untuk tiga tugas utama kami. “Awal” adalah kode awal yang ditulis oleh engineer manusia. “Meta-Harness” adalah versi terbaik yang ditemukan Meta-Harness. Kami melihat peningkatan kinerja untuk ketiga tugas pada set pengujian tertahan.
Signal Engine dievaluasi oleh juri LLM berdasarkan kebaruan, faktualitas, tingkat perincian, dan nada, menggunakan 150 twit pelatihan dan 150 twit pengujian tertahan. Sepanjang proses, versi terbaik meningkatkan skor gabungan pelatihan dari 0,431 menjadi 0,756 dan skor tertahan dari 0,456 menjadi 0,841. Peningkatan tersebut berasal dari perubahan pada harness itu sendiri, bukan sekadar penyesuaian prompt: iterasi pemenang belajar menyaring derau media sosial, menambahkan langkah pemeriksaan silang fakta, dan mewajibkan setiap keluaran didasarkan pada bukti eksplisit. Diagram di bawah menunjukkan proses iterasinya.
Riwayat uji coba menunjukkan bagaimana peningkatan tersebut terakumulasi. Perubahan struktural awal meningkatkan skor terbaik berjalan menjadi 0,625; pengelolaan bukti yang lebih terperinci mendorongnya ke 0,679; dan perulangan refleksi serta rubrik yang disempurnakan mengangkatnya ke 0,819. Sekitar separuh dari seluruh proses kandidat berkinerja lebih buruk atau gagal total, tetapi tidak mencemari papan peringkat: setiap fork berjalan secara terisolasi, diff yang kalah dibuang, dan kegagalan dicatat dalam penyimpanan refleksi agar pengusul berikutnya tidak mengulangi jalan buntu yang sama.
Yang terpenting, kurva tertahan meningkat seiring dengan kurva pelatihan sepanjang proses. Hal ini menunjukkan bahwa harness meningkatkan alur kerja, bukan menghafal korpus pelatihan. Skor tertahan sedikit lebih tinggi daripada skor pelatihan. Kami menafsirkannya sebagai derau pengambilan sampel yang wajar antara dua pembagian data kecil yang tidak tumpang tindih.
Agentic Multimodal Retrieval diukur dengan NDCG@10 pada pembagian Computer Science publik ViDoRe V3, yang dikurasi menjadi 20 kueri pelatihan, 10 pengembangan, dan 20 pengujian tertahan. Harness meningkatkan NDCG@10 tertahan dari 0,705 menjadi 0,744 sekaligus memangkas total durasi evaluasi dari 869 detik menjadi 54 detik.
Riset Mendalam dinilai berdasarkan skor gabungan kualitas substansi dan kualitas referensi oleh juri LLM, mengikuti DeepResearch-Eval, pada 10 pertanyaan referensi. Kode yang ditingkatkan menaikkan nilai rata-rata dari 0,449 menjadi 0,802. Perubahan pemenang mudah dikenali dari diff: langkah perencanaan awal yang membandingkan berbagai pendekatan sebelum agen riset ditugaskan, serta langkah tinjauan akhir yang menargetkan dimensi dengan skor laporan yang sebelumnya rendah. Karena set ini kecil dan mahal untuk dievaluasi, kami tidak membaginya dan memperlakukan hasilnya sebagai hasil dalam sampel.
Kami membandingkan ketiga metode dengan anggaran yang sama: set data, model dasar, batas iterasi, dan jumlah evaluasi kandidat yang sama. Pada Signal Engine, Meta-Harness mencapai 0,841 dalam pengujian tertahan, sedangkan kedua baseline tetap di bawah 0,50. Pada Agentic Multimodal Retrieval, tim kami memperoleh NDCG@10 tertahan tertinggi (0,744, dibandingkan 0,700 untuk CORAL dan 0,738 untuk karpathy) serta menjalankan evaluasi resmi 12 hingga 14 kali lebih cepat: 54 dtk dibandingkan 786 dtk dan 650 dtk. Pada Riset Mendalam, tim kami mencapai 0,802, sedangkan kedua baseline tetap di sekitar 0,52. Ada satu catatan penting: kami mengimplementasikan ulang CORAL dan karpathy/autoresearch berdasarkan deskripsi yang dipublikasikan. Jadi, sebagian kesenjangan mungkin mencerminkan perbedaan implementasi, bukan hanya perbedaan metode.
Empat pilihan desain menjelaskan kesenjangan tersebut. Pertama, tim kami membuat spesifikasi desain terstruktur sebelum mengedit kode. Hal ini mengarahkannya pada perubahan struktural seperti tahap pipeline baru, bukan sekadar penyesuaian prompt. Kedua, sistem menjalankan fork secara bersamaan dengan berpatokan pada kandidat terdepan bersama. Dengan demikian, peningkatan terakumulasi lebih cepat daripada agen independen CORAL atau perulangan karpathy yang sepenuhnya berurutan. Ketiga, setiap uji coba meninggalkan artefak terstruktur (skor, log peristiwa, dan empat analisis buatan LLM) yang dibaca kembali oleh pengusul berikutnya, sedangkan baseline hanya menyimpan log percobaan biasa. Keempat, pengontrol adaptif mengarahkan pengusul untuk bereksplorasi setelah kemajuan terhenti dan melakukan penyempurnaan setelah berhasil. Di atasnya, Pemeringkatan Ulang Hipotesis Prediktif membuang gagasan lemah sebelum menghabiskan anggaran.
Kurva tertahan menunjukkan generalisasi dalam domain, bukan transfer lintas domain: alur kerja yang disesuaikan untuk mengekstrak sinyal pasar AI tidak dapat diharapkan tetap andal pada teks hukum atau biomedis tanpa menjalankan ulang harness. Harness juga hanya mengoptimalkan sasaran yang ditetapkan penilai. Karena itu, set pelatihan yang berderau atau juri yang tidak terkalibrasi akan di-overfit dengan akurat. Sebelum menjalankan proses serius, kami menyarankan sedikitnya 20 item pelatihan yang dikurasi dengan baik dan pembagian pengembangan terpisah. Biaya adalah kendala praktis terbesar. Setiap evaluasi menjalankan ulang seluruh pipeline pada semua pembagian data. Kandidat pengambilan yang dipilih saja menghabiskan sekitar 2,2 juta token masukan, sedangkan pengoptimalan serius pada model sekelas gpt-5.5 memerlukan biaya ratusan hingga beberapa ribu dolar per tugas. Terakhir, angka-angka ini berasal dari satu proses, bukan uji coba berulang. Karena itu, kami membagikannya sebagai artikel blog rekayasa, bukan studi formal.
Meta-Harness menunjukkan bahwa peningkatan kode otonom dapat dibuat cukup disiplin untuk digunakan oleh perusahaan. Unsur utamanya adalah hipotesis struktural, penyaringan awal prediktif, evaluasi terisolasi, pengujian tertahan jika data memungkinkan, dan jejak audit lengkap untuk setiap perubahan yang dipilih. Semua unsur tersebut memberi tim engineering jalur yang dapat diprediksi dari pipeline awal yang berfungsi menuju pipeline yang terbukti lebih baik. Bagi pemilik operasional, modelnya sederhana: manfaat eksplorasi otonom tetap berada dalam kerangka ketat yang memperhitungkan anggaran, dengan keterlibatan manusia sebelum hasil apa pun diterapkan.