既存の自律改善システムはコーディングタスクで高い成果を示していますが、実際の企業導入に近い、複雑で長期的な AI ワークフローも改善できるかは明らかになっていません。
私たちの Meta-Harness Research は、自律的な自己改善をエージェント型検索、deep research、シグナルインテリジェンスの各ワークフローに適用するとともに、ホールドアウト評価、監査可能性、予算管理、人間による承認といった企業要件を組み込んでいます。
代表的な 3 つのワークロードすべてで、Meta-Harness は性能を大幅に改善しました。Signal Engine ではホールドアウトテスト性能が 84% 向上し、Agentic Multimodal Retrieval では精度を高めながら実行速度を 16 倍に向上させました。
従来の多くの手法と異なり、Meta-Harness は可能な限りホールドアウトデータセットで成功を測定し、最適化に使用したデータ以外にも改善が一般化するかを評価します。
これらの結果は、自律的なワークフロー改善をコーディングベンチマークにとどまらず、現実の企業向け AI システムにも広げられる可能性を示し、AI アプリケーションを継続的に改善する現実的な道筋を提示しています。
Meta-Harness 論文、CORAL フレームワーク、karpathy/autoresearch など、自律型 AI 研究の最近の成果は、評価指標があればコーディングエージェントが解決策を反復的に改善できることを示しています。なお未解決なのは、こうした手法が長期的な AI ワークフローにも通用するかという点です。たとえばエージェント型マルチモーダル検索では、エージェントが質問に答えるために、複数形式の専門コーパスを反復的に検索する必要があります。また、複雑なデータ処理パイプラインでは、相互に依存する多数の手順、ツール呼び出し、例外処理の判断が求められます。より本質的な問いは、最適化システムが一度も見ていないデータでも改善効果が維持されるかです。
私たちの Meta-Harness R&D は、その問いに対する答えです。最近の研究成果を取り入れ、ホールドアウト評価、監査証跡、コスト上限、リリース前に人間のレビュー担当者へ明確に引き渡す仕組みなど、企業のニーズに合わせて再設計しています。
実際の顧客業務を想定した 3 つの長期タスクでテストしました。Signal Engine は、AI 市場に関する X の投稿をリアルタイムで監視し、出典が明確な構造化トレンドレポートを作成します。Agentic Multimodal Retrieval は、テキストと画像が混在するクエリを推論し、最も関連性の高い文書ページを返します。deep research は、複数のエージェントを統括してウェブを検索し、情報源を相互確認して、詳細な調査レポートを作成します。
Signal Engine：ホールドアウトテストの複合スコアは 0.456 → 0.841 となり、相対的に 84% 向上しました。同じ予算では、CORAL と karpathy/autoresearch はいずれも 0.50 未満にとどまりました。
Agentic Multimodal Retrieval：ホールドアウトの NDCG@10 は 0.705 → 0.744、評価ごとの実行時間は 869 秒から 54 秒に短縮しました。精度を高めながら 16 倍高速化したことになります。
deep research：10 件の参照質問におけるレポート品質の複合スコアは 0.449 → 0.802、ベースラインは約 0.52 でした。このタスクにはホールドアウト分割がないため、この数値は標本内の結果としてのみ扱います。
探索効率：予測型仮説再ランキングにより、Signal Engine は同じ評価予算で、参照実行の最高スコアの91% に、20 回ではなく 3 回の反復で到達しました。
自律研究システムの多くは同じデータセットで最適化と評価を行うため、結果が一般化するかを判断できません。Signal Engine と Agentic Multimodal Retrieval では、候補が採点に使える訓練セット、妥当性確認用の開発セット、最適化システムが一度も見ないホールドアウトテストセットに厳密に分割しています。報告する各結果は、すべての分割で採点した特定の 1 つのコードバージョンに基づきます。そのため、ある候補の最高訓練スコアと別の候補の最高テストスコアを混在させることはありません。
各ラウンドで、ハーネスはコード変更に関する構造化された仮説をまとめて生成します。各仮説には、変更対象のメカニズム、土台とする前のバージョン、解決対象の失敗パターンが明記されます。コストの高い評価を実行する前に、ランキング処理で候補を絞り込みます。残った仮説は並列ワーカーエージェントに渡されます。各エージェントは共通のナレッジベースを共有しますが、完全に分離されたワークスペース内でコードを編集するため、各候補を公平かつ独立して採点できます。ラウンドの最後に、ランナーは可視分割の全チェックに合格した候補のうち、最高スコアの 1 件を勝者として昇格させます。その勝者が次のラウンドの土台になります。各試行では、コードパッチ、分割別スコア、イベントログ、さらにトレース、エラー、コスト、振り返りを扱う LLM 作成の 4 つの短い分析を、固定バンドルとして追記専用のエビデンスストアに記録します。次のラウンドの提案役はこの履歴を読み返します。これにより、ハーネスは同じ行き止まりを繰り返すのではなく、学習成果を積み上げられます。
3 つのガードレールにより、ループを安全に実行できます。スコープポリシーにより、候補が変更できるファイルを制限し、範囲外の変更を元に戻します。トークンと実時間の予算により、支出が上限を超えると実行を停止します。また、同時実行数の制限により、ハーネスをモデルと GPU のレート制限内に収めます。また、ハーネスが自ら何かをリリースすることはありません。順位付けされ、完全に文書化された候補を生成し、人間のエンジニアが差分をレビューして本番環境へ反映するかを判断します。
ローカルスタックでは、上記ループの各ラウンドを 5 つのエンジニアリング要素が支えています。
ワークスペースの分離。候補ごとに 1 つの git worktree を用意します。フォークはオブジェクトデータベースを共有しますが、互いのファイルは共有しません。そのため、ディスク使用量をほぼ一定に保ちながら候補を並列実行でき、現在のフロンティアとの差分も簡単に確認できます。
実行サンドボックス。設定で選べる 2 つのモードがあります。高速な反復向けのネイティブサブプロセス、または完全に分離されたランタイムです。コーパスは読み取り専用でマウントされ、試行ごとの一時ディレクトリは採点後に破棄されます。そのため、試行がデータセットを書き換えたり、次の試行に状態を持ち越したりすることはできません。
スコープポリシー。実験設定でパスの許可リストを指定します。許可リストの範囲外に加えられた変更は、試行の採点前に元に戻され、その試行にはフラグが付けられます。したがって、レビュー担当者が確認する差分は、宣言された範囲内に必ず収まります。
予算の強制適用。3 層構成です。試行ごとのトークン数と実時間の上限、実行全体の総上限、同時実行数の制限です。これらを組み合わせることで支出を予測可能にし、ハーネスをモデルとインフラのレート制限内に収めます。
エビデンスストア。コードパッチ、分割別スコア、イベントログ、LLM 作成の 4 つの分析を格納する追記専用 JSONL です。マテリアライズドビュー（リーダーボード、フロンティア、失敗インデックス）は試行ごとに再生成されます。これにより、すべての実行をバイト単位で再現可能に保ちながら、後続ラウンドで過去の履歴を活用できます。
これらの要素はどれも省略できません。ハーネスの目的は、実行の最後にレビュー担当者が実際に承認できるもの、つまり勝者となった候補、範囲を限定した差分、試した内容の完全な記録、明確なコストを残すことです。5 つのうち 1 つでも欠ければ、いずれかの保証が失われます。
3 つの実験はすべて同じ仮説戦略を使用します。各反復で、提案役は予算内で実行できる数を超える仮説を生成します。配分予算 K = 4 に対して候補は M = 8 です。続いて別の LLM ランカーが、現在の最高スコアと弱い評価項目、最近の試行に関する失敗分析、横並びにした 8 件の提案という全体像を確認し、30 秒の 1 回の呼び出しですべてを順位付けします。上位 4 件は実行役に送られ、それぞれ 15～30 分かけて実行されます。残りの 4 件は、コストが発生する前に破棄されます。
基盤モデルは全期間を通じて固定し、ハーネスが編集したのは周辺のコードだけです。Signal Engine と deep research は gpt-5.5 で実行しました。Agentic Multimodal Retrieval は、vLLM 経由でローカル提供するオープンウェイトの Qwen3.6-35B-A3B と、画像検索用の ColQwen3-4B を組み合わせて実行しました。オンプレミスのコストを予測しやすいことから、この構成を採用しています。
以下のグラフは、3 つの主要タスクのスコア推移を示しています。「Seed」は、人間のエンジニアが作成した開始時点のコードです。「Meta-Harness」は、Meta-Harness が見つけた最良のバージョンです。ホールドアウトテストセットでは、3 つのタスクすべてで性能が向上しました。
Signal Engine は、訓練用ツイート 150 件とホールドアウトテスト用ツイート 150 件を使い、鮮度、事実性、粒度、トーンを LLM 審査役が評価しました。実行を通じて、最良バージョンの訓練複合スコアは 0.431 から 0.756、ホールドアウトスコアは 0.456 から 0.841 に向上しました。改善はプロンプトの微調整だけでなく、ハーネス自体の変更によるものです。成功した反復では、ソーシャルメディアのノイズを除外し、事実の相互確認手順を追加し、すべての出力に明示的な根拠を求めるようになりました。以下の図は反復プロセスを示しています。
試行履歴から、こうした改善がどのように積み重なったかが分かります。初期の構造変更でその時点の最高値が 0.625 に上がり、より細かなエビデンス処理で 0.679 に達し、改良した振り返りと評価基準のループによって 0.819 まで向上しました。候補の実行の約半数は成績が振るわないか、完全に失敗しましたが、リーダーボードを汚染することはありませんでした。各フォークは分離して実行され、不採用の差分は破棄され、失敗は振り返りストアに記録されたため、次の提案役は同じ行き止まりを繰り返さずに済みました。
最も重要なのは、実行中を通じて、ホールドアウトの曲線が訓練曲線と並行して上昇したことです。これは、ハーネスが訓練コーパスを記憶したのではなく、ワークフローを改善していたことを示唆します。ホールドアウトスコアは訓練スコアをわずかに上回りましたが、これは小規模で重複のない 2 つの分割間に生じた通常のサンプリングノイズだと解釈しています。
Agentic Multimodal Retrieval は、公開されている ViDoRe V3 Computer Science 分割を、訓練クエリ 20 件、開発クエリ 10 件、ホールドアウトテストクエリ 20 件に整理し、NDCG@10 で測定します。ハーネスはホールドアウトの NDCG@10 を 0.705 から 0.744 に引き上げると同時に、評価全体の実時間を 869 秒から 54 秒に短縮しました。
deep research は、DeepResearch-Eval に従い、10 件の参照質問について、内容の質と参照情報の質を組み合わせた複合指標を LLM が採点します。改善後のコードでは、平均値が 0.449 から 0.802 に上昇しました。成功した変更は差分から容易に読み取れます。調査エージェントを配置する前に手法を比較する事前計画ステップと、過去にレポートの評価が低かった項目を重点的に確認する最終レビューステップです。このセットは小規模で評価コストが高いため分割せず、結果は標本内として扱います。
3 つの手法はすべて、同じデータセット、同じ基盤モデル、同じ反復回数上限、同じ候補評価総数という同一予算でベンチマークしました。Signal Engine では、Meta-Harness のホールドアウトテストスコアが 0.841 に達した一方、2 つのベースラインはいずれも 0.50 未満にとどまりました。Agentic Multimodal Retrieval では、私たちのチームがホールドアウト NDCG@10 で最高値を記録しました（0.744。CORAL は 0.700、karpathy は 0.738）。また、公式評価の実行速度は 12～14 倍で、54 秒に対し、それぞれ 786 秒と 650 秒でした。deep research では、私たちのチームが 0.802 に達した一方、2 つのベースラインはいずれも 0.52 前後にとどまりました。ただし、全体に共通する注意点があります。CORAL と karpathy/autoresearch は公開された説明に基づいて私たちが再実装したため、差の一部は手法そのものだけでなく、実装の違いによる可能性があります。
この差は 4 つの設計上の選択によるものです。第 1 に、私たちのチームはコードを編集する前に構造化された設計仕様を作成します。そのため、プロンプトの微調整よりも、新しいパイプライン段階の追加といった構造変更を優先しやすくなります。第 2 に、共有フロンティア候補を起点として複数のフォークを同時実行するため、CORAL の独立したエージェントや karpathy の厳密な逐次ループよりも速く改善を積み重ねられます。第 3 に、各試行は、次の提案役が読み返せる構造化成果物（スコア、イベントログ、LLM 作成の 4 つの分析）を残します。一方、ベースラインが保持するのは単純な試行ログだけです。第 4 に、適応型コントローラーは、停滞後には探索を、成功後には改良を提案役に促します。さらに予測型仮説再ランキングを重ね、予算を使う前に弱い案を除外します。
ホールドアウト曲線が示すのは同一ドメイン内での一般化であり、ドメイン間の転移ではありません。AI 市場のシグナル抽出向けに調整したワークフローを、ハーネスの再実行なしで法律や生物医学のテキストに適用しても、性能維持は期待できません。また、ハーネスが向上させるのは採点基準で定義された指標だけです。そのため、訓練セットにノイズがある、または審査役の調整が不適切であれば、それに忠実に過適合します。本格的な実行の前に、十分に精選した訓練項目を少なくとも 20 件用意し、開発セットを別に設けることを推奨します。実務上の最大の制約はコストです。各評価では全分割に対してパイプライン全体を再実行します。選ばれた検索候補だけで約 220 万入力トークンを消費し、gpt-5.5 クラスのモデルで本格的に最適化すると、タスクごとに数百～数千ドルかかります。最後に、これらの数値は反復試験ではなく単発の実行から得たものです。そのため、正式な研究ではなくエンジニアリングブログの記事として公開しています。
Meta-Harness は、自律的なコード改善を企業利用に耐えられるほど規律あるものにできることを示しています。その要素は、構造的な仮説、予測型の事前フィルタリング、分離された評価、データが許す限りのホールドアウトテスト、昇格した各変更の完全な監査証跡です。これらを組み合わせることで、エンジニアリングチームは稼働する seed パイプラインから、測定可能なほど優れたパイプラインへ進む予測可能な道筋を得られます。運用責任者にとっても、自律探索の利点を活かしつつ、厳格で予算を意識した枠組みの中に収め、リリース前に人間が関与するという明快な運用モデルになります。