기존 자율 개선 시스템은 코딩 작업에서 뛰어난 성과를 보였지만, 실제 기업 배포 환경과 유사한 복잡하고 장기적인 AI 워크플로까지 개선할 수 있는지는 여전히 불분명합니다.
Meta-Harness 연구는 자율적 자기 개선을 에이전트형 검색, 심층 리서치, 신호 인텔리전스 워크플로에 적용하면서 홀드아웃 평가, 감사 가능성, 예산 제어, 인간 승인 등 기업 환경의 요구 사항을 더했습니다.
대표적인 워크로드 3개에서 Meta-Harness는 성능을 크게 개선했습니다. Signal Engine은 홀드아웃 테스트 성능이 84% 향상됐고, 에이전트형 멀티모달 검색은 정확도가 높아지는 동시에 실행 속도가 16배 빨라졌습니다.
Meta-Harness는 대부분의 기존 접근 방식과 달리, 가능한 경우 홀드아웃 데이터세트에서 성공 여부를 측정해 개선 효과가 최적화에 사용한 데이터 밖에서도 일반화되는지 평가합니다.
이 결과는 자율적인 워크플로 개선을 코딩 벤치마크를 넘어 실제 기업용 AI 시스템에도 적용할 수 있으며, 지속적으로 발전하는 AI 애플리케이션을 구현할 현실적인 길이 있음을 보여줍니다.
Meta-Harness 논문, CORAL 프레임워크, karpathy/autoresearch를 비롯한 최근의 자율 AI 연구는 평가 지표가 주어졌을 때 코딩 에이전트가 솔루션을 반복적으로 개선할 수 있음을 보여주었습니다. 그러나 이러한 방법을 장기적인 AI 워크플로에도 적용할 수 있는지는 아직 밝혀지지 않았습니다. 여기에는 에이전트가 질문에 답하기 위해 여러 형식의 도메인 코퍼스를 반복 탐색해야 하는 에이전트형 멀티모달 검색이나, 서로 의존하는 여러 단계와 도구 호출, 예외 처리 판단이 필요한 복잡한 데이터 처리 파이프라인이 포함됩니다. 더 근본적인 질문은 최적화 도구가 전혀 보지 못한 데이터에서도 개선 효과가 유지되는가입니다.
Meta-Harness R&D는 그 질문에 대한 저희의 답입니다. 최근 연구의 아이디어를 홀드아웃 평가, 감사 추적, 비용 상한, 배포 전 인간 검토자에게 명확히 인계하는 절차 등 기업 환경의 요구에 맞게 재구성했습니다.
실제 고객 업무를 본뜬 장기 작업 3개에서 이를 테스트했습니다. Signal Engine은 AI 시장에 관한 X 게시물의 실시간 스트림을 모니터링하고, 출처가 명확한 구조화된 동향 보고서를 작성합니다. 에이전트형 멀티모달 검색은 텍스트와 이미지가 혼합된 쿼리를 추론해 가장 관련성 높은 문서 페이지를 반환합니다. 심층 리서치는 여러 에이전트를 조율해 웹을 검색하고 출처를 교차 검증하며 장문의 연구 보고서를 작성합니다.
Signal Engine: 홀드아웃 테스트 종합 점수가 0.456 → 0.841로 상승해 상대적으로 84% 개선됐습니다. 같은 예산에서 CORAL과 karpathy/autoresearch는 모두 0.50 미만에 머물렀습니다.
에이전트형 멀티모달 검색: 홀드아웃 NDCG@10이 0.705 → 0.744로 상승했고, 평가당 경과 시간은 869초에서 54초로 줄었습니다. 정확도를 높이면서 속도도 16배 향상된 것입니다.
심층 리서치: 기준 질문 10개에서 보고서 품질 종합 점수가 0.449 → 0.802로 상승했습니다. 기준 방식은 약 0.52였습니다. 이 작업에는 홀드아웃 분할이 없었으므로 해당 수치는 표본 내 결과로만 봅니다.
탐색 효율: 예측 기반 가설 재순위화를 적용한 Signal Engine은 동일한 평가 예산에서 20회가 아닌 3회의 반복만으로 기준 실행 최고 점수의 91%에 도달했습니다.
대부분의 자율 연구 시스템은 같은 데이터세트로 최적화와 평가를 수행하므로 결과가 일반화되는지 판단할 수 없습니다. Signal Engine과 에이전트형 멀티모달 검색에는 엄격한 분할을 적용합니다. 후보가 점수를 확인할 수 있는 학습 세트, 기본 검증용 개발 세트, 최적화 도구가 전혀 볼 수 없는 홀드아웃 테스트 세트로 나눕니다. 보고된 모든 결과는 하나의 특정 코드 버전을 모든 데이터 분할에서 평가한 것입니다. 따라서 한 후보의 최고 학습 점수와 다른 후보의 최고 테스트 점수를 섞지 않습니다.
각 라운드에서 하네스는 코드를 변경하기 위한 구조화된 가설을 일괄 생성합니다. 각 가설에는 변경하려는 메커니즘, 기반이 되는 이전 버전, 해결하려는 실패 유형이 명시됩니다. 비용이 많이 드는 평가를 실행하기 전에 순위 지정 단계에서 가설을 선별합니다. 선별된 가설은 공통 지식 기반을 공유하는 병렬 작업 에이전트로 전달됩니다. 각 에이전트는 완전히 격리된 워크스페이스에서 코드를 편집하므로 모든 후보를 공정하고 독립적으로 평가할 수 있습니다. 라운드가 끝나면 실행기는 공개된 데이터 분할의 모든 검사를 통과한 후보 중 점수가 가장 높은 하나를 최종 후보로 승격합니다. 이 최종 후보가 다음 라운드의 출발점이 됩니다. 모든 시도는 코드 패치, 분할별 점수, 이벤트 로그, 실행 추적·오류·비용·회고를 다룬 짧은 LLM 분석 4개로 구성된 고정 번들을 추가 전용 증거 저장소에 기록합니다. 다음 라운드의 제안자는 이 기록을 다시 읽습니다. 덕분에 하네스는 같은 막다른 길을 반복하지 않고 학습한 내용을 축적할 수 있습니다.
세 가지 가드레일이 루프의 안전한 실행을 보장합니다. 범위 정책은 후보가 수정할 수 있는 파일을 제한하고 범위를 벗어난 변경을 되돌립니다. 토큰 및 경과 시간 예산은 지출이 상한을 넘으면 실행을 중단하며, 동시 실행 제한은 하네스가 모델과 GPU의 속도 제한을 넘지 않도록 합니다. 또한 하네스가 결과물을 직접 배포하는 일은 없습니다. 하네스는 순위와 전체 문서가 갖춰진 후보를 제시하고, 인간 엔지니어가 변경 사항을 검토해 프로덕션 배포 여부를 결정합니다.
로컬 스택에서는 다섯 가지 엔지니어링 기본 요소가 위 루프의 모든 라운드를 뒷받침합니다.
워크스페이스 격리. 후보마다 하나의 Git 워크트리를 사용합니다. 포크는 객체 데이터베이스를 공유하지만 서로의 파일은 공유하지 않습니다. 따라서 디스크 비용이 거의 늘지 않은 채 후보를 병렬 실행할 수 있고, 현재 기준 후보와의 차이도 쉽게 비교할 수 있습니다.
실행 샌드박스. 설정에 따라 두 가지 모드를 지원합니다. 빠른 반복 작업에는 네이티브 하위 프로세스를, 그 외에는 완전히 격리된 런타임을 사용합니다. 코퍼스는 읽기 전용으로 마운트되며 시도별 임시 디렉터리는 평가 후 폐기됩니다. 따라서 시도가 데이터세트를 변경하거나 다음 시도에 상태를 유출할 수 없습니다.
범위 정책. 실험 설정에 경로 허용 목록을 선언합니다. 목록 밖에서 발생한 모든 변경은 시도 평가 전에 되돌리고 해당 시도에는 플래그를 지정합니다. 따라서 검토자가 보는 변경 사항은 선언된 범위를 벗어나지 않습니다.
예산 집행. 시도별 토큰 및 경과 시간 상한, 실행별 총상한, 동시 실행 제한의 세 계층으로 구성됩니다. 이를 통해 지출을 예측 가능한 수준으로 유지하고 하네스가 모델 및 인프라의 속도 제한을 지키게 합니다.
증거 저장소. 코드 패치, 분할별 점수, 이벤트 로그, LLM이 작성한 분석 4개를 추가 전용 JSONL에 저장합니다. 구체화된 뷰(리더보드, 기준 후보, 실패 색인)는 각 시도 후 재생성됩니다. 이후 라운드는 이전 기록을 활용하면서도 모든 실행을 바이트 단위까지 동일하게 재현할 수 있습니다.
이 기본 요소 중 어느 것도 생략할 수 없습니다. 하네스의 목적은 실행이 끝났을 때 검토자가 실제로 승인할 수 있는 결과를 제공하는 것입니다. 즉, 최종 후보, 범위가 제한된 변경 사항, 모든 시도의 전체 기록, 확정된 비용을 남기는 것입니다. 다섯 가지 중 하나라도 제거하면 이러한 보장 중 하나가 사라집니다.
세 실험은 모두 같은 가설 전략을 사용합니다. 제안자는 매 반복마다 예산으로 실행할 수 있는 수보다 많은 가설을 생성합니다. 디스패치 예산 K = 4에 대해 M = 8개의 후보를 만듭니다. 별도의 LLM 순위 지정 모델은 현재 최고 점수와 취약한 평가 항목, 최근 시도의 실패 분석, 나란히 놓인 8개 제안 전체를 참고해 단 한 번의 30초 호출로 8개 모두의 순위를 정합니다. 상위 4개는 각각 15~30분의 비용이 드는 실행기로 전달됩니다. 나머지 4개는 비용이 발생하기 전에 제외됩니다.
기반 모델은 전체 과정에서 고정했으며 하네스는 모델 주변의 코드만 편집했습니다. Signal Engine과 심층 리서치는 gpt-5.5에서 실행했습니다. 에이전트형 멀티모달 검색은 vLLM을 통해 로컬에서 제공되는 오픈 웨이트 Qwen3.6-35B-A3B와 ColQwen3-4B 이미지 검색 모델을 함께 사용했습니다. 예측 가능한 온프레미스 비용을 위해 선택한 조합입니다.
아래 차트는 세 가지 주요 작업의 점수 변화를 보여줍니다. ‘시드’는 인간 엔지니어가 작성한 초기 코드입니다. ‘Meta-Harness’는 Meta-Harness가 찾아낸 최고 버전입니다. 홀드아웃 테스트 세트에서 세 작업 모두 성능이 향상됐습니다.
Signal Engine은 학습용 트윗 150개와 홀드아웃 테스트용 트윗 150개를 사용해 최신성, 사실성, 세분성, 어조를 LLM 심사 모델로 평가했습니다. 실행 과정에서 최고 버전의 학습 종합 점수는 0.431에서 0.756으로, 홀드아웃 점수는 0.456에서 0.841로 상승했습니다. 성과는 단순한 프롬프트 수정이 아니라 하네스 자체의 변경에서 나왔습니다. 우수한 반복 작업은 소셜 미디어의 잡음을 걸러내고, 사실 교차 검증 단계를 추가하며, 모든 출력이 명시적인 증거를 근거로 삼도록 했습니다. 아래 다이어그램은 반복 과정을 보여줍니다.
시도 기록을 보면 이러한 개선이 어떻게 축적됐는지 알 수 있습니다. 초기의 구조 변경으로 당시 최고 점수가 0.625까지 올랐고, 더 세밀한 증거 처리로 0.679에 도달했으며, 개선된 회고 및 평가 기준 루프로 0.819까지 상승했습니다. 전체 후보 실행 중 약 절반은 성능이 떨어지거나 완전히 실패했지만 리더보드를 오염시키지는 않았습니다. 각 포크가 격리된 환경에서 실행됐고, 탈락한 변경 사항은 폐기됐으며, 다음 제안자가 같은 막다른 길을 반복하지 않도록 실패 기록을 회고 저장소에 남겼습니다.
무엇보다 홀드아웃 곡선은 전체 실행 과정에서 학습 곡선과 함께 상승했습니다. 이는 하네스가 학습 코퍼스를 암기한 것이 아니라 워크플로 자체를 개선했음을 시사합니다. 홀드아웃 점수는 학습 점수보다 조금 높았습니다. 이는 규모가 작고 서로 겹치지 않는 두 데이터 분할 간에 발생한 일반적인 표본 추출 잡음으로 해석합니다.
에이전트형 멀티모달 검색은 공개 ViDoRe V3 Computer Science 분할을 학습 쿼리 20개, 개발 쿼리 10개, 홀드아웃 테스트 쿼리 20개로 구성해 NDCG@10으로 측정합니다. 하네스는 홀드아웃 NDCG@10을 0.705에서 0.744로 높이는 동시에 전체 평가 경과 시간을 869초에서 54초로 줄였습니다.
심층 리서치는 DeepResearch-Eval에 따라 기준 질문 10개에서 내용 품질과 참고 자료 품질을 LLM으로 심사한 종합 점수로 평가합니다. 개선된 코드로 평균 점수가 0.449에서 0.802로 상승했습니다. 성과를 낸 변경 사항은 차이 비교에서 쉽게 확인할 수 있었습니다. 리서치 에이전트를 투입하기 전에 여러 접근법을 비교하는 사전 계획 단계와, 과거 보고서에서 점수가 낮았던 항목을 집중적으로 검토하는 최종 단계가 추가됐습니다. 이 세트는 작고 평가 비용이 많이 들기 때문에 분할하지 않았으며 결과는 표본 내 성능으로 봅니다.
세 방법을 동일한 예산으로 벤치마킹했습니다. 데이터세트, 기반 모델, 최대 반복 횟수, 전체 후보 평가 횟수를 모두 같게 설정했습니다. Signal Engine에서 Meta-Harness는 홀드아웃 테스트 점수 0.841을 기록했지만, 두 기준 방식은 모두 0.50 미만에 머물렀습니다. 에이전트형 멀티모달 검색에서 저희 방식은 홀드아웃 NDCG@10이 가장 높았고(CORAL 0.700, karpathy 0.738 대비 0.744), 공식 평가 실행 속도도 12~14배 빨랐습니다(786초와 650초 대비 54초). 심층 리서치에서 저희 방식은 0.802에 도달했지만 두 기준 방식은 모두 0.52 안팎에 머물렀습니다. 단, 모든 비교에는 한 가지 주의점이 있습니다. CORAL과 karpathy/autoresearch는 공개된 설명을 바탕으로 저희가 재구현했으므로 일부 격차는 방법 자체뿐 아니라 구현 방식의 차이에서 비롯됐을 수 있습니다.
이러한 격차는 네 가지 설계 선택에서 비롯됩니다. 첫째, 코드를 편집하기 전에 구조화된 설계 사양을 작성하므로 단순한 프롬프트 수정이 아니라 새로운 파이프라인 단계 추가와 같은 구조적 변경에 집중하게 됩니다. 둘째, 공유된 기준 후보에서 분기한 포크를 동시에 실행하므로 CORAL의 독립 에이전트나 karpathy의 엄격한 순차 루프보다 개선 사항을 더 빠르게 축적할 수 있습니다. 셋째, 모든 시도는 다음 제안자가 다시 읽을 수 있는 구조화된 결과물(점수, 이벤트 로그, LLM이 작성한 분석 4개)을 남깁니다. 반면 기준 방식은 단순한 시도 로그만 보관합니다. 넷째, 적응형 컨트롤러는 정체 후에는 제안자가 탐색에, 성공 후에는 개선에 집중하도록 합니다. 여기에 예측 기반 가설 재순위화를 적용해 가능성이 낮은 아이디어는 예산을 쓰기 전에 제외합니다.
홀드아웃 곡선이 보여주는 것은 도메인 내 일반화이지 도메인 간 전이는 아닙니다. AI 시장 신호 추출에 맞춰 조정된 워크플로가 하네스를 다시 실행하지 않고도 법률 또는 생의학 텍스트에서 같은 성능을 낼 것이라고 기대해서는 안 됩니다. 또한 하네스는 평가자가 정의한 목표만 최적화합니다. 따라서 학습 세트에 잡음이 많거나 심사 모델의 보정이 잘못되면 그 문제에 그대로 과적합됩니다. 본격적인 실행 전에는 엄선된 학습 항목을 최소 20개 준비하고 별도의 개발 분할을 마련하는 것이 좋습니다. 가장 큰 현실적 제약은 비용입니다. 평가할 때마다 전체 데이터 분할에서 전체 파이프라인을 다시 실행합니다. 선택된 검색 후보 하나에만 약 220만 개의 입력 토큰이 들었으며, gpt-5.5급 모델로 본격적인 최적화를 수행하면 작업당 수백 달러에서 천 달러대 초반의 비용이 발생합니다. 마지막으로 이 수치는 반복 실험이 아닌 단일 실행에서 얻은 결과입니다. 이 때문에 정식 연구가 아니라 엔지니어링 블로그 게시물로 공유합니다.
Meta-Harness는 자율적인 코드 개선을 기업에서 활용할 수 있을 만큼 체계적이고 통제 가능한 방식으로 구현할 수 있음을 보여줍니다. 핵심 요소는 구조적 가설, 예측 기반 사전 선별, 격리된 평가, 데이터가 허용하는 경우의 홀드아웃 테스트, 승격된 모든 변경 사항에 대한 전체 감사 추적입니다. 이 요소들을 결합하면 엔지니어링 팀은 작동하는 시드 파이프라인을 측정 가능한 수준으로 개선하는 예측 가능한 경로를 확보할 수 있습니다. 운영 책임자에게도 명확한 운영 모델을 제공합니다. 자율 탐색의 이점을 엄격하고 예산을 고려한 프레임워크 안에서 활용하되, 실제 배포 전에는 반드시 사람이 검토하는 방식입니다.