Os sistemas existentes de melhoria autónoma têm demonstrado bons resultados em tarefas de programação, mas ainda não é claro se conseguem melhorar fluxos de trabalho de IA complexos e prolongados, semelhantes a implementações empresariais reais.
A nossa investigação sobre o Meta-Harness aplica a melhoria autónoma contínua a fluxos de recuperação agêntica, pesquisa aprofundada e informações de sinais, acrescentando requisitos empresariais como avaliações em dados reservados, auditabilidade, controlo orçamental e aprovação humana.
Em três cargas de trabalho representativas, o Meta-Harness melhorou substancialmente o desempenho, incluindo uma melhoria de 84% no desempenho em testes reservados do Signal Engine e maior precisão com uma execução 16 vezes mais rápida na Recuperação Multimodal Agêntica.
Ao contrário da maioria das abordagens anteriores, o Meta-Harness mede, sempre que possível, o sucesso em conjuntos de dados reservados para avaliar se as melhorias se generalizam para além dos dados usados durante a otimização.
Estes resultados sugerem que a melhoria autónoma dos fluxos de trabalho pode ir além dos testes de referência de programação e chegar aos sistemas empresariais de IA do mundo real, oferecendo uma via prática para melhorar continuamente as aplicações de IA.
Trabalhos recentes sobre investigação autónoma em IA, incluindo o artigo sobre o Meta-Harness, a framework CORAL e o karpathy/autoresearch, demonstraram que os agentes de programação conseguem melhorar iterativamente uma solução a partir de uma métrica de avaliação. Continua por esclarecer se esses métodos se aplicam a fluxos de trabalho de IA prolongados, como a recuperação multimodal agêntica, em que um agente tem de pesquisar iterativamente corpora multimodais especializados para responder a uma pergunta, ou a pipelines complexos de processamento de dados que exigem muitas etapas dependentes, chamadas de ferramentas e decisões de tratamento de exceções. A questão mais profunda é saber se os ganhos se mantêm em dados que o otimizador nunca vê.
A nossa I&D sobre o Meta-Harness é a resposta a essa questão. Recolhe ideias de investigação recente e adapta-as às necessidades empresariais: avaliação em dados reservados, registos de auditoria, tetos de custos e um ponto claro de passagem para um revisor humano antes de qualquer implementação.
Testámo-lo em três tarefas prolongadas inspiradas em trabalho real para clientes. O Signal Engine monitoriza um fluxo em direto de publicações no X sobre o mercado da IA e produz relatórios de tendências estruturados e bem fundamentados. A Recuperação Multimodal Agêntica analisa consultas que combinam texto e imagens para devolver as páginas de documentos mais relevantes. A Pesquisa Aprofundada coordena vários agentes para pesquisar na Web, cruzar fontes e redigir relatórios de investigação extensos.
Signal Engine: resultado composto no teste reservado de 0,456 → 0,841, um aumento relativo de 84%. O CORAL e o karpathy/autoresearch ficaram abaixo de 0,50 com o mesmo orçamento.
Recuperação Multimodal Agêntica: NDCG@10 reservado de 0,705 → 0,744, com o tempo decorrido por avaliação a baixar de 869 s para 54 s. Isto representa uma aceleração de 16 vezes, com maior precisão.
Pesquisa Aprofundada: resultado composto da qualidade dos relatórios de 0,449 → 0,802 em 10 perguntas de referência, contra cerca de 0,52 nas linhas de base. Esta tarefa não tinha uma partição reservada, pelo que consideramos o valor apenas dentro da amostra.
Eficiência da pesquisa: com a Reclassificação Preditiva de Hipóteses, o Signal Engine atingiu 91% da melhor pontuação da execução de referência em 3 iterações, em vez de 20, com o mesmo orçamento de avaliação.
A maioria dos sistemas de investigação autónoma otimiza e avalia no mesmo conjunto de dados, o que impede determinar se o resultado se generaliza. No Signal Engine e na Recuperação Multimodal Agêntica, impomos uma divisão rigorosa: um conjunto de treino em que os candidatos podem ser pontuados, um conjunto de desenvolvimento para verificações básicas e um conjunto de teste reservado que o otimizador nunca vê. Cada resultado comunicado provém de uma versão específica do código, pontuada em todas as partições; assim, nunca combinamos a melhor pontuação de treino de um candidato com a melhor pontuação de teste de outro.
Em cada ronda, o harness gera um lote de hipóteses estruturadas para alterar o código. Cada hipótese identifica o mecanismo que pretende alterar, a versão anterior em que se baseia e o modo de falha que visa corrigir. Uma etapa de classificação filtra o lote antes de se realizarem avaliações dispendiosas. As hipóteses selecionadas seguem para agentes executores em paralelo, que partilham uma base de conhecimentos comum, mas editam o código em ambientes de trabalho totalmente isolados, para que cada candidato seja avaliado de forma justa e independente. No final da ronda, o executor promove um vencedor: o candidato com a pontuação mais elevada que também passou todas as verificações nas partições visíveis. Esse vencedor torna-se a fronteira em que assenta a ronda seguinte. Cada ensaio guarda um conjunto fixo num repositório de evidências só de anexação: o patch de código, as pontuações por partição, um registo de eventos e quatro análises breves escritas por um LLM sobre o respetivo rastreio, erros, custos e reflexão. O proponente da ronda seguinte volta a consultar este histórico, permitindo ao harness acumular o que aprendeu em vez de repetir os mesmos becos sem saída.
Três salvaguardas garantem a execução segura do ciclo. Uma política de âmbito restringe os ficheiros que um candidato pode alterar e reverte tudo o que ficar fora desse âmbito. Os limites de tokens e de tempo decorrido interrompem a execução quando a despesa ultrapassa o limite superior, enquanto os limites de simultaneidade mantêm o harness dentro dos limites de taxa do modelo e das GPU. Além disso, o harness nunca implementa nada por si só. Produz um candidato classificado e totalmente documentado; depois, um engenheiro revê as diferenças e decide se este deve entrar em produção.
Numa infraestrutura local, cinco componentes fundamentais de engenharia sustentam cada ronda do ciclo acima.
Isolamento dos ambientes de trabalho. Uma árvore de trabalho do Git por candidato. Os forks partilham uma base de dados de objetos, mas nunca os ficheiros uns dos outros, o que permite executar candidatos em paralelo com um custo de armazenamento quase constante e comparar facilmente as diferenças com a fronteira atual.
Sandbox de execução. Dois modos definidos por configuração: subprocesso nativo para iterações rápidas ou um ambiente de execução totalmente isolado. Os corpora são montados em modo só de leitura e o diretório temporário de cada ensaio é eliminado após a avaliação. Assim, um ensaio não pode alterar o conjunto de dados nem transmitir estado ao seguinte.
Política de âmbito. Uma lista de caminhos permitidos declarada na configuração da experiência. Qualquer alteração fora dessa lista é revertida antes da avaliação do ensaio, que fica assinalado. Consequentemente, é garantido que as diferenças vistas pelo revisor permanecem dentro do âmbito declarado.
Aplicação dos limites orçamentais. Três níveis: limites de tokens e de tempo decorrido por ensaio, um limite superior agregado por execução e um limite de simultaneidade. Em conjunto, tornam a despesa previsível e garantem que o harness respeita os limites de utilização do modelo e da infraestrutura.
Repositório de evidências. Um ficheiro JSONL só de anexação com o patch de código, as pontuações por partição, o registo de eventos e as quatro análises escritas por um LLM. As vistas materializadas (tabela classificativa, fronteira e índice de falhas) são regeneradas após cada ensaio, permitindo que as rondas seguintes aproveitem o histórico anterior, sem deixar de tornar cada execução reproduzível byte a byte.
Nenhum destes componentes é opcional. O objetivo do harness é deixar ao revisor, no final de uma execução, algo que possa efetivamente aprovar: um candidato vencedor, um conjunto limitado de diferenças, um registo completo de todas as tentativas e um custo conhecido. Se retirarmos qualquer um dos cinco, uma dessas garantias desaparece.
As três experiências usam a mesma estratégia de hipóteses. Em cada iteração, o proponente gera mais hipóteses do que o orçamento permite executar: M = 8 candidatos para um orçamento de execução de K = 4. Em seguida, um LLM classificador ordena os oito numa única chamada de trinta segundos, tendo diante de si toda a informação: a melhor pontuação atual e as suas dimensões mais fracas, análises das falhas dos ensaios recentes e as oito propostas lado a lado. Os quatro primeiros seguem para o executor, com um custo de 15 a 30 minutos cada. Os outros quatro são descartados antes de gerarem qualquer despesa.
Os modelos subjacentes mantiveram-se inalterados durante todo o processo; o harness apenas editou o código em redor deles. O Signal Engine e a Pesquisa Aprofundada foram executados no gpt-5.5. A Recuperação Multimodal Agêntica foi executada no Qwen3.6-35B-A3B de pesos abertos, disponibilizado localmente através do vLLM e combinado com um recuperador de imagens ColQwen3-4B, uma solução escolhida pelo custo local previsível.
O gráfico abaixo mostra a evolução das pontuações nas nossas três tarefas principais. "Versão inicial" é o código de partida escrito por um engenheiro. "Meta-Harness" é a melhor versão encontrada pelo Meta-Harness. Observámos uma melhoria do desempenho nas três tarefas no conjunto de teste reservado.
O Signal Engine foi avaliado por um LLM juiz quanto a atualidade, exatidão factual, granularidade e tom, usando 150 tweets de treino e 150 tweets de teste reservados. Ao longo da execução, a melhor versão aumentou o resultado composto de treino de 0,431 para 0,756 e a pontuação reservada de 0,456 para 0,841. Os ganhos vieram de alterações ao próprio harness, e não apenas de ajustes aos prompts: as iterações vencedoras aprenderam a filtrar o ruído das redes sociais, acrescentaram etapas de verificação cruzada dos factos e exigiram que todos os resultados se baseassem em evidências explícitas. O diagrama abaixo mostra o processo de iteração.
O histórico de ensaios mostra como estes ganhos se acumularam. Uma alteração estrutural inicial elevou o melhor resultado acumulado para 0,625; um tratamento mais granular das evidências aumentou-o para 0,679; e um ciclo aperfeiçoado de reflexão e critérios de avaliação elevou-o a 0,819. Cerca de metade das execuções candidatas teve um desempenho inferior ou falhou por completo, mas não contaminou a tabela classificativa: cada fork foi executado isoladamente, as diferenças das versões perdedoras foram descartadas e as falhas foram registadas no repositório de reflexões, para que o proponente seguinte não repetisse o mesmo beco sem saída.
Mais importante ainda, a curva dos dados reservados subiu a par da curva de treino ao longo de toda a execução. Isto sugere que o harness estava a melhorar o fluxo de trabalho, em vez de memorizar o corpus de treino. As pontuações reservadas ficaram ligeiramente acima das de treino, o que interpretamos como ruído de amostragem normal entre duas partições pequenas e distintas.
A Recuperação Multimodal Agêntica é medida através do NDCG@10 na partição pública de Informática do ViDoRe V3, organizada em 20 consultas de treino, 10 de desenvolvimento e 20 de teste reservadas. O harness aumentou o NDCG@10 reservado de 0,705 para 0,744, reduzindo simultaneamente o tempo decorrido total da avaliação de 869 segundos para 54 segundos.
A Pesquisa Aprofundada é avaliada através de um resultado composto, atribuído por um LLM, que combina a qualidade do conteúdo e das referências, seguindo o DeepResearch-Eval, em 10 perguntas de referência. O código melhorado aumentou a média de 0,449 para 0,802. As alterações vencedoras eram fáceis de identificar nas diferenças: uma etapa inicial de planeamento que compara abordagens antes de mobilizar agentes de investigação e uma etapa final de revisão centrada nas dimensões em que os relatórios tinham historicamente obtido resultados fracos. Como este conjunto é pequeno e dispendioso de avaliar, não o dividimos e consideramos o resultado como sendo dentro da amostra.
Comparámos os três métodos com o mesmo orçamento: os mesmos conjuntos de dados, os mesmos modelos subjacentes, o mesmo limite de iterações e o mesmo número total de avaliações de candidatos. No Signal Engine, o Meta-Harness atinge 0,841 no teste reservado, enquanto ambas as linhas de base ficaram abaixo de 0,50. Na Recuperação Multimodal Agêntica, a nossa equipa obtém o NDCG@10 reservado mais elevado (0,744, contra 0,700 do CORAL e 0,738 do karpathy) e executa a avaliação oficial entre doze e catorze vezes mais depressa: 54 s, contra 786 s e 650 s. Na Pesquisa Aprofundada, a nossa equipa atinge 0,802, enquanto ambas as linhas de base ficaram perto de 0,52. Há uma ressalva aplicável a toda a comparação: reimplementámos o CORAL e o karpathy/autoresearch a partir das descrições publicadas, pelo que parte da diferença pode refletir variações de implementação, e não apenas dos métodos.
Quatro opções de conceção explicam a diferença. Em primeiro lugar, a nossa equipa gera uma especificação de conceção estruturada antes de editar qualquer código, o que favorece alterações estruturais, como novas etapas da pipeline, em vez de ajustes aos prompts. Em segundo lugar, executa forks simultâneos ancorados num candidato de fronteira comum, pelo que as melhorias se acumulam mais depressa do que com os agentes independentes do CORAL ou o ciclo estritamente sequencial do karpathy. Em terceiro lugar, cada ensaio deixa artefactos estruturados — pontuações, registos de eventos e quatro análises escritas por um LLM — que o proponente seguinte consulta, enquanto as linhas de base conservam apenas registos simples das tentativas. Em quarto lugar, um controlador adaptativo orienta o proponente para a exploração após uma estagnação e para o aperfeiçoamento após um êxito, recorrendo ainda à Reclassificação Preditiva de Hipóteses para eliminar ideias fracas antes de consumirem orçamento.
As curvas dos dados reservados demonstram generalização dentro do domínio, não transferência entre domínios: não se deve esperar que um fluxo de trabalho otimizado para extrair sinais do mercado da IA mantenha o desempenho em textos jurídicos ou biomédicos sem voltar a executar o harness. Além disso, o harness só otimiza aquilo que o avaliador define; por isso, ajusta-se fielmente em excesso a um conjunto de treino ruidoso ou a um juiz mal calibrado. Antes de uma execução séria, recomendamos pelo menos 20 elementos de treino bem selecionados e uma partição de desenvolvimento separada. O custo é a maior limitação prática. Cada avaliação volta a executar toda a pipeline em todas as partições; só o candidato de recuperação selecionado consumiu cerca de 2,2 milhões de tokens de entrada, e uma otimização séria num modelo da classe do gpt-5.5 custa entre várias centenas e pouco mais de mil dólares por tarefa. Por fim, estes números provêm de execuções únicas, e não de ensaios repetidos, razão pela qual os partilhamos num artigo técnico de blogue e não num estudo formal.
O Meta-Harness demonstra que a melhoria autónoma do código pode ser suficientemente rigorosa para utilização empresarial. Os elementos essenciais são hipóteses estruturais, pré-filtragem preditiva, avaliação isolada, testes em dados reservados sempre que os dados o permitam e um registo de auditoria completo por trás de cada alteração promovida. Em conjunto, oferecem à equipa de engenharia um percurso previsível entre uma pipeline inicial funcional e outra comprovadamente melhor, bem como um modelo simples ao responsável pelas operações: beneficiar da exploração autónoma dentro de uma estrutura rigorosa e atenta ao orçamento, mantendo uma pessoa no circuito antes de qualquer implementação.