Các hệ thống cải tiến tự động hiện có đã cho thấy kết quả ấn tượng trong tác vụ lập trình, nhưng chưa rõ liệu chúng có thể cải thiện những quy trình AI phức tạp, kéo dài nhiều bước và tương tự môi trường triển khai thực tế tại doanh nghiệp hay không.
Nghiên cứu Hệ thống điều khiển Meta của chúng tôi áp dụng khả năng tự cải tiến tự động cho các quy trình truy xuất bằng tác nhân, nghiên cứu sâu và tình báo tín hiệu, đồng thời bổ sung những yêu cầu của doanh nghiệp như đánh giá trên dữ liệu giữ lại, khả năng kiểm toán, kiểm soát ngân sách và phê duyệt của con người.
Trên ba khối lượng công việc tiêu biểu, Hệ thống điều khiển Meta cải thiện đáng kể hiệu suất, trong đó Signal Engine đạt mức cải thiện 84% trên bài kiểm tra giữ lại, còn Truy xuất đa phương thức bằng tác nhân đạt độ chính xác cao hơn với tốc độ thực thi nhanh gấp 16 lần.
Khác Hệ thống điều khiển Meta đo lường thành công trên các tập dữ liệu giữ lại bất cứ khi nào có thể, nhằm đánh giá liệu cải tiến có khái quát hóa ra ngoài dữ liệu dùng trong quá trình tối ưu hóa hay không.
Những kết quả này cho thấy việc tự động cải thiện quy trình có thể vượt ra ngoài các bộ chuẩn lập trình để áp dụng cho hệ thống AI doanh nghiệp trong thực tế, mở ra con đường thiết thực hướng tới các ứng dụng AI liên tục được cải thiện.
Các nghiên cứu gần đây về AI nghiên cứu tự động, gồm bài báo Hệ thống điều khiển Meta, khung CORAL và karpathy/autoresearch, cho thấy các tác nhân lập trình có thể cải thiện giải pháp qua nhiều vòng lặp dựa trên một chỉ số đánh giá. Vấn đề còn bỏ ngỏ là liệu các phương pháp đó có áp dụng được cho quy trình AI kéo dài nhiều bước hay không, chẳng hạn như truy xuất đa phương thức bằng tác nhân, nơi một tác nhân phải liên tục tìm kiếm trong kho dữ liệu chuyên ngành đa phương thức để trả lời câu hỏi, hoặc các quy trình xử lý dữ liệu phức tạp đòi hỏi nhiều bước phụ thuộc lẫn nhau, lệnh gọi công cụ và quyết định xử lý ngoại lệ. Câu hỏi sâu xa hơn là liệu mức cải thiện có được duy trì trên dữ liệu mà trình tối ưu hóa chưa từng thấy hay không.
Hoạt động R&D về Hệ thống điều khiển Meta của chúng tôi chính là câu trả lời cho câu hỏi đó. Hệ thống tiếp thu các ý tưởng từ nghiên cứu gần đây rồi điều chỉnh theo nhu cầu doanh nghiệp: đánh giá trên dữ liệu giữ lại, nhật ký kiểm toán, trần chi phí và điểm bàn giao rõ ràng cho người đánh giá trước khi bất cứ thứ gì được đưa vào vận hành.
Chúng tôi đã thử nghiệm hệ thống trên ba tác vụ kéo dài nhiều bước, được mô phỏng theo công việc thực tế của khách hàng. Signal Engine theo dõi luồng bài đăng trực tiếp trên X về thị trường AI và tạo báo cáo xu hướng có cấu trúc, kèm nguồn đầy đủ. Truy xuất đa phương thức bằng tác nhân suy luận trên các truy vấn kết hợp văn bản và hình ảnh để trả về những trang tài liệu phù hợp nhất. Nghiên cứu sâu điều phối nhiều tác nhân để tìm kiếm trên web, kiểm chứng chéo các nguồn và viết báo cáo nghiên cứu chuyên sâu.
Signal Engine: điểm tổng hợp trên bài kiểm tra giữ lại tăng từ 0,456 → 0,841, tương đương mức tăng tương đối 84%. CORAL và karpathy/autoresearch đều dưới 0,50 với cùng mức ngân sách.
Truy xuất đa phương thức bằng tác nhân: NDCG@10 trên tập giữ lại tăng từ 0,705 → 0,744, trong khi thời gian thực cho mỗi lần đánh giá giảm từ 869 giây xuống 54 giây. Tức là nhanh hơn 16 lần mà vẫn đạt độ chính xác cao hơn.
Nghiên cứu sâu: điểm tổng hợp về chất lượng báo cáo tăng từ 0,449 → 0,802 trên 10 câu hỏi tham chiếu, so với khoảng 0,52 của các phương pháp cơ sở. Tác vụ này không có tập giữ lại, vì vậy chúng tôi chỉ xem con số trên là kết quả trong mẫu.
Hiệu quả tìm kiếm: với tính năng Xếp hạng lại giả thuyết dự đoán, Signal Engine đạt 91% điểm số tốt nhất của lượt chạy tham chiếu sau 3 vòng lặp thay vì 20, với cùng ngân sách đánh giá.
Hầu hết hệ thống nghiên cứu tự động đều tối ưu hóa và đánh giá trên cùng một tập dữ liệu, khiến ta không thể biết kết quả có khả năng khái quát hóa hay không. Với Signal Engine và Truy xuất đa phương thức bằng tác nhân, chúng tôi áp dụng cách phân tách nghiêm ngặt: tập huấn luyện để chấm điểm ứng viên, tập phát triển để kiểm tra tính hợp lý và tập kiểm tra giữ lại mà trình tối ưu hóa không bao giờ được xem. Mỗi kết quả được báo cáo đều đến từ một phiên bản mã cụ thể được chấm trên mọi tập, vì vậy chúng tôi không bao giờ ghép điểm huấn luyện tốt nhất của ứng viên này với điểm kiểm tra tốt nhất của ứng viên khác.
Trong mỗi vòng, hệ thống điều khiển tạo một loạt giả thuyết có cấu trúc về cách thay đổi mã. Mỗi giả thuyết đều nêu rõ cơ chế cần thay đổi, phiên bản trước đó được dùng làm nền tảng và kiểu lỗi cần khắc phục. Một bước xếp hạng sẽ sàng lọc loạt giả thuyết trước khi thực hiện bất kỳ đánh giá tốn kém nào. Các giả thuyết vượt qua vòng lọc được chuyển cho những tác nhân thực thi song song. Chúng dùng chung một cơ sở tri thức nhưng chỉnh sửa mã trong các không gian làm việc hoàn toàn tách biệt, nhờ đó từng ứng viên được chấm điểm công bằng và độc lập. Cuối mỗi vòng, trình chạy chọn một ứng viên chiến thắng: ứng viên có điểm cao nhất và cũng vượt qua mọi bước kiểm tra trên các tập dữ liệu hiển thị. Ứng viên chiến thắng trở thành mốc để vòng tiếp theo phát triển tiếp. Mỗi lượt thử ghi một gói cố định vào kho bằng chứng chỉ cho phép ghi nối tiếp: bản vá mã, điểm theo từng tập, nhật ký sự kiện và bốn bản phân tích ngắn do LLM viết về dấu vết thực thi, lỗi, chi phí và phần tự đánh giá. Bộ đề xuất của vòng tiếp theo đọc lại lịch sử này, nhờ đó hệ thống điều khiển có thể tích lũy kiến thức đã học thay vì lặp lại những hướng đi không hiệu quả.
Ba lớp bảo vệ giúp vòng lặp vận hành an toàn. Chính sách phạm vi giới hạn những tệp mà ứng viên được phép thay đổi và hoàn tác mọi thay đổi ngoài phạm vi đó. Hạn mức token và thời gian thực dừng lượt chạy khi chi phí vượt trần, còn giới hạn đồng thời giúp hệ thống điều khiển không vượt quá hạn mức tốc độ của mô hình và GPU. Và hệ thống điều khiển không bao giờ tự đưa bất cứ thứ gì vào vận hành. Hệ thống tạo ra một ứng viên đã được xếp hạng và lập tài liệu đầy đủ; kỹ sư sẽ xem xét phần khác biệt rồi quyết định có đưa ứng viên đó vào môi trường vận hành hay không.
Trên một ngăn xếp cục bộ, năm thành phần kỹ thuật nền tảng hỗ trợ mỗi vòng của vòng lặp nêu trên.
Cách ly không gian làm việc. Mỗi ứng viên có một git worktree riêng. Các nhánh dùng chung một cơ sở dữ liệu đối tượng nhưng không bao giờ dùng chung tệp. Nhờ đó, các ứng viên có thể chạy song song với chi phí ổ đĩa gần như không đổi, đồng thời dễ dàng so sánh khác biệt với mốc hiện tại.
Môi trường thực thi cách ly. Cấu hình hỗ trợ hai chế độ: tiến trình con gốc để lặp nhanh hoặc môi trường chạy được cách ly hoàn toàn. Các kho dữ liệu được gắn ở chế độ chỉ đọc, còn thư mục tạm của từng lượt thử sẽ bị xóa sau khi chấm điểm. Nhờ vậy, một lượt thử không thể sửa đổi tập dữ liệu hay làm rò rỉ trạng thái sang lượt tiếp theo.
Chính sách phạm vi. Một danh sách đường dẫn được phép, khai báo trong cấu hình thử nghiệm. Mọi thay đổi ngoài danh sách đều bị hoàn tác trước khi lượt thử được chấm điểm, đồng thời lượt thử đó sẽ bị gắn cờ. Do đó, phần khác biệt mà người đánh giá nhìn thấy được bảo đảm luôn nằm trong phạm vi đã khai báo.
Thực thi hạn mức. Ba lớp gồm: giới hạn token và thời gian thực cho từng lượt thử, trần tổng cho mỗi lượt chạy và giới hạn số tác vụ đồng thời. Kết hợp lại, chúng giúp chi phí dễ dự đoán và bảo đảm hệ thống điều khiển tuân thủ hạn mức tốc độ của mô hình và hạ tầng.
Kho bằng chứng. Một tệp JSONL chỉ cho phép ghi nối tiếp, chứa bản vá mã, điểm theo từng tập, nhật ký sự kiện và bốn bản phân tích do LLM viết. Các khung nhìn vật hóa (bảng xếp hạng, mốc hiện tại, chỉ mục lỗi) được tạo lại sau mỗi lượt thử, cho phép các vòng sau kế thừa lịch sử trước đó trong khi mọi lượt chạy vẫn có thể được tái lập chính xác đến từng byte.
Không thành phần nền tảng nào trong số này là tùy chọn. Mục tiêu của hệ thống điều khiển là sau mỗi lượt chạy, người đánh giá nhận được thứ họ thực sự có thể phê duyệt: ứng viên chiến thắng, phần khác biệt có giới hạn, hồ sơ đầy đủ về mọi phương án đã thử và mức chi phí xác định. Bỏ bất kỳ thành phần nào trong năm thành phần này thì một trong các bảo đảm trên cũng biến mất.
Cả ba thử nghiệm đều sử dụng cùng một chiến lược giả thuyết. Trong mỗi vòng lặp, bộ đề xuất tạo ra nhiều giả thuyết hơn số lượng mà ngân sách cho phép chạy: M = 8 ứng viên với ngân sách điều phối K = 4. Sau đó, một LLM xếp hạng riêng biệt sắp thứ tự cả 8 ứng viên trong một lệnh gọi kéo dài 30 giây, với đầy đủ thông tin trước mắt: điểm tốt nhất hiện tại và các khía cạnh còn yếu, bản phân tích lỗi từ những lượt thử gần đây và cả 8 đề xuất được đặt cạnh nhau. Bốn ứng viên đứng đầu được chuyển đến bộ thực thi, với chi phí từ 15 đến 30 phút cho mỗi ứng viên. Bốn ứng viên còn lại bị loại trước khi phát sinh bất kỳ chi phí nào.
Các mô hình nền tảng được giữ nguyên trong suốt quá trình; hệ thống điều khiển chỉ chỉnh sửa phần mã bao quanh chúng. Signal Engine và Nghiên cứu sâu chạy trên gpt-5.5. Truy xuất đa phương thức bằng tác nhân chạy trên Qwen3.6-35B-A3B trọng số mở, được phục vụ cục bộ qua vLLM và kết hợp với trình truy xuất hình ảnh ColQwen3-4B. Tổ hợp này được chọn để bảo đảm chi phí tại chỗ dễ dự đoán.
Biểu đồ dưới đây cho thấy điểm số của ba tác vụ chính đã thay đổi như thế nào. “Bản khởi đầu” là mã ban đầu do kỹ sư viết. “Hệ thống điều khiển Meta” là phiên bản tốt nhất mà Hệ thống điều khiển Meta tìm được. Cả ba tác vụ đều cải thiện hiệu suất trên tập kiểm tra giữ lại.
Signal Engine được một LLM chấm theo độ mới, tính xác thực, mức độ chi tiết và giọng điệu, sử dụng 150 bài đăng huấn luyện trên X và 150 bài đăng kiểm tra giữ lại. Trong suốt lượt chạy, phiên bản tốt nhất đã nâng điểm tổng hợp trên tập huấn luyện từ 0,431 lên 0,756 và điểm trên tập giữ lại từ 0,456 lên 0,841. Mức cải thiện đến từ những thay đổi đối với chính hệ thống điều khiển chứ không chỉ là tinh chỉnh câu lệnh: các vòng lặp chiến thắng đã học cách lọc nhiễu trên mạng xã hội, bổ sung bước kiểm chứng chéo sự kiện và yêu cầu mọi kết quả đầu ra phải dựa trên bằng chứng rõ ràng. Sơ đồ dưới đây minh họa quá trình lặp.
Lịch sử thử nghiệm cho thấy những cải thiện đó đã tích lũy như thế nào. Một thay đổi cấu trúc ban đầu đã nâng điểm tốt nhất tại thời điểm đó lên 0,625; cách xử lý bằng chứng chi tiết hơn đẩy điểm lên 0,679; và vòng lặp tự đánh giá cùng tiêu chí chấm điểm được tinh chỉnh đã nâng điểm lên 0,819. Khoảng một nửa số lượt chạy ứng viên có hiệu suất kém hơn hoặc thất bại hoàn toàn, nhưng không làm ảnh hưởng đến bảng xếp hạng: mỗi nhánh chạy độc lập, các phần khác biệt thua cuộc bị loại bỏ, còn lỗi được ghi vào kho tự đánh giá để bộ đề xuất tiếp theo không lặp lại cùng một hướng đi không hiệu quả.
Quan trọng nhất, đường điểm trên tập giữ lại tăng song song với đường điểm huấn luyện trong suốt lượt chạy. Điều đó cho thấy hệ thống điều khiển đang cải thiện quy trình thay vì ghi nhớ kho dữ liệu huấn luyện. Điểm trên tập giữ lại cao hơn một chút so với điểm huấn luyện; chúng tôi xem đây là nhiễu lấy mẫu thông thường giữa hai tập nhỏ, không trùng lặp.
Truy xuất đa phương thức bằng tác nhân được đo bằng NDCG@10 trên phân đoạn Khoa học máy tính công khai của ViDoRe V3, được tuyển chọn thành 20 truy vấn huấn luyện, 10 truy vấn phát triển và 20 truy vấn kiểm tra giữ lại. Hệ thống điều khiển đã nâng NDCG@10 trên tập giữ lại từ 0,705 lên 0,744, đồng thời giảm tổng thời gian thực đánh giá từ 869 giây xuống 54 giây.
Nghiên cứu sâu được chấm bằng điểm tổng hợp do LLM đánh giá về chất lượng nội dung và chất lượng tài liệu tham khảo, theo DeepResearch-Eval, trên 10 câu hỏi tham chiếu. Mã đã cải tiến nâng điểm trung bình từ 0,449 lên 0,802. Có thể dễ dàng nhận ra các thay đổi chiến thắng từ phần khác biệt: một bước lập kế hoạch ban đầu để so sánh các phương pháp trước khi điều phối bất kỳ tác nhân nghiên cứu nào, cùng một bước rà soát cuối nhằm vào những khía cạnh mà báo cáo trước đây thường đạt điểm thấp. Vì tập này nhỏ và tốn kém khi đánh giá, chúng tôi không phân tách dữ liệu và xem kết quả là trong mẫu.
Chúng tôi đo chuẩn cả ba phương pháp với cùng ngân sách: cùng tập dữ liệu, cùng mô hình nền tảng, cùng giới hạn số vòng lặp và cùng tổng số lượt đánh giá ứng viên. Trên Signal Engine, Hệ thống điều khiển Meta đạt 0,841 ở bài kiểm tra giữ lại, trong khi cả hai phương pháp cơ sở đều dưới 0,50. Trên Truy xuất đa phương thức bằng tác nhân, nhóm chúng tôi đạt NDCG@10 cao nhất trên tập giữ lại (0,744, so với 0,700 của CORAL và 0,738 của karpathy), đồng thời chạy bài đánh giá chính thức nhanh hơn từ 12 đến 14 lần: 54 giây so với 786 giây và 650 giây. Trên Nghiên cứu sâu, nhóm chúng tôi đạt 0,802, trong khi cả hai phương pháp cơ sở đều ở khoảng 0,52. Có một lưu ý áp dụng cho toàn bộ kết quả: chúng tôi tái triển khai CORAL và karpathy/autoresearch theo các mô tả đã công bố, vì vậy một phần chênh lệch có thể đến từ khác biệt trong cách triển khai chứ không chỉ từ bản thân phương pháp.
Bốn lựa chọn thiết kế tạo nên chênh lệch này. Thứ nhất, nhóm chúng tôi tạo một đặc tả thiết kế có cấu trúc trước khi chỉnh sửa mã, nhờ đó ưu tiên những thay đổi cấu trúc như bổ sung giai đoạn mới cho quy trình thay vì chỉ tinh chỉnh câu lệnh. Thứ hai, hệ thống chạy đồng thời nhiều nhánh cùng dựa trên một ứng viên mốc chung, nên các cải tiến tích lũy nhanh hơn so với những tác nhân độc lập của CORAL hoặc vòng lặp hoàn toàn tuần tự của karpathy. Thứ ba, mỗi lượt thử để lại các thành phần có cấu trúc (điểm số, nhật ký sự kiện và bốn bản phân tích do LLM viết) để bộ đề xuất tiếp theo đọc lại, trong khi các phương pháp cơ sở chỉ lưu nhật ký thử nghiệm dạng phẳng. Thứ tư, một bộ điều khiển thích ứng hướng bộ đề xuất sang khám phá khi tiến trình đình trệ và sang tinh chỉnh sau khi đạt kết quả tốt; phía trên còn có tính năng Xếp hạng lại giả thuyết dự đoán để loại bỏ các ý tưởng yếu trước khi chúng tiêu tốn ngân sách.
Các đường điểm trên tập giữ lại chứng minh khả năng khái quát hóa trong cùng miền, chứ không phải khả năng chuyển giao xuyên miền: một quy trình được tinh chỉnh để trích xuất tín hiệu thị trường AI không thể mặc nhiên hoạt động tốt trên văn bản pháp lý hoặc y sinh nếu không chạy lại hệ thống điều khiển. Hệ thống điều khiển cũng chỉ tối ưu theo mục tiêu mà bộ chấm điểm xác định, vì vậy nó sẽ trung thành khớp quá mức với tập huấn luyện nhiễu hoặc bộ chấm chưa được hiệu chuẩn đúng. Chúng tôi khuyến nghị sử dụng ít nhất 20 mục huấn luyện được tuyển chọn kỹ và một tập phát triển riêng trước khi thực hiện lượt chạy nghiêm túc. Chi phí là hạn chế thực tế lớn nhất. Mỗi lần đánh giá đều chạy lại toàn bộ quy trình trên tất cả các tập; riêng ứng viên truy xuất được chọn đã tiêu thụ khoảng 2,2 triệu token đầu vào; và một lượt tối ưu hóa nghiêm túc trên mô hình thuộc lớp gpt-5.5 có chi phí từ vài trăm đến hơn một nghìn đô la cho mỗi tác vụ. Cuối cùng, các con số này đến từ những lượt chạy đơn lẻ thay vì các thử nghiệm lặp lại; đó là lý do chúng tôi chia sẻ chúng dưới dạng bài viết kỹ thuật trên blog thay vì một nghiên cứu chính thức.
Hệ thống điều khiển Meta cho thấy có thể tổ chức quá trình tự động cải tiến mã đủ chặt chẽ để dùng trong doanh nghiệp. Các thành phần cốt lõi gồm giả thuyết cấu trúc, sàng lọc dự đoán trước, đánh giá cách ly, kiểm thử trên dữ liệu giữ lại khi dữ liệu cho phép và hồ sơ kiểm toán đầy đủ cho mọi thay đổi được chọn. Kết hợp lại, chúng mang đến cho đội ngũ kỹ thuật một lộ trình dễ dự đoán từ quy trình khởi đầu đang hoạt động đến một quy trình tốt hơn có thể đo lường, đồng thời cung cấp cho người phụ trách vận hành một mô hình đơn giản: tận dụng lợi ích của hoạt động khám phá tự động trong một khuôn khổ nghiêm ngặt, có kiểm soát ngân sách và luôn có con người tham gia trước khi bất cứ thứ gì được đưa vào vận hành.