ระบบปรับปรุงตนเองแบบอัตโนมัติที่มีอยู่ให้ผลลัพธ์ที่ดีในงานเขียนโค้ด แต่ยังไม่ชัดเจนว่าจะปรับปรุงเวิร์กโฟลว์ AI ที่ซับซ้อนและใช้เวลายาวนาน ซึ่งคล้ายกับการใช้งานจริงในองค์กรได้หรือไม่
งานวิจัย Meta-Harness ของเรานำการพัฒนาตนเองโดยอัตโนมัติมาใช้กับเวิร์กโฟลว์การค้นคืนข้อมูลของเอเจนต์ การค้นคว้าข้อมูลเชิงลึก และการวิเคราะห์ข่าวกรอง พร้อมเสริมข้อกำหนดสำหรับองค์กร เช่น การประเมินด้วยชุดข้อมูลที่กันไว้ การตรวจสอบย้อนหลัง การควบคุมงบประมาณ และการอนุมัติโดยมนุษย์
สำหรับเวิร์กโหลดตัวอย่าง 3 ประเภท Meta-Harness ช่วยเพิ่มประสิทธิภาพได้อย่างมาก โดย Signal Engine มีประสิทธิภาพในการทดสอบด้วยข้อมูลที่กันไว้สูงขึ้น 84% ส่วน Agentic Multimodal Retrieval มีความแม่นยำสูงขึ้นและทำงานเร็วขึ้น 16 เท่า
Meta-Harness แตกต่างจากแนวทางก่อนหน้าส่วนใหญ่ตรงที่วัดความสำเร็จด้วยชุดข้อมูลที่กันไว้เมื่อเป็นไปได้ เพื่อประเมินว่าการปรับปรุงใช้ได้ทั่วไปนอกเหนือจากข้อมูลที่ใช้ระหว่างการเพิ่มประสิทธิภาพหรือไม่
ผลลัพธ์เหล่านี้บ่งชี้ว่า การปรับปรุงเวิร์กโฟลว์แบบอัตโนมัติสามารถก้าวข้ามเกณฑ์มาตรฐานการเขียนโค้ดไปสู่ระบบ AI สำหรับองค์กรในโลกจริง และเป็นแนวทางที่นำไปใช้ได้จริงเพื่อพัฒนาแอปพลิเคชัน AI อย่างต่อเนื่อง
งานวิจัยล่าสุดเกี่ยวกับ AI ที่ทำงานได้โดยอัตโนมัติ ซึ่งรวมถึงบทความ Meta-Harness เฟรมเวิร์ก CORAL และ karpathy/autoresearch แสดงให้เห็นว่าเอเจนต์เขียนโค้ดสามารถปรับปรุงโซลูชันซ้ำอย่างต่อเนื่องโดยอาศัยตัวชี้วัดสำหรับการประเมินผล อย่างไรก็ตาม เรายังไม่ทราบว่าแนวทางเหล่านี้จะใช้ได้ผลกับเวิร์กโฟลว์ AI ที่ต้องทำงานต่อเนื่องเป็นเวลานานหรือไม่ เช่น การค้นคืนข้อมูลแบบมัลติโมดัลโดยเอเจนต์ ซึ่งเอเจนต์ต้องค้นหาข้อมูลจากคลังข้อมูลเฉพาะทางที่มีเนื้อหาหลายรูปแบบซ้ำหลายรอบเพื่อตอบคำถาม หรือไปป์ไลน์ประมวลผลข้อมูลที่ซับซ้อน ซึ่งประกอบด้วยขั้นตอนที่ต้องทำตามลำดับจำนวนมาก การเรียกใช้เครื่องมือ และการตัดสินใจรับมือกับข้อยกเว้น คำถามที่ลึกกว่านั้นคือ ประสิทธิภาพที่เพิ่มขึ้นนี้จะยังคงเกิดขึ้นกับข้อมูลที่ระบบเพิ่มประสิทธิภาพไม่เคยเห็นมาก่อนหรือไม่
งานวิจัยและพัฒนา Meta-Harness ของเราคือคำตอบสำหรับคำถามนี้ โดยนำแนวคิดจากงานวิจัยล่าสุดมาปรับให้เหมาะกับความต้องการขององค์กร ทั้งการประเมินด้วยข้อมูลที่กันไว้ บันทึกที่ตรวจสอบย้อนหลังได้ เพดานค่าใช้จ่าย และจุดส่งมอบงานให้ผู้ตรวจสอบที่เป็นมนุษย์พิจารณาอย่างชัดเจนก่อนนำผลงานไปใช้งานจริง
เราทดสอบระบบกับงานระยะยาว 3 ประเภทซึ่งจำลองจากงานจริงของลูกค้า โดย Signal Engine จะติดตามโพสต์เกี่ยวกับตลาด AI บน X แบบเรียลไทม์อย่างต่อเนื่อง และจัดทำรายงานแนวโน้มที่มีโครงสร้างชัดเจนพร้อมแหล่งอ้างอิงที่น่าเชื่อถือ Agentic Multimodal Retrieval จะวิเคราะห์คำค้นที่มีทั้งข้อความและรูปภาพเพื่อค้นหาหน้าเอกสารที่เกี่ยวข้องมากที่สุด ส่วนการค้นคว้าข้อมูลเชิงลึกจะประสานการทำงานของเอเจนต์หลายตัวให้ค้นหาข้อมูลบนเว็บ ตรวจสอบแหล่งข้อมูลเทียบกัน และเขียนรายงานการวิจัยฉบับยาว
Signal Engine: คะแนนรวมจากการทดสอบด้วยข้อมูลที่กันไว้เพิ่มขึ้นจาก 0.456 เป็น 0.841 หรือเพิ่มขึ้น 84% เมื่อเทียบกับคะแนนเดิม ขณะที่ CORAL และ karpathy/autoresearch ยังคงได้คะแนนต่ำกว่า 0.50 ภายใต้งบประมาณเท่ากัน
Agentic Multimodal Retrieval: คะแนน NDCG@10 จากการทดสอบด้วยข้อมูลที่กันไว้เพิ่มขึ้นจาก 0.705 เป็น 0.744 ขณะที่เวลาในการประเมินแต่ละครั้งลดลงจาก 869 วินาทีเหลือ 54 วินาที หรือทำงานเร็วขึ้น 16 เท่า พร้อมความแม่นยำที่สูงขึ้น
การค้นคว้าข้อมูลเชิงลึก: คะแนนรวมคุณภาพรายงานจากคำถามอ้างอิง 10 ข้อเพิ่มจาก 0.449 เป็น 0.802 ขณะที่วิธีพื้นฐานได้คะแนนราว 0.52 เนื่องจากงานนี้ไม่มีชุดข้อมูลที่กันไว้ เราจึงตีความคะแนนนี้ว่าเป็นผลการประเมินกับข้อมูลในกลุ่มตัวอย่างเท่านั้น
ประสิทธิภาพการค้นหา: Predictive Hypothesis Reranking ช่วยให้ Signal Engine ทำคะแนนได้ 91% ของคะแนนที่ดีที่สุดจากการรันอ้างอิงด้วยการปรับปรุงเพียง 3 รอบ จากเดิมที่ต้องใช้ 20 รอบ โดยใช้งบประมาณการประเมินเท่ากัน
ระบบวิจัยอัตโนมัติส่วนใหญ่ใช้ชุดข้อมูลเดียวกันทั้งในการปรับปรุงและประเมินผล จึงไม่สามารถระบุได้ว่าผลลัพธ์จะใช้ได้ดีกับข้อมูลอื่นหรือไม่ สำหรับ Signal Engine และ Agentic Multimodal Retrieval เราแบ่งข้อมูลอย่างเคร่งครัดออกเป็นชุดฝึกที่โซลูชันตัวเลือกใช้วัดคะแนนได้ ชุดพัฒนาสำหรับตรวจสอบความสมเหตุสมผล และชุดทดสอบที่กันไว้ซึ่งระบบเพิ่มประสิทธิภาพไม่เคยเห็น ผลลัพธ์ทุกค่าที่รายงานมาจากโค้ดเวอร์ชันใดเวอร์ชันหนึ่งโดยเฉพาะ ซึ่งนำไปประเมินกับข้อมูลทุกชุด เราจึงไม่เคยนำคะแนนชุดฝึกที่ดีที่สุดจากตัวเลือกหนึ่งมารวมกับคะแนนชุดทดสอบที่ดีที่สุดจากอีกตัวเลือกหนึ่ง
ในแต่ละรอบ Harness จะสร้างสมมติฐานแบบมีโครงสร้างขึ้นมาชุดหนึ่งเพื่อใช้ปรับแก้โค้ด โดยสมมติฐานแต่ละข้อจะระบุกลไกที่ต้องการเปลี่ยนแปลง เวอร์ชันก่อนหน้าที่นำมาต่อยอด และรูปแบบความล้มเหลวที่มุ่งแก้ไข จากนั้นระบบจะจัดอันดับและคัดกรองสมมติฐานก่อนนำทรัพยากรไปใช้กับการประเมินที่มีต้นทุนสูง สมมติฐานที่ผ่านการคัดเลือกจะถูกส่งไปยังเอเจนต์ผู้ปฏิบัติงานที่ทำงานแบบขนาน เอเจนต์เหล่านี้ใช้ฐานความรู้ร่วมกัน แต่แก้ไขโค้ดภายในเวิร์กสเปซที่แยกจากกันอย่างสมบูรณ์ เพื่อให้ระบบประเมินตัวเลือกแต่ละรายการได้อย่างเป็นธรรมและเป็นอิสระ เมื่อสิ้นสุดแต่ละรอบ Runner จะเลือกผู้ชนะหนึ่งรายการ ซึ่งเป็นตัวเลือกที่ได้คะแนนสูงสุดและผ่านการตรวจสอบทั้งหมดในชุดข้อมูลย่อยที่เปิดเผย ตัวเลือกที่ชนะจะกลายเป็นตัวเลือกระดับแนวหน้าที่ใช้เป็นฐานในการพัฒนารอบถัดไป ทุกการทดลองจะบันทึกชุดข้อมูลตามรูปแบบที่กำหนดไว้ลงในคลังหลักฐานแบบเพิ่มข้อมูลได้อย่างเดียว ซึ่งประกอบด้วยแพตช์โค้ด คะแนนแยกตามชุดข้อมูลย่อย บันทึกเหตุการณ์ และบทวิเคราะห์สั้นๆ ที่ LLM เขียนขึ้น 4 รายการ ครอบคลุมลำดับการทำงาน ข้อผิดพลาด ต้นทุน และการทบทวนผล เอเจนต์ผู้เสนอสมมติฐานในรอบถัดไปจะอ่านประวัตินี้กลับมา Harness จึงสามารถต่อยอดสิ่งที่เรียนรู้มาแล้วแทนที่จะทดลองซ้ำในแนวทางเดิมที่พิสูจน์แล้วว่าไม่ได้ผล
มาตรการควบคุม 3 ประการช่วยให้ลูปทำงานได้อย่างปลอดภัย นโยบายกำหนดขอบเขตจะจำกัดไฟล์ที่ตัวเลือกแต่ละรายการแก้ไขได้ และย้อนคืนการเปลี่ยนแปลงทั้งหมดที่อยู่นอกขอบเขตดังกล่าว งบประมาณด้านโทเค็นและระยะเวลาการทำงานจะหยุดการทำงานเมื่อค่าใช้จ่ายเกินเพดานที่กำหนด ส่วนข้อจำกัดด้านจำนวนงานที่ทำพร้อมกันจะช่วยให้ Harness ไม่เกินลิมิตการใช้งานของโมเดลและ GPU ที่สำคัญคือ Harness จะไม่นำผลงานไปใช้งานจริงด้วยตัวเอง แต่จะจัดอันดับตัวเลือกพร้อมจัดทำเอกสารประกอบอย่างครบถ้วน จากนั้นวิศวกรจะตรวจสอบความแตกต่างของโค้ดและตัดสินใจว่าจะนำตัวเลือกนั้นขึ้นระบบจริงหรือไม่
ลูปแต่ละรอบข้างต้นทำงานอยู่บนองค์ประกอบพื้นฐานทางวิศวกรรม 5 ประการในสแต็กที่ติดตั้งและประมวลผลภายในองค์กร
การแยกเวิร์กสเปซ ตัวเลือกแต่ละรายการมี Git Worktree เป็นของตัวเอง แต่ละ Fork ใช้ฐานข้อมูลออบเจ็กต์ร่วมกันโดยไม่สามารถเข้าถึงไฟล์ของกันและกันได้ ตัวเลือกต่างๆ จึงทำงานพร้อมกันได้โดยใช้พื้นที่ดิสก์เพิ่มขึ้นเพียงเล็กน้อย และยังเปรียบเทียบความแตกต่างกับเวอร์ชันระดับแนวหน้าปัจจุบันได้อย่างง่ายดาย
แซนด์บ็อกซ์สำหรับการเรียกใช้ กำหนดค่าให้ทำงานได้ 2 โหมด ได้แก่ การเรียกใช้ซับโพรเซสแบบเนทีฟเพื่อให้ปรับแก้และทดสอบได้อย่างรวดเร็ว หรือการเรียกใช้ในสภาพแวดล้อมที่แยกออกจากระบบอื่นอย่างสมบูรณ์ ระบบจะเปิดให้เข้าถึงคลังข้อมูลในโหมดอ่านอย่างเดียว และลบไดเรกทอรีชั่วคราวของการทดลองแต่ละครั้งหลังให้คะแนนแล้ว ด้วยเหตุนี้ การทดลองจึงไม่สามารถแก้ไขชุดข้อมูลหรือทิ้งสถานะที่ส่งผลต่อการทดลองครั้งถัดไปได้
นโยบายกำหนดขอบเขต รายการเส้นทางที่อนุญาตจะระบุไว้ในการกำหนดค่าการทดลอง หากมีการแก้ไขสิ่งใดนอกพาธที่กำหนด ระบบจะย้อนคืนการเปลี่ยนแปลงนั้นก่อนให้คะแนน พร้อมทำเครื่องหมายแจ้งเตือนการทดลองดังกล่าว ดังนั้นส่วนต่างของโค้ดที่ผู้ตรวจสอบเห็นจึงมีเฉพาะการเปลี่ยนแปลงภายในขอบเขตที่ประกาศไว้เท่านั้น
การควบคุมงบประมาณ มีมาตรการ 3 ชั้น ได้แก่ การจำกัดจำนวนโทเค็นและระยะเวลาการทำงานของการทดลองแต่ละครั้ง การกำหนดเพดานการใช้งานรวมของการทำงานแต่ละรอบ และการจำกัดจำนวนงานที่ทำพร้อมกัน มาตรการทั้งหมดนี้ช่วยให้คาดการณ์ค่าใช้จ่ายได้ และทำให้ Harness ทำงานโดยไม่เกินลิมิตการใช้งานของโมเดลและโครงสร้างพื้นฐาน
คลังหลักฐาน ไฟล์ JSONL ที่เพิ่มข้อมูลได้อย่างเดียว โดยจัดเก็บแพตช์โค้ด คะแนนแยกตามชุดข้อมูลย่อย บันทึกเหตุการณ์ และบทวิเคราะห์ 4 รายการที่เขียนโดย LLM ระบบจะสร้างมุมมองข้อมูลที่พร้อมใช้งานใหม่ (กระดานจัดอันดับ เวอร์ชันระดับแนวหน้า และดัชนีความล้มเหลว) หลังการทดลองแต่ละครั้ง ทำให้รอบต่อๆ ไปต่อยอดจากประวัติเดิมได้ พร้อมยังทำให้สามารถจำลองการทำงานแต่ละรอบซ้ำได้โดยให้ผลลัพธ์ตรงกันทุกไบต์
องค์ประกอบพื้นฐานทั้ง 5 ประการล้วนจำเป็นต่อระบบ เพราะ Harness มีเป้าหมายเพื่อให้ผู้ตรวจสอบสามารถอนุมัติผลลัพธ์เมื่อจบการทำงานแต่ละรอบได้จริง โดยต้องมีทั้งตัวเลือกที่ชนะ ส่วนต่างของโค้ดที่จำกัดอยู่ในขอบเขต บันทึกการทดลองทั้งหมด และค่าใช้จ่ายที่ทราบแน่ชัด หากตัดองค์ประกอบใดองค์ประกอบหนึ่งออก การรับประกันข้อใดข้อหนึ่งเหล่านี้ก็จะหายไป
การทดลองทั้ง 3 รายการใช้กลยุทธ์ในการตั้งสมมติฐานแบบเดียวกัน ในแต่ละรอบ เอเจนต์ผู้เสนอจะสร้างสมมติฐานมากกว่าจำนวนที่งบประมาณรองรับ โดยสร้างตัวเลือก M = 8 รายการสำหรับโควตาการส่งไปดำเนินการ K = 4 รายการ จากนั้น LLM อีกตัวที่ทำหน้าที่จัดอันดับจะเรียงลำดับตัวเลือกทั้ง 8 รายการภายในการเรียกใช้เพียงครั้งเดียวซึ่งใช้เวลา 30 วินาที โดยพิจารณาข้อมูลทั้งหมดร่วมกัน ได้แก่ คะแนนที่ดีที่สุดในปัจจุบันและมิติที่ยังทำได้ไม่ดี ผลวิเคราะห์ความล้มเหลวจากการทดลองครั้งล่าสุด และข้อเสนอทั้ง 8 รายการที่วางเปรียบเทียบกัน ตัวเลือก 4 อันดับแรกจะถูกส่งไปให้เอเจนต์ผู้ดำเนินการ โดยแต่ละรายการใช้เวลา 15–30 นาที ส่วนอีก 4 รายการจะถูกตัดออกก่อนที่จะก่อให้เกิดค่าใช้จ่ายใดๆ
โมเดลหลักไม่มีการเปลี่ยนแปลงตลอดการทดลอง ระบบปรับแก้เฉพาะโค้ดที่ทำงานล้อมรอบโมเดลเท่านั้น โดย Signal Engine และการค้นคว้าข้อมูลเชิงลึกใช้ gpt-5.5 ส่วน Agentic Multimodal Retrieval ใช้โมเดลแบบเปิด Qwen3.6-35B-A3B ซึ่งให้บริการภายในองค์กรผ่าน vLLM และทำงานร่วมกับ ColQwen3-4B สำหรับค้นคืนข้อมูลจากภาพ เราเลือกใช้โมเดลชุดนี้เพราะช่วยให้คาดการณ์ต้นทุนการประมวลผลภายในองค์กรได้อย่างแน่นอน
แผนภูมิด้านล่างแสดงการเปลี่ยนแปลงของคะแนนในงานหลักทั้ง 3 รายการของเรา โดย “Seed” คือโค้ดตั้งต้นที่วิศวกรเขียนขึ้น ส่วน “Meta-Harness” คือเวอร์ชันที่ดีที่สุดที่ Meta-Harness ค้นพบ เราพบว่าประสิทธิภาพของงานทั้ง 3 รายการดีขึ้นเมื่อประเมินกับชุดทดสอบที่กันไว้
Signal Engine ได้รับการประเมินโดยใช้ LLM เป็นกรรมการใน 4 ด้าน ได้แก่ ความเป็นปัจจุบัน ความถูกต้องตามข้อเท็จจริง ความละเอียดของเนื้อหา และน้ำเสียง จากโพสต์บน X จำนวน 150 รายการในชุดฝึกและอีก 150 รายการในชุดทดสอบที่กันไว้ เมื่อดำเนินการทดลองไปเรื่อยๆ เวอร์ชันที่ดีที่สุดสามารถเพิ่มคะแนนรวมของชุดฝึกจาก 0.431 เป็น 0.756 และเพิ่มคะแนนของชุดทดสอบที่กันไว้จาก 0.456 เป็น 0.841 การพัฒนาดังกล่าวเกิดจากการปรับระบบควบคุมการทำงานโดยตรง ไม่ได้มาจากการปรับพรอมต์เพียงอย่างเดียว โดยรอบที่ให้ผลลัพธ์ดีที่สุดสามารถกรองเนื้อหารบกวนจากโซเชียลมีเดีย เพิ่มขั้นตอนตรวจสอบข้อเท็จจริงเทียบกับแหล่งข้อมูลอื่น และบังคับให้ทุกผลลัพธ์มีหลักฐานที่ชัดเจนรองรับ แผนภาพด้านล่างแสดงขั้นตอนการปรับปรุงซ้ำในแต่ละรอบ
ประวัติการทดลองแสดงให้เห็นว่าผลลัพธ์ที่ดีขึ้นเหล่านี้ค่อย ๆ สะสมมาอย่างไร การปรับโครงสร้างในช่วงแรกเพิ่มคะแนนสูงสุด ณ ขณะนั้นเป็น 0.625 จากนั้นการจัดการหลักฐานอย่างละเอียดยิ่งขึ้นช่วยเพิ่มคะแนนเป็น 0.679 และวงจรการทบทวนและเกณฑ์การประเมินที่ได้รับการปรับปรุงก็ยกระดับคะแนนเป็น 0.819 การทดลองตัวเลือกประมาณครึ่งหนึ่งให้ผลลัพธ์แย่ลงหรือล้มเหลวโดยสิ้นเชิง แต่ผลลัพธ์เหล่านั้นไม่กระทบต่อตารางจัดอันดับ เนื่องจากแต่ละสาขาทำงานแยกจากกัน ระบบจะยกเลิกส่วนต่างของโค้ดที่ให้ผลลัพธ์แย่กว่า และบันทึกความล้มเหลวไว้ในคลังข้อมูลการทบทวน เพื่อให้เอเจนต์ผู้เสนอรายถัดไปหลีกเลี่ยงทางตันเดิม
ประเด็นสำคัญที่สุดคือ คะแนนของชุดทดสอบที่กันไว้เพิ่มขึ้นไปในทิศทางเดียวกับคะแนนของชุดฝึกตลอดการทดลอง ผลลัพธ์นี้ชี้ให้เห็นว่า Harness กำลังพัฒนาเวิร์กโฟลว์ให้มีประสิทธิภาพยิ่งขึ้น ไม่ได้เพียงจดจำข้อมูลในชุดฝึก ส่วนคะแนนของชุดทดสอบที่กันไว้ซึ่งสูงกว่าคะแนนของชุดฝึกเล็กน้อยนั้น เราตีความว่าเป็นความคลาดเคลื่อนตามปกติจากการสุ่มตัวอย่างระหว่างชุดข้อมูลขนาดเล็ก 2 ชุดที่ไม่มีข้อมูลซ้ำกัน
Agentic Multimodal Retrieval ได้รับการประเมินด้วย NDCG@10 โดยใช้ชุดข้อมูล Computer Science จาก ViDoRe V3 ซึ่งเปิดเผยต่อสาธารณะ และคัดแบ่งเป็นคำค้นสำหรับชุดฝึก 20 รายการ ชุดพัฒนา 10 รายการ และชุดทดสอบที่กันไว้ 20 รายการ ระบบควบคุมการทำงานช่วยเพิ่มคะแนน NDCG@10 ของชุดทดสอบที่กันไว้จาก 0.705 เป็น 0.744 พร้อมลดเวลาจริงที่ใช้ประเมินทั้งหมดจาก 869 วินาทีเหลือ 54 วินาที
การค้นคว้าข้อมูลเชิงลึก ได้รับการประเมินด้วยคะแนนรวมที่ตัดสินโดย LLM ซึ่งครอบคลุมทั้งคุณภาพของเนื้อหาสาระและคุณภาพของแหล่งอ้างอิง ตามแนวทางของ DeepResearch-Eval โดยใช้คำถามอ้างอิง 10 ข้อ โค้ดที่ปรับปรุงแล้วช่วยเพิ่มคะแนนเฉลี่ยจาก 0.449 เป็น 0.802 เมื่อดูส่วนต่างของโค้ดก็เห็นได้ชัดว่าการเปลี่ยนแปลงที่ให้ผลลัพธ์ดีที่สุดคือ การเพิ่มขั้นตอนวางแผนล่วงหน้าเพื่อเปรียบเทียบแนวทางต่างๆ ก่อนมอบหมายงานให้เอเจนต์ค้นคว้า และขั้นตอนตรวจสอบขั้นสุดท้ายที่เน้นด้านซึ่งรายงานเคยได้คะแนนไม่ดี เนื่องจากชุดคำถามนี้มีจำนวนน้อยและต้องใช้ต้นทุนสูงในการประเมิน เราจึงไม่ได้แบ่งชุดข้อมูล และถือว่าผลลัพธ์นี้เป็นผลการประเมินภายในกลุ่มตัวอย่าง
เราเปรียบเทียบประสิทธิภาพของทั้ง 3 วิธีภายใต้งบประมาณเดียวกัน โดยใช้ชุดข้อมูล โมเดลพื้นฐาน จำนวนรอบสูงสุด และจำนวนการประเมินตัวเลือกทั้งหมดเท่ากัน สำหรับ Signal Engine นั้น Meta-Harness ทำคะแนนชุดทดสอบที่กันไว้ได้ 0.841 ส่วนวิธีพื้นฐานอีก 2 วิธีมีคะแนนไม่ถึง 0.50 สำหรับ Agentic Multimodal Retrieval ทีมของเราทำคะแนน NDCG@10 บนชุดทดสอบที่กันไว้สูงที่สุดที่ 0.744 ขณะที่ CORAL ทำได้ 0.700 และ karpathy ทำได้ 0.738 ทั้งยังใช้เวลาประเมินอย่างเป็นทางการเพียง 54 วินาที ซึ่งเร็วกว่าเวลา 786 วินาทีและ 650 วินาทีของอีก 2 วิธีถึง 12 ถึง 14 เท่า ส่วนการค้นคว้าข้อมูลเชิงลึก ทีมของเราทำคะแนนได้ 0.802 ในขณะที่วิธีพื้นฐานทั้งคู่ยังคงอยู่ที่ประมาณ 0.52 อย่างไรก็ดี มีข้อจำกัดที่ต้องคำนึงถึงในการเปรียบเทียบทั้งหมดนี้ เนื่องจากเรานำ CORAL และ karpathy/autoresearch มาสร้างใหม่ตามคำอธิบายที่เผยแพร่ไว้ ความแตกต่างของคะแนนบางส่วนจึงอาจมาจากรายละเอียดในการพัฒนาระบบ ไม่ใช่ความแตกต่างระหว่างวิธีการเพียงอย่างเดียว
อย่างเป็นระบบก่อนแก้ไขโค้ด จึงมุ่งไปที่การเปลี่ยนแปลงเชิงโครงสร้าง เช่น การเพิ่มขั้นตอนใหม่ในกระบวนการทำงาน มากกว่าการปรับพรอมต์ ประการที่สอง ระบบทำงานหลายสาขาพร้อมกันโดยอิงจากตัวเลือกแนวหน้าร่วมกัน ทำให้การปรับปรุงต่อยอดกันได้เร็วกว่าวิธีของ CORAL ที่ให้เอเจนต์ทำงานแยกจากกัน หรือวงจรการทำงานแบบเรียงลำดับทีละขั้นของ karpathy ประการที่สาม การทดลองแต่ละครั้งจะบันทึกผลลัพธ์อย่างเป็นระบบ ทั้งคะแนน บันทึกเหตุการณ์ และบทวิเคราะห์ 4 รายการที่ LLM จัดทำ เพื่อให้ผู้เสนอแนวทางในรอบถัดไปนำกลับมาใช้ ขณะที่วิธีพื้นฐานเก็บไว้เพียงบันทึกความพยายามแบบไม่เป็นโครงสร้าง ประการที่สี่ ตัวควบคุมแบบปรับเปลี่ยนได้จะผลักดันให้ผู้เสนอแนวทางหันไปสำรวจวิธีใหม่เมื่อการพัฒนาหยุดชะงัก และมุ่งขัดเกลาแนวทางเดิมเมื่อได้ผลลัพธ์ที่ดี โดยมีระบบจัดอันดับสมมติฐานเชิงคาดการณ์ใหม่ทำงานเสริมอยู่ด้านบน เพื่อคัดแนวคิดที่มีแนวโน้มไม่ดีออกก่อนจะใช้งบประมาณไปกับแนวคิดเหล่านั้น
เส้นกราฟของชุดทดสอบที่กันไว้แสดงให้เห็นว่าระบบสามารถนำสิ่งที่เรียนรู้ไปใช้กับข้อมูลในโดเมนเดียวกันได้ ไม่ได้แสดงว่าสามารถถ่ายโอนไปยังโดเมนอื่นได้ ดังนั้นจึงไม่ควรคาดหวังว่าเวิร์กโฟลว์ที่ปรับแต่งมาเพื่อดึงสัญญาณจากตลาด AI จะยังทำงานได้ดีกับข้อความด้านกฎหมายหรือชีวการแพทย์ เว้นแต่จะเรียกใช้ Harness ใหม่สำหรับโดเมนนั้น Harness ยังมุ่งเพิ่มคะแนนตามเกณฑ์ที่ตัวประเมินกำหนดเท่านั้น ดังนั้น หากชุดข้อมูลฝึกมีข้อมูลรบกวนหรือตัวตัดสินประเมินได้คลาดเคลื่อน ระบบก็จะปรับตัวให้เข้ากับข้อผิดพลาดเหล่านั้นมากเกินไปเช่นกัน ก่อนเริ่มการปรับประสิทธิภาพอย่างจริงจัง เราแนะนำให้ใช้ตัวอย่างฝึกคุณภาพดีอย่างน้อย 20 รายการ และจัดทำชุดข้อมูลสำหรับการพัฒนาแยกต่างหาก ต้นทุนถือเป็นอุปสรรคในทางปฏิบัติที่ใหญ่ที่สุด เนื่องจากการประเมินแต่ละครั้งต้องเรียกใช้ไปป์ไลน์ทั้งหมดซ้ำกับชุดข้อมูลทุกส่วน ตัวเลือกการดึงข้อมูลที่ได้รับเลือกเพียงตัวเดียวใช้โทเค็นอินพุตไปประมาณ 2.2 ล้านโทเค็น และการปรับประสิทธิภาพอย่างเต็มรูปแบบด้วยโมเดลระดับ GPT-5.5 อาจมีค่าใช้จ่ายหลายร้อยถึงหลักพันดอลลาร์สหรัฐต้นๆ ต่องาน ประการสุดท้าย ผลลัพธ์เหล่านี้มาจากการเรียกใช้เพียงครั้งเดียว ไม่ใช่การทดลองซ้ำ เราจึงเผยแพร่ในรูปแบบบทความบล็อกด้านวิศวกรรม ไม่ใช่การศึกษาอย่างเป็นทางการ
Meta-Harness แสดงให้เห็นว่าเราสามารถทำให้การปรับปรุงโค้ดโดยอัตโนมัติมีกระบวนการที่เป็นระบบและรัดกุมเพียงพอสำหรับการใช้งานในองค์กรได้ องค์ประกอบสำคัญ ได้แก่ สมมติฐานเชิงโครงสร้าง การคัดกรองล่วงหน้าด้วยการคาดการณ์ การประเมินในสภาพแวดล้อมที่แยกออกจากกัน การทดสอบกับชุดข้อมูลที่กันไว้เมื่อข้อมูลเอื้ออำนวย และบันทึกการตรวจสอบที่ครบถ้วนสำหรับทุกการเปลี่ยนแปลงที่ได้รับเลือก องค์ประกอบทั้งหมดนี้ช่วยให้ทีมวิศวกรรมมีเส้นทางที่ชัดเจนในการพัฒนาไปป์ไลน์ตั้งต้นที่ใช้งานได้ให้ดีขึ้นอย่างวัดผลได้ ขณะเดียวกัน ผู้รับผิดชอบฝ่ายปฏิบัติการก็สามารถใช้ประโยชน์จากการสำรวจโดยอัตโนมัติภายใต้กรอบที่เข้มงวด คำนึงถึงงบประมาณ และกำหนดให้บุคลากรตรวจสอบก่อนนำการเปลี่ยนแปลงไปใช้งานจริง