حققت أنظمة التحسين الذاتي الحالية نتائج قوية في مهام البرمجة، لكن لم يتضح بعد ما إذا كان بإمكانها تحسين مسارات عمل الذكاء الاصطناعي المعقدة وطويلة الأمد التي تشبه عمليات النشر الفعلية في المؤسسات.
يطبّق بحثنا حول Meta-Harness التحسين الذاتي المستقل على مسارات عمل الاسترجاع القائم على الوكلاء والبحث المتعمق واستخبارات الإشارات، مع إضافة متطلبات المؤسسات مثل التقييم المحجوب وقابلية التدقيق وضبط الميزانية والموافقة البشرية.
حسّنت Meta-Harness الأداء بدرجة كبيرة عبر ثلاثة أعباء عمل ممثلة، بما في ذلك تحسن أداء الاختبار المحجوب بنسبة 84% في Signal Engine، ودقة أعلى مع تنفيذ أسرع 16 مرة في الاسترجاع متعدد الوسائط القائم على الوكلاء.
على خلاف معظم الأساليب السابقة، تقيس Meta-Harness النجاح على مجموعات بيانات محجوبة متى أمكن، لتقييم مدى تعميم التحسينات خارج البيانات المستخدمة أثناء التحسين.
تشير هذه النتائج إلى أن التحسين المستقل لمسارات العمل يمكن أن يتجاوز معايير البرمجة ليشمل أنظمة الذكاء الاصطناعي المؤسسية في العالم الحقيقي، موفرًا مسارًا عمليًا نحو تطبيقات ذكاء اصطناعي تتحسن باستمرار.
أظهرت الأعمال الحديثة في أبحاث الذكاء الاصطناعي المستقلة، ومنها ورقة Meta-Harness، وإطار عمل CORAL، وkarpathy/autoresearch، أن وكلاء البرمجة يستطيعون تحسين الحل تكراريًا بالاستناد إلى مقياس تقييم. لكن يبقى السؤال: هل تنجح هذه الأساليب مع مسارات عمل الذكاء الاصطناعي طويلة الأمد، مثل الاسترجاع متعدد الوسائط القائم على الوكلاء، حيث يتعين على الوكيل البحث تكراريًا في مجموعات بيانات متخصصة ومتعددة الوسائط للإجابة عن سؤال، أو مع مسارات معالجة البيانات المعقدة التي تتطلب خطوات مترابطة عديدة واستدعاءات للأدوات وقرارات لمعالجة الاستثناءات؟ والسؤال الأعمق هو ما إذا كانت المكاسب تصمد أمام بيانات لم يرها المحسّن قط.
بحثنا وتطويرنا في Meta-Harness هو إجابتنا عن هذا السؤال. فهو يستلهم أفكارًا من الأبحاث الحديثة ويعيد صياغتها وفق احتياجات المؤسسات: تقييم محجوب، وسجلات تدقيق، وسقوف للتكلفة، ونقطة تسليم واضحة إلى مراجع بشري قبل نشر أي شيء.
اختبرناه في ثلاث مهام طويلة الأمد مستوحاة من أعمال فعلية لعملائنا. يراقب Signal Engine تدفقًا مباشرًا لمنشورات X عن سوق الذكاء الاصطناعي، وينتج تقارير اتجاهات منظّمة وموثّقة جيدًا بالمصادر. يعالج الاسترجاع متعدد الوسائط القائم على الوكلاء استعلامات تجمع النصوص والصور لإرجاع صفحات المستندات الأكثر صلة. ينسّق البحث المتعمق عمل عدة وكلاء للبحث في الويب والتحقق المتبادل من المصادر وكتابة تقارير بحثية مطولة.
Signal Engine: ارتفع المؤشر المركب للاختبار المحجوب من 0.456 إلى 0.841، أي تحسن نسبي بنسبة 84%. ظل CORAL وkarpathy/autoresearch دون 0.50 ضمن الميزانية نفسها.
الاسترجاع متعدد الوسائط القائم على الوكلاء: ارتفع NDCG@10 المحجوب من 0.705 إلى 0.744، فيما انخفض الوقت الفعلي لكل تقييم من 869 ثانية إلى 54 ثانية. أي تسارع بمقدار 16 مرة مع دقة أعلى.
البحث المتعمق: ارتفع المؤشر المركب لجودة التقارير من 0.449 إلى 0.802 عبر 10 أسئلة مرجعية، مقابل نحو 0.52 لخطوط الأساس. لم تتضمن هذه المهمة مجموعة محجوبة، لذا نعدّ الرقم خاصًا بالعينة فقط.
كفاءة البحث: بفضل إعادة الترتيب التنبؤية للفرضيات، بلغ Signal Engine 91% من أفضل درجة للتشغيل المرجعي خلال 3 تكرارات بدلًا من 20 تكرارًا وبميزانية التقييم نفسها.
تحسّن معظم أنظمة البحث المستقل أداءها وتقيّمه على مجموعة البيانات نفسها، ما يجعل معرفة ما إذا كانت النتيجة قابلة للتعميم أمرًا مستحيلًا. نفرض في Signal Engine والاسترجاع متعدد الوسائط القائم على الوكلاء تقسيمًا صارمًا: مجموعة تدريب يمكن تقييم المرشحين عليها، ومجموعة تطوير لفحوص المعقولية، ومجموعة اختبار محجوبة لا يراها المحسّن مطلقًا. تأتي كل نتيجة معلنة من إصدار محدد واحد للشفرة جرى تقييمه على جميع المجموعات، لذلك لا نخلط أبدًا أفضل درجة تدريب لمرشح مع أفضل درجة اختبار لمرشح آخر.
في كل جولة، تولّد منظومة التقييم مجموعة من الفرضيات المنظّمة لتعديل الشفرة البرمجية. تحدّد كل فرضية الآلية المراد تغييرها، والإصدار السابق الذي تستند إليه، ونمط الإخفاق الذي تستهدفه. تُرشّح خطوة ترتيب المجموعة قبل إنفاق الموارد على أي تقييمات مكلفة. تنتقل الفرضيات المتبقية إلى وكلاء منفّذين يعملون بالتوازي ويشتركون في قاعدة معرفية واحدة، لكنهم يعدّلون الشفرة داخل مساحات عمل مشتركة معزولة تمامًا، لتقييم كل مرشح بإنصاف واستقلالية. في نهاية الجولة، يعتمد المشغّل فائزًا واحدًا: المرشح صاحب أعلى درجة ممن اجتازوا أيضًا جميع فحوص مجموعات البيانات الظاهرة. يصبح ذلك الفائز الإصدار الرائد الذي تُبنى عليه الجولة التالية. وتكتب كل تجربة حزمة ثابتة في مخزن أدلة لا يسمح إلا بالإضافة: رقعة الشفرة، ودرجات كل مجموعة، وسجل أحداث، وأربعة تحليلات قصيرة كتبتها النماذج اللغوية الكبيرة (LLM) لتغطية مسارها وأخطائها وتكلفتها ومراجعتها الذاتية. يقرأ مقترِح الجولة التالية هذا السجل، وبذلك تراكم منظومة التقييم ما تعلمته بدلًا من تكرار المسارات المسدودة نفسها.
تضمن ثلاثة ضوابط وقائية تشغيل الحلقة بأمان. تقيّد سياسة النطاق الملفات التي يجوز للمرشح تعديلها، وتتراجع عن أي تغييرات خارجها. توقف ميزانيات الرموز والوقت الفعلي التشغيل عند تجاوز سقف الإنفاق، فيما تُبقي حدود التزامن منظومة التقييم ضمن حدود معدلات استخدام النموذج ووحدات معالجة الرسومات. ولا تنشر منظومة التقييم أي شيء بنفسها. بل تنتج مرشحًا مرتبًا وموثّقًا بالكامل، ثم يراجع مهندس بشري الفروقات ويقرر ما إذا كان سينتقل إلى بيئة الإنتاج.
في بيئة محلية، تستند كل جولة من الحلقة السابقة إلى خمس ركائز هندسية أساسية.
عزل مساحات العمل المشتركة. شجرة عمل git لكل مرشح. تتشارك عمليات التفريع قاعدة بيانات للكائنات، لكن لا تتشارك الملفات أبدًا، ما يتيح تشغيل المرشحين بالتوازي بتكلفة تخزين شبه ثابتة ويجعل مقارنة الفروقات مع الإصدار الرائد الحالي أمرًا بسيطًا.
بيئة التنفيذ المعزولة. وضعان يحددهما الإعداد: عملية فرعية أصلية للتكرار السريع، أو بيئة تشغيل معزولة بالكامل. تُحمّل مجموعات البيانات للقراءة فقط، ويُحذف دليل العمل المؤقت الخاص بكل تجربة بعد التقييم. وبذلك، لا يمكن لتجربة تغيير مجموعة البيانات أو تسريب حالتها إلى التجربة التالية.
سياسة النطاق. قائمة بالمسارات المسموح بها، محددة في إعداد التجربة. يُتراجع عن أي تعديل خارجها قبل تقييم التجربة، وتُعلَّم التجربة للمراجعة. وبالتالي، تظل الفروقات التي يراها المراجع ضمن النطاق المحدد حتمًا.
فرض قيود الميزانية. ثلاث طبقات: حدود للرموز والوقت الفعلي لكل تجربة، وسقف إجمالي لكل تشغيل، وحد للتزامن. تجعل هذه الطبقات الإنفاق قابلًا للتوقع، وتضمن بقاء منظومة التقييم ضمن حدود معدلات استخدام النموذج والبنية التحتية.
مخزن الأدلة. ملف JSONL لا يسمح إلا بالإضافة، ويضم رقعة الشفرة ودرجات كل مجموعة وسجل الأحداث والتحليلات الأربعة التي كتبتها النماذج اللغوية الكبيرة (LLM). يُعاد إنشاء العروض المادية (لوحة الصدارة، والإصدار الرائد، وفهرس الإخفاقات) بعد كل تجربة، ما يتيح للجولات اللاحقة البناء على السجل السابق مع إبقاء كل تشغيل قابلًا لإعادة الإنتاج، بايتًا ببايت.
لا يمكن الاستغناء عن أي من هذه الركائز. الغاية من منظومة التقييم هي أن يحصل المراجع في نهاية التشغيل على شيء يمكنه اعتماده فعلًا: مرشح فائز، وفروقات محدودة النطاق، وسجل كامل لكل ما جُرّب، وتكلفة معلومة. إذا حُذفت أي من الركائز الخمس، يزول أحد هذه الضمانات.
تستخدم التجارب الثلاث جميعها استراتيجية الفرضيات نفسها. في كل تكرار، يولّد المقترِح فرضيات أكثر مما تسمح الميزانية بتشغيله: M = 8 مرشحين لميزانية إرسال قدرها K = 4. ثم يرتّب مصنّف مستقل من النماذج اللغوية الكبيرة (LLM) المرشحين الثمانية جميعًا في استدعاء واحد مدته ثلاثون ثانية، واضعًا أمامه الصورة كاملة: أفضل درجة حالية وأبعاد ضعفها، وتحليلات إخفاق التجارب الحديثة، والمقترحات الثمانية جنبًا إلى جنب. تنتقل أفضل 4 فرضيات إلى المنفّذ بتكلفة تتراوح بين 15 و30 دقيقة لكل منها. وتُستبعد الفرضيات الأربع الأخرى قبل أن تستهلك أي موارد.
ظلت النماذج الأساسية ثابتة طوال الوقت؛ ولم تعدّل منظومة التقييم سوى الشفرة المحيطة بها. شُغّل Signal Engine والبحث المتعمق على gpt-5.5. شُغّل الاسترجاع متعدد الوسائط القائم على الوكلاء على النموذج مفتوح الأوزان Qwen3.6-35B-A3B، والمقدَّم محليًا عبر vLLM، مع مسترجع الصور ColQwen3-4B؛ وقد اختير هذا المزيج لضمان تكلفة محلية قابلة للتوقع.
يوضح المخطط أدناه كيف تغيرت درجات مهامنا الرئيسية الثلاث. "البذرة" هي الشفرة الأولية التي كتبها مهندس بشري. "Meta-Harness" هو أفضل إصدار توصلت إليه Meta-Harness. نرى تحسنًا في أداء المهام الثلاث جميعها ضمن مجموعة الاختبار المحجوبة.
قيّم نموذج لغوي كبير (LLM) Signal Engine من حيث الحداثة ودقة الحقائق ومستوى التفصيل والنبرة، باستخدام 150 منشورًا من X للتدريب و150 منشورًا محجوبًا للاختبار. على مدار التشغيل، رفع أفضل إصدار المؤشر المركب للتدريب من 0.431 إلى 0.756، ودرجة الاختبار المحجوب من 0.456 إلى 0.841. نتجت المكاسب من تغييرات في منظومة التقييم نفسها، لا من تعديلات المطالبة وحدها: فقد تعلمت التكرارات الفائزة تصفية ضوضاء وسائل التواصل الاجتماعي، وأضافت خطوات للتحقق المتبادل من الحقائق، واشترطت استناد كل مخرج إلى أدلة صريحة. يوضح المخطط أدناه عملية التكرار.
يوضح سجل التجارب كيف تراكمت تلك المكاسب. رفع تغيير هيكلي مبكر أفضل نتيجة جارية إلى 0.625؛ ثم دفعتها معالجة الأدلة الأكثر تفصيلًا إلى 0.679؛ وأوصلتها حلقة محسّنة للمراجعة الذاتية ومعايير التقييم إلى 0.819. كان أداء نحو نصف جميع تشغيلات المرشحين أضعف أو انتهى بإخفاق كامل، لكنها لم تلوّث لوحة الصدارة: فقد عمل كل تفريع في عزلة، وحُذفت فروقات المرشحين الخاسرين، وسُجلت الإخفاقات في مخزن المراجعات الذاتية كي لا يكرر المقترِح التالي المسار المسدود نفسه.
والأهم أن منحنى الاختبار المحجوب ارتفع بالتوازي مع منحنى التدريب طوال التشغيل. يشير ذلك إلى أن منظومة التقييم كانت تحسّن سير العمل بدلًا من حفظ مجموعة بيانات التدريب. كانت درجات الاختبار المحجوب أعلى قليلًا من درجات التدريب، ونفسّر ذلك بأنه ضوضاء اعتيادية في أخذ العينات بين مجموعتين صغيرتين ومنفصلتين.
يُقاس الاسترجاع متعدد الوسائط القائم على الوكلاء باستخدام NDCG@10 على قسم علوم الحاسوب العام من ViDoRe V3، المنظّم في 20 استعلامًا للتدريب و10 للتطوير و20 للاختبار المحجوب. رفعت منظومة التقييم قيمة NDCG@10 المحجوبة من 0.705 إلى 0.744، وخفّضت الوقت الفعلي الإجمالي للتقييم من 869 ثانية إلى 54 ثانية.
يُقيَّم البحث المتعمق وفق مؤشر مركب يحكم عليه نموذج لغوي كبير (LLM)، ويجمع الجودة الموضوعية وجودة المراجع باتباع DeepResearch-Eval، وذلك عبر 10 أسئلة مرجعية. رفعت الشفرة المحسّنة المتوسط من 0.449 إلى 0.802. كان من السهل تبيّن التغييرات الفائزة من الفروقات: خطوة تخطيط أولية تقارن الأساليب قبل إرسال أي وكلاء بحث، وخطوة مراجعة نهائية تستهدف الأبعاد التي سجلت فيها التقارير تاريخيًا أداءً ضعيفًا. نظرًا إلى صغر هذه المجموعة وارتفاع تكلفة تقييمها، لم نقسمها ونعدّ النتيجة خاصة بالعينة.
قارنّا أداء الأساليب الثلاثة ضمن الميزانية نفسها: مجموعات البيانات نفسها، والنماذج الأساسية نفسها، والحد الأقصى نفسه للتكرارات، وإجمالي تقييمات المرشحين نفسه. حقق Meta-Harness في Signal Engine درجة 0.841 في الاختبار المحجوب، فيما ظل خطا الأساس دون 0.50. في الاسترجاع متعدد الوسائط القائم على الوكلاء، حقق فريقنا أعلى قيمة NDCG@10 محجوبة (0.744 مقابل 0.700 لـCORAL و0.738 لـkarpathy)، ونفّذ التقييم الرسمي بسرعة أكبر من 12 إلى 14 مرة: 54 ثانية مقابل 786 و650 ثانية. في البحث المتعمق، حقق فريقنا 0.802، فيما ظل خطا الأساس قرب 0.52. لكن هناك تحفظًا ينطبق على جميع النتائج: أعدنا تنفيذ CORAL وkarpathy/autoresearch وفق أوصافهما المنشورة، لذا قد يعكس جزء من الفارق اختلافات التنفيذ، لا اختلافات المنهج وحدها.
تفسّر أربعة خيارات تصميمية هذا الفارق. أولًا، ينشئ فريقنا مواصفات تصميم منظّمة قبل تعديل أي شفرة، ما يوجّهه نحو تغييرات هيكلية، مثل إضافة مراحل جديدة إلى المسار، بدلًا من الاكتفاء بتعديلات المطالبة. ثانيًا، يشغّل عمليات تفريع متزامنة تستند إلى مرشح رائد مشترك، فتتراكم التحسينات أسرع مقارنة بوكلاء CORAL المستقلين أو حلقة karpathy المتسلسلة تمامًا. ثالثًا، تخلّف كل تجربة عناصر منظّمة (الدرجات وسجلات الأحداث وأربعة تحليلات كتبتها النماذج اللغوية الكبيرة (LLM)) يقرأها المقترِح التالي، بينما لا يحتفظ خطا الأساس إلا بسجلات بسيطة للمحاولات. رابعًا، تدفع وحدة تحكم تكيفية المقترِح نحو الاستكشاف بعد التعثر ونحو التحسين بعد الفوز، وفوقها تعمل إعادة الترتيب التنبؤية للفرضيات على إسقاط الأفكار الضعيفة قبل أن تستهلك الميزانية.
تثبت منحنيات الاختبار المحجوب قابلية التعميم داخل المجال، لا الانتقال بين المجالات: فلا يُتوقع من سير عمل مضبوط لاستخراج إشارات سوق الذكاء الاصطناعي أن يحافظ على أدائه مع نصوص قانونية أو طبية حيوية دون إعادة تشغيل منظومة التقييم. لا تتقدم منظومة التقييم أيضًا إلا وفق ما يحدده المقيّم؛ لذا ستفرط بدقة في ملاءمة مجموعة تدريب مشوشة أو حكم سيئ المعايرة. ونوصي بما لا يقل عن 20 عنصر تدريب منتقاة بعناية، ومجموعة تطوير مستقلة قبل أي تشغيل جاد. التكلفة هي أكبر قيد عملي. يعيد كل تقييم تشغيل المسار كاملًا على جميع المجموعات، وقد استهلك مرشح الاسترجاع المختار وحده نحو 2.2 مليون رمز إدخال، كما تتراوح تكلفة التحسين الجاد باستخدام نموذج من فئة gpt-5.5 بين مئات الدولارات وبضعة آلاف لكل مهمة. وأخيرًا، تأتي هذه الأرقام من تشغيلات منفردة لا من تجارب متكررة، ولهذا نشاركها في تدوينة هندسية لا في دراسة رسمية.
تُظهر Meta-Harness أن تحسين الشفرة ذاتيًا يمكن ضبطه بما يكفي لاستخدام المؤسسات. وتتمثل المقومات في فرضيات هيكلية، وتصفية تنبؤية مسبقة، وتقييم معزول، واختبار محجوب حيثما تسمح البيانات، ومسار تدقيق كامل لكل تغيير معتمد. تمنح هذه المقومات مجتمعةً الفريق الهندسي مسارًا قابلًا للتوقع، يبدأ بخط أنابيب أولي عامل وينتهي بآخر أفضل منه أداءً وقابل للقياس. كما تمنح مسؤول العمليات نموذجًا بسيطًا: فوائد الاستكشاف المستقل، ولكن داخل إطار صارم يراعي الميزانية، وبوجود شخص في الحلقة قبل نشر أي شيء.