سامانههای موجودِ بهبود خودکار در وظایف کدنویسی نتایج چشمگیری نشان دادهاند، اما هنوز روشن نیست که آیا میتوانند گردشهای کار پیچیده و بلندمدت هوش مصنوعی، مشابه استقرارهای واقعی سازمانی، را نیز بهبود دهند.
پژوهش Meta-Harness ما، خودبهبودگری خودکار را در گردشهای کار بازیابی عاملمحور، تحقیق عمیق و هوشمندی سیگنال به کار میگیرد و همزمان الزامهای سازمانی مانند ارزیابی کنارگذاشتهشده، حسابرسیپذیری، کنترل بودجه و تأیید انسانی را اضافه میکند.
Meta-Harness در سه بارکاری نمونه، عملکرد را بهطور چشمگیری بهبود داد؛ از جمله بهبود 84 درصدی عملکرد در آزمون کنارگذاشتهشده برای Signal Engine و دقت بالاتر همراه با اجرای 16 برابر سریعتر برای بازیابی چندوجهی عاملمحور.
برخلاف بیشتر روشهای پیشین، Meta-Harness هرجا ممکن باشد موفقیت را روی مجموعهدادههای کنارگذاشتهشده میسنجد تا مشخص شود بهبودها فراتر از دادههای مورد استفاده در بهینهسازی نیز تعمیم مییابند یا نه.
این نتایج نشان میدهند که بهبود خودکار گردش کار میتواند از معیارهای کدنویسی فراتر رود و به سامانههای واقعی هوش مصنوعی سازمانی برسد؛ مسیری عملی برای بهبود مستمر برنامههای هوش مصنوعی.
پژوهشهای اخیر درباره تحقیق خودکار هوش مصنوعی، از جمله مقاله Meta-Harness، چارچوب CORAL و karpathy/autoresearch، نشان دادهاند که عاملهای کدنویسی میتوانند با تکیه بر یک معیار ارزیابی، راهحلی را بهصورت تکرارشونده بهبود دهند. پرسش بیپاسخ این است که آیا این روشها در گردشهای کار بلندمدت هوش مصنوعی نیز کار میکنند؛ مانند بازیابی چندوجهی عاملمحور که در آن عامل باید برای پاسخ به یک پرسش، بارها در پیکرههای تخصصی چندوجهی جستوجو کند، یا خط لولههای پیچیده پردازش داده که به گامهای وابسته متعدد، فراخوانی ابزارها و تصمیمگیری برای مدیریت استثناها نیاز دارند. پرسش بنیادیتر این است که آیا این دستاوردها روی دادههایی که بهینهساز هرگز نمیبیند نیز پابرجا میمانند.
پژوهشوتوسعه Meta-Harness ما، پاسخی به همین پرسش است. این سامانه ایدههای پژوهشهای اخیر را متناسب با نیازهای سازمانی بازطراحی میکند: ارزیابی کنارگذاشتهشده، ردپای حسابرسی، سقف هزینه و نقطه تحویل مشخص به بازبین انسانی پیش از هرگونه انتشار.
آن را روی سه وظیفه بلندمدت برگرفته از پروژههای واقعی مشتریان آزمایش کردیم. Signal Engine جریان زنده پستهای X درباره بازار هوش مصنوعی را پایش میکند و گزارشهای ساختاریافته و مستند از روندها میسازد. بازیابی چندوجهی عاملمحور پرسوجوهای ترکیبی متن و تصویر را تحلیل میکند تا مرتبطترین صفحات اسناد را برگرداند. تحقیق عمیق چند عامل را برای جستوجوی وب، راستیآزمایی متقابل منابع و نگارش گزارشهای پژوهشی مفصل هماهنگ میکند.
Signal Engine: امتیاز ترکیبی آزمون کنارگذاشتهشده از 0.456 به 0.841 رسید؛ یعنی 84٪ افزایش نسبی. CORAL و karpathy/autoresearch با همان بودجه زیر 0.50 ماندند.
بازیابی چندوجهی عاملمحور: معیار NDCG@10 کنارگذاشتهشده از 0.705 به 0.744 رسید و زمان واقعی هر ارزیابی از 869 ثانیه به 54 ثانیه کاهش یافت. یعنی سرعت 16 برابر بیشتر، آن هم با دقت بالاتر.
تحقیق عمیق: امتیاز ترکیبی کیفیت گزارش در 10 پرسش مرجع از 0.449 به 0.802 رسید، درحالیکه مقدار روشهای مبنا حدود 0.52 بود. این وظیفه تقسیمبندی کنارگذاشتهشده نداشت؛ بنابراین این عدد را فقط دروننمونهای در نظر میگیریم.
کارایی جستوجو: با رتبهبندی مجدد پیشبینانه فرضیهها، Signal Engine با همان بودجه ارزیابی، در 3 تکرار به 91٪ بهترین امتیاز اجرای مرجع رسید، نه 20 تکرار.
بیشتر سامانههای تحقیق خودکار، بهینهسازی و ارزیابی را روی یک مجموعهداده انجام میدهند؛ بنابراین نمیتوان فهمید نتیجه تعمیمپذیر است یا نه. برای Signal Engine و بازیابی چندوجهی عاملمحور، جداسازی سختگیرانهای اعمال میکنیم: مجموعه آموزشی که گزینهها میتوانند با آن امتیاز بگیرند، مجموعه توسعه برای بررسیهای صحت و مجموعه آزمون کنارگذاشتهشدهای که بهینهساز هرگز نمیبیند. هر نتیجه گزارششده از یک نسخه مشخص کد به دست آمده که روی همه تقسیمبندیها امتیاز گرفته است؛ بنابراین هرگز بهترین امتیاز آموزشی یک گزینه را با بهترین امتیاز آزمون گزینهای دیگر ترکیب نمیکنیم.
در هر دور، چارچوب اجرایی مجموعهای از فرضیههای ساختاریافته برای تغییر کد تولید میکند. هر فرضیه سازوکاری را که میخواهد تغییر دهد، نسخۀ قبلیای را که مبنای کار قرار میدهد و نوع خطایی را که هدف گرفته است مشخص میکند. یک مرحلۀ رتبهبندی، پیش از صرف هزینه برای ارزیابیهای پرهزینه، این مجموعه را پالایش میکند. فرضیههای باقیمانده به عاملهای اجرایی موازی سپرده میشوند. این عاملها پایگاه دانشی مشترکی دارند، اما کد را در فضاهای کاری کاملاً مجزا ویرایش میکنند تا هر گزینه منصفانه و مستقل ارزیابی شود. در پایان دور، اجراکننده یک برنده را انتخاب میکند: گزینهای با بالاترین امتیاز که همۀ بررسیهای تقسیمبندیهای قابلمشاهده را نیز پشت سر گذاشته باشد. این برنده به مبنای پیشرویی تبدیل میشود که دور بعد بر آن بنا خواهد شد. هر آزمایش، بستهای ثابت را در مخزن شواهد که فقط امکان افزودن دارد ثبت میکند: وصلۀ کد، امتیاز هر تقسیمبندی، گزارش رویدادها و چهار تحلیل کوتاه نوشتهشده با مدل زبانی بزرگ (LLM) دربارۀ مسیر اجرا، خطاها، هزینه و بازاندیشی. پیشنهاددهندۀ دور بعد این سابقه را میخواند؛ به این ترتیب چارچوب آزمون آموختههای خود را روی هم انباشته میکند، نه اینکه بنبستهای قبلی را دوباره طی کند.
سه سازوکار محافظتی کمک میکنند این چرخه بهصورت ایمن اجرا شود. سیاست دامنه مشخص میکند هر گزینه مجاز به تغییر کدام فایلهاست و هر تغییری خارج از این محدوده را برمیگرداند. بودجهٔ توکن و محدودیت زمان سپریشده، وقتی هزینه از سقف تعیینشده عبور کند، اجرا را متوقف میکنند و محدودیتهای همزمانی نیز چارچوب اجرایی را در محدودهٔ نرخ مجاز مدل و GPU نگه میدارند. همچنین، چارچوب اجرایی هرگز چیزی را خودکار به محیط عملیاتی منتقل نمیکند. این سامانه یک گزینهٔ رتبهبندیشده و کاملاً مستند تولید میکند؛ سپس یک مهندس انسانی تغییرات کد را بازبینی میکند و تصمیم میگیرد آیا آن گزینه به محیط عملیاتی منتقل شود یا نه.
در پشته محلی، پنج سازوکار مهندسی زیربنای هر دور از چرخه بالا هستند.
جداسازی فضای کاری. یک git worktree برای هر گزینه. انشعابها پایگاه داده اشیای مشترکی دارند، اما هرگز به فایلهای یکدیگر دسترسی ندارند. بنابراین گزینهها میتوانند با هزینه تقریباً ثابت دیسک بهصورت موازی اجرا شوند و مقایسه تفاوتها با گزینه پیشروی فعلی نیز بسیار آسان است.
محیط اجرای ایزوله. دارای دو حالت قابلتنظیم: زیرفرایند بومی برای تکرار سریع یا محیط اجرای کاملاً ایزوله. پیکرهها فقطخواندنی متصل میشوند و پوشه موقت هر آزمایش پس از امتیازدهی حذف میشود. در نتیجه، هیچ آزمایشی نمیتواند مجموعهداده را تغییر دهد یا وضعیت خود را به آزمایش بعدی نشت دهد.
سیاست دامنه. فهرست مسیرهای مجاز که در پیکربندی آزمایش تعریف میشود. هر تغییری خارج از این فهرست، پیش از امتیازدهی به آزمایش برگردانده و خود آزمایش نیز علامتگذاری میشود. بنابراین تضمین میشود تفاوتهایی که بازبین میبیند در محدوده اعلامشده باقی بمانند.
اعمال محدودیت بودجه. سه لایه دارد: سقف توکن و زمان سپریشده برای هر آزمایش، سقف تجمیعی برای هر اجرا و محدودیت همزمانی. این سه در کنار هم هزینه را قابلپیشبینی نگه میدارند و تضمین میکنند که چارچوب اجرایی در محدودهٔ محدودیتهای تعداد درخواست و زیرساخت باقی بماند.
مخزن شواهد. یک فایل JSONL که فقط امکان افزودن دارد و شامل وصلۀ کد، امتیاز هر تقسیمبندی، گزارش رویدادها و چهار تحلیل کوتاه نوشتهشده با مدل زبانی بزرگ (LLM) است. نماهای مادیشده (جدول رتبهبندی، گزینۀ پیشرو و نمایۀ خطاها) پس از هر آزمایش بازتولید میشوند. در نتیجه، دورهای بعدی میتوانند بر تاریخچۀ قبلی بنا شوند و در عین حال هر اجرا دقیقاً و بایتبهبایت بازتولیدپذیر بماند.
هیچیک از این سازوکارها اختیاری نیستند. هدف چارچوب اجرایی این است که در پایان اجرا چیزی واقعاً قابلتأیید در اختیار بازبین بگذارد: گزینه برنده، مجموعه تغییرات محدود، سابقه کامل همه تلاشها و هزینهای مشخص. با حذف هر یک از این پنج سازوکار، یکی از این تضمینها از بین میرود.
هر سه آزمایش از راهبرد فرضیهپردازی یکسانی استفاده میکنند. در هر تکرار، پیشنهاددهنده بیش از ظرفیت بودجه فرضیه تولید میکند: M = 8 گزینه برای بودجۀ ارسال K = 4. سپس یک رتبهبند جداگانۀ مبتنی بر مدل زبانی بزرگ (LLM)، هر 8 گزینه را در یک فراخوانی سیثانیهای و با در اختیار داشتن تصویری کامل رتبهبندی میکند: بهترین امتیاز فعلی و ابعاد ضعیف آن، تحلیل خطاهای آزمایشهای اخیر و هر 8 پیشنهاد در کنار یکدیگر. چهار گزینۀ برتر به اجراکننده فرستاده میشوند و اجرای هرکدام 15 تا 30 دقیقه زمان میبرد. چهار گزینۀ دیگر پیش از ایجاد هرگونه هزینه کنار گذاشته میشوند.
مدلهای زیربنایی در تمام فرایند ثابت ماندند؛ چارچوب اجرایی فقط کد پیرامون آنها را ویرایش کرد. Signal Engine و تحقیق عمیق روی gpt-5.5 اجرا شدند. بازیابی چندوجهی عاملمحور روی مدل وزنباز Qwen3.6-35B-A3B اجرا شد که بهصورت محلی از طریق vLLM ارائه میشد و با بازیاب تصویر ColQwen3-4B همراه بود؛ این ترکیب بهدلیل هزینه پیشبینیپذیر استقرار درونسازمانی انتخاب شد.
نمودار زیر تغییر امتیازهای سه وظیفه اصلی ما را نشان میدهد. «نسخه اولیه» کد آغازینی است که یک مهندس انسانی نوشته است. «Meta-Harness» بهترین نسخهای است که Meta-Harness پیدا کرده است. در مجموعه آزمون کنارگذاشتهشده، عملکرد هر سه وظیفه بهبود یافت.
Signal Engine با داوری یک مدل زبانی بزرگ (LLM) و بر اساس تازگی، درستی، جزئیات و لحن ارزیابی شد؛ دادهها شامل 150 توییت آموزشی و 150 توییت آزمون مستقل بودند. در طول اجرا، بهترین نسخه امتیاز ترکیبی آموزش را از 0.431 به 0.756 و امتیاز کنارگذاشتهشده را از 0.456 به 0.841 رساند. این پیشرفت فقط حاصل اصلاح پرامپتها نبود، بلکه از تغییر خود چارچوب اجرایی ناشی شد: تکرارهای برنده یاد گرفتند نویز شبکههای اجتماعی را پالایش کنند، مراحل راستیآزمایی متقابل حقایق را افزودند و همه خروجیها را ملزم کردند بر شواهد صریح تکیه کنند. نمودار زیر فرایند تکرار را نشان میدهد.
سابقه آزمایشها نشان میدهد این دستاوردها چگونه روی هم انباشته شدند. یک تغییر ساختاری اولیه، بهترین امتیاز جاری را به 0.625 رساند؛ مدیریت دقیقتر شواهد آن را به 0.679 افزایش داد و چرخه اصلاحشده بازاندیشی و معیارسنجی، امتیاز را به 0.819 رساند. حدود نیمی از اجراهای گزینهها عملکرد ضعیفی داشتند یا کاملاً شکست خوردند، اما جدول رتبهبندی را آلوده نکردند: هر انشعاب جداگانه اجرا شد، تفاوتهای بازنده حذف شدند و خطاها در مخزن بازاندیشی ثبت شدند تا پیشنهاددهنده بعدی همان بنبست را تکرار نکند.
مهمتر از همه، منحنی کنارگذاشتهشده در سراسر اجرا همراه با منحنی آموزش بالا رفت. این موضوع نشان میدهد چارچوب اجرایی بهجای حفظ کردن پیکرۀ آموزشی، گردش کار را بهبود میداد. امتیازهای کنارگذاشتهشده کمی بالاتر از امتیازهای آموزش بودند که آن را نویز عادی نمونهگیری میان دو تقسیمبندی کوچک و مجزا میدانیم.
بازیابی چندوجهی عاملمحور با NDCG@10 روی بخش عمومی علوم کامپیوتر ViDoRe V3 سنجیده میشود که در قالب 20 پرسوجوی آموزشی، 10 پرسوجوی توسعه و 20 پرسوجوی آزمون کنارگذاشتهشده آماده شده است. چارچوب اجرایی، NDCG@10 کنارگذاشتهشده را از 0.705 به 0.744 رساند و همزمان کل زمان واقعی ارزیابی را از 869 ثانیه به 54 ثانیه کاهش داد.
تحقیق عمیق بر اساس امتیاز ترکیبی کیفیت محتوایی و کیفیت منابع که یک مدل زبانی بزرگ (LLM) داوری میکند و با پیروی از DeepResearch-Eval، روی 10 پرسش مرجع ارزیابی میشود. کد بهبودیافته میانگین را از 0.449 به 0.802 رساند. تغییرات برنده بهروشنی در تفاوت کد دیده میشدند: یک مرحله برنامهریزی اولیه که پیش از ارسال عاملهای پژوهشی، رویکردها را مقایسه میکند و یک مرحله بازبینی نهایی که ابعادی را هدف میگیرد که گزارشها در گذشته در آنها امتیاز پایینی گرفتهاند. چون این مجموعه کوچک و ارزیابی آن پرهزینه است، آن را تقسیم نکردیم و نتیجه را دروننمونهای در نظر میگیریم.
هر سه روش را با بودجهای یکسان سنجیدیم: مجموعهدادههای یکسان، مدلهای زیربنایی یکسان، سقف تکرار یکسان و تعداد کل یکسان ارزیابی گزینهها. در Signal Engine، Meta-Harness در آزمون کنارگذاشتهشده به 0.841 رسید، درحالیکه هر دو روش مبنا زیر 0.50 ماندند. در بازیابی چندوجهی عاملمحور، تیم ما بالاترین NDCG@10 کنارگذاشتهشده را دارد (0.744 در برابر 0.700 برای CORAL و 0.738 برای karpathy) و ارزیابی رسمی را 12 تا 14 برابر سریعتر اجرا میکند: 54 ثانیه در برابر 786 و 650 ثانیه. در تحقیق عمیق، تیم ما به 0.802 رسید، درحالیکه هر دو روش مبنا نزدیک 0.52 ماندند. البته یک ملاحظه درباره همه نتایج وجود دارد: ما CORAL و karpathy/autoresearch را بر اساس توضیحات منتشرشده آنها بازپیادهسازی کردیم؛ بنابراین بخشی از اختلاف ممکن است ناشی از تفاوت پیادهسازی باشد، نه فقط تفاوت روشها.
چهار انتخاب طراحی این اختلاف را توضیح میدهند. نخست، تیم ما پیش از هرگونه ویرایش کد، مشخصات طراحی ساختاریافتهای تولید میکند؛ این کار آن را بهجای اصلاح پرامپتها، بهسمت تغییرات ساختاری مانند افزودن مراحل جدید به خط لوله سوق میدهد. دوم، انشعابهای همزمانی را اجرا میکند که همگی به یک گزینه پیشروی مشترک متصلاند؛ بنابراین بهبودها سریعتر از عاملهای مستقل CORAL یا چرخه کاملاً ترتیبی karpathy روی هم انباشته میشوند. سوم، هر آزمایش آثار ساختاریافتهای بر جا میگذارد—امتیازها، گزارش رویدادها و چهار تحلیل نوشتهشده با مدلهای زبانی بزرگ (LLM)—که پیشنهاددهنده بعدی آنها را میخواند، درحالیکه روشهای مبنا فقط گزارش ساده تلاشها را نگه میدارند. چهارم، یک کنترلگر تطبیقی پس از توقف پیشرفت، پیشنهاددهنده را بهسمت کاوش و پس از هر موفقیت بهسمت پالایش هدایت میکند. رتبهبندی مجدد پیشبینانه فرضیهها نیز در لایه بالاتر، ایدههای ضعیف را پیش از مصرف بودجه حذف میکند.
منحنیهای ارزیابی روی دادههای کنارگذاشتهشده، تعمیم دروندامنهای را نشان میدهند، نه انتقال میاندامنهای را: نباید انتظار داشت گردشکاری که برای استخراج سیگنالهای بازار هوش مصنوعی تنظیم شده است، بدون اجرای دوبارهٔ چارچوب اجرایی، روی متون حقوقی یا زیستپزشکی نیز به همان خوبی عمل کند. چارچوب اجرایی نیز فقط همان مسیری را بهینه میکند که ارزیاب تعریف کرده است؛ بنابراین اگر مجموعهٔ آموزشی پرنویز باشد یا داور بهدرستی کالیبره نشده باشد، سامانه نیز به همان معیارها بیشبرازش خواهد کرد. پیش از یک اجرای جدی، توصیه میکنیم دستکم ۲۰ نمونهٔ آموزشی بهدقت گزینششده و یک بخش توسعهٔ جداگانه داشته باشید.هزینه بزرگترین محدودیت عملی است. هر ارزیابی، کل خط لوله را روی همهٔ بخشهای داده دوباره اجرا میکند؛ گزینهٔ بازیابی منتخب بهتنهایی حدود ۲٫۲ میلیون توکن ورودی مصرف کرد و یک بهینهسازی جدی با مدلی در ردهٔ gpt-5.5 برای هر وظیفه از چند صد تا چند هزار دلار هزینه دارد. در نهایت، این اعداد حاصل اجراهای منفرد هستند، نه آزمایشهای تکرارشده؛ به همین دلیل آنها را در قالب یک مطلب وبلاگی مهندسی منتشر میکنیم، نه یک مطالعهٔ رسمی.
Meta-Harness نشان میدهد که میتوان بهبود خودکار کد را بهاندازه کافی منضبط کرد تا برای کاربرد سازمانی مناسب باشد. اجزای لازم عبارتاند از فرضیههای ساختاری، پیشپالایش پیشبینانه، ارزیابی ایزوله، آزمون کنارگذاشتهشده در هرجا که داده اجازه دهد و ردپای کامل حسابرسی برای هر تغییر ارتقایافته. این اجزا در کنار هم، مسیری پیشبینیپذیر از یک خط لوله اولیه کارآمد تا نسخهای بهطور سنجشپذیر بهتر در اختیار تیم مهندسی میگذارند و برای مسئول عملیات نیز الگویی ساده فراهم میکنند: بهرهگیری از مزیت کاوش خودکار در چارچوبی سختگیرانه و حساس به بودجه، با حضور انسان در چرخه پیش از هرگونه انتشار.