میٹا ہارنیس: محفوظ، خود بہتر انٹرپرائز مصنوعی ذہانت کے عملی بہاؤ

• موجودہ خود مختار بہتری کے نظاموں نے کوڈنگ کے کاموں میں عمدہ نتائج دکھائے ہیں، مگر یہ واضح نہیں کہ آیا وہ حقیقی انٹرپرائز نفاذ جیسے پیچیدہ اور طویل مدتی مصنوعی ذہانت کے عملی بہاؤ بہتر کر سکتے ہیں۔

• ہماری میٹا ہارنیس تحقیق خود مختار بہتری کو ایجنٹی بازیافت، ڈیپ ریسرچ اور اشارتی انٹیلیجنس کے عملی بہاؤ پر لاگو کرتی ہے، ساتھ ہی محفوظ ڈیٹا پر جائزہ، قابل حساب جانچ، بجٹ کے ضوابط اور انسانی منظوری جیسی انٹرپرائز شرائط شامل کرتی ہے۔

• تین نمائندہ کاموں میں میٹا ہارنیس نے کارکردگی نمایاں طور پر بہتر کی، جس میں سگنل انجن کی محفوظ ٹیسٹ کارکردگی میں 84% بہتری اور ایجنٹی کثیر طرز بازیافت میں زیادہ درستگی کے ساتھ 16 گنا تیز اجرا شامل ہیں۔

• زیادہ تر سابقہ طریقوں کے برعکس، Meta-Harness جہاں ممکن ہو کامیابی کو محفوظ ڈیٹاسیٹس پر ناپتا ہے، تاکہ معلوم ہو سکے کہ بہتری اصلاح کے دوران استعمال ہونے والے ڈیٹا سے آگے بھی مؤثر ہے یا نہیں۔

• یہ نتائج ظاہر کرتے ہیں کہ عملی بہاؤ کی خود مختار بہتری کوڈنگ کے معیارات سے آگے حقیقی انٹرپرائز مصنوعی ذہانت کے نظاموں تک پہنچ سکتی ہے اور مسلسل بہتر ہوتی اطلاقات کے لیے عملی راستہ فراہم کر سکتی ہے۔

خود مختار مصنوعی ذہانت کی تحقیق پر حالیہ کام، جس میں Meta-Harness مقالہ، کورل فریم ورک اور karpathy/autoresearch شامل ہیں، نے دکھایا ہے کہ جائزے کا پیمانہ ملنے پر کوڈنگ ایجنٹس کسی حل کو مرحلہ وار بہتر کر سکتے ہیں۔ اب بھی یہ سوال باقی ہے کہ آیا یہ طریقے طویل مدتی مصنوعی ذہانت کے عملی بہاؤ پر مؤثر ہیں، مثلاً ایجنٹی کثیر طرز بازیافت، جہاں ایجنٹ کو سوال کا جواب دینے کے لیے مختلف طرزوں کے تخصصی ذخائر میں بار بار تلاش کرنا پڑتی ہے، یا پیچیدہ ڈیٹا پراسیسنگ سلسلے، جن میں کئی باہم منحصر مراحل، آلات کی طلب اور استثنائی حالات سے نمٹنے کے فیصلے درکار ہوتے ہیں۔ اصل سوال یہ ہے کہ کیا یہ فوائد ایسے ڈیٹا پر بھی برقرار رہتے ہیں جسے اصلاح کار نے کبھی نہیں دیکھا۔

ہماری Meta-Harness تحقیق و ترقی اسی سوال کا جواب ہے۔ یہ حالیہ تحقیق کے تصورات کو انٹرپرائز ضروریات کے مطابق ڈھالتی ہے: محفوظ ڈیٹا پر جائزہ، حسابی جانچ کے نوشتے، لاگت کی سقفیں اور کسی چیز کے اجرا سے پہلے انسانی جائزہ کار کو واضح منتقلی۔

ہم نے اسے حقیقی صارفین کے کام سے اخذ کردہ تین طویل مدتی کاموں پر آزمایا۔ سگنل انجن مصنوعی ذہانت کی منڈی سے متعلق X پوسٹس کے براہ راست سلسلے کی نگرانی کرتا اور مستند حوالوں والی منظم رجحانی رپورٹس تیار کرتا ہے۔ ایجنٹی کثیر طرز بازیافت متن اور تصاویر پر مشتمل سوالات پر استدلال کر کے سب سے متعلقہ دستاویزی صفحات واپس کرتی ہے۔ ڈیپ ریسرچ متعدد ایجنٹس کو منظم کر کے ویب پر تلاش، ذرائع کی باہمی پڑتال اور مفصل تحقیقی رپورٹس کی تحریر کرواتی ہے۔

• Signal Engine: محفوظ ٹیسٹ کا مرکب اسکور 0.456 → 0.841، یعنی نسبتاً 84% اضافہ۔ اسی بجٹ میں کورل اور karpathy/autoresearch دونوں 0.50 سے نیچے رہے۔

• Agentic Multimodal Retrieval: محفوظ NDCG@10 0.705 → 0.744، جبکہ ہر جائزے کا حقیقی وقت 869 سیکنڈ سے گھٹ کر 54 سیکنڈ رہ گیا۔ یعنی زیادہ درستگی کے ساتھ رفتار میں 16 گنا اضافہ۔

• ڈیپ ریسرچ: 10 حوالہ جاتی سوالات پر رپورٹ کے معیار کا مرکب اسکور 0.449 → 0.802، جبکہ بنیادی طریقوں کا اسکور تقریباً 0.52 رہا۔ اس کام میں کوئی محفوظ حصہ نہیں تھا، اس لیے ہم اس عدد کو صرف نمونے کے اندر کا نتیجہ سمجھتے ہیں۔

• تلاش کی کارکردگی: پیش گوئی پر مبنی مفروضہ جاتی باز درجہ بندی کے ساتھ سگنل انجن نے اسی جائزہ بجٹ میں حوالہ جاتی اجرا کے بہترین اسکور کا 91%، 20 کے بجائے 3 تکراروں میں حاصل کیا۔

زیادہ تر خود مختار تحقیقی نظام ایک ہی ڈیٹاسیٹ پر اصلاح اور جائزہ کرتے ہیں، اس لیے یہ معلوم کرنا ناممکن ہوتا ہے کہ نتیجہ عمومی طور پر مؤثر ہے یا نہیں۔ سگنل انجن اور ایجنٹی کثیر طرز بازیافت کے لیے ہم سخت تقسیم نافذ کرتے ہیں: امیدواروں کے اسکور کے لیے تربیتی مجموعہ، بنیادی پڑتال کے لیے ترقیاتی مجموعہ اور ایک محفوظ ٹیسٹ مجموعہ جسے اصلاح کار کبھی نہیں دیکھتا۔ ہر رپورٹ شدہ نتیجہ کوڈ کے ایک مخصوص نسخے سے آتا ہے جسے ہر حصے پر جانچا گیا، اس لیے ہم کبھی ایک امیدوار کا بہترین تربیتی اسکور دوسرے کے بہترین ٹیسٹ اسکور سے نہیں ملاتے۔

ہر دور میں ہارنیس کوڈ تبدیل کرنے کے لیے منظم مفروضوں کا ایک مجموعہ تیار کرتا ہے۔ ہر مفروضہ اس طریقۂ کار، سابقہ نسخے اور خرابی کی نوعیت کی نشان دہی کرتا ہے جسے بالترتیب بدلنا، بنیاد بنانا اور حل کرنا مقصود ہو۔ کسی مہنگے جائزے پر خرچ کرنے سے پہلے درجہ بندی کا مرحلہ اس مجموعے کو چھانٹتا ہے۔ باقی مفروضے متوازی کارکن ایجنٹس کو بھیجے جاتے ہیں۔ وہ مشترکہ علمی ذخیرہ استعمال کرتے ہیں، مگر کوڈ میں ترمیم مکمل طور پر الگ ورک اسپیسز میں کرتے ہیں، تاکہ ہر امیدوار کی منصفانہ اور آزادانہ جانچ ہو۔ دور کے اختتام پر نظام ایک فاتح منتخب کرتا ہے: سب سے زیادہ اسکور والا وہ امیدوار جو ظاہر کردہ تمام حصوں کی ہر جانچ میں کامیاب ہوا ہو۔ یہ فاتح اگلے دور کی بنیاد بن جاتا ہے۔ ہر آزمائش صرف اضافہ قبول کرنے والے شواہد کے ذخیرے میں ایک مقررہ مجموعہ لکھتی ہے: کوڈ کی پیوند، ہر حصے کے اسکورز، واقعات کا نوشتہ، اور LLM کے لکھے چار مختصر تجزیے جو اس کے مراحل، خرابیوں، لاگت اور غور و فکر کا احاطہ کرتے ہیں۔ اگلے دور کا تجویز کنندہ یہ تاریخ دوبارہ پڑھتا ہے، یوں ہارنیس انہی ناکام راستوں کو دہرانے کے بجائے اپنے سیکھے ہوئے علم کو بڑھاتا ہے۔

تین حفاظتی ضوابط اس چکر کو محفوظ رکھتے ہیں۔ دائرۂ کار کی پالیسی طے کرتی ہے کہ امیدوار کن فائلوں کو چھیڑ سکتا ہے اور اس سے باہر کی ہر تبدیلی واپس کر دیتی ہے۔ ٹوکن اور حقیقی وقت کی حدیں مقررہ سقف عبور ہوتے ہی عمل روک دیتی ہیں، جبکہ بیک وقت اجرا کی حد ہارنیس کو ماڈل اور گرافکس پروسیسنگ یونٹ کی شرح کی حدود میں رکھتی ہے۔ اور ہارنیس خود کبھی کسی چیز کو جاری نہیں کرتا۔ یہ درجہ بند اور مکمل دستاویزی امیدوار تیار کرتا ہے، پھر انسانی انجینئر فرق کا جائزہ لے کر طے کرتا ہے کہ اسے عملی نظام میں شامل کیا جائے یا نہیں۔

مقامی نظام میں مندرجہ بالا چکر کے ہر دور کی بنیاد پانچ انجینئرنگ اجزا ہوتے ہیں۔

• ورک اسپیس کی علیحدگی۔ ہر امیدوار کے لیے ایک git worktree۔ شاخیں اشیا کا مشترکہ ڈیٹابیس استعمال کرتی ہیں مگر ایک دوسرے کی فائلیں نہیں، اس لیے امیدوار تقریباً یکساں ڈسک لاگت پر متوازی چل سکتے ہیں اور موجودہ بہترین نسخے سے فرق نکالنا نہایت آسان ہوتا ہے۔

• اجرا کا محفوظ ماحول۔ ترتیبات کے مطابق دو طریقے: تیز تکرار کے لیے مقامی ذیلی عمل یا مکمل طور پر الگ عملی ماحول۔ متنی ذخیرے صرف پڑھنے کے لیے نصب ہوتے ہیں اور ہر آزمائش کی عارضی ڈائریکٹری درجہ بندی کے بعد حذف کر دی جاتی ہے۔ نتیجتاً کوئی آزمائش ڈیٹاسیٹ تبدیل نہیں کر سکتی اور نہ اپنی حالت اگلی آزمائش تک پہنچا سکتی ہے۔

• دائرۂ کار کی پالیسی۔ تجربے کی ترتیبات میں متعین راستوں کی اجازت فہرست۔ اس سے باہر کی ہر تبدیلی آزمائش کی درجہ بندی سے پہلے واپس کر دی جاتی ہے اور آزمائش کو نشان زد کیا جاتا ہے۔ یوں ضمانت رہتی ہے کہ جائزہ کار کو دکھائی دینے والا فرق متعین دائرۂ کار ہی میں ہوگا۔

• بجٹ کا نفاذ۔ تین سطحیں: ہر آزمائش کے ٹوکن اور حقیقی وقت کی حدود، ہر اجرا کی مجموعی سقف اور بیک وقت اجرا کی حد۔ یہ مل کر اخراجات کو قابل پیش گوئی رکھتے اور یقینی بناتے ہیں کہ ہارنیس ماڈل اور بنیادی ڈھانچے کی شرح کی حدود میں رہے۔

• شواہد کا ذخیرہ۔ کوڈ کی پیوند، ہر حصے کے اسکورز، واقعات کے نوشتے اور LLM کے لکھے چار تجزیوں پر مشتمل صرف اضافہ قبول کرنے والی JSONL۔ عملی منظرنامے، یعنی درجہ بندی جدول، بہترین نسخہ اور ناکامیوں کا اشاریہ، ہر آزمائش کے بعد دوبارہ بنتے ہیں۔ یوں بعد کے دور گزشتہ تاریخ سے فائدہ اٹھاتے ہیں اور ہر اجرا کو بائٹ بہ بائٹ دہرایا جا سکتا ہے۔

ان میں سے کوئی جز اختیاری نہیں ہے۔ ہارنیس کا مقصد اجرا کے اختتام پر جائزہ کار کو واقعی قابل منظوری نتیجہ دینا ہے: ایک فاتح امیدوار، محدود فرق، تمام آزمائشوں کا مکمل ریکارڈ اور معلوم لاگت۔ ان پانچ میں سے کوئی ایک بھی ہٹا دیں تو ایک ضمانت ختم ہو جاتی ہے۔

تینوں تجربات میں مفروضوں کی ایک ہی حکمت عملی استعمال ہوتی ہے۔ ہر تکرار میں تجویز کنندہ بجٹ سے زیادہ مفروضے تیار کرتا ہے: K = 4 کے ترسیلی بجٹ کے لیے M = 8 امیدوار۔ پھر ایک الگ LLM درجہ کار تیس سیکنڈ کی ایک طلب میں تمام 8 کو ترتیب دیتا ہے اور اس کے سامنے مکمل صورت حال ہوتی ہے: موجودہ بہترین اسکور اور اس کے کمزور پہلو، حالیہ آزمائشوں کی ناکامی کے تجزیے اور تمام 8 تجاویز ساتھ ساتھ۔ بہترین 4 امیدوار نفاذ کار کو بھیجے جاتے ہیں، جن میں ہر ایک پر 15 سے 30 منٹ لگتے ہیں۔ باقی 4 کسی خرچ سے پہلے ہی خارج کر دیے جاتے ہیں۔

بنیادی ماڈلز پورے عمل میں غیر تبدیل رہے؛ ہارنیس نے صرف ان کے گرد موجود کوڈ میں ترمیم کی۔ سگنل انجن اور ڈیپ ریسرچ gpt-5.5 پر چلائے گئے۔ ایجنٹی کثیر طرز بازیافت مقامی طور پر vLLM کے ذریعے فراہم کردہ اوپن ویٹ Qwen3.6-35B-A3B پر چلائی گئی، جس کے ساتھ ColQwen3-4B تصویری بازیافت کار تھا۔ یہ امتزاج مقامی تنصیب کی قابل پیش گوئی لاگت کے باعث چنا گیا۔

ذیل کا چارٹ دکھاتا ہے کہ ہمارے تین مرکزی کاموں کے اسکور کیسے بدلے۔ "ابتدائی نسخہ" سے مراد انسانی انجینئر کا لکھا ہوا ابتدائی کوڈ ہے۔ "Meta-Harness" سے مراد میٹا ہارنیس کا دریافت کردہ بہترین نسخہ ہے۔ محفوظ ٹیسٹ مجموعے میں تینوں کاموں کی کارکردگی بہتر ہوئی۔

سگنل انجن کو 150 تربیتی اور 150 محفوظ ٹیسٹ ٹویٹس استعمال کر کے تازگی، حقیقت پسندی، تفصیل اور لہجے کے لحاظ سے LLM منصف نے جانچا۔ اجرا کے دوران بہترین نسخے نے تربیتی مرکب اسکور 0.431 سے 0.756 اور محفوظ اسکور 0.456 سے 0.841 تک بڑھایا۔ یہ فوائد محض پرومپٹ میں معمولی تبدیلیوں سے نہیں بلکہ خود ہارنیس میں تبدیلیوں سے آئے: کامیاب تکراروں نے سماجی ذرائع کا شور چھانٹنا سیکھا، حقائق کی باہمی پڑتال کے مراحل شامل کیے اور ہر نتیجے کے لیے واضح شواہد کی بنیاد لازمی بنائی۔ ذیل کا خاکہ تکرار کا عمل دکھاتا ہے۔

آزمائشوں کی تاریخ دکھاتی ہے کہ یہ فوائد کیسے جمع ہوئے۔ ایک ابتدائی ساختی تبدیلی نے اس وقت کا بہترین اسکور 0.625 کر دیا؛ شواہد کی زیادہ باریک کارروائی نے اسے 0.679 تک پہنچایا؛ اور غور و فکر و معیار کے بہتر چکر نے اسے 0.819 تک بڑھا دیا۔ تقریباً نصف امیدوار اجرا کم کارکردگی کا شکار ہوئے یا مکمل ناکام رہے، مگر انہوں نے درجہ بندی جدول کو آلودہ نہیں کیا: ہر شاخ الگ چلی، ناکام فرق حذف ہوئے اور ناکامیاں غور و فکر کے ذخیرے میں لکھی گئیں تاکہ اگلا تجویز کنندہ وہی ناکام راستہ نہ دہرائے۔

سب سے اہم بات یہ ہے کہ پورے اجرا میں محفوظ منحنی تربیتی منحنی کے ساتھ بڑھتا رہا۔ اس سے ظاہر ہوتا ہے کہ ہارنیس تربیتی ذخیرہ یاد کرنے کے بجائے عملی بہاؤ بہتر کر رہا تھا۔ محفوظ اسکور تربیتی اسکور سے قدرے زیادہ تھے، جسے ہم دو چھوٹے اور غیر متداخل حصوں کے درمیان معمول کا نمونہ جاتی شور سمجھتے ہیں۔

Agentic Multimodal Retrieval کو عوامی ViDoRe V3 Computer Science حصے پر NDCG@10 سے ناپا گیا، جسے 20 تربیتی، 10 ترقیاتی اور 20 محفوظ ٹیسٹ سوالات میں ترتیب دیا گیا تھا۔ ہارنیس نے محفوظ NDCG@10 کو 0.705 سے 0.744 تک بڑھایا، جبکہ جائزے کا کل حقیقی وقت 869 سیکنڈ سے گھٹا کر 54 سیکنڈ کر دیا۔

Deep Research کو 10 حوالہ جاتی سوالات پر DeepResearch-Eval کے مطابق، LLM کے ذریعے جانچے گئے موضوعاتی معیار اور حوالہ جاتی معیار کے مرکب اسکور سے پرکھا گیا۔ بہتر کوڈ نے اوسط 0.449 سے 0.802 تک بڑھا دی۔ فرق سے کامیاب تبدیلیاں آسانی سے واضح تھیں: تحقیقی ایجنٹس کی ترسیل سے پہلے طریقوں کا موازنہ کرنے والا ابتدائی منصوبہ بندی کا مرحلہ، اور آخر میں ان پہلوؤں کو ہدف بنانے والا جائزہ جن پر رپورٹس کے اسکور تاریخی طور پر کم رہے تھے۔ چونکہ یہ مجموعہ چھوٹا اور اس کا جائزہ مہنگا ہے، ہم نے اسے تقسیم نہیں کیا اور نتیجے کو نمونے کے اندر کا نتیجہ سمجھتے ہیں۔

ہم نے تینوں طریقوں کو ایک ہی بجٹ پر جانچا: یکساں ڈیٹاسیٹس، یکساں بنیادی ماڈلز، تکرار کی یکساں حد اور امیدواروں کے جائزوں کی یکساں کل تعداد۔ سگنل انجن پر میٹا ہارنیس نے محفوظ ٹیسٹ میں 0.841 حاصل کیا، جبکہ دونوں بنیادی طریقے 0.50 سے نیچے رہے۔ ایجنٹی کثیر طرز بازیافت پر ہماری ٹیم کا محفوظ NDCG@10 سب سے زیادہ ہے، یعنی کورل کے 0.700 اور karpathy کے 0.738 کے مقابلے میں 0.744، اور سرکاری جائزہ بارہ سے چودہ گنا تیزی سے چلتا ہے: 786 اور 650 سیکنڈ کے مقابلے میں 54 سیکنڈ۔ Deep Research پر ہماری ٹیم نے 0.802 حاصل کیا، جبکہ دونوں بنیادی طریقے 0.52 کے قریب رہے۔ ایک احتیاط پورے موازنے پر لاگو ہوتی ہے: ہم نے کورل اور karpathy/autoresearch کو ان کی شائع شدہ تفصیلات سے دوبارہ نافذ کیا، اس لیے کچھ فرق صرف طریقوں کے بجائے نفاذ کے اختلافات کا نتیجہ ہو سکتا ہے۔

چار ڈیزائن فیصلے اس فرق کی وضاحت کرتے ہیں۔ پہلا، ہماری ٹیم کوڈ میں ترمیم سے پہلے ایک منظم ڈیزائن تفصیل تیار کرتی ہے، جو اسے پرومپٹ کی معمولی تبدیلیوں کے بجائے سلسلے کے نئے مراحل جیسی ساختی تبدیلیوں کی طرف مائل کرتی ہے۔ دوسرا، یہ مشترکہ بہترین امیدوار سے منسلک متوازی شاخیں چلاتی ہے، اس لیے بہتری کورل کے آزاد ایجنٹس یا karpathy کے مکمل ترتیبی چکر سے زیادہ تیزی سے جمع ہوتی ہے۔ تیسرا، ہر آزمائش منظم نوادرات چھوڑتی ہے، یعنی اسکورز، واقعات کے نوشتے اور LLM کے لکھے چار تجزیے، جنہیں اگلا تجویز کنندہ دوبارہ پڑھتا ہے؛ جبکہ بنیادی طریقے صرف سادہ کوششوں کے نوشتے رکھتے ہیں۔ چوتھا، موافق کنٹرولر تعطل کے بعد تجویز کنندہ کو تلاش اور کامیابی کے بعد نکھار کی طرف لے جاتا ہے، جبکہ پیش گوئی پر مبنی مفروضہ جاتی باز درجہ بندی کمزور خیالات کو بجٹ خرچ ہونے سے پہلے خارج کر دیتی ہے۔

محفوظ منحنی اسی شعبے میں عمومیت دکھاتے ہیں، مختلف شعبوں میں منتقلی نہیں: مصنوعی ذہانت کی منڈی کے اشارے نکالنے کے لیے موزوں عملی بہاؤ سے یہ توقع نہیں ہونی چاہیے کہ ہارنیس دوبارہ چلائے بغیر قانونی یا حیاتی طبی متن پر بھی مؤثر ہوگا۔ ہارنیس اسی ہدف کی طرف بڑھتا ہے جو درجہ کار متعین کرے، اس لیے شور زدہ تربیتی مجموعے یا غلط پیمانے والے منصف پر پوری طرح زائد مطابقت پیدا ہوگی۔ سنجیدہ اجرا سے پہلے ہم کم از کم 20 اچھی طرح مرتب تربیتی اشیا اور ایک الگ ترقیاتی حصہ تجویز کرتے ہیں۔ لاگت سب سے بڑی عملی رکاوٹ ہے۔ ہر جائزہ تمام حصوں پر پورا سلسلہ دوبارہ چلاتا ہے، صرف منتخب بازیافتی امیدوار نے تقریباً 22 لاکھ ان پٹ ٹوکن استعمال کیے، اور gpt-5.5 درجے کے ماڈل پر سنجیدہ اصلاح کی فی کام لاگت سینکڑوں سے چند ہزار ڈالر تک ہوتی ہے۔ آخر میں، یہ اعداد بار بار آزمائشوں کے بجائے انفرادی اجرا سے آئے ہیں، اسی لیے ہم انہیں باقاعدہ مطالعے کے بجائے انجینئرنگ بلاگ مضمون کے طور پر پیش کر رہے ہیں۔

Meta-Harness دکھاتا ہے کہ کوڈ کی خود مختار بہتری کو انٹرپرائز استعمال کے لیے کافی منظم بنایا جا سکتا ہے۔ اس کے اجزا ساختی مفروضے، پیش گوئی پر مبنی پیشگی چھانٹی، الگ جائزہ، جہاں ڈیٹا اجازت دے وہاں محفوظ ٹیسٹنگ، اور ہر منظور شدہ تبدیلی کے پیچھے حسابی جانچ کا مکمل ریکارڈ ہیں۔ یہ سب مل کر انجینئرنگ ٹیم کو ایک کام کرنے والے ابتدائی سلسلے سے قابل پیمائش طور پر بہتر سلسلے تک پہنچنے کا قابل پیش گوئی راستہ دیتے ہیں، اور عملیاتی ذمہ دار کو ایک سادہ نمونہ فراہم کرتے ہیں: خود مختار تلاش کے فوائد، سخت اور بجٹ سے باخبر فریم ورک کے اندر، جہاں کسی چیز کے اجرا سے پہلے انسان شامل ہو۔