قابلِ اعتماد AI فیصلوں کے لیے LLM اور رسمی حل کنندگان کا امتزاج

بڑے زبان کے ماڈلز (LLM) نے فطری زبان سمجھنے، رواں جوابات تیار کرنے اور صارفین و ملازمین کے بالکل نئے تجربات کو ممکن بنانے میں غیر معمولی ترقی کی ہے. تاہم، چونکہ LLM فطری طور پر احتمالی ہوتے ہیں، اس لیے پیچیدہ عددی یا منطقی ریزننگ میں ان کے استعمال سے اس بات کی محدود ضمانت ملتی ہے کہ نتائج ضوابط کے مطابق یا بہترین ہوں گے. مثلاً:

• ایک مینیجر AI منصوبہ بندی معاون سے کہتا ہے، ”اگلے ہفتے اخراجات کم رکھتے ہوئے زیادہ سے زیادہ سامان بھیجو“، اور نظام ایسا جارحانہ منصوبہ پیش کرتا ہے جو مؤثر دکھائی دیتا ہے، مگر خاموشی سے گودام کی گنجائش سے تجاوز اور ترسیل کی ضمانتوں کی خلاف ورزی کرتا ہے.

• ایک رابطہ کار AI معاون سے کہتا ہے، ”رات کے قیام اور خلل کو کم کرنے کے لیے عملے کی ٹیمیں دوبارہ مقرر کرو“، اور ماڈل کم لاگت کا ایسا نظام الاوقات بناتا ہے جو بہترین دکھائی دیتا ہے، مگر لازمی اوقاتِ کار یا آرام کی پابندیوں کی خلاف ورزی کرتا ہے.

• مالی کارروائیوں کے AI معاون کو سخت علاقائی اور خطرے سے متعلق پابندیوں کے تحت لین دین منظور کرنا ہوتا ہے، مگر وہ ایسی من گھڑت توجیہ سے مشتبہ لین دین منظور کر دیتا ہے جو ضوابط کے مطابق سنائی دیتی ہے، حالانکہ وہ داخلی پالیسی کی خلاف ورزی کرتی ہے.

سخت عملی تقاضوں والے ماحول میں LLM کو رسمی حل کنندگان کے ساتھ ملانے سے یہ یقینی بنانے میں مدد ملتی ہے کہ فطری زبان پر مبنی فیصلے متعین حدود میں رہیں اور ناقابلِ عمل، غیر بہترین یا ضوابط کے خلاف نتائج سے بچیں.

ہماری تحقیق و ترقی کی ٹیم ایک ایسے مخلوط طریقے پر تحقیق کر رہی ہے جو LLM کی تخلیقی صلاحیت اور لچک کو Z3، Pyomo اور OR-Tools جیسے رسمی ریاضیاتی حل کنندگان کی سختی، ضمانتوں اور شفافیت سے جوڑتا ہے. ہم اس صلاحیت کو ادارہ جاتی ٹیکنالوجی کے بنیادی ڈھانچے کا معیاری حصہ بنانے کے لیے دوبارہ قابلِ استعمال رسمی AI انجن بھی تیار کر رہے ہیں. یہ پلیٹ فارم اداروں کو اپنے موجودہ نظاموں سے کاروباری اصول براہِ راست حاصل کرنے، فیصلوں کی ان اصولوں کے مطابق مسلسل تصدیق کرنے اور واضح حدود میں AI ایجنٹس کو محفوظ طور پر تعینات کرنے کے قابل بنائے گا.

ہمارا تصور بڑے پیمانے پر فیصلہ سازی تیز کرتے ہوئے عملی خطرات کم کرنا ہے. قائدین فطری زبان کی معلومات سے تیز اور پالیسی کے مطابق فیصلے حاصل کرتے ہیں، جبکہ ادارے نظام الاوقات، رسدی سلسلے کے وسائل کی تقسیم، مالی کارروائیوں، پالیسی کی تصدیق، حتیٰ کہ ویڈیو یا سہ جہتی ڈیزائن میں حسبِ ضرورت تبدیلیاں خودکار بنا سکتے ہیں. نظام میں شامل حفاظتی انتظامات ناقابلِ عمل، ضوابط کے خلاف یا غیر محفوظ نتائج کو عملی ماحول تک پہنچنے سے روکتے ہیں.

رسدی طرز کے بہتری کے مسائل اور تین عوامی معیارات پر قابو شدہ تجربات میں ہمارے مخلوط طریقے نے مسلسل یہ خصوصیات دکھائیں:

• زیادہ درستگی

• بہتر تشریح پذیری اور قابلِ جانچ ہونا

ہمارا طریقہ عام ”LLM سب کچھ کرتا ہے“ تصور کو الٹ کر اس ڈیزائن پر عمل کرتا ہے:

یہ طریقہ ذمہ داریاں واضح طور پر الگ کرتا ہے: LLM فطری زبان سے اصول اور پابندیاں اخذ کرتے ہیں، جبکہ OR-Tools، Z3 اور Pyomo جیسے قطعی حل کنندگان بہتری اور تصدیق سنبھالتے ہیں. نتیجے میں دونوں طریقوں کی خوبیاں یکجا ہو جاتی ہیں:

ہم نے اپنے بعض صارفین کو درپیش اس چیلنج سے آغاز کیا:

عملی، پالیسی اور لاگت کی پابندیاں سختی سے نافذ کرتے ہوئے فطری زبان کی درخواستوں کو حقیقی وقت کے بہترین وسائل کے فیصلوں میں بدلنا.

یہ چیلنج جدید رسد اور رسدی سلسلوں کے مرکز میں ہے، جس میں افرادی قوت کا نظام الاوقات، اثاثوں کی تقسیم، راستہ بندی، تکمیل کی منصوبہ بندی اور گنجائش کا انتظام شامل ہیں. یہی وہ مقام بھی ہے جہاں قابلِ اعتماد نظام بنانے کے لیے LLM اور رسمی حل کنندگان کو مل کر کام کرنا ضروری ہے. اپنی جانچ کے لیے ہم نے قابو شدہ آزمائشی منظرنامے، اعداد و شمار کے ذرائع اور پابندیاں، نیز 240 مصنوعی استفسارات تیار کیے. مثالوں میں شامل ہیں:

• براہِ کرم منسوخی کے بعد موجودہ نظام الاوقات پر نظر ثانی کریں. مطلوبہ مرکز کو 24 دسمبر 2025 تک مکمل رسد مل جانی چاہیے. ممکن ہو تو قریبی گودام سے سامان لیں اور اسے مخصوص یکجائی مرکز سے گزاریں. کام شروع کرنے کی اولین مجاز تاریخ 14 دسمبر 2025 ہے.

• آخری لمحے کی درخواست: ایک نہایت اہم مہمان تین گھنٹے میں مقام الف پر پہنچے گا. مطلوبہ عملہ دو گھنٹے کے اندر وہاں ہونا چاہیے. موجودہ نظام الاوقات میں کم سے کم تبدیلی کرتے ہوئے عملے کی تقسیم درست کریں.

استفسارات سے واضح ہے کہ نظام کو فطری زبان کی درخواستوں سے سخت اور نرم پابندیاں براہِ راست اخذ کرکے قابلِ اعتماد طور پر نافذ کرنا ہوں گی:

• سخت پابندیوں پر سمجھوتہ نہیں ہو سکتا، مثلاً کام شروع کرنے کی اولین تاریخیں، معاہدے کی شرائط اور گنجائش کی بالائی حدیں. ان میں سے کسی ایک کی خلاف ورزی بھی حل کو باطل کر دیتی ہے.

• نرم پابندیاں ترجیحات ظاہر کرتی ہیں، جیسے تاخیر، اخراجات اور تبدیلیاں کم کرنا. مقصد سخت حدود سے تجاوز کیے بغیر بہترین نتیجہ حاصل کرنا ہے.

بہتری کے ان مسائل کے بعض پہلو مکمل طور پر پہلے سے متعین نہیں کیے جا سکتے. انہیں نہ صرف ساخت یافتہ کاروباری منطق، داخلی دستاویزات اور عملی اعداد و شمار میں پہلے سے متعین پابندیوں اور مقاصد بلکہ صارف کی درخواست سے بھی اخذ کرکے متحرک طور پر مرتب کرنا ہوتا ہے.

اس ماحول میں مختلف تکنیکوں کی کارکردگی سمجھنے کے لیے ہم نے تین طریقے نافذ کیے اور ان کا موازنہ کیا.

1. خالص LLM: سب سے آسان طریقے میں تمام متعلقہ اعداد و شمار اور صارف کی فطری زبان کی درخواست ایک LLM پرومپٹ کو دی جاتی ہے، جس سے بہترین منصوبہ یا تقسیم تیار کرنے کو کہا جاتا ہے. یہ چھوٹے یا کم پابندی والے مسائل میں کارآمد ہو سکتا ہے، مگر پیچیدگی بڑھنے کے ساتھ ناکام ہونے لگتا ہے. ماڈل پابندیاں نظر انداز کر سکتا ہے، غلط مقصد کو ترجیح دے سکتا ہے یا ایسے منصوبے بنا سکتا ہے جو معقول سنائی دیں مگر ناقابلِ عمل ہوں، اور ناکامیوں کا قابلِ اعتماد طور پر پتا لگانے یا انہیں روکنے کا کوئی طریقہ نہ ہو.

2. LLM + کوڈ انٹرپریٹر: اس طریقے میں LLM درخواست کی تشریح کرتا ہے اور اعداد و شمار کے ذرائع تک رسائی اور قابلِ عمل بہتری کا رمز بنانے کے لیے آلات استعمال کرتا ہے. اس سے لچک اور مشاہدہ پذیری بڑھتی ہے، مگر قابلِ اعتماد ہونا اب بھی مسئلہ رہتا ہے. LLM کو اب بھی پابندیوں کو درست رمز میں بدلنا پڑتا ہے، اور ریزننگ یا رمز نویسی کی معمولی غلطیاں بھی، خصوصاً پابندیاں بڑھنے پر، باطل یا غیر بہترین نتائج پیدا کر سکتی ہیں.

3. مخلوط: LLM → ساخت یافتہ پابندیاں → قطعی حل کنندہ: تیسرا طریقہ ذمہ داریاں الگ کرتا ہے. LLM کبھی نتیجے کا ”فیصلہ“ نہیں کرتا، بلکہ متغیرات، پابندیوں اور مقاصد کو رسمی شکل دینے میں مدد کرتا ہے. ثابت شدہ بہتری کا حل کنندہ پابندیاں نافذ کرتا، قابلِ عمل ہونے کی ضمانت دیتا اور قابلِ تصدیق و جانچ نتائج پیدا کرتا ہے. LLM کا کردار پہلے سے متعین اسکیموں کے ذریعے فطری زبان کی درخواستوں کو واضح، ساخت یافتہ پابندیوں میں بدلنے تک محدود ہے. ان پابندیوں کو خودکار طور پر OR-Tools جیسے حل کنندہ کے رمز میں مرتب کیا جاتا ہے، جو قطعی انداز میں قابلِ عمل اور بہترین حل نکالتا ہے.

ہم نے GPT-5، GPT-5.1 اور GPT-5.2 سمیت کئی LLM استعمال کرکے ان طریقوں کو جانچا. توقع کے مطابق مخلوط طریقہ متبادل طریقوں سے بہتر ثابت ہوا:

ہمارا مخلوط طریقہ درستگی میں نمایاں اضافہ، ٹوکن کی چار گنا سے زیادہ کارکردگی اور تاخیر میں تقریباً دس گنا کمی دکھاتا ہے.

ہمارا اگلا قدم ایسا عمومی اور دوبارہ قابلِ استعمال مواجہ بنانا ہے جو فطری زبان کو ساخت یافتہ معنوی نمائندگی میں بدلے، جسے ہمارا پس منظر نظام حل کنندہ کے لیے تیار رمز میں تبدیل کر سکے. اس تجربے میں ہم نے خطی بہتری کے مسائل پر توجہ دی اور تین عوامی اعداد و شمار کے مجموعوں، یعنی NLP4LP، NL4OPT اور IndustryOR، پر اس طریقے کی جانچ کی.

1. صرف LLM

2. مخلوط طریقہ (LLM → ساخت یافتہ اصول → حل کنندہ → تصدیق شدہ نتیجہ)

• معلومات سے متغیرات، پابندیاں اور مقاصد اخذ کرنے اور ساخت یافتہ بہتری کا مسئلہ تشکیل دینے کے لیے LLM استعمال کریں.

• خود تصدیق کے لیے ساخت یافتہ مسئلہ اور اصل درخواست LLM کو دیں.

• بہترین تقرری نکالنے کے لیے ساخت یافتہ مسئلے کو OR-Tools کے رمز میں بدلیں.

ہم نے اس طریقے کی جانچ جدید ترین ملکیتی ماڈلز، بشمول GPT-5.1، GPT-5 mini، GPT-5.1-Codex-Max اور GPT-5.2، نیز Kimi K2، GPT-OSS ماڈلز اور MiniMax M2 جیسے آزاد مصدر ماڈلز کے ساتھ کی. ڈبہ نما خاکے ہر طریقے کے نتائج کا خلاصہ پیش کرتے ہیں.

تقریباً تمام جانچے گئے بنیادی زبان کے ماڈلز میں مخلوط طریقہ صرف LLM کی بنیادی سطح کے مقابلے مسلسل زیادہ درست، مستحکم اور قابلِ تصدیق نتائج دیتا ہے. اگرچہ ماڈلز کے درمیان مطلق کارکردگی مختلف ہے، مخلوط طریقے سے حاصل ہونے والے نسبتی فوائد مستقل رہتے ہیں. اس سے ظاہر ہوتا ہے کہ بہتری کسی ایک ماڈل کی ریزننگ کی صلاحیت پر انحصار کے بجائے فطری زبان کی تفہیم کو رسمی بہتری سے الگ کرنے کے باعث آتی ہے.

درستگی

بنیادی طور پر خطی پروگرامنگ کے مسائل پر مشتمل NLP4LP اور NL4OPT میں مخلوط طریقہ تقریباً کامل درستگی حاصل کرتا ہے اور صرف LLM پرومپٹ سے بہتر کارکردگی دکھاتا ہے. ”تقریباً درست“ ریزننگ پیدا کرنے کے بجائے مخلوط نظام زیادہ مستقل طور پر درست اور باقاعدہ ریاضیاتی تشکیلیں بناتا ہے. زیادہ مشکل IndustryOR اعداد و شمار کے مجموعے پر دونوں طریقوں کی درستگی کم ہوتی ہے، مگر اس کی وجوہ مختلف ہیں. IndustryOR کے بہت سے مسائل میں گاڑیوں کی راستہ بندی، کاموں کی ترتیب اور افرادی قوت کی تقرری جیسے ترکیبی ڈھانچے شامل ہیں، جو فی الحال ہمارے حل کنندہ کے پس منظر نظام کی خطی بہتری کی صلاحیت سے باہر ہیں.

ناکامی کی صورتوں کا تجزیہ دکھاتا ہے کہ صرف LLM اکثر لازمی پابندیوں کی خلاف ورزی کرتے ہیں، جیسا کہ ذیل میں واضح ہے:

مثال 1:

1"A bodybuilder buys prepared meals: a turkey dinner and a tuna salad sandwich. The turkey dinner contains 20 grams of protein, 30 grams of carbohydrates, and 12 grams of fat. The tuna salad sandwich contains 18 grams of protein, 25 grams of carbohydrates, and 8 grams of fat. The bodybuilder needs at least 150 grams of protein and 200 grams of carbohydrates. Because turkey dinners are expensive, no more than 40% of the meals should be turkey dinners. How many of each meal should the bodybuilder eat to minimize total fat intake?"

صرف LLM کم کل چکنائی والا حل تیار کرتا ہے، مگر اس تقاضے کی خلاف ورزی کرتا ہے کہ ٹرکی کے کھانے تمام کھانوں کے 40% سے زیادہ نہ ہوں. مخلوط طریقہ اس سخت پابندی کو درست طور پر نافذ کرکے قابلِ قبول جواب دیتا ہے.

مثال 2:

1"A hospitalized patient can take two pills: Pill 1 and Pill 2. Each Pill 1 provides 0.2 units of pain medication and 0.3 units of anxiety medication. Each Pill 2 provides 0.6 units of pain medication and 0.2 units of anxiety medication. Pill 1 causes 0.3 units of discharge, while Pill 2 causes 0.1 units. At most 6 units of pain medication may be provided, and at least 3 units of anxiety medication must be provided. How many of each pill should the patient receive to minimize total discharge?"

صرف LLM پھر کم اخراج والا حل تیار کرتا ہے، مگر درد کی دوا کی زیادہ سے زیادہ مجاز حد سے تجاوز کر جاتا ہے. مخلوط طریقہ اس سخت پابندی کو درست طور پر نافذ کرکے قابلِ قبول جواب دیتا ہے.

تاخیر اور ٹوکن کا استعمال

تاخیر اور ٹوکن کے استعمال کے اعداد و شمار ایک اہم فرق ظاہر کرتے ہیں. مخلوط طریقے میں ایک ہی بار کے LLM پرومپٹ کے مقابلے اوسط تاخیر اور ٹوکن کا استعمال زیادہ ہے، مگر یہ نااہلی کے بجائے ساختی انتخاب کی عکاسی کرتا ہے.

مخلوط عملی سلسلے میں شامل ہیں:

1. ساخت یافتہ متغیرات، پابندیاں اور مقاصد اخذ کرنے کے لیے LLM کو ایک یا زیادہ درخواستیں.

2. داخلی عدم مطابقت کا پتا لگانے کے لیے خود تصدیقی مرحلہ.

اگرچہ ایک پرومپٹ کے مقابلے یہ مراحل اضافی بوجھ ڈالتے ہیں، لیکن تاخیر محدود اور قابلِ پیش گوئی رہتی ہے، اور مسئلہ درست طور پر تشکیل پانے کے بعد حل کنندہ عموماً تیزی سے چلتا ہے. یہ اضافی کام واضح، دوبارہ قابلِ استعمال اور قابلِ جانچ درمیانی نمائندگی تیار کرتا ہے. اس کے برعکس، صرف LLM پر مبنی طریقے ریزننگ کو ایک مبہم نتیجے میں سمیٹ دیتے ہیں اور یوں لاگت دوبارہ کوششوں، دستی جانچ اور بعد کی ناکامیوں کی طرف منتقل ہو جاتی ہے. آئندہ نسخے یہ اضافی بوجھ ان طریقوں سے کم کر سکتے ہیں:

• اخذ کردہ اسکیموں کو عارضی طور پر محفوظ کرنا.

• پابندیوں کو مرحلہ وار تازہ کرنا.

• پرومپٹ اور درخواستوں کی ہم آہنگی بہتر بنانا.

شفافیت اور قابلِ جانچ ہونا

آخر میں، ان صورتوں میں بھی جہاں دونوں طریقے ناکام ہوں، ناکامی کی نوعیت بنیادی طور پر مختلف ہوتی ہے.

• صرف LLM کے استعمال میں ناکامیاں اکثر خاموش ہوتی ہیں: ماڈل ایسا نتیجہ دے سکتا ہے جو معمولی مگر اہم طور پر غلط ہو.

• مخلوط طریقے میں مسئلے کی واضح تشکیل ناکامیوں کو نمایاں کرتی ہے اور ٹیموں کو یہ شناخت کرنے میں مدد دیتی ہے کہ تشکیل کے کس حصے سے خرابی ہوئی.

آئندہ نسخے ان تشکیلوں کو ایک مواجہ میں دکھا سکتے ہیں، تاکہ صارف حل کنندہ چلنے سے پہلے ان کی جانچ یا تصدیق کر سکیں. یہ شفافیت ناپی گئی درستگی بہتر کرتی ہے اور نظام میں خرابی ڈھونڈنا اور اسے نکھارنا آسان بناتی ہے، جو حقیقی دنیا میں تعیناتی کے لیے ضروری ہے.

اہم نتیجہ

تمام معیارات اور آزمائے گئے بیشتر بنیادی ماڈلز کے نتائج ہمارے کام کے ایک مرکزی نتیجے کو مزید مضبوط کرتے ہیں:

LLM ارادے کو سمجھنے اور منتقل کرنے میں طاقتور ہیں، مگر درستگی نافذ کرنے کے لیے قطعی حل کنندگان ضروری ہیں.

مخلوط طریقہ فطری زبان کو ابہام کے ذریعے سے بدل کر ریاضیاتی طور پر درست فیصلہ سازی کا قابلِ اعتماد مواجہ بنا دیتا ہے، اور ادارہ جاتی AI کو ایسے نظاموں کے قریب لاتا ہے جو نہ صرف ذہین بلکہ قابلِ اعتماد بھی ہوں.

ادارہ جاتی پابندیاں شاذ ہی منظم اسکیموں یا مکمل طور پر واضح پرومپٹس میں موجود ہوتی ہیں. وہ ڈیٹابیس، حسابی جدولوں، داخلی پالیسیوں اور معاہدوں میں بکھری ہوتی ہیں. صارف کی درخواستیں نامکمل، مبہم یا کاروباری اصولوں سے غیر ہم آہنگ ہو سکتی ہیں. اس طریقے کو بڑے پیمانے پر کارآمد بنانے کے لیے ہم دوبارہ قابلِ استعمال پس منظر انجن تیار کر رہے ہیں، جو اس پیچیدگی کو قابلِ اعتماد ادارہ جاتی صلاحیت میں بدلتا ہے.

بنیادی طور پر یہ انجن AI پر مبنی فیصلہ سازی کے نظاموں کے لیے رسمی ڈھانچے کا کام کرتا ہے اور یہ سہولیات فراہم کرتا ہے:

• ایسے رابطہ کاروں کے ساتھ علامتی علمی ذخیرہ جو کاروباری اصول، پابندیاں، متغیرات اور مقاصد حاصل کرتے ہیں.

• ترجمے کی ایک تہہ جو اسکیموں کو حل کنندہ کے رمز میں مرتب کرتی ہے.

• ایسے مواجے جو ٹیموں کو پابندیاں دیکھنے، جانچنے اور تبدیل کرنے دیتے ہیں.

اگرچہ یہ تجربات فی الحال بہتری پر مرکوز ہیں، یہی طریقہ منطقی تصدیق تک بھی وسیع ہو سکتا ہے. ممکنہ کاروباری استعمال میں شامل ہیں:

• ہر عملی پابندی نافذ کرتے ہوئے حسبِ ضرورت متحرک نظام الاوقات، راستہ بندی اور وسائل کی تقسیم کرنا.

• ایسے جوابات اور سفارشات تیار کرنا جو مسلسل کاروباری اصولوں کی پابندی کریں.

• پیچیدہ سہ جہتی اشیا، ویڈیوز اور تعمیراتی ڈھانچوں کو ڈیزائن اور توثیق کرنا، اور پیداوار سے پہلے ناقابلِ عمل ڈیزائن پکڑنا.

آج AI طاقتور ہے، مگر اداروں کو محض طاقت سے بڑھ کر درستگی، مستقل مزاجی اور اختیار درکار ہیں. ہمارا مخلوط LLM اور حل کنندہ نظام ایسی دنیا کی جانب ایک قدم ہے جہاں:

• ایجنٹس اصول یا پابندیاں گھڑتے نہیں ہیں.

• منطقی استنباط اور بہتری ریاضیاتی طور پر درست ہوتے ہیں.

• فطری زبان قطعی نظاموں کے لیے عالمی مواجے کا کام کرتی ہے.