विश्वसनीय AI निर्णयांसाठी LLM आणि औपचारिक सॉल्व्हरचे संयोजन

मोठ्या भाषा मॉडेलनी (LLM) नैसर्गिक भाषा समजून घेणे, अस्खलित उत्तरे तयार करणे आणि ग्राहक व कर्मचाऱ्यांसाठी पूर्णपणे नवे अनुभव शक्य करणे यांत विलक्षण प्रगती केली आहे. मात्र, LLM मुळातच संभाव्यताधारित असल्यामुळे गुंतागुंतीच्या संख्यात्मक किंवा तार्किक रीझनिंगसाठी त्यांचा वापर केल्यास त्यांची उत्तरे नियमांनुसार किंवा सर्वोत्तम असतील याची मर्यादित हमी मिळते. उदाहरणार्थ:

• एक व्यवस्थापक AI नियोजन सहाय्यकाला सांगतो, “खर्च कमी ठेवून पुढील आठवड्यात शक्य तितका माल पाठवा,” आणि प्रणाली कार्यक्षम भासणारी आक्रमक योजना देते; पण ती नकळत गोदामाची क्षमता ओलांडते आणि वितरणाच्या हमी मोडते.

• एक समन्वयक AI सहाय्यकाला सांगतो, “रात्रीचे मुक्काम आणि कामातील व्यत्यय कमी करण्यासाठी पथकांची फेरनियुक्ती करा,” आणि मॉडेल कमी खर्चाचे, सर्वोत्तम भासणारे वेळापत्रक तयार करते; पण ते अनिवार्य कर्तव्यकाल किंवा विश्रांतीच्या मर्यादांचे उल्लंघन करते.

• वित्तीय कामकाजासाठीचा AI सहाय्यक कठोर प्रादेशिक आणि जोखीमविषयक मर्यादांनुसार व्यवहार मंजूर करणे अपेक्षित असतानाही, अंतर्गत धोरणाचे उल्लंघन करणारे पण नियमांनुसार असल्यासारखे वाटणारे कारण तयार करून संशयास्पद व्यवहार मंजूर करतो.

कठोर कार्यात्मक आवश्यकता असलेल्या वातावरणात LLM आणि औपचारिक सॉल्व्हर एकत्र वापरल्याने नैसर्गिक भाषेवर आधारित निर्णय निश्चित सीमांत राहतात आणि अव्यवहार्य, निकृष्ट किंवा नियमबाह्य परिणाम टाळले जातात.

आमचा संशोधन व विकास संघ LLMची सर्जनशीलता आणि लवचीकता यांची Z3, Pyomo आणि OR-Tools यांसारख्या औपचारिक गणितीय सॉल्व्हरची काटेकोरता, हमी आणि पारदर्शकता यांच्याशी सांगड घालणाऱ्या संमिश्र पद्धतीचा शोध घेत आहे. ही क्षमता उद्योगाच्या तंत्रज्ञान रचनेचा प्रमाणित भाग बनवण्यासाठी आम्ही पुनर्वापरयोग्य औपचारिक AI इंजिनही तयार करत आहोत. हे व्यासपीठ संस्थांना त्यांच्या विद्यमान प्रणालींमधून व्यवसाय नियम थेट स्वीकारता येतील, त्या नियमांच्या आधारे निर्णयांची सतत पडताळणी करता येईल आणि स्पष्टपणे निश्चित केलेल्या सीमांत AI एजंट सुरक्षितपणे उपयोजित करता येतील.

मोठ्या प्रमाणावरील निर्णयप्रक्रिया वेगवान करतानाच कार्यात्मक जोखीम कमी करणे, हे आमचे ध्येय आहे. नेत्यांना नैसर्गिक भाषेतील सूचनांवरून अधिक वेगवान आणि धोरणानुरूप निर्णय मिळतात, तर संस्था वेळापत्रक, पुरवठा-साखळीतील संसाधन वाटप, वित्तीय कामकाज, धोरण पडताळणी आणि अगदी व्हिडिओ किंवा त्रिमितीय रचनेतील तातडीचे बदल स्वयंचलित करू शकतात. अंगभूत सुरक्षा उपाय अव्यवहार्य, नियमबाह्य किंवा असुरक्षित परिणाम प्रत्यक्ष उत्पादनापर्यंत पोहोचू देत नाहीत.

वाहतूक व्यवस्थापनासारख्या इष्टतमीकरण समस्यांवरील आणि तीन सार्वजनिक मानक चाचण्यांवरील नियंत्रित प्रयोगांत आमच्या संमिश्र पद्धतीने सातत्याने पुढील बाबी दाखवल्या:

• अधिक अचूकता

• अधिक अर्थबोधक्षमता आणि लेखापरीक्षणक्षमता

आमची पद्धत “LLM सर्व काही करते” या नेहमीच्या दृष्टिकोनाला उलटवून पुढील रचना स्वीकारते:

या पद्धतीत जबाबदाऱ्या स्पष्टपणे वेगळ्या केल्या आहेत: LLM नैसर्गिक भाषेतून नियम आणि मर्यादा शोधतात, तर OR-Tools, Z3 आणि Pyomo यांसारखे निर्धारक सॉल्व्हर इष्टतमीकरण व पडताळणी करतात. यामुळे दोन्ही पद्धतींचे सामर्थ्य एकत्र येते:

आमच्या काही ग्राहकांसमोरील एका आव्हानापासून आम्ही सुरुवात केली:

कार्यात्मक, धोरणात्मक आणि खर्चाच्या मर्यादा काटेकोरपणे लागू ठेवून नैसर्गिक भाषेतील विनंत्यांचे सर्वोत्तम, तत्काळ संसाधन निर्णयांत रूपांतर करणे.

कर्मचारी वेळापत्रक, मालमत्ता वाटप, मार्गनियोजन, पूर्तता नियोजन आणि क्षमता व्यवस्थापन यांसह आधुनिक वाहतूक व्यवस्था व पुरवठा साखळीच्या केंद्रस्थानी हे आव्हान आहे. विश्वासार्ह प्रणाली तयार करण्यासाठी LLM आणि औपचारिक सॉल्व्हरने एकत्र काम करणेही याच ठिकाणी आवश्यक ठरते. मूल्यमापनासाठी आम्ही नियंत्रित चाचणी परिस्थिती, डेटा स्रोत आणि मर्यादांसह 240 कृत्रिम प्रश्न तयार केले. यांतील काही उदाहरणे:

• रद्द झालेल्या नियोजनानंतर कृपया विद्यमान वेळापत्रक बदला. लक्ष्य केंद्राला 24 डिसेंबर 2025पर्यंत संपूर्ण पुरवठा मिळाला पाहिजे. शक्य असल्यास जवळच्या गोदामातून साठा घेऊन तो एका विशिष्ट एकत्रीकरण केंद्रामार्गे पाठवा. काम सुरू करण्याची सर्वांत लवकर मान्य तारीख 14 डिसेंबर 2025 आहे.

• अखेरच्या क्षणी आलेली विनंती: एक अतिमहत्त्वाची व्यक्ती तीन तासांत अ ठिकाणी पोहोचेल. आवश्यक कर्मचारी दोन तासांच्या आत तेथे पोहोचले पाहिजेत. विद्यमान वेळापत्रकातील बदल कमीत कमी ठेवून कृपया कर्मचारी वाटप बदला.

या प्रश्नांवरून दिसते की प्रणालीने नैसर्गिक भाषेतील विनंत्यांमधून कठोर आणि लवचीक मर्यादा थेट विश्वसनीयपणे शोधून लागू केल्या पाहिजेत:

• कठोर मर्यादांबाबत तडजोड करता येत नाही. उदाहरणार्थ, काम सुरू करण्याच्या सर्वांत लवकर तारखा, कराराच्या अटी आणि क्षमतेची कमाल सीमा. यांपैकी एकाही मर्यादेचे उल्लंघन झाल्यास उपाय अवैध ठरतो.

• लवचीक मर्यादा विलंब कमी करणे, खर्च घटवणे आणि बदल मर्यादित ठेवणे यांसारखी प्राधान्ये दर्शवतात. कठोर सीमा न ओलांडता इष्टतमीकरण करणे हे उद्दिष्ट आहे.

या इष्टतमीकरण समस्यांचे काही पैलू पूर्णपणे पूर्वनिर्धारित करता येत नाहीत. संरचित व्यवसाय तर्क, अंतर्गत दस्तऐवज आणि कार्यात्मक डेटामधील पूर्वनिर्धारित मर्यादा व उद्दिष्टे तसेच वापरकर्त्याची विनंती यांचा आधार घेऊन ते गतिशीलपणे जुळवले पाहिजेत.

या परिस्थितीत विविध तंत्रे कशी काम करतात हे समजून घेण्यासाठी आम्ही तीन पद्धती अंमलात आणून त्यांची तुलना केली.

1. शुद्ध LLM: सर्वांत सोप्या पद्धतीत सर्व संबंधित डेटा आणि वापरकर्त्याची नैसर्गिक भाषेतील विनंती एकाच LLM प्रॉम्प्टला दिली जाते व त्याला सर्वोत्तम योजना किंवा वाटप तयार करण्यास सांगितले जाते. लहान किंवा मोजक्या मर्यादा असलेल्या समस्यांसाठी ही पद्धत उपयुक्त ठरू शकते; पण गुंतागुंत वाढल्यावर ती अपयशी ठरते. मॉडेल मर्यादांकडे दुर्लक्ष करू शकते, चुकीच्या उद्दिष्टाला प्राधान्य देऊ शकते किंवा वाजवी वाटणाऱ्या पण अव्यवहार्य योजना तयार करू शकते; तसेच अपयश शोधण्याचा किंवा टाळण्याचा विश्वसनीय मार्ग नसतो.

2. LLM + कोड इंटरप्रिटर: या पद्धतीत LLM विनंतीचा अर्थ लावते आणि डेटा स्रोत वापरण्यासाठी व अंमलबजावणीयोग्य इष्टतमीकरण कोड तयार करण्यासाठी साधने वापरते. यामुळे लवचीकता आणि निरीक्षणक्षमता वाढते; पण विश्वासार्हता अजूनही समस्या राहते. LLMला अजूनही मर्यादांचे अचूक कोडमध्ये रूपांतर करावे लागते आणि विशेषतः मर्यादांची संख्या वाढल्यावर रीझनिंग किंवा कोडमधील छोट्या त्रुटींमुळे अवैध किंवा निकृष्ट परिणाम मिळू शकतात.

3. संमिश्र: LLM → संरचित मर्यादा → निर्धारक सॉल्व्हर: तिसऱ्या पद्धतीत जबाबदाऱ्या वेगळ्या केल्या आहेत. LLM कधीही परिणामाचा “निर्णय” घेत नाही; ती चल, मर्यादा आणि उद्दिष्टांना औपचारिक स्वरूप देण्यास मदत करते. सिद्ध इष्टतमीकरण सॉल्व्हर मर्यादा लागू करतो, व्यवहार्यतेची हमी देतो आणि पडताळणी व लेखापरीक्षण करता येणारे परिणाम तयार करतो. LLMची भूमिका पूर्वनिर्धारित योजना वापरून नैसर्गिक भाषेतील विनंत्यांचे स्पष्ट, संरचित मर्यादांमध्ये रूपांतर करण्यापुरती मर्यादित असते. त्या मर्यादा OR-Toolsसारख्या सॉल्व्हर कोडमध्ये आपोआप संकलित होतात आणि तो निर्धारक पद्धतीने व्यवहार्य, सर्वोत्तम उपाय शोधतो.

आम्ही GPT-5, GPT-5.1 आणि GPT-5.2 यांसह अनेक LLM वापरून या पद्धती तपासल्या. अपेक्षेप्रमाणे, संमिश्र पद्धतीने पर्यायी पद्धतींपेक्षा सरस कामगिरी केली:

आमच्या संमिश्र पद्धतीत अचूकतेत लक्षणीय वाढ, टोकन कार्यक्षमतेत चौपटपेक्षा अधिक सुधारणा आणि विलंबात दहापट घट दिसते.

नैसर्गिक भाषेचे संरचित अर्थपूर्ण निरूपणांत रूपांतर करणारे सर्वसाधारण आणि पुनर्वापरयोग्य संवादमाध्यम तयार करणे ही आमची पुढील पायरी आहे; आमची पश्चप्रणाली ही निरूपणे सॉल्व्हरसाठी तयार कोडमध्ये रूपांतरित करू शकते. या प्रयोगासाठी आम्ही रेषीय इष्टतमीकरण समस्यांवर लक्ष केंद्रित केले आणि तीन सार्वजनिक डेटासंचांच्या आधारे पद्धतीचे मूल्यमापन केले: NLP4LP, NL4OPT आणि IndustryOR.

1. स्वतंत्र LLM

2. संमिश्र पद्धत (LLM → संरचित नियम → सॉल्व्हर → पडताळलेले उत्तर)

• इनपुटमधून चल, मर्यादा आणि उद्दिष्टे शोधण्यासाठी व संरचित इष्टतमीकरण समस्या मांडण्यासाठी LLM वापरणे.

• स्व-पडताळणीसाठी संरचित समस्या आणि मूळ विनंती LLMला देणे.

• सर्वोत्तम नियुक्ती शोधण्यासाठी संरचित समस्येचे OR-Tools कोडमध्ये रूपांतर करणे.

आम्ही GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max आणि GPT-5.2 यांसारख्या मालकीच्या अत्याधुनिक मॉडेलसह Kimi K2, GPT-OSS मॉडेल आणि MiniMax M2 यांसारखी मुक्त-स्रोत मॉडेल वापरून या पद्धतीचे मूल्यमापन केले. पेटी आलेख प्रत्येक पद्धतीचे परिणाम संक्षेपात दाखवतात.

मूल्यमापन केलेल्या जवळपास सर्व अंतर्निहित भाषा मॉडेलमध्ये संमिश्र पद्धत स्वतंत्र LLM आधाररेषेपेक्षा सातत्याने अधिक अचूक, स्थिर आणि पडताळणीयोग्य परिणाम देते. प्रत्येक मॉडेलची प्रत्यक्ष कामगिरी वेगळी असली, तरी संमिश्र पद्धतीचे तुलनात्मक लाभ सातत्यपूर्ण राहतात. यावरून या सुधारणा कोणत्याही एका मॉडेलच्या रीझनिंग क्षमतेवर अवलंबून न राहता नैसर्गिक भाषेचे आकलन आणि औपचारिक इष्टतमीकरण वेगळे केल्याने मिळतात, असे दिसते.

अचूकता

मुख्यतः रेषीय प्रोग्रामिंग समस्या असलेल्या NLP4LP आणि NL4OPTवर संमिश्र पद्धत जवळपास कमाल अचूकता साधते आणि स्वतंत्र LLM प्रॉम्प्टपेक्षा सरस ठरते. संमिश्र प्रणाली “साधारणपणे अचूक” रीझनिंग करण्याऐवजी अधिक सातत्याने वैध आणि सुयोग्य गणितीय मांडणी तयार करते. अधिक आव्हानात्मक IndustryOR डेटासंचावर दोन्ही पद्धतींची अचूकता कमी होते; मात्र त्याची कारणे वेगवेगळी आहेत. IndustryORमधील अनेक समस्यांत वाहन मार्गनियोजन, कार्य अनुक्रम आणि कर्मचारी नियुक्ती यांसारख्या संयोगात्मक रचना असतात; त्या सध्या आमच्या सॉल्व्हर पश्चप्रणालीकडून समर्थित रेषीय इष्टतमीकरण क्षमतेच्या पलीकडच्या आहेत.

अपयशाच्या प्रकारांच्या विश्लेषणावरून स्वतंत्र LLM आवश्यक मर्यादांचे वारंवार उल्लंघन करतात, हे पुढील उदाहरणांत दिसते:

उदाहरण 1:

1"A bodybuilder buys prepared meals: a turkey dinner and a tuna salad sandwich. The turkey dinner contains 20 grams of protein, 30 grams of carbohydrates, and 12 grams of fat. The tuna salad sandwich contains 18 grams of protein, 25 grams of carbohydrates, and 8 grams of fat. The bodybuilder needs at least 150 grams of protein and 200 grams of carbohydrates. Because turkey dinners are expensive, no more than 40% of the meals should be turkey dinners. How many of each meal should the bodybuilder eat to minimize total fat intake?"

स्वतंत्र LLM कमी एकूण चरबी असलेला उपाय देते; पण टर्कीचे जेवण एकूण जेवणांच्या 40%पेक्षा जास्त नसावे, या आवश्यकतेचे उल्लंघन करते. संमिश्र पद्धत ही कठोर मर्यादा अचूकपणे लागू करून वैध उत्तर देते.

उदाहरण 2:

1"A hospitalized patient can take two pills: Pill 1 and Pill 2. Each Pill 1 provides 0.2 units of pain medication and 0.3 units of anxiety medication. Each Pill 2 provides 0.6 units of pain medication and 0.2 units of anxiety medication. Pill 1 causes 0.3 units of discharge, while Pill 2 causes 0.1 units. At most 6 units of pain medication may be provided, and at least 3 units of anxiety medication must be provided. How many of each pill should the patient receive to minimize total discharge?"

स्वतंत्र LLM पुन्हा कमी विसर्जन असलेला उपाय देते; पण वेदनाशामक औषधांची कमाल अनुमत मर्यादा ओलांडते. संमिश्र पद्धत ती कठोर मर्यादा अचूकपणे लागू करून वैध उत्तर देते.

विलंब आणि टोकन वापर

विलंब आणि टोकन वापराची आकडेवारी एक महत्त्वाचा फरक स्पष्ट करते. एकाच प्रयत्नातील LLM प्रॉम्प्टपेक्षा संमिश्र पद्धतीचा सरासरी विलंब आणि टोकन वापर जास्त आहे; मात्र हे अकार्यक्षमतेऐवजी संरचनात्मक निवडींमुळे घडते.

संमिश्र प्रक्रियेत पुढील बाबी समाविष्ट आहेत:

1. संरचित चल, मर्यादा आणि उद्दिष्टे शोधण्यासाठी LLMला एक किंवा अधिक आवाहने.

2. अंतर्गत विसंगती शोधण्यासाठी स्व-पडताळणीची पायरी.

एकाच प्रॉम्प्टच्या तुलनेत या पायऱ्यांमुळे अतिरिक्त खर्च वाढत असला, तरी विलंब मर्यादित व अंदाज करता येण्याजोगा राहतो आणि समस्या योग्य प्रकारे मांडल्यानंतर सॉल्व्हरची अंमलबजावणी सहसा वेगाने होते. या अतिरिक्त प्रक्रियेमुळे स्पष्ट, पुनर्वापरयोग्य आणि लेखापरीक्षणयोग्य मध्यवर्ती निरूपणे तयार होतात. याउलट, स्वतंत्र LLM पद्धती रीझनिंग एका अपारदर्शक निर्मितीत सामावतात आणि पुनःप्रयत्न, मानवी तपासणी व पुढील टप्प्यांतील अपयशांवर खर्च ढकलतात. पुढील आवृत्त्यांमध्ये हा अतिरिक्त खर्च पुढील मार्गांनी कमी करता येईल:

• निष्कर्षित योजनांची तात्पुरती साठवणूक.

• मर्यादांचे टप्प्याटप्प्याने अद्ययावतीकरण.

• प्रॉम्प्ट आणि आवाहनांचे संयोजन सुधारणे.

पारदर्शकता आणि लेखापरीक्षणक्षमता

शेवटी, दोन्ही पद्धती अपयशी ठरल्या तरी त्यांच्या अपयशाचे स्वरूप मूलतः वेगळे असते.

• स्वतंत्र LLMमधील अपयश अनेकदा लक्षात येत नाही: मॉडेल सूक्ष्मपणे चुकीचा असलेला परिणाम देऊ शकते.

• संमिश्र पद्धतीत समस्येची स्पष्ट मांडणी अपयश पारदर्शक करते आणि मांडणीतील कोणत्या भागामुळे त्रुटी आली हे ओळखण्यास संघांना मदत करते.

भविष्यातील आवृत्त्या या मांडणी संवादपटलावर दाखवू शकतील, जेणेकरून सॉल्व्हर चालण्यापूर्वी वापरकर्ते तिचे लेखापरीक्षण किंवा पडताळणी करू शकतील. या पारदर्शकतेमुळे मोजलेली अचूकता वाढते आणि प्रणालीतील त्रुटी शोधणे व ती सुधारणे सोपे होते, जे प्रत्यक्ष वापरासाठी अत्यावश्यक आहे.

मुख्य निष्कर्ष

सर्व मानक चाचण्या आणि तपासलेल्या बहुतांश अंतर्निहित मॉडेलमधील निष्कर्ष आमच्या कामाचा एक मध्यवर्ती निष्कर्ष बळकट करतात:

हेतू समजून घेण्यात आणि त्याचे रूपांतर करण्यात LLM प्रभावी आहेत; पण अचूकता अनिवार्य करण्यासाठी निर्धारक सॉल्व्हर अत्यावश्यक आहेत.

संमिश्र पद्धत नैसर्गिक भाषेला संदिग्धतेच्या स्रोताऐवजी गणितीयदृष्ट्या निर्दोष निर्णयप्रक्रियेसाठी विश्वसनीय संवादमाध्यम बनवते आणि उद्योगातील AIला केवळ बुद्धिमानच नव्हे, तर विश्वासार्ह प्रणालींच्या आणखी जवळ नेते.

उद्योगातील मर्यादा क्वचितच सुव्यवस्थित योजनांत किंवा अचूक शब्दबद्ध केलेल्या प्रॉम्प्टमध्ये उपलब्ध असतात. त्या डेटाबेस, स्प्रेडशीट, अंतर्गत धोरणे आणि करारांमध्ये विखुरलेल्या असतात. वापरकर्त्यांच्या विनंत्या अपूर्ण, संदिग्ध किंवा व्यवसाय नियमांशी विसंगत असू शकतात. ही पद्धत मोठ्या प्रमाणावर वापरण्यासाठी आम्ही ही गुंतागुंत विश्वसनीय उद्योग क्षमतेत रूपांतरित करणारे पुनर्वापरयोग्य पश्चप्रणाली इंजिन तयार करत आहोत.

मूलतः हे इंजिन AI-आधारित निर्णय प्रणालींसाठी औपचारिक कणा म्हणून काम करते आणि पुढील सुविधा देते:

• व्यवसाय नियम, मर्यादा, चल आणि उद्दिष्टे स्वीकारणाऱ्या अनुकूलकांसह प्रतीकात्मक ज्ञानसंग्रह.

• योजना सॉल्व्हरच्या कोडमध्ये संकलित करणारा भाषांतर स्तर.

• मर्यादांचे निरीक्षण, लेखापरीक्षण आणि बदल करण्याची सुविधा देणारी संवादपटल.

हे प्रयोग सध्या इष्टतमीकरणावर केंद्रित असले, तरी हीच पद्धत तार्किक पडताळणीसाठीही वापरता येते. संभाव्य व्यावसायिक उपयोगांमध्ये पुढील बाबी समाविष्ट आहेत:

• प्रत्येक कार्यात्मक मर्यादा लागू ठेवून गरजेनुसार गतिशील वेळापत्रक, मार्गनियोजन आणि संसाधन वाटप करणे.

• व्यवसाय नियमांचा सातत्याने आदर करणारी उत्तरे आणि शिफारशी तयार करणे.

• गुंतागुंतीच्या त्रिमितीय वस्तू, व्हिडिओ आणि वास्तुरचना तयार करून त्यांची पडताळणी करणे व उत्पादनापूर्वीच अव्यवहार्य रचना शोधणे.

आजचे AI सामर्थ्यवान आहे; पण उद्योगांना केवळ सामर्थ्य नव्हे, तर अचूकता, सातत्य आणि नियंत्रण आवश्यक आहे. आमची संमिश्र LLM आणि सॉल्व्हर प्रणाली अशा जगाच्या दिशेने टाकलेले एक पाऊल आहे, जिथे:

• एजंट अस्तित्वात नसलेले नियम किंवा मर्यादा निर्माण करत नाहीत.

• तार्किक निगमन आणि इष्टतमीकरण गणितीयदृष्ट्या निर्दोष असते.

• नैसर्गिक भाषा निर्धारक प्रणालींसाठी सार्वत्रिक संवादमाध्यम ठरते.