Үлкен тілдік модельдер (LLM) табиғи тілді түсіну, жатық жауаптар құрастыру және клиенттер мен қызметкерлерге мүлде жаңа тәжірибе ұсыну тұрғысынан айрықша ілгеріледі. Алайда LLM-дер табиғатынан стохастикалық болғандықтан, оларды күрделі сандық немесе логикалық ой қорытуға қолданғанда, нәтижелердің талаптарға сай не оңтайлы болатынына кепілдік шектеулі. Мысалы:
Менеджер ЖИ-негізіндегі жоспарлау көмекшісіне “Ship as much as possible next week while keeping costs low,” дейді, ал жүйе тиімді көрінетін агрессивті жоспар ұсынғанымен, қойма сыйымдылығын жасырын түрде асырып, жеткізу кепілдіктерін бұзады.
Үйлестіруші ЖИ көмекшісіне “Reassign crews to reduce overnight stays and minimize disruption,” дейді, ал модель оңтайлы көрінетін арзанырақ кесте құрып, міндетті жұмыс уақыты немесе демалыс шектеулерін бұзады.
Қаржылық операцияларға арналған ЖИ көмекшісі транзакцияларды қатаң өңірлік және тәуекел шектеулері бойынша мақұлдауы тиіс, бірақ ол ішкі саясатты бұзса да, талапқа сай естілетін негіздеме ойдан шығарып, күмәнді транзакцияны өткізеді.
Операциялық талаптары қатаң ортада LLM-дерді формалды шешушілермен біріктіру табиғи тілге негізделген шешімдердің белгіленген шектерден шықпауына және орындалмайтын, оңтайлы емес не талаптарға қайшы нәтижелерге жол бермеуге көмектеседі.
Біздің зерттеу және әзірлеу тобымыз LLM-дердің шығармашылығы мен икемділігін Z3, Pyomo және OR-Tools секілді формалды математикалық шешушілердің қатаңдығымен, кепілдіктерімен және ашықтығымен ұштастыратын гибридті тәсілді зерттеп жатыр. Сондай-ақ бұл мүмкіндікті кәсіпорынның технологиялық стегінің стандартты бөлігіне айналдыру үшін қайта пайдаланылатын формалды ЖИ қозғалтқышын әзірлеп жатырмыз. Платформа ұйымдарға бизнес ережелерін қолданыстағы жүйелерінен тікелей қабылдауға, шешімдерді сол ережелерге сәйкестігі тұрғысынан үздіксіз тексеруге және ЖИ агенттерін нақты белгіленген шектерде қауіпсіз енгізуге мүмкіндік береді.
Біздің мақсатымыз — ауқымды шешім қабылдауды жеделдете отырып, операциялық тәуекелді азайту. Басшылар табиғи тілдегі деректер негізінде саясатқа сай шешімдерді жылдамырақ қабылдайды, ал ұйымдар кесте құру, жеткізу тізбегіндегі ресурстарды бөлу, қаржылық операциялар, саясатты тексеру, тіпті бейне не 3D дизайн саласындағы жедел өзгерістерді автоматтандыра алады. Кіріктірілген қорғаныс шаралары орындалмайтын, талаптарға сай емес немесе қауіпті нәтижелердің өндірістік ортаға өтуіне жол бермейді.
Логистикаға ұқсас оңтайландыру есептері мен үш ашық бенчмарк бойынша бақыланатын эксперименттерде гибридті тәсіліміз мына артықшылықтарды тұрақты көрсетті:
Жоғары дәлдік
Жоғары түсіндірмелілік және аудитке жарамдылық
Біздің тәсіл әдеттегі «LLM бәрін жасайды» парадигмасын төңкеріп, мына құрылымды ұстанады:
Бұл тәсіл міндеттерді нақты бөледі: LLM-дер табиғи тілден ережелер мен шектеулерді шығарады, ал OR-Tools, Z3 және Pyomo секілді детерминирленген шешушілер оңтайландыру мен тексеруді атқарады. Нәтижесінде екі тәсілдің де күшті жақтары бірігеді:
LLM-дер | Шешушілер | Гибридті тәсіл (LLM + шешуші) | |
|---|---|---|---|
Әртүрлі салалардағы адам ниетін түсіну | ✅ Өте жақсы | ❌ Жоқ | ✅ Өте жақсы |
Детерминирленген мінез-құлық | ❌ Жоқ | ✅ Кепілді | ✅ Иә |
Көптеген шектеу жағдайында математикалық ой қорыту мен оңтайландырудың дәлдігі дәлелденеді | ⚠️ Тұрақсыз | ✅ Кепілді | ✅ Иә |
Аудитке жарамдылық және түсіндірмелілік | ⚠️ Тұрақсыз | ✅ Түсінікті | ✅ Түсінікті |
Көмексөздегі шу мен инъекцияға төзімділік | ❌ Осал | ✅ Иммунитеті бар | ✅ Жоғары |
Біз кейбір клиенттеріміз тап болатын мына мәселеден бастадық:
Операциялық, саясаттық және шығын шектеулерін қатаң сақтай отырып, табиғи тілдегі сұрауларды нақты уақыттағы оңтайлы ресурс шешімдеріне айналдыру.
Бұл мәселе жұмыс кестесін құру, активтерді бөлу, бағыттау, тапсырысты орындауды жоспарлау және сыйымдылықты басқаруды қамтитын заманауи логистика мен жеткізу тізбектерінің өзегінде жатыр. Сенім артуға болатын жүйелер құру үшін LLM-дер мен формалды шешушілер дәл осы тұста бірлесіп жұмыс істеуі керек. Бағалау үшін біз бақыланатын сынақ сценарийлерін, дереккөздер мен шектеулерді, сондай-ақ 240 синтетикалық сұрауды әзірледік. Мысалдар:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Сұраулардан жүйенің табиғи тілдегі сұраулардан қатаң және икемді шектеулерді тікелей сенімді түрде шығарып, орындауы қажет екенін көреміз:
Қатаң шектеулер өзгермейді (мысалы, ең ерте басталу күндері, шарт талаптары және сыйымдылық шектері). Олардың біреуінің бұзылуының өзі шешімді жарамсыз етеді.
Икемді шектеулер кідірістерді, шығындарды және өзгерістер санын азайту секілді қалауларды білдіреді. Мақсат — қатаң шектерден аспай оңтайландыру.
Бұл оңтайландыру есептерінің кейбір қырларын алдын ала толық анықтау мүмкін емес. Олар құрылымдалған бизнес логикасындағы, ішкі құжаттардағы және операциялық деректердегі алдын ала белгіленген шектеулер мен мақсаттарды ғана емес, пайдаланушы сұрауын да ескере отырып динамикалық түрде құрастырылуы керек.
Бұл жағдайда әртүрлі әдістердің тиімділігін түсіну үшін үш тәсілді іске асырып, салыстырдық.
Таза LLM: Ең қарапайым тәсілде барлық тиісті дерек пен пайдаланушының табиғи тілдегі сұрауы бір LLM көмексөзіне жіберіліп, одан оңтайлы жоспар немесе бөлу нұсқасы сұралады. Бұл шағын немесе шектеулері әлсіз есептерде жұмыс істегенімен, күрделілік артқан сайын тиімсіз болады. Модель шектеулерді елемеуі, қате мақсатқа басымдық беруі немесе орынды естілгенімен, орындалмайтын жоспар құруы мүмкін; мұндай ақауларды сенімді анықтау не болдырмау жолы жоқ.
LLM + Код интерпретаторы: Бұл тәсілде LLM сұрауды түсіндіріп, дереккөздерге қол жеткізу және орындалатын оңтайландыру кодын жасау үшін құралдарды пайдаланады. Бұл икемділік пен бақылау мүмкіндігін арттырғанымен, сенімділік мәселесі сақталады. LLM шектеулерді әлі де дұрыс кодқа аударуы керек, ал ой қорытудағы немесе кодтағы шағын қателер, әсіресе шектеулер көбейгенде, жарамсыз не оңтайлы емес нәтижелерге әкелуі мүмкін.
Гибридті тәсіл: LLM → құрылымдалған шектеулер → детерминирленген шешуші: Үшінші тәсіл міндеттерді бөледі. LLM нәтижені ешқашан «шешпейді»; ол айнымалыларды, шектеулерді және мақсаттарды формализациялауға көмектеседі. Тексерілген оңтайландыру шешушісі шектеулерді орындатып, шешімнің жүзеге асатынына кепілдік береді және тексеруге әрі аудиттен өткізуге болатын нәтижелер шығарады. LLM рөлі алдын ала белгіленген схемалар арқылы табиғи тілдегі сұрауларды айқын, құрылымдалған шектеулерге аударумен шектеледі. Бұл шектеулер OR-Tools секілді шешуші кодына автоматты түрде компиляцияланады, ал ол орындалатын оңтайлы шешімді детерминирленген түрде есептейді.
Әдістерді GPT-5, GPT-5.1 және GPT-5.2 үлгілерін қоса алғанда, бірнеше LLM арқылы сынадық. Күткендегідей, гибридті тәсіл баламалардан озып шықты:
Әдіс | Бөлу дәлдігі | Орташа кідіріс | Әр сұрауға жұмсалған токендер |
|---|---|---|---|
Таза LLM | 70–78% | 62–190 с | ~175 000 |
LLM + Код интерпретаторы | 82–84% | 62–140 с | ~9 000 |
LLM → шешуші (гибридті) | 95–97% | 6–25 с | ~2 000 |
Гибридті әдісіміз дәлдіктің айтарлықтай өскенін, токен тиімділігінің 4 еседен астам артқанын және кідірістің шамамен он есе азайғанын көрсетті.
Келесі қадамымыз — табиғи тілді құрылымдалған семантикалық көріністерге айналдыратын, ал серверлік жүйеміз шешушіге дайын кодқа аудара алатын әмбебап, қайта пайдаланылатын интерфейс құру. Бұл экспериментте сызықтық оңтайландыру есептеріне назар аударып, тәсілді үш ашық деректер жиынтығында (NLP4LP, NL4OPT және IndustryOR) бағаладық.
Дербес LLM
Гибридті әдіс (LLM → құрылымдалған ережелер → шешуші → тексерілген нәтиже)
Кіріс деректерінен айнымалыларды, шектеулерді және мақсаттарды шығарып, құрылымдалған оңтайландыру есебін тұжырымдау үшін LLM пайдалану.
Өзін-өзі тексеру үшін құрылымдалған есеп пен бастапқы сұрауды LLM-ге жіберу.
Оңтайлы бөлуді есептеу үшін құрылымдалған есепті OR-Tools кодына аудару.
Бұл тәсілді GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max және GPT-5.2 секілді меншікті озық модельдермен, сондай-ақ Kimi K2, GPT-OSS модельдері және MiniMax M2 секілді ашық бастапқы кодты модельдермен бағаладық. Қораптық диаграммалар әр әдістің нәтижелерін қорытындылайды.
Бағаланған негізгі тілдік модельдердің барлығына жуығында гибридті тәсіл дербес LLM базалық деңгейіне қарағанда тұрақты түрде дәлірек, орнықтырақ және тексерілетін нәтижелер береді. Абсолютті өнімділік модельдер арасында әртүрлі болғанымен, гибридті тәсілдің салыстырмалы артықшылығы тұрақты сақталады. Бұл жақсару белгілі бір модельдің ой қорыту қабілетіне сүйенуден емес, табиғи тілді түсінуді формалды оңтайландырудан бөлуден туындайтынын көрсетеді.
Дәлдік
Негізінен сызықтық бағдарламалау есептерінен тұратын NLP4LP және NL4OPT жиынтықтарында гибридті әдіс шекті деңгейге жуық дәлдікке жетіп, дербес LLM көмексөзінен озады. Гибридті жүйе «шамамен дұрыс» ой қорыту орнына жарамды, дұрыс құрылған математикалық тұжырымдарды анағұрлым тұрақты жасайды. Күрделірек IndustryOR деректер жиынтығында екі әдістің де дәлдігі төмендейді, бірақ себептері әртүрлі. IndustryOR есептерінің көбінде көлік бағыттарын жоспарлау, тапсырмаларды реттеу және жұмыс күшін бөлу секілді комбинаторлық құрылымдар бар; олар қазіргі серверлік шешушіміз қолдайтын сызықтық оңтайландыру мүмкіндіктерінен асып түседі.
Ақау түрлерін талдау дербес LLM-дердің міндетті шектеулерді жиі бұзатынын көрсетеді, төменде мысал берілген:
1-мысал:
Plain Text
Дербес LLM жалпы май мөлшері төмен шешім ұсынады, бірақ күркетауықтан жасалған түскі астар барлық ас санының 40%-ынан аспауға тиіс деген талапты бұзады. Гибридті тәсіл бұл қатаң шектеуді дұрыс орындатып, жарамды жауап қайтарады.
2-мысал:
Plain Text
Дербес LLM қайтадан шығарындылар мөлшері төмен шешім ұсынады, бірақ ауырсынуды басатын дәрінің рұқсат етілген ең жоғары шегінен асады. Гибридті тәсіл бұл қатаң шектеуді дұрыс орындатып, жарамды жауап қайтарады.
Кідіріс және токен қолданысы
Кідіріс пен токен пайдалану деректері маңызды айырмашылықты көрсетеді. Гибридті тәсілдің орташа кідірісі мен токен қолданысы бір реттік LLM көмексөзінен жоғары, бірақ бұл тиімсіздіктен емес, архитектуралық таңдаулардан туындайды.
Гибридті конвейер мыналарды қамтиды:
Құрылымдалған айнымалыларды, шектеулерді және мақсаттарды шығару үшін LLM-ге бір немесе бірнеше рет жүгіну.
Ішкі сәйкессіздіктерді анықтайтын өзін-өзі тексеру қадамы.
Бұл қадамдар бір көмексөзбен салыстырғанда қосымша шығын туғызғанымен, кідіріс шектеулі әрі болжамды болып қалады, ал есеп дұрыс тұжырымдалғаннан кейін шешуші әдетте жылдам жұмыс істейді. Бұл қосымша жұмыс айқын, қайта пайдаланылатын және аудитке жарамды аралық көріністерді қалыптастырады. Ал дербес LLM тәсілдері ой қорыту үдерісін бір ғана жабық генерацияға сыйғызып, шығынды қайта әрекеттенуге, қолмен тексеруге және кейінгі ақауларға ысырады. Келешектегі нұсқалар бұл қосымша шығынды мына жолдармен азайта алады:
Шығарылған схемаларды кэштеу.
Шектеулерді кезең-кезеңімен жаңарту.
Көмексөздер мен шақыруларды үйлестіруді жетілдіру.
Ашықтық және аудитке жарамдылық
Ақырында, екі әдіс те сәтсіз болған жағдайдың өзінде, ақаудың сипаты түбегейлі өзгеше болады.
Дербес LLM қолданылғанда, ақаулар көбіне байқалмайды: модель елеусіз қатесі бар нәтиже қайтаруы мүмкін.
Гибридті тәсілде есептің айқын тұжырымдалуы ақауларды ашық көрсетіп, командаға тұжырымның қай бөлігі қатеге себеп болғанын анықтауға көмектеседі.
Болашақ нұсқалар бұл тұжырымдарды интерфейсте көрсетіп, пайдаланушыларға шешуші іске қосылмай тұрып оларды тексеруге немесе аудиттен өткізуге мүмкіндік бере алады. Мұндай ашықтық өлшенетін дәлдікті арттырып, жүйені жөндеу мен жетілдіруді жеңілдетеді, ал бұл нақты ортаға енгізу үшін аса маңызды.
Негізгі қорытынды
Барлық бенчмарк пен сыналған негізгі модельдердің басым бөлігіндегі нәтижелер жұмысымыздың басты қорытындысын қуаттайды:
LLM-дер ниетті түсіну мен жеткізуде қуатты, алайда дұрыстықты қамтамасыз ету үшін детерминирленген шешушілер қажет.
Гибридті тәсіл табиғи тілді екіұштылық көзінен математикалық тұрғыдан негізді шешім қабылдаудың сенімді интерфейсіне айналдырып, корпоративтік ЖИ-ді тек ақылды ғана емес, сенім артуға болатын жүйелерге бір қадам жақындатады.
Кәсіпорын шектеулері жинақы схемаларда немесе мінсіз тұжырымдалған көмексөздерде сирек кездеседі. Олар дерекқорларға, электрондық кестелерге, ішкі саясаттарға және шарттарға шашырап кеткен. Пайдаланушы сұраулары толық емес, екіұшты немесе бизнес ережелеріне қайшы болуы мүмкін. Бұл тәсілді ауқымды түрде іске асыру үшін осы күрделілікті кәсіпорынның сенімді мүмкіндігіне айналдыратын қайта пайдаланылатын серверлік қозғалтқыш әзірлеп жатырмыз.
Негізінде бұл қозғалтқыш ЖИ басқаратын шешім жүйелерінің формалды өзегі болып, мыналарды ұсынады:
Бизнес ережелерін, шектеулерді, айнымалылар мен мақсаттарды қабылдайтын адаптерлері бар символдық білім қоры.
Схемаларды шешуші кодына компиляциялайтын аударма қабаты.
Командаларға шектеулерді қарап шығуға, аудиттен өткізуге және өзгертуге мүмкіндік беретін интерфейстер.
Қазір бұл эксперименттер оңтайландыруға бағытталғанымен, осы әдісті логикалық тексеруге де қолдануға болады. Бизнесте қолданудың ықтимал бағыттары:
Барлық операциялық шектеуді сақтай отырып, арнайы динамикалық кесте құруды, бағыттауды және ресурстарды бөлуді орындау.
Бизнес ережелерін тұрақты сақтайтын жауаптар мен ұсыныстар жасау.
Күрделі 3D нысандарды, бейнелерді және архитектураларды жобалап, тексеру әрі өндіріске дейін орындалмайтын жобаларды анықтау.
Қазіргі ЖИ қуатты, бірақ кәсіпорындарға қуаттан да көбірек нәрсе қажет: дұрыстық, тұрақтылық және бақылау. LLM мен шешушіні біріктіретін гибридті жүйеміз мынадай әлемге қарай жасалған қадам:
Агенттер ережелер мен шектеулерді ойдан шығармайды.
Логикалық қорытынды мен оңтайландыру математикалық тұрғыдан негізді болады.
Табиғи тіл детерминирленген жүйелерге арналған әмбебап интерфейс қызметін атқарады.