LLM-ների և ֆորմալ լուծիչների համադրում՝ ԱԲ հուսալի որոշումների համար

Լեզվական մեծ մոդելները (LLM-ները) զգալի առաջընթաց են գրանցել բնական լեզուն հասկանալու, սահուն պատասխաններ ստեղծելու և հաճախորդների ու աշխատակիցների համար բոլորովին նոր փորձառություններ ապահովելու գործում։ Սակայն LLM-ներն իրենց բնույթով ստոխաստիկ են, ուստի բարդ թվային կամ տրամաբանական դատողության համար դրանց կիրառումը սահմանափակ երաշխիքներ է տալիս, որ արդյունքները կհամապատասխանեն պահանջներին կամ կլինեն օպտիմալ։ Օրինակ՝

• Կառավարիչը պլանավորման ԱԲ օգնականին ասում է՝ “Ship as much as possible next week while keeping costs low,” իսկ համակարգը կազմում է արդյունավետ թվացող հավակնոտ պլան, որը, սակայն, աննկատ գերազանցում է պահեստի թողունակությունն ու խախտում առաքման երաշխիքները։

• Համակարգողն ԱԲ օգնականին ասում է՝ “Reassign crews to reduce overnight stays and minimize disruption,” իսկ մոդելը կազմում է ավելի էժան և օպտիմալ թվացող ժամանակացույց, որը, սակայն, խախտում է աշխատանքի տևողության կամ հանգստի պարտադիր սահմանափակումները։

• Ֆինանսական գործառնությունների ԱԲ օգնականը պետք է հաստատի գործարքները՝ հաշվի առնելով տարածաշրջանային և ռիսկային խիստ սահմանափակումները, սակայն այն հաստատում է կասկածելի գործարքը՝ հորինելով հիմնավորում, որը պահանջներին համապատասխանող է հնչում, բայց խախտում է ներքին քաղաքականությունը։

Գործառնական խիստ պահանջներ ունեցող միջավայրերում LLM-ների համադրումը ֆորմալ լուծիչների հետ օգնում է ապահովել, որ բնական լեզվով պայմանավորված որոշումները մնան սահմանված շրջանակում և չհանգեցնեն անիրագործելի, ոչ օպտիմալ կամ պահանջներին չհամապատասխանող արդյունքների։

Մեր R&D թիմն ուսումնասիրում է հիբրիդային մոտեցում, որը համատեղում է LLM-ների ստեղծարարությունն ու ճկունությունը Z3-ի, Pyomo-ի և OR-Tools-ի նման ֆորմալ մաթեմատիկական լուծիչների խստության, երաշխիքների և թափանցիկության հետ։ Մենք նաև ստեղծում ենք բազմակի օգտագործման ֆորմալ ԱԲ շարժիչ, որպեսզի այս հնարավորությունը դառնա ձեռնարկության տեխնոլոգիական փաթեթի ստանդարտ մաս։ Հարթակը կազմակերպություններին թույլ կտա բիզնեսի կանոններն անմիջապես ներմուծել առկա համակարգերից, որոշումները շարունակաբար ստուգել այդ կանոններով և ԱԲ գործակալներն անվտանգ ներդնել հստակ սահմանված շրջանակում։

Մեր նպատակն է նվազեցնել գործառնական ռիսկը՝ միաժամանակ արագացնելով լայնածավալ որոշումների ընդունումը։ Ղեկավարներն ավելի արագ և քաղաքականությանը համապատասխան որոշումներ են ստանում բնական լեզվով մուտքային տվյալներից, իսկ կազմակերպությունները կարող են ավտոմատացնել ժամանակացույցի, մատակարարման շղթայի ռեսուրսների բաշխման, ֆինանսական գործառնությունների, քաղաքականության ստուգման և նույնիսկ տեսանյութերի կամ 3D դիզայնի իրավիճակային փոփոխությունները։ Ներկառուցված պաշտպանիչ մեխանիզմները թույլ չեն տալիս, որ անիրագործելի, պահանջներին չհամապատասխանող կամ վտանգավոր արդյունքները հասնեն արտադրական միջավայր։

Լոգիստիկ օպտիմալացման խնդիրների և երեք հանրային հենանիշերի վերահսկվող փորձերում մեր հիբրիդային մոտեցումը հետևողականորեն ցուցադրեց՝

• Ավելի բարձր ճշգրտություն

• Ավելի բարձր մեկնաբանելիություն և աուդիտի հնարավորություն

Մեր մոտեցումը շրջում է «LLM-ն անում է ամեն ինչ» սովորական հարացույցը և փոխարենը հետևում այս նախագծմանը՝

Այս մոտեցումը հստակ տարանջատում է պարտականությունները․ LLM-ները բնական լեզվից դուրս են բերում կանոններն ու սահմանափակումները, իսկ OR-Tools-ի, Z3-ի և Pyomo-ի նման դետերմինիստական լուծիչներն իրականացնում են օպտիմալացումն ու ստուգումը։ Արդյունքը համատեղում է երկու մոտեցումների առավելությունները՝

Մենք սկսեցինք մեր որոշ հաճախորդների առջև ծառացած մարտահրավերից՝

Բնական լեզվով հարցումները վերածել ռեսուրսների վերաբերյալ օպտիմալ, իրական ժամանակի որոշումների՝ խստորեն պահպանելով գործառնական, քաղաքականության և ծախսերի սահմանափակումները։

Այս մարտահրավերն արդի լոգիստիկայի և մատակարարման շղթաների հիմքում է՝ ներառյալ աշխատուժի ժամանակացույցը, ակտիվների բաշխումը, երթուղավորումը, կատարման պլանավորումը և թողունակության կառավարումը։ Հենց այստեղ պետք է LLM-ներն ու ֆորմալ լուծիչները համատեղ աշխատեն՝ վստահելի համակարգեր ստեղծելու համար։ Գնահատման համար ստեղծեցինք վերահսկվող փորձարկման սցենարներ, տվյալների աղբյուրներ և սահմանափակումներ, ինչպես նաև 240 արհեստական հարցում։ Օրինակները ներառում են՝

• Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.

• Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.

Հարցումներից երևում է, որ համակարգը պետք է բնական լեզվով հարցումներից հուսալիորեն դուրս բերի և կիրառի կոշտ ու ճկուն սահմանափակումներ՝

• Կոշտ սահմանափակումները սակարկելի չեն (օրինակ՝ մեկնարկի ամենավաղ ժամկետները, պայմանագրային դրույթները և թողունակության վերին սահմանները)։ Դրանցից թեկուզ մեկի խախտումն անվավեր է դարձնում լուծումը։

• Ճկուն սահմանափակումներն արտահայտում են նախընտրություններ, օրինակ՝ նվազագույնի հասցնել ուշացումները, ծախսերը և փոփոխությունները։ Նպատակն օպտիմալացնելն է՝ առանց կոշտ սահմանները խախտելու։

Օպտիմալացման այս խնդիրների որոշ կողմեր հնարավոր չէ ամբողջությամբ նախապես սահմանել։ Դրանք պետք է դինամիկ կերպով ձևավորվեն՝ հիմնվելով ոչ միայն կառուցվածքային բիզնես տրամաբանության, ներքին փաստաթղթերի և գործառնական տվյալների նախապես սահմանված սահմանափակումների ու նպատակների, այլև օգտատիրոջ հարցման վրա։

Այս միջավայրում տարբեր մեթոդների արդյունավետությունը հասկանալու համար ներդրեցինք և համեմատեցինք երեք մոտեցում։

1. Մաքուր LLM․ Ամենապարզ մոտեցմամբ բոլոր համապատասխան տվյալներն ու օգտատիրոջ բնական լեզվով հարցումը փոխանցվում են մեկ LLM հարցման, որից պահանջվում է ստեղծել օպտիմալ պլան կամ բաշխում։ Սա կարող է աշխատել փոքր կամ քիչ սահմանափակումներ ունեցող խնդիրների դեպքում, սակայն բարդության աճին զուգահեռ դադարում է արդյունավետ լինել։ Մոդելը կարող է անտեսել սահմանափակումները, առաջնահերթ համարել սխալ նպատակը կամ կազմել խելամիտ հնչող, բայց անիրագործելի պլաններ՝ առանց ձախողումները հուսալիորեն հայտնաբերելու կամ կանխելու հնարավորության։

2. LLM + Կոդերի թարգմանիչ․ Այս մոտեցման դեպքում LLM-ը մեկնաբանում է հարցումը և գործիքների միջոցով հասանելիություն ստանում տվյալների աղբյուրներին ու ստեղծում օպտիմալացման գործարկվող կոդ։ Սա մեծացնում է ճկունությունն ու դիտարկելիությունը, սակայն հուսալիությունը դեռ խնդիր է։ LLM-ը դեռ պետք է սահմանափակումները վերածի ճիշտ կոդի, իսկ դատողության կամ կոդավորման փոքր սխալները կարող են անվավեր կամ ոչ օպտիմալ արդյունքներ տալ, հատկապես սահմանափակումների քանակի աճի դեպքում։

3. Հիբրիդային՝ LLM → կառուցվածքային սահմանափակումներ → դետերմինիստական լուծիչ․ Երրորդ մոտեցումը տարանջատում է պարտականությունները։ LLM-ը երբեք չի «որոշում» արդյունքը․ այն օգնում է ֆորմալացնել փոփոխականները, սահմանափակումներն ու նպատակները։ Փորձված օպտիմալացման լուծիչը կիրառում է սահմանափակումները, երաշխավորում իրագործելիությունը և տալիս ստուգման ու աուդիտի ենթակա արդյունքներ։ LLM-ի դերը սահմանափակվում է բնական լեզվով հարցումները նախապես սահմանված սխեմաներով բացահայտ, կառուցվածքային սահմանափակումների վերածելով։ Այդ սահմանափակումներն ավտոմատ կոմպիլացվում են լուծիչի կոդի, օրինակ՝ OR-Tools-ի, որը դետերմինիստորեն հաշվարկում է իրագործելի, օպտիմալ լուծումը։

Մեթոդները փորձարկեցինք մի քանի LLM-ներով, այդ թվում՝ GPT-5, GPT-5.1 և GPT-5.2։ Ինչպես և սպասվում էր, հիբրիդային մոտեցումը գերազանցեց այլընտրանքներին՝

Մեր հիբրիդային մեթոդը ցուցադրում է ճշգրտության զգալի աճ, թոքենների ավելի քան 4 անգամ բարձր արդյունավետություն և հապաղման նվազում մեկ կարգով։

Մեր հաջորդ քայլը ընդհանրացվող, բազմակի օգտագործման միջերես ստեղծելն է, որը բնական լեզուն վերածում է կառուցվածքային իմաստաբանական ներկայացումների, իսկ մեր հետնամասը դրանք փոխակերպում է լուծիչի համար պատրաստ կոդի։ Այս փորձի համար կենտրոնացանք գծային օպտիմալացման խնդիրների վրա և մոտեցումը գնահատեցինք երեք հանրային տվյալակազմերով՝ NLP4LP, NL4OPT և IndustryOR։

1. Առանձին LLM

2. Հիբրիդային մեթոդ (LLM → կառուցվածքային կանոններ → լուծիչ → ստուգված արդյունք)

• LLM-ի միջոցով մուտքային տվյալներից դուրս բերել փոփոխականները, սահմանափակումներն ու նպատակները և ձևակերպել կառուցվածքային օպտիմալացման խնդիր։

• Կառուցվածքային խնդիրն ու սկզբնական հարցումը փոխանցել LLM-ին՝ ինքնաստուգման համար։

• Կառուցվածքային խնդիրը վերածել OR-Tools-ի կոդի՝ օպտիմալ բաշխումը հաշվարկելու համար։

Այս մոտեցումը գնահատեցինք սեփական առաջադեմ մոդելներով, այդ թվում՝ GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max և GPT-5.2, ինչպես նաև բաց կոդով մոդելներով, ինչպիսիք են Kimi K2-ը, GPT-OSS մոդելները և MiniMax M2-ը։ Արկղային դիագրամներն ամփոփում են յուրաքանչյուր մեթոդի արդյունքները։

Գնահատված հիմքում ընկած գրեթե բոլոր լեզվական մոդելների դեպքում հիբրիդային մոտեցումը հետևողականորեն ավելի ճշգրիտ, կայուն և ստուգելի արդյունքներ է տալիս, քան առանձին LLM-ի ելակետային տարբերակը։ Թեև բացարձակ արդյունավետությունը տարբեր մոդելների դեպքում տարբերվում է, հիբրիդային մոտեցման հարաբերական առավելությունները մնում են կայուն։ Սա ցույց է տալիս, որ բարելավումները բխում են բնական լեզվի ըմբռնումը ֆորմալ օպտիմալացումից տարանջատելուց, այլ ոչ թե որևէ մեկ մոդելի դատողության ունակությանը ապավինելուց։

Ճշգրտություն

Հիմնականում գծային ծրագրավորման խնդիրներից կազմված NLP4LP-ի և NL4OPT-ի դեպքում հիբրիդային մեթոդը հասնում է գրեթե առավելագույն ճշգրտության և գերազանցում է առանձին LLM հարցումներին։ «Մոտավորապես ճիշտ» դատողություն ստեղծելու փոխարեն հիբրիդային համակարգն ավելի հետևողականորեն է ձևավորում վավեր և ճիշտ կառուցվածքով մաթեմատիկական ձևակերպումներ։ Ավելի բարդ IndustryOR տվյալակազմի դեպքում երկու մեթոդների ճշգրտությունն էլ նվազում է, սակայն տարբեր պատճառներով։ IndustryOR-ի շատ խնդիրներ ներառում են կոմբինատորային կառուցվածքներ՝ տրանսպորտային միջոցների երթուղավորում, առաջադրանքների հերթականացում և աշխատուժի բաշխում, որոնք գերազանցում են լուծիչի մեր հետնամասի ներկայում աջակցվող գծային օպտիմալացման հնարավորությունները։

Ձախողման եղանակների վերլուծությունը ցույց է տալիս, որ առանձին LLM-ները հաճախ խախտում են պարտադիր սահմանափակումները, ինչպես պատկերված է ստորև՝

Օրինակ 1․

1"A bodybuilder buys prepared meals: a turkey dinner and a tuna salad sandwich. The turkey dinner contains 20 grams of protein, 30 grams of carbohydrates, and 12 grams of fat. The tuna salad sandwich contains 18 grams of protein, 25 grams of carbohydrates, and 8 grams of fat. The bodybuilder needs at least 150 grams of protein and 200 grams of carbohydrates. Because turkey dinners are expensive, no more than 40% of the meals should be turkey dinners. How many of each meal should the bodybuilder eat to minimize total fat intake?"

Առանձին LLM-ն ընդհանուր ճարպի ավելի ցածր քանակով լուծում է տալիս, սակայն խախտում է այն պահանջը, որ հնդկահավով ընթրիքները չպետք է կազմեն կերակուրների ավելի քան 40%-ը։ Հիբրիդային մոտեցումը ճիշտ է կիրառում այս կոշտ սահմանափակումը և վերադարձնում վավեր պատասխան։

Օրինակ 2․

1"A hospitalized patient can take two pills: Pill 1 and Pill 2. Each Pill 1 provides 0.2 units of pain medication and 0.3 units of anxiety medication. Each Pill 2 provides 0.6 units of pain medication and 0.2 units of anxiety medication. Pill 1 causes 0.3 units of discharge, while Pill 2 causes 0.1 units. At most 6 units of pain medication may be provided, and at least 3 units of anxiety medication must be provided. How many of each pill should the patient receive to minimize total discharge?"

Առանձին LLM-ը կրկին ավելի ցածր արտանետմամբ լուծում է տալիս, սակայն գերազանցում է ցավազրկող դեղամիջոցի թույլատրելի առավելագույն սահմանը։ Հիբրիդային մոտեցումը ճիշտ է կիրառում այդ կոշտ սահմանափակումը և վերադարձնում վավեր պատասխան։

Հապաղում և թոքենների օգտագործում

Հապաղման և թոքենների օգտագործման տվյալները կարևոր տարբերություն են բացահայտում։ Հիբրիդային մոտեցման միջին հապաղումն ու թոքենների օգտագործումն ավելի բարձր են, քան մեկ հարցմամբ LLM-ի դեպքում, սակայն սա ոչ թե անարդյունավետության, այլ ճարտարապետական ընտրությունների հետևանք է։

Հիբրիդային մշակաշղթան ներառում է՝

1. Մեկ կամ մի քանի LLM կանչ՝ կառուցվածքային փոփոխականները, սահմանափակումներն ու նպատակները դուրս բերելու համար։

2. Ինքնաստուգման փուլ՝ ներքին անհամապատասխանությունները հայտնաբերելու համար։

Թեև մեկ հարցման համեմատ այս քայլերը լրացուցիչ ծախս են առաջացնում, հապաղումը մնում է սահմանափակ ու կանխատեսելի, իսկ խնդիրը ճիշտ ձևակերպելուց հետո լուծիչը սովորաբար արագ է աշխատում։ Լրացուցիչ աշխատանքը ստեղծում է հստակ, բազմակի օգտագործման և աուդիտի ենթակա միջանկյալ ներկայացումներ։ Ի հակադրություն՝ առանձին LLM-ի վրա հիմնված մոտեցումները դատողությունը սեղմում են մեկ անթափանց գեներացման մեջ՝ ծախսերը տեղափոխելով կրկնակի փորձերի, ձեռքով ստուգումների և հետագա խափանումների վրա։ Հաջորդ տարբերակներում այս լրացուցիչ ծախսը կարելի է նվազեցնել՝

• Քեշավորելով դուրս բերված սխեմաները։

• Սահմանափակումներն աստիճանաբար թարմացնելով։

• Բարելավելով հարցումների և կանչերի համակարգումը։

Թափանցիկություն և աուդիտի հնարավորություն

Վերջապես, նույնիսկ երբ երկու մեթոդներն էլ ձախողվում են, ձախողման բնույթն էապես տարբեր է։

• Առանձին LLM-ի դեպքում ձախողումները հաճախ աննկատ են․ մոդելը կարող է վերադարձնել թաքնված անճշտություն պարունակող արդյունք։

• Հիբրիդային մոտեցման դեպքում խնդրի բացահայտ ձևակերպումը ձախողումները տեսանելի է դարձնում և թիմերին օգնում պարզել, թե ձևակերպման որ մասն է սխալ առաջացրել։

Հետագա տարբերակները կարող են այս ձևակերպումները ցուցադրել միջերեսում՝ օգտատերերին թույլ տալով դրանք աուդիտի ենթարկել կամ ստուգել նախքան լուծիչի գործարկումը։ Այս թափանցիկությունը բարձրացնում է չափված ճշգրտությունը և հեշտացնում համակարգի վրիպազերծումն ու կատարելագործումը, ինչը կենսական է իրական միջավայրում ներդրման համար։

Հիմնական եզրակացություն

Բոլոր հենանիշերով և փորձարկված հիմքում ընկած մոդելների մեծ մասի դեպքում արդյունքները հաստատում են մեր աշխատանքի առանցքային եզրակացությունը՝

LLM-ները հզոր են մտադրությունը հասկանալու և թարգմանելու գործում, սակայն ճշտությունն ապահովելու համար դետերմինիստական լուծիչներն անփոխարինելի են։

Հիբրիդային մոտեցումը բնական լեզուն անորոշության աղբյուրից վերածում է մաթեմատիկորեն հիմնավոր որոշումների ընդունման հուսալի միջերեսի՝ ձեռնարկությունների ԱԲ-ն մեկ քայլով մոտեցնելով ոչ միայն խելացի, այլև վստահելի համակարգերին։

Ձեռնարկության սահմանափակումները հազվադեպ են ներկայացված կոկիկ սխեմաներով կամ կատարյալ ձևակերպված հարցումներով։ Դրանք ցրված են տվյալների շտեմարաններում, աղյուսակներում, ներքին քաղաքականություններում և պայմանագրերում։ Օգտատերերի հարցումները կարող են լինել թերի, անորոշ կամ բիզնեսի կանոններին անհամապատասխան։ Այս մոտեցումը լայնածավալ կիրառելու համար ստեղծում ենք բազմակի օգտագործման հետնամասային շարժիչ, որն այս բարդությունը վերածում է ձեռնարկության հուսալի կարողության։

Այս շարժիչն իր հիմքում ԱԲ-ով պայմանավորված որոշումների համակարգերի ֆորմալ հենասյունն է և ապահովում է՝

• Խորհրդանշական գիտելիքների բազա՝ բիզնեսի կանոնները, սահմանափակումները, փոփոխականներն ու նպատակները ներմուծող ադապտերներով։

• Թարգմանության շերտ, որը սխեմաները կոմպիլացնում է լուծիչի կոդի։

• Միջերեսներ, որոնք թիմերին թույլ են տալիս ուսումնասիրել, աուդիտի ենթարկել և փոփոխել սահմանափակումները։

Թեև այս փորձերը ներկայում կենտրոնացած են օպտիմալացման վրա, նույն մեթոդը կարող է կիրառվել նաև տրամաբանական ստուգման համար։ Բիզնեսում հնարավոր կիրառությունները ներառում են՝

• Իրականացնել իրավիճակային դինամիկ ժամանակացույցի կազմում, երթուղավորում և ռեսուրսների բաշխում՝ պահպանելով բոլոր գործառնական սահմանափակումները։

• Ստեղծել պատասխաններ և առաջարկություններ, որոնք հետևողականորեն պահպանում են բիզնեսի կանոնները։

• Նախագծել և վավերացնել բարդ 3D օբյեկտներ, տեսանյութեր ու ճարտարապետություններ՝ անիրագործելի նախագծերը հայտնաբերելով մինչև արտադրությունը։

Այսօրվա ԱԲ-ն հզոր է, բայց ձեռնարկություններին ավելին է պետք՝ ճշտություն, հետևողականություն և վերահսկողություն։ Մեր հիբրիդային LLM և լուծիչ համակարգը քայլ է դեպի մի աշխարհ, որտեղ՝

• Գործակալները կանոններ կամ սահմանափակումներ չեն հորինում։

• Տրամաբանական արտածումն ու օպտիմալացումը մաթեմատիկորեն հիմնավոր են։

• Բնական լեզուն ծառայում է որպես դետերմինիստական համակարգերի համընդհանուր միջերես։