Том хэлний загварууд (LLM) байгалийн хэлийг ойлгох, чөлөөтэй хариулт үүсгэх, хэрэглэгч болон ажилтнуудад цоо шинэ туршлага бий болгоход асар их ахиц гаргалаа. Гэвч Том хэлний загварууд (LLM) угаасаа санамсаргүй шинжтэй тул тэдгээрийг тоон нарийн тооцоолол эсвэл логик сэтгэн бодох ажиллагаанд ашиглахад гаралт нь шаардлагад нийцсэн, оновчтой байх баталгаа хязгаарлагдмал. Жишээлбэл:
Менежер хиймэл оюунд суурилсан төлөвлөлтийн туслахад “Ship as much as possible next week while keeping costs low,” гэж хэлэхэд систем үр ашигтай мэт харагдах түрэмгий төлөвлөгөө гаргасан ч агуулахын багтаамжийг далдуур хэтрүүлж, хүргэлтийн баталгааг зөрчинө.
Зохицуулагч хиймэл оюуны туслахад “Reassign crews to reduce overnight stays and minimize disruption,” гэж хэлэхэд загвар оновчтой мэт харагдах, бага зардалтай хуваарь гаргасан ч заавал мөрдөх ажлын цаг эсвэл амралтын хязгаарлалтыг зөрчинө.
Санхүүгийн үйл ажиллагааны хиймэл оюуны туслах бүс нутгийн болон эрсдэлийн хатуу хязгаарлалтын дагуу гүйлгээг зөвшөөрөх ёстой ч дотоод бодлогыг зөрчсөн атлаа шаардлагад нийцсэн мэт сонсогдох үндэслэл зохиож, сэжигтэй гүйлгээг зөвшөөрнө.
Үйл ажиллагааны хатуу шаардлагатай орчинд Том хэлний загваруудыг (LLM) формал бодогчтой хослуулах нь байгалийн хэлээр удирдуулсан шийдвэрүүдийг тогтоосон хязгаарт барьж, хэрэгжих боломжгүй, оновчгүй эсвэл шаардлага зөрчсөн үр дүнгээс сэргийлэхэд тусалдаг.
Манай судалгаа, хөгжүүлэлтийн баг Том хэлний загваруудын (LLM) бүтээлч, уян хатан чанарыг Z3, Pyomo, OR-Tools зэрэг формал математик бодогчийн нарийвчлал, баталгаа, ил тод байдалтай хослуулсан эрлийз аргыг судалж байна. Мөн энэ чадамжийг байгууллагын технологийн стекийн стандарт хэсэг болгох дахин ашиглах боломжтой формал хиймэл оюуны хөдөлгүүр бүтээж байна. Энэхүү платформ нь байгууллагуудад одоо ашиглаж буй системээсээ бизнесийн дүрмийг шууд оруулах, шийдвэрийг тэдгээр дүрэмтэй тасралтгүй тулган баталгаажуулах, хиймэл оюуны агентуудыг тодорхой хязгаарын хүрээнд аюулгүй нэвтрүүлэх боломж олгоно.
Бидний зорилго бол өргөн хүрээнд шийдвэр гаргалтыг хурдасгахын зэрэгцээ үйл ажиллагааны эрсдэлийг бууруулах явдал юм. Удирдлагууд байгалийн хэлээр өгсөн мэдээлэлд тулгуурласан, бодлогод нийцсэн шийдвэрийг хурдан авахын зэрэгцээ байгууллагууд хуваарь, нийлүүлэлтийн сүлжээний нөөц хуваарилалт, санхүүгийн ажиллагаа, бодлогын баталгаажуулалт, тэр ч байтугай видео болон 3D дизайны гэнэтийн өөрчлөлтийг автоматжуулах боломжтой. Суурилуулсан хамгаалалтууд хэрэгжих боломжгүй, шаардлага зөрчсөн эсвэл аюултай үр дүнг үйлдвэрлэлийн орчинд нэвтрэхээс сэргийлнэ.
Логистик төст оновчлолын бодлогууд болон нийтэд нээлттэй гурван жишиг үзүүлэлтэд хийсэн хяналттай туршилтаар манай эрлийз арга дараах давуу талыг тогтмол харуулсан:
Илүү өндөр нарийвчлал
Илүү ойлгомжтой, аудит хийхэд хялбар
Манай арга «Том хэлний загвар (LLM) бүхнийг хийнэ» гэсэн түгээмэл хандлагыг эсрэгээр нь эргүүлж, дараах загварыг баримталдаг:
Энэ арга үүргийг тодорхой заагладаг: Том хэлний загварууд (LLM) байгалийн хэлнээс дүрэм, хязгаарлалтыг гаргаж авах бол OR-Tools, Z3, Pyomo зэрэг детерминистик бодогч оновчлол, баталгаажуулалтыг гүйцэтгэнэ. Ингэснээр хоёр аргын давуу талыг нэгтгэнэ:
Том хэлний загварууд (LLM) | Бодогчид | Эрлийз (LLM + бодогч) | |
|---|---|---|---|
Олон салбар дахь хүний зорилгыг ойлгох | ✅ Маш сайн | ❌ Байхгүй | ✅ Маш сайн |
Детерминистик ажиллагаа | ❌ Үгүй | ✅ Баталгаатай | ✅ Тийм |
Олон хязгаарлалттай математик сэтгэн бодох ажиллагаа болон оновчлолд зөв болохыг нотлох боломж | ⚠️ Эмзэг | ✅ Баталгаатай | ✅ Тийм |
Аудит хийх боломж ба ойлгомжтой байдал | ⚠️ Эмзэг | ✅ Тодорхой | ✅ Тодорхой |
Өгөгдлийн шуугиан ба инъекцэд тэсвэртэй байдал | ❌ Эмзэг | ✅ Дархлаатай | ✅ Хүчтэй |
Бид зарим харилцагчид маань тулгардаг дараах сорилтоос эхэлсэн:
Үйл ажиллагаа, бодлого, зардлын хязгаарлалтыг чанд мөрдүүлэхийн зэрэгцээ байгалийн хэлээр өгсөн хүсэлтийг бодит цагийн оновчтой нөөцийн шийдвэр болгох.
Энэ сорилт нь ажиллах хүчний хуваарь, хөрөнгийн хуваарилалт, маршрут, гүйцэтгэлийн төлөвлөлт, багтаамжийн удирдлага зэрэг орчин үеийн логистик ба нийлүүлэлтийн сүлжээний гол цөмд оршдог. Мөн итгэл даах систем бүтээхийн тулд Том хэлний загварууд (LLM) ба формал бодогч хамтран ажиллах шаардлагатай талбар юм. Үнэлгээндээ бид хяналттай туршилтын хувилбар, өгөгдлийн эх үүсвэр, хязгаарлалт болон зохиомол 240 хүсэлт бэлтгэсэн. Жишээлбэл:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Эдгээр хүсэлтээс харахад систем хатуу ба уян хязгаарлалтыг байгалийн хэлээр өгсөн хүсэлтээс шууд найдвартай гаргаж авч, мөрдүүлэх ёстой:
Хатуу хязгаарлалт нь тохиролцох боломжгүй шаардлага юм (жишээлбэл, хамгийн эрт эхлэх огноо, гэрээний нөхцөл, багтаамжийн дээд хязгаар). Тэдгээрийн аль нэгийг зөрчихөд шийдэл хүчингүй болно.
Уян хязгаарлалт нь саатлыг багасгах, зардлыг бууруулах, өөрчлөлтийг хязгаарлах зэрэг сонголтыг илэрхийлнэ. Зорилго нь хатуу хязгаарыг давахгүйгээр оновчлох явдал юм.
Эдгээр оновчлолын бодлогын зарим талыг урьдчилан бүрэн тодорхойлох боломжгүй. Тэдгээрийг бүтэцчилсэн бизнесийн логик, дотоод баримт бичиг, үйл ажиллагааны өгөгдөл дэх урьдчилан тодорхойлсон хязгаарлалт, зорилгоос гадна хэрэглэгчийн хүсэлтэд тулгуурлан динамикаар бүрдүүлэх ёстой.
Энэ нөхцөлд өөр өөр арга хэр үр дүнтэйг ойлгохын тулд бид гурван аргыг хэрэгжүүлж, харьцуулсан.
Цэвэр LLM: Хамгийн энгийн энэ аргаар холбогдох бүх өгөгдөл болон хэрэглэгчийн байгалийн хэлээр өгсөн хүсэлтийг нэг Том хэлний загварын (LLM) өгөгдөлд дамжуулж, оновчтой төлөвлөгөө эсвэл хуваарилалт гаргахыг хүснэ. Энэ нь жижиг эсвэл цөөн хязгаарлалттай бодлогод ажиллаж болох ч нарийн төвөгтэй байдал нэмэгдэхэд үр дүнгүй болдог. Загвар хязгаарлалтыг үл тоомсорлох, буруу зорилгыг тэргүүлэх эсвэл боломжийн мэт сонсогдох боловч хэрэгжих боломжгүй төлөвлөгөө гаргаж болох бөгөөд алдааг найдвартай илрүүлэх, сэргийлэх аргагүй.
LLM + Код тайлагч: Энэ аргаар Том хэлний загвар (LLM) хүсэлтийг тайлбарлаж, өгөгдлийн эх үүсвэрт хандах болон ажиллуулах боломжтой оновчлолын код үүсгэх хэрэгслүүдийг ашиглана. Ингэснээр уян хатан, ажиглах боломжтой болох ч найдвартай байдал асуудал хэвээр үлдэнэ. Том хэлний загвар (LLM) хязгаарлалтыг зөв код болгон хөрвүүлэх шаардлагатай хэвээр бөгөөд сэтгэн бодох эсвэл кодлох жижиг алдаа, ялангуяа хязгаарлалт олшрох үед хүчингүй эсвэл оновчгүй үр дүнд хүргэж болно.
Эрлийз: LLM → бүтэцчилсэн хязгаарлалт → детерминистик бодогч: Гурав дахь арга үүргүүдийг тусгаарладаг. Том хэлний загвар (LLM) үр дүнг хэзээ ч «шийдэхгүй»; харин хувьсагч, хязгаарлалт, зорилгыг формалчлахад тусална. Батлагдсан оновчлолын бодогч хязгаарлалтыг мөрдүүлж, хэрэгжих боломжийг баталгаажуулан, шалгаж аудит хийх боломжтой үр дүн гаргана. Том хэлний загварын (LLM) үүрэг нь урьдчилан тодорхойлсон схем ашиглан байгалийн хэлээр өгсөн хүсэлтийг тодорхой, бүтэцчилсэн хязгаарлалт болгон хөрвүүлэхээр хязгаарлагдана. Эдгээр хязгаарлалтыг OR-Tools зэрэг бодогчийн код болгон автоматаар хөрвүүлж, бодогч хэрэгжих боломжтой оновчтой шийдлийг детерминистик байдлаар тооцоолно.
Бид аргуудыг GPT-5, GPT-5.1, GPT-5.2 зэрэг хэд хэдэн Том хэлний загвар (LLM) ашиглан туршсан. Хүлээж байсанчлан эрлийз арга бусад хувилбараас илүү үр дүнтэй байв:
Арга | Хуваарилалтын нарийвчлал | Дундаж хоцролт | Нэг хүсэлтэд ашигласан токен |
|---|---|---|---|
Цэвэр LLM | 70–78% | 62–190 сек | ~175,000 |
LLM + Код тайлагч | 82–84% | 62–140 сек | ~9,000 |
LLM → бодогч (эрлийз) | 95–97% | 6–25 сек | ~2,000 |
Манай эрлийз арга нарийвчлалыг үлэмж нэмэгдүүлж, токены үр ашгийг 4 дахинаас илүү өсгөн, хоцролтыг арав дахин бууруулсныг харууллаа.
Бидний дараагийн алхам бол байгалийн хэлийг бүтэцчилсэн семантик дүрслэл болгон хувиргах ерөнхий, дахин ашиглах боломжтой интерфэйс бүтээх явдал. Манай арын систем үүнийг бодогчид бэлэн код болгон хөрвүүлнэ. Энэ туршилтад бид шугаман оновчлолын бодлогод төвлөрч, аргыг нийтэд нээлттэй гурван өгөгдлийн багцаар (NLP4LP, NL4OPT, IndustryOR) үнэлсэн.
Дан Том хэлний загвар (LLM)
Эрлийз арга (LLM → бүтэцчилсэн дүрэм → бодогч → баталгаажуулсан гаралт)
Том хэлний загвар (LLM) ашиглан оролтоос хувьсагч, хязгаарлалт, зорилгыг гаргаж авч, бүтэцчилсэн оновчлолын бодлого томьёолно.
Бүтэцчилсэн бодлого болон эх хүсэлтийг өөрийгөө баталгаажуулах зорилгоор Том хэлний загварт (LLM) дамжуулна.
Оновчтой хуваарилалтыг тооцоолохын тулд бүтэцчилсэн бодлогыг OR-Tools код болгон хөрвүүлнэ.
Бид энэ аргыг GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max, GPT-5.2 зэрэг өмчлөлийн хил хязгаар загварууд болон Kimi K2, GPT-OSS загварууд, MiniMax M2 зэрэг нээлттэй эхийн загварууд ашиглан үнэлсэн. Хайрцган графикууд арга тус бүрийн үр дүнг нэгтгэн харуулна.
Үнэлсэн бараг бүх суурь хэлний загварт эрлийз арга нь дан Том хэлний загварын (LLM) суурь үзүүлэлтээс тогтмол илүү нарийвчлалтай, тогтвортой, баталгаажуулах боломжтой үр дүн гаргасан. Загвар бүрийн үнэмлэхүй гүйцэтгэл ялгаатай ч эрлийз аргын харьцангуй ахиц тогтвортой хэвээр байна. Энэ нь сайжрал аль нэг загварын сэтгэн бодох чадварт найдахаас бус, байгалийн хэлний ойлголтыг формал оновчлолоос тусгаарласнаас үүдсэнийг харуулж байна.
Нарийвчлал
Гол төлөв шугаман програмчлалын бодлогоос бүрдэх NLP4LP болон NL4OPT дээр эрлийз арга бараг дээд түвшний нарийвчлалд хүрч, дан Том хэлний загварт (LLM) өгөгдөл өгөх аргаас илүү үр дүнтэй байв. Эрлийз систем «ойролцоогоор зөв» сэтгэн бодохын оронд хүчинтэй, зөв бүтэцтэй математик томьёоллыг илүү тогтмол үүсгэдэг. Илүү сорилттой IndustryOR өгөгдлийн багцад хоёр аргын нарийвчлал хоёул буурдаг ч шалтгаан нь өөр. IndustryOR-ийн олон бодлого тээврийн хэрэгслийн маршрут, даалгаврын дараалал, ажиллах хүчний хуваарилалт зэрэг комбинатор бүтцийг хамардаг бөгөөд эдгээр нь манай бодогчийн арын системийн одоогийн шугаман оновчлолын чадамжаас давсан.
Алдааны хэлбэрүүдийн шинжилгээгээр дан Том хэлний загварууд (LLM) шаардлагатай хязгаарлалтыг байнга зөрчдөг нь доорх жишээнээс харагдана:
Жишээ 1:
Plain Text
Дан Том хэлний загвар (LLM) нийт өөх тос багатай шийдэл гаргасан ч цацагт хяруулын оройн хоол нийт хоолны 40%-иас хэтрэхгүй байх шаардлагыг зөрчсөн. Эрлийз арга энэ хатуу хязгаарлалтыг зөв мөрдүүлж, хүчинтэй хариу буцаана.
Жишээ 2:
Plain Text
Дан Том хэлний загвар (LLM) дахин бага ялгаралттай шийдэл гаргасан ч зөвшөөрөгдсөн өвчин намдаах эмийн дээд хэмжээг хэтрүүлсэн. Эрлийз арга уг хатуу хязгаарлалтыг зөв мөрдүүлж, хүчинтэй хариу буцаана.
Хоцролт ба токены хэрэглээ
Хоцролт болон токены хэрэглээний өгөгдөл нэг чухал ялгааг харуулж байна. Эрлийз арга нь Том хэлний загварт (LLM) нэг удаагийн өгөгдөл өгөхөөс дундаж хоцролт, токены хэрэглээ өндөр боловч энэ нь үр ашиггүйгээс бус архитектурын сонголтоос шалтгаалдаг.
Эрлийз дамжлагад дараах алхмууд багтана:
Бүтэцчилсэн хувьсагч, хязгаарлалт, зорилгыг гаргаж авах нэг буюу хэд хэдэн Том хэлний загварын (LLM) дуудлага.
Дотоод зөрчлийг илрүүлэх өөрийгөө баталгаажуулах алхам.
Эдгээр алхам нэг өгөгдөлтэй харьцуулахад нэмэлт ачаалал үүсгэдэг ч хоцролт нь хязгаартай, урьдчилан таамаглах боломжтой хэвээр байна. Бодлогыг зөв томьёолсны дараа бодогч ихэвчлэн хурдан ажилладаг. Энэхүү нэмэлт ажиллагаа нь тодорхой, дахин ашиглах болон аудит хийх боломжтой завсрын дүрслэлүүдийг бий болгодог. Харин дан Том хэлний загварт (LLM) суурилсан арга сэтгэн бодох ажиллагааг нэг үл үзэгдэх үүсгэлтэд шахаж, зардлыг дахин оролдох, гараар шалгах, дараагийн шатны алдаа руу шилжүүлдэг. Дараагийн хувилбаруудад нэмэлт ачааллыг дараах аргаар бууруулж болно:
Гаргаж авсан схемүүдийг кэшлэх.
Хязгаарлалтыг үе шаттай шинэчлэх.
Өгөгдөл болон дуудлагын зохицуулалтыг сайжруулах.
Ил тод байдал ба аудит хийх боломж
Эцэст нь, хоёр арга хоёулаа бүтэлгүйтсэн тохиолдолд ч алдааны хэлбэр нь үндсээрээ ялгаатай.
Дан Том хэлний загвар (LLM) ашиглахад алдаа ихэвчлэн мэдэгддэггүй: загвар үл ялиг буруу үр дүн буцааж болно.
Эрлийз аргын хувьд бодлогыг ил тод томьёолдог тул алдаа харагдахуйц болж, томьёоллын аль хэсэг алдаа үүсгэснийг багууд тогтооход тусалдаг.
Дараагийн хувилбарууд эдгээр томьёоллыг интерфэйсээр харуулж, бодогч ажиллахаас өмнө хэрэглэгчдэд аудит хийх эсвэл баталгаажуулах боломж олгож болно. Энэ ил тод байдал хэмжсэн нарийвчлалыг дээшлүүлж, системийн алдааг оношлох, сайжруулахад хялбар болгодог. Энэ нь бодит орчинд нэвтрүүлэхэд нэн чухал.
Гол дүгнэлт
Бүх жишиг үзүүлэлт болон туршсан суурь загваруудын ихэнхэд гарсан үр дүн бидний ажлын гол дүгнэлтийг бататгаж байна:
Том хэлний загварууд (LLM) зорилгыг ойлгож, хөрвүүлэхдээ хүчирхэг боловч зөв байдлыг албадан мөрдүүлэхэд детерминистик бодогч зайлшгүй хэрэгтэй.
Эрлийз арга байгалийн хэлийг тодорхойгүй байдлын эх үүсвэрээс математик үндэслэлтэй шийдвэр гаргалтын найдвартай интерфэйс болгон хувиргаж, байгууллагын хиймэл оюуныг ухаалаг төдийгүй итгэл даах системд нэг алхам ойртуулна.
Байгууллагын хязгаарлалтууд цэгцтэй схем эсвэл төгс найруулсан өгөгдөл хэлбэрээр байх нь ховор. Тэдгээр нь өгөгдлийн сан, хүснэгт, дотоод бодлого, гэрээнүүдэд тархсан байдаг. Хэрэглэгчийн хүсэлт дутуу, тодорхойгүй эсвэл бизнесийн дүрэмтэй зөрчилтэй байж болно. Энэ аргыг өргөн хүрээнд хэрэгжүүлэхийн тулд бид уг нарийн төвөгтэй байдлыг байгууллагын найдвартай чадамж болгон хувиргах, дахин ашиглах боломжтой арын системийн хөдөлгүүр бүтээж байна.
Энэхүү хөдөлгүүр нь хиймэл оюунаар удирдуулсан шийдвэрийн системүүдийн формал тулгуур болж, дараах боломжийг бүрдүүлнэ:
Бизнесийн дүрэм, хязгаарлалт, хувьсагч, зорилгыг оруулах адаптертай симбол мэдлэгийн сан.
Схемүүдийг бодогчийн код болгон хөрвүүлдэг орчуулгын давхарга.
Багуудад хязгаарлалтыг шалгах, аудит хийх, өөрчлөх боломж олгох интерфэйсүүд.
Эдгээр туршилт одоогоор оновчлолд төвлөрч байгаа ч ижил аргыг логик баталгаажуулалтад өргөжүүлэн ашиглаж болно. Бизнесийн боломжит хэрэглээнд дараах зүйлс багтана:
Үйл ажиллагааны бүх хязгаарлалтыг мөрдүүлэхийн зэрэгцээ гэнэтийн динамик хуваарь, маршрут, нөөц хуваарилалтыг гүйцэтгэх.
Бизнесийн дүрмийг тогтмол мөрдсөн хариулт, зөвлөмж гаргах.
Нарийн төвөгтэй 3D объект, видео, архитектурыг зохиож, баталгаажуулахын зэрэгцээ хэрэгжих боломжгүй загварыг үйлдвэрлэлээс өмнө илрүүлэх.
Өнөөгийн хиймэл оюун хүчирхэг боловч байгууллагуудад хүч чадлаас илүү зүйл буюу зөв байдал, тууштай ажиллагаа, хяналт хэрэгтэй. Манай Том хэлний загвар (LLM) ба бодогчийн эрлийз систем дараах ертөнц рүү хийсэн нэг алхам юм:
Агентууд дүрэм, хязгаарлалтыг зохиож төөрөгдүүлэхгүй.
Логик дүгнэлт болон оновчлол нь математикийн үндэслэлтэй байна.
Байгалийн хэл детерминистик системүүдийн түгээмэл интерфэйс болно.