Велики језички модели (LLM-ови) остварили су изузетан напредак у разумевању природног језика, генерисању течних одговора и стварању потпуно нових искустава за клијенте и запослене. Међутим, пошто су LLM-ови по природи стохастички, њихова примена за сложено нумеричко или логичко резоновање пружа ограничене гаранције да ће резултати бити усклађени с правилима или оптимални. На пример:
Менаџер каже AI асистенту за планирање: “Ship as much as possible next week while keeping costs low,” а систем испоручује агресиван план који делује ефикасно, али неприметно премашује капацитет складишта и крши гаранције испоруке.
Координатор каже AI асистенту: “Reassign crews to reduce overnight stays and minimize disruption,” а модел прави јефтинији распоред који делује оптимално, али крши обавезна ограничења радног времена или одмора.
AI асистент за финансијске операције мора да одобрава трансакције у складу са строгим регионалним ограничењима и ограничењима ризика, али пропушта сумњиву трансакцију тако што измишља образложење које звучи усклађено с правилима, иако крши интерну политику.
У окружењима са строгим оперативним захтевима, комбиновање LLM-ова са формалним решавачима помаже да одлуке засноване на природном језику остану у дефинисаним границама и избегну неизводљиве, субоптималне или неусклађене исходе.
Наш тим за истраживање и развој испитује хибридни приступ који спаја креативност и флексибилност LLM-ова са строгошћу, гаранцијама и транспарентношћу формалних математичких решавача као што су Z3, Pyomo и OR-Tools. Такође развијамо формални AI механизам за вишекратну употребу како би ова могућност постала стандардан део технолошког система предузећа. Платформа ће организацијама омогућити да пословна правила преузимају директно из постојећих система, непрекидно проверавају одлуке у односу на та правила и безбедно примењују AI агенте у јасно дефинисаним границама.
Наша визија је да смањимо оперативни ризик и истовремено убрзамо доношење одлука у великим размерама. Руководиоци брже добијају одлуке усклађене с политикама на основу уноса на природном језику, док организације могу да аутоматизују ad hoc измене распореда, расподелу ресурса у ланцу снабдевања, финансијске операције, проверу политика, па чак и дизајн видеа или 3D садржаја. Уграђене заштитне мере спречавају да неизводљиви, неусклађени или небезбедни исходи стигну у продукцију.
У контролисаним експериментима са оптимизационим проблемима из области логистике и на три јавна референтна скупа, наш хибридни приступ доследно је показао:
Већу тачност
Већу разумљивост и могућност ревизије
Наш приступ преокреће уобичајену парадигму „LLM ради све“ и уместо тога следи овај модел:
Овај приступ јасно раздваја одговорности: LLM-ови издвајају правила и ограничења из природног језика, док детерминистички решавачи као што су OR-Tools, Z3 и Pyomo обављају оптимизацију и проверу. Резултат спаја предности оба приступа:
LLM-ови | Решавачи | Хибридно (LLM + решавач) | |
|---|---|---|---|
Разумевање људске намере у различитим доменима | ✅ Одлично | ❌ Нема | ✅ Одлично |
Детерминистичко понашање | ❌ Не | ✅ Загарантовано | ✅ Да |
Математички доказива исправност резоновања и оптимизације уз више ограничења | ⚠️ Непоуздано | ✅ Загарантовано | ✅ Да |
Могућност ревизије и разумљивост | ⚠️ Непоуздано | ✅ Јасно | ✅ Јасно |
Отпорност на шум и убризгавање у инструкције | ❌ Рањиво | ✅ Имуно | ✅ Висока |
Почели смо од изазова с којим се суочавају неки наши клијенти:
Претварање захтева на природном језику у оптималне одлуке о ресурсима у реалном времену, уз строго спровођење оперативних, регулаторних и трошковних ограничења.
Овај изазов је у средишту савремене логистике и ланаца снабдевања, укључујући распоређивање радне снаге, доделу средстава, усмеравање, планирање реализације и управљање капацитетима. То је уједно област у којој LLM-ови и формални решавачи морају да сарађују како би настали системи од поверења. За потребе евалуације направили смо контролисане тест-сценарије, изворе података и ограничења, као и 240 синтетичких упита. Примери обухватају:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Из упита се види да систем мора поуздано да издвоји и спроведе строга и мека ограничења директно из захтева на природном језику:
Строга ограничења нису предмет преговора (нпр. најранији датуми почетка, уговорни услови и горње границе капацитета). Кршење било којег од њих поништава решење.
Мека ограничења изражавају жељене услове, попут свођења кашњења, трошкова и измена на најмању меру. Циљ је оптимизација без прекорачења строгих граница.
Неки аспекти ових оптимизационих проблема не могу се у потпуности унапред дефинисати. Морају се динамички састављати, ослањајући се не само на унапред дефинисана ограничења и циљеве из структуриране пословне логике, интерних докумената и оперативних података већ и на захтев корисника.
Да бисмо разумели учинак различитих техника у овом окружењу, применили смо и упоредили три приступа.
Самостални LLM: Најједноставнији приступ прослеђује све релевантне податке и корисников захтев на природном језику једној LLM инструкцији, од које се тражи да направи оптималан план или расподелу. Иако то може да функционише код малих проблема или оних с мало ограничења, приступ престаје да буде делотворан са растом сложености. Модел може да занемари ограничења, да предност погрешном циљу или направи планове који звуче разумно, али су неизводљиви, без поузданог начина да се грешке открију или спрече.
LLM + тумач кода: У овом приступу LLM тумачи захтев и користи алате да приступи изворима података и генерише извршни оптимизациони код. То доноси већу флексибилност и видљивост, али поузданост и даље представља проблем. LLM и даље мора правилно да претвори ограничења у код, а мале грешке у резоновању или програмирању могу да доведу до неважећих или субоптималних исхода, нарочито са растом броја ограничења.
Хибридно: LLM → структурирана ограничења → детерминистички решавач: Трећи приступ раздваја одговорности. LLM никада не „одлучује“ о исходу, већ помаже да се променљиве, ограничења и циљеви формализују. Проверени оптимизациони решавач спроводи ограничења, гарантује изводљивост и даје резултате који се могу проверити и ревидирати. Улога LLM-а ограничена је на превођење захтева на природном језику у експлицитна, структурирана ограничења помоћу унапред дефинисаних шема. Та ограничења се аутоматски компајлирају у код за решавач, као што је OR-Tools, који детерминистички израчунава изводљиво, оптимално решење.
Методе смо тестирали помоћу неколико LLM-ова, укључујући GPT-5, GPT-5.1 и GPT-5.2. Као што се очекивало, хибридни приступ је надмашио друге могућности:
Метод | Тачност доделе | Просечно кашњење | Токени по упиту |
|---|---|---|---|
Самостални LLM | 70–78% | 62–190 s | ~175.000 |
LLM + тумач кода | 82–84% | 62–140 s | ~9.000 |
LLM → решавач (хибридно) | 95–97% | 6–25 s | ~2.000 |
Наш хибридни метод показује значајно повећање тачности, више од 4 пута већу ефикасност токена и десетоструко смањење кашњења.
Наш следећи корак је изградња уопштивог интерфејса за вишекратну употребу који природни језик претвара у структуриране семантичке репрезентације, које наш позадински систем може да преведе у код спреман за решавач. У овом експерименту усредсредили смо се на проблеме линеарне оптимизације и проценили приступ на три јавна скупа података (NLP4LP, NL4OPT и IndustryOR).
Самостални LLM
Хибридни метод (LLM → структурирана правила → решавач → проверени резултат)
Користити LLM за издвајање променљивих, ограничења и циљева из уноса и формулисање структурираних оптимизационих проблема.
Проследити структурирани проблем и оригинални захтев LLM-у ради самопровере.
Превести структурирани проблем у OR-Tools код ради израчунавања оптималне доделе.
Овај приступ смо проценили помоћу власничких граничних модела, укључујући GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max и GPT-5.2, као и модела отвореног кода попут Kimi K2, GPT-OSS модела и MiniMax M2. Кутијасти дијаграми сумирају резултате сваког метода.
Хибридни приступ доследно даје тачније, стабилније и проверљивије резултате од полазног самосталног LLM-а код готово свих процењених основних језичких модела. Иако се апсолутни учинак разликује међу моделима, релативна побољшања хибридног приступа остају доследна. То указује да побољшања потичу од раздвајања разумевања природног језика од формалне оптимизације, а не од ослањања на способност резоновања било ког појединачног модела.
Тачност
На скуповима NLP4LP и NL4OPT, који се првенствено састоје од проблема линеарног програмирања, хибридни метод постиже готово максималну тачност и надмашује самостални LLM са инструкцијама. Уместо „приближно исправног“ резоновања, хибридни систем доследније генерише важеће, правилно обликоване математичке формулације. На захтевнијем скупу података IndustryOR, тачност оба метода опада, али из различитих разлога. Многи проблеми из скупа IndustryOR укључују комбинаторне структуре, попут усмеравања возила, редоследа задатака и распоређивања радне снаге, које превазилазе могућности линеарне оптимизације које наш позадински решавач тренутно подржава.
Анализа начина отказивања показује да самостални LLM-ови често крше обавезна ограничења, као што је приказано у наставку:
Пример 1:
Plain Text
Самостални LLM даје решење с мањом укупном количином масти, али крши захтев да оброци с ћуретином чине највише 40% свих оброка. Хибридни приступ правилно спроводи ово строго ограничење и враћа важећи одговор.
Пример 2:
Plain Text
Самостални LLM поново даје решење с мањим испуштањем, али премашује највећу дозвољену границу за лекове против болова. Хибридни приступ правилно спроводи то строго ограничење и враћа важећи одговор.
Кашњење и употреба токена
Подаци о кашњењу и употреби токена откривају важну разлику. Хибридни приступ има веће просечно кашњење и већу употребу токена од једнократне LLM инструкције, али је то последица архитектонских избора, а не неефикасности.
Хибридни ток обухвата:
Један или више позива LLM-у ради издвајања структурираних променљивих, ограничења и циљева.
Корак самопровере ради откривања унутрашњих недоследности.
Иако ови кораци доносе додатно оптерећење у поређењу с једном инструкцијом, кашњење остаје ограничено и предвидљиво, а извршавање решавача обично је брзо када је проблем добро формулисан. Овај додатни рад ствара експлицитне, вишекратно употребљиве међурепрезентације које се могу ревидирати. Насупрот томе, самостални LLM приступи сажимају резоновање у једно непрозирно генерисање, пребацујући трошкове на поновне покушаје, ручне провере и касније кварове. Будуће верзије могу смањити ово оптерећење помоћу:
Кеширања издвојених шема.
Постепеног ажурирања ограничења.
Боље оркестрације инструкција и позива.
Транспарентност и могућност ревизије
На крају, чак и када обе методе не успеју, сам начин отказивања суштински се разликује.
Код самосталног LLM-а грешке су често неприметне: модел може да врати резултат који је суптилно нетачан.
Код хибридног приступа, експлицитна формулација проблема чини грешке видљивим и помаже тимовима да утврде који део формулације их је изазвао.
Будуће верзије могле би да приказују ове формулације у интерфејсу, како би корисници могли да их ревидирају или провере пре покретања решавача. Ова транспарентност побољшава измерену тачност и олакшава отклањање грешака и усавршавање система, што је неопходно за примену у стварном свету.
Кључни закључак
На свим референтним скуповима и код већине тестираних основних модела, резултати потврђују главни закључак нашег рада:
LLM-ови су моћни у разумевању и превођењу намере, али су детерминистички решавачи неопходни за обезбеђивање исправности.
Хибридни приступ претвара природни језик из извора двосмислености у поуздан интерфејс за математички утемељено доношење одлука, приближавајући пословни AI системима који нису само интелигентни већ и поуздани.
Ограничења у предузећима ретко постоје у уредним шемама или савршено формулисаним инструкцијама. Расута су по базама података, табелама, интерним политикама и уговорима. Захтеви корисника могу бити непотпуни, двосмислени или неусклађени с пословним правилима. Да би овај приступ функционисао у великим размерама, развијамо позадински механизам за вишекратну употребу који ову сложеност претвара у поуздану пословну могућност.
У својој основи, овај механизам служи као формална окосница система за доношење одлука заснованих на AI-ју и пружа:
Симболичку базу знања са адаптерима који уносе пословна правила, ограничења, променљиве и циљеве.
Слој за превођење који компајлира шеме у код за решавач.
Интерфејсе који тимовима омогућавају да прегледају, ревидирају и мењају ограничења.
Иако су ови експерименти тренутно усмерени на оптимизацију, исти метод може се проширити и на логичку проверу. Могуће пословне примене обухватају:
Ad hoc динамичко распоређивање, усмеравање и расподелу ресурса уз спровођење сваког оперативног ограничења.
Генерисање одговора и препорука који доследно поштују пословна правила.
Пројектовање и провера сложених 3D објеката, видео-садржаја и архитектура, уз откривање неизводљивих решења пре продукције.
Данашњи AI је моћан, али предузећима је потребно више од моћи: потребни су им исправност, доследност и контрола. Наш хибридни систем LLM-а и решавача корак је ка свету у којем:
Агенти не измишљају правила или ограничења.
Логичко закључивање и оптимизација математички су утемељени.
Природни језик служи као универзални интерфејс за детерминистичке системе.