Големите јазични модели (LLM) постигнаа извонреден напредок во разбирањето на природниот јазик, создавањето течни одговори и овозможувањето сосема нови искуства за клиентите и вработените. Сепак, бидејќи големите јазични модели (LLM) се инхерентно стохастички, нивната примена за сложено нумеричко или логичко расудување дава ограничени гаранции дека резултатите ќе бидат усогласени или оптимални. На пример:
Менаџер му кажува на асистент за планирање со ВИ: “Ship as much as possible next week while keeping costs low,” а системот изработува агресивен план што изгледа ефикасно, но без предупредување го надминува капацитетот на магацинот и ги прекршува гаранциите за испорака.
Координатор му кажува на асистент со ВИ: “Reassign crews to reduce overnight stays and minimize disruption,” а моделот создава поевтин распоред што изгледа оптимално, но ги прекршува задолжителните ограничувања за работното време или одморот.
Асистент со ВИ за финансиско работење мора да одобрува трансакции според строги регионални ограничувања и ограничувања за ризик, но одобрува сомнителна трансакција измислувајќи образложение што звучи усогласено, иако ја прекршува внатрешната политика.
Во средини со строги оперативни барања, комбинирањето големи јазични модели (LLM) со формални решавачи помага одлуките засновани на природен јазик да останат во утврдените граници и да се избегнат неизводливи, неоптимални или неусогласени резултати.
Нашиот тим за истражување и развој испитува хибриден пристап што ги спојува креативноста и флексибилноста на големите јазични модели (LLM) со строгоста, гаранциите и транспарентноста на формалните математички решавачи, како Z3, Pyomo и OR-Tools. Создаваме и повеќекратно употреблив формален механизам за ВИ, за оваа способност да стане стандарден дел од технолошката инфраструктура на претпријатијата. Платформата ќе им овозможи на организациите директно да внесуваат деловни правила од постојните системи, постојано да ги проверуваат одлуките според тие правила и безбедно да применуваат агенти со ВИ во јасно утврдени граници.
Нашата визија е да го намалиме оперативниот ризик, а истовремено да го забрзаме донесувањето одлуки во голем обем. Раководителите добиваат побрзи одлуки усогласени со политиките врз основа на внес на природен јазик, а организациите можат да автоматизираат ад хок промени во распоредите, распределбата на ресурсите во синџирот на снабдување, финансиското работење, проверката на политиките, па дури и дизајнот на видеа или 3D-објекти. Вградените заштитни механизми спречуваат неизводливи, неусогласени или небезбедни резултати да стигнат до продукција.
Во контролирани експерименти со оптимизациски проблеми од логистиката и три јавни референтни теста, нашиот хибриден пристап доследно покажа:
Поголема точност
Поголема разбирливост и проверливост
Нашиот пристап ја превртува вообичаената парадигма „големиот јазичен модел прави сè“ и наместо тоа го следи овој дизајн:
Овој пристап јасно ги раздвојува одговорностите: големите јазични модели (LLM) извлекуваат правила и ограничувања од природниот јазик, а детерминистичките решавачи, како OR-Tools, Z3 и Pyomo, се грижат за оптимизацијата и проверката. Резултатот ги обединува предностите на двата пристапа:
Големи јазични модели (LLM) | Решавачи | Хибридно (LLM + решавач) | |
|---|---|---|---|
Разбирање на човечката намера во различни области | ✅ Одлично | ❌ Воопшто | ✅ Одлично |
Детерминистичко однесување | ❌ Не | ✅ Гарантирано | ✅ Да |
Докажлива точност во математичкото расудување и оптимизацијата со повеќе ограничувања | ⚠️ Несигурно | ✅ Гарантирано | ✅ Да |
Проверливост и разбирливост | ⚠️ Несигурно | ✅ Јасно | ✅ Јасно |
Отпорност на шум и вметнување инструкции во промптот | ❌ Ранливо | ✅ Имуно | ✅ Силно |
Почнавме со предизвик со кој се соочуваат некои од нашите клиенти:
Претворање на барањата на природен јазик во оптимални одлуки за ресурсите во реално време, со строго спроведување на оперативните, политичките и трошочните ограничувања.
Овој предизвик е во сржта на современата логистика и синџирите на снабдување, вклучувајќи распоредување на работната сила, распределба на средствата, насочување, планирање на исполнувањето и управување со капацитетите. Тоа е и област во која големите јазични модели (LLM) и формалните решавачи мора да соработуваат за да создадат доверливи системи. За евалуацијата создадовме контролирани тест-сценарија, извори на податоци и ограничувања, како и 240 синтетички барања. Примерите вклучуваат:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Од барањата се гледа дека системот мора сигурно да извлекува и спроведува строги и флексибилни ограничувања директно од барањата на природен јазик:
Строгите ограничувања не подлежат на преговори (на пр., најрани датуми за почеток, договорни услови и горни граници на капацитетот). Прекршувањето на кое било од нив го прави решението неважечко.
Флексибилните ограничувања изразуваат претпочитања, како сведување на доцнењата, трошоците и промените на минимум. Целта е да се оптимизира без да се преминат строгите граници.
Некои аспекти на овие оптимизациски проблеми не можат однапред целосно да се дефинираат. Тие мора динамички да се составуваат, користејќи ги однапред утврдените ограничувања и цели од структурираната деловна логика, внатрешните документи и оперативните податоци, но и барањето на корисникот.
За да разбереме како различните техники функционираат во оваа средина, применивме и споредивме три пристапи.
Само голем јазичен модел (LLM): Наједноставниот пристап ги доставува сите релевантни податоци и барањето на корисникот на природен јазик во еден промпт за голем јазичен модел (LLM), од кој се бара да создаде оптимален план или распределба. Иако ова може да функционира кај мали проблеми или проблеми со малку ограничувања, пристапот откажува со зголемувањето на сложеноста. Моделот може да занемари ограничувања, да даде приоритет на погрешната цел или да создаде планови што звучат разумно, но се неизводливи, без сигурен начин грешките да се откријат или спречат.
Голем јазичен модел (LLM) + Толкувач на кодови: Во овој пристап, големиот јазичен модел (LLM) го толкува барањето и користи алатки за пристап до изворите на податоци и создавање извршлив код за оптимизација. Тоа додава флексибилност и видливост, но сигурноста останува проблем. Големиот јазичен модел (LLM) сепак мора правилно да ги претвори ограничувањата во код, а малите грешки во расудувањето или кодирањето може да создадат неважечки или неоптимални резултати, особено со растот на бројот на ограничувања.
Хибридно: LLM → структурирани ограничувања → детерминистички решавач: Третиот пристап ги раздвојува одговорностите. Големиот јазичен модел (LLM) никогаш не „одлучува“ за резултатот; тој помага да се формализираат променливите, ограничувањата и целите. Докажан оптимизациски решавач ги спроведува ограничувањата, ја гарантира изводливоста и создава резултати што може да се проверат и ревидираат. Улогата на големиот јазичен модел (LLM) е ограничена на претворање на барањата од природен јазик во експлицитни, структурирани ограничувања со помош на однапред утврдени шеми. Тие ограничувања автоматски се компајлираат во код за решавач, како OR-Tools, кој детерминистички пресметува изводливо и оптимално решение.
Ги тестиравме методите со неколку големи јазични модели (LLM), меѓу кои GPT-5, GPT-5.1 и GPT-5.2. Како што очекувавме, хибридниот пристап ги надмина алтернативите:
Метод | Точност на распределбата | Просечна латентност | Употребени токени по барање |
|---|---|---|---|
Само голем јазичен модел (LLM) | 70–78% | 62–190 с | ~175.000 |
Голем јазичен модел (LLM) + Толкувач на кодови | 82–84% | 62–140 с | ~9.000 |
LLM → решавач (хибридно) | 95–97% | 6–25 с | ~2.000 |
Нашиот хибриден метод покажува значително зголемување на точноста, повеќе од 4× поголема ефикасност на токените и десеткратно намалување на латентноста.
Следниот чекор е да создадеме општоприменлив и повеќекратно употреблив интерфејс што го претвора природниот јазик во структурирани семантички претстави, кои нашиот заден систем може да ги претвори во код подготвен за решавачот. Во овој експеримент се насочивме кон проблеми на линеарна оптимизација и го оценивме пристапот со три јавни збирки на податоци (NLP4LP, NL4OPT и IndustryOR).
Самостоен голем јазичен модел (LLM)
Хибриден метод (LLM → структурирани правила → решавач → проверен резултат)
Користење голем јазичен модел (LLM) за извлекување променливи, ограничувања и цели од внесот и формулирање структуриран оптимизациски проблем.
Доставување на структурираниот проблем и првичното барање до голем јазичен модел (LLM) за самопроверка.
Претворање на структурираниот проблем во код за OR-Tools за да се пресмета оптималната распределба.
Го евалуиравме пристапот со сопствени гранични модели, меѓу кои GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max и GPT-5.2, како и со модели со отворен код, како Kimi K2, моделите GPT-OSS и MiniMax M2. Кутијастите дијаграми ги сумираат резултатите за секој метод.
Хибридниот пристап доследно создава поточни, постабилни и попроверливи резултати од основниот пристап со самостоен голем јазичен модел (LLM) кај речиси сите оценети основни јазични модели. Иако апсолутните резултати се разликуваат меѓу моделите, релативните придобивки од хибридниот пристап остануваат доследни. Тоа укажува дека подобрувањата произлегуваат од раздвојувањето на разбирањето на природниот јазик од формалната оптимизација, наместо од потпирањето врз способноста за расудување на еден модел.
Точност
На NLP4LP и NL4OPT, кои главно содржат проблеми од линеарното програмирање, хибридниот метод постигнува речиси максимална точност и го надминува промптирањето на самостоен голем јазичен модел (LLM). Наместо „приближно точно“ расудување, хибридниот систем подоследно создава важечки и правилно оформени математички формулации. Кај посложената збирка IndustryOR, точноста се намалува кај двата метода, но од различни причини. Многу проблеми во IndustryOR опфаќаат комбинаторни структури, како насочување возила, редослед на задачи и распределба на работната сила, кои ги надминуваат способностите за линеарна оптимизација што моментално ги поддржува нашиот заден систем со решавач.
Анализата на начините на откажување покажува дека самостојните големи јазични модели (LLM) често ги прекршуваат задолжителните ограничувања, како што е прикажано подолу:
Пример 1:
Plain Text
Самостојниот голем јазичен модел (LLM) создава решение со помалку вкупни масти, но го прекршува барањето оброците со мисиркино месо да сочинуваат најмногу 40% од оброците. Хибридниот пристап правилно го спроведува ова строго ограничување и дава важечки одговор.
Пример 2:
Plain Text
Самостојниот голем јазичен модел (LLM) повторно создава решение со помало испуштање, но ја надминува максимално дозволената граница за лекови против болка. Хибридниот пристап правилно го спроведува тоа строго ограничување и дава важечки одговор.
Латентност и употреба на токени
Податоците за латентноста и употребата на токени откриваат важна разлика. Хибридниот пристап има повисока просечна латентност и употреба на токени од еднократен промпт за голем јазичен модел (LLM), но тоа е одраз на архитектонските одлуки, а не на неефикасност.
Хибридниот процес опфаќа:
Еден или повеќе повици до голем јазичен модел (LLM) за извлекување структурирани променливи, ограничувања и цели.
Чекор за самопроверка што открива внатрешни недоследности.
Иако овие чекори создаваат дополнително оптоварување во споредба со еден промпт, латентноста останува ограничена и предвидлива, а извршувањето од страна на решавачот обично е брзо откако проблемот ќе биде правилно формулиран. Дополнителната работа создава експлицитни, повеќекратно употребливи и проверливи посредни претстави. Наспроти тоа, самостојните големи јазични модели (LLM) го сведуваат расудувањето на едно непрозирно генерирање, префрлајќи ги трошоците врз повторните обиди, рачните проверки и последователните дефекти. Идните верзии може да го намалат ова оптоварување преку:
Кеширање на извлечените шеми.
Постепено ажурирање на ограничувањата.
Подобрување на координацијата на промптовите и повиците.
Транспарентност и проверливост
На крајот, дури и кога двата метода не успеваат, самиот начин на откажување суштински се разликува.
Кај самостоен голем јазичен модел (LLM), грешките често остануваат незабележани: моделот може да даде резултат што е неприметно неточен.
Кај хибридниот пристап, експлицитната формулација на проблемот ги прави грешките видливи и им помага на тимовите да утврдат кој дел од формулацијата ја предизвикал грешката.
Идните верзии би можеле да ги прикажуваат овие формулации во интерфејс, овозможувајќи им на корисниците да ги прегледаат или проверат пред да се активира решавачот. Оваа транспарентност ја подобрува измерената точност и го олеснува откривањето грешки и усовршувањето на системот, што е неопходно за примена во реални услови.
Клучен заклучок
Резултатите од сите референтни тестови и повеќето тестирани основни модели го потврдуваат главниот заклучок од нашата работа:
Големите јазични модели (LLM) се моќни во разбирањето и пренесувањето на намерата, но детерминистичките решавачи се неопходни за обезбедување точност.
Хибридниот пристап го претвора природниот јазик од извор на двосмисленост во сигурен интерфејс за математички издржано донесување одлуки, приближувајќи ја ВИ за претпријатија до системи што не се само интелигентни, туку и доверливи.
Ограничувањата во претпријатијата ретко постојат во уредни шеми или совршено формулирани промптови. Тие се расфрлани низ бази на податоци, табели, внатрешни политики и договори. Барањата на корисниците може да бидат нецелосни, двосмислени или неусогласени со деловните правила. За овој пристап да функционира во голем обем, создаваме повеќекратно употреблив заден механизам што ја претвора оваа сложеност во сигурна способност за претпријатијата.
Во својата основа, овој механизам служи како формален столб на системите за донесување одлуки со ВИ и обезбедува:
Симболичка база на знаење со адаптери што внесуваат деловни правила, ограничувања, променливи и цели.
Преведувачки слој што ги компајлира шемите во код за решавачот.
Интерфејси преку кои тимовите можат да ги прегледуваат, проверуваат и менуваат ограничувањата.
Иако овие експерименти сега се насочени кон оптимизација, истиот метод може да се прошири и на логичка проверка. Можните деловни примени вклучуваат:
Ад хок динамичко распоредување, насочување и распределба на ресурси со спроведување на секое оперативно ограничување.
Создавање одговори и препораки што доследно ги почитуваат деловните правила.
Дизајнирање и проверка на сложени 3D-објекти, видеа и архитектури, со откривање на неизводливите дизајни пред продукцијата.
Вештачката интелигенција денес е моќна, но на претпријатијата им треба повеќе од моќ: им требаат точност, доследност и контрола. Нашиот хибриден систем со голем јазичен модел (LLM) и решавач е чекор кон свет во кој:
Агентите не измислуваат правила или ограничувања.
Логичкото изведување и оптимизацијата се математички издржани.
Природниот јазик служи како универзален интерфејс за детерминистички системи.