LLM dosiahli mimoriadny pokrok v porozumení prirodzenému jazyku, tvorbe plynulých odpovedí a poskytovaní úplne nových skúseností zákazníkom aj zamestnancom. Keďže sú však LLM vo svojej podstate stochastické, pri ich využití na zložité numerické alebo logické uvažovanie nemožno spoľahlivo zaručiť, že ich výstupy budú v súlade s pravidlami alebo optimálne. Napríklad:
Manažér zadá plánovaciemu asistentovi s AI príkaz “Ship as much as possible next week while keeping costs low,” a systém vytvorí ambiciózny plán, ktorý pôsobí efektívne, no bez upozornenia prekračuje kapacitu skladu a porušuje záruky doručenia.
Koordinátor zadá asistentovi s AI príkaz “Reassign crews to reduce overnight stays and minimize disruption,” a model vytvorí lacnejší harmonogram, ktorý pôsobí optimálne, no porušuje povinné obmedzenia pracovného času alebo odpočinku.
Asistent s AI pre finančné operácie musí schvaľovať transakcie podľa prísnych regionálnych a rizikových obmedzení, podozrivú transakciu však povolí na základe vymysleného odôvodnenia, ktoré znie v súlade s pravidlami, hoci porušuje interné zásady.
V prostrediach s prísnymi prevádzkovými požiadavkami pomáha spojenie LLM s formálnymi riešičmi zabezpečiť, aby rozhodnutia vychádzajúce z prirodzeného jazyka zostali vo vymedzených hraniciach a neviedli k nerealizovateľným, suboptimálnym ani nevyhovujúcim výsledkom.
Náš tím výskumu a vývoja skúma hybridný prístup, ktorý spája tvorivosť a flexibilitu LLM s precíznosťou, zárukami a transparentnosťou formálnych matematických riešičov, ako sú Z3, Pyomo a OR-Tools. Zároveň vytvárame opakovane použiteľný formálny engine AI, aby sa táto funkcia stala štandardnou súčasťou podnikového technologického prostredia. Platforma umožní organizáciám preberať obchodné pravidlá priamo z existujúcich systémov, priebežne podľa nich overovať rozhodnutia a bezpečne nasadzovať agentov AI v jasne vymedzených hraniciach.
Našou víziou je znižovať prevádzkové riziko a zároveň urýchliť rozhodovanie vo veľkom rozsahu. Vedúci pracovníci získajú rýchlejšie rozhodnutia na základe prirodzeného jazyka, ktoré sú v súlade so zásadami, a organizácie budú môcť automatizovať ad hoc zmeny v plánovaní, prideľovaní zdrojov dodávateľského reťazca, finančných operáciách, overovaní zásad či dokonca pri tvorbe videí a 3D návrhov. Vstavané ochranné mechanizmy zabraňujú tomu, aby sa do produkcie dostali nerealizovateľné, nevyhovujúce alebo nebezpečné výsledky.
V kontrolovaných experimentoch s optimalizačnými úlohami z oblasti logistiky a tromi verejnými benchmarkmi náš hybridný prístup konzistentne preukázal:
Vyššiu presnosť
Lepšiu interpretovateľnosť a auditovateľnosť
Náš prístup obracia bežnú paradigmu „LLM robí všetko“ a namiesto nej využíva túto koncepciu:
Tento prístup jasne oddeľuje zodpovednosti: LLM získavajú pravidlá a obmedzenia z prirodzeného jazyka, zatiaľ čo deterministické riešiče, ako sú OR-Tools, Z3 a Pyomo, zabezpečujú optimalizáciu a overovanie. Výsledok spája silné stránky oboch prístupov:
LLM | Riešiče | Hybridný prístup (LLM + riešič) | |
|---|---|---|---|
Porozumenie zámeru človeka v rôznych oblastiach | ✅ Vynikajúce | ❌ Žiadne | ✅ Vynikajúce |
Deterministické správanie | ❌ Nie | ✅ Zaručené | ✅ Áno |
Preukázateľná správnosť matematického uvažovania a optimalizácie s viacerými obmedzeniami | ⚠️ Nespoľahlivé | ✅ Zaručené | ✅ Áno |
Auditovateľnosť a interpretovateľnosť | ⚠️ Nespoľahlivé | ✅ Jasné | ✅ Jasné |
Odolnosť voči šumu a injektáži v príkazoch | ❌ Zraniteľné | ✅ Imúnne | ✅ Vysoká |
Začali sme výzvou, ktorej čelia niektorí naši klienti:
Premieňať požiadavky v prirodzenom jazyku na optimálne rozhodnutia o zdrojoch v reálnom čase a pritom prísne dodržiavať prevádzkové obmedzenia, zásady a nákladové limity.
Táto výzva je jadrom modernej logistiky a dodávateľských reťazcov vrátane plánovania pracovných síl, prideľovania aktív, trasovania, plánovania realizácie objednávok a riadenia kapacít. Práve tu musia LLM a formálne riešiče spolupracovať, aby vznikli dôveryhodné systémy. Na účely hodnotenia sme vytvorili kontrolované testovacie scenáre, zdroje údajov a obmedzenia spolu s 240 syntetickými dopytmi. Medzi príklady patria:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Z dopytov vyplýva, že systém musí spoľahlivo získavať a presadzovať tvrdé a mäkké obmedzenia priamo z požiadaviek v prirodzenom jazyku:
Tvrdé obmedzenia sú neprekročiteľné (napríklad najskoršie dátumy začatia, zmluvné podmienky a kapacitné limity). Porušenie čo i len jedného z nich zneplatňuje riešenie.
Mäkké obmedzenia vyjadrujú preferencie, napríklad minimalizovanie oneskorení, znižovanie nákladov a obmedzovanie zmien. Cieľom je optimalizovať riešenie bez prekročenia pevných hraníc.
Niektoré aspekty týchto optimalizačných problémov nemožno vopred úplne definovať. Musia sa zostavovať dynamicky nielen z vopred definovaných obmedzení a cieľov získaných zo štruktúrovanej obchodnej logiky, interných dokumentov a prevádzkových údajov, ale aj z požiadavky používateľa.
Aby sme zistili, ako sa v tomto prostredí správajú rôzne techniky, implementovali a porovnali sme tri prístupy.
Čistý LLM: Najjednoduchší prístup odošle všetky relevantné údaje a požiadavku používateľa v prirodzenom jazyku do jediného príkazu pre LLM, ktorý má vytvoriť optimálny plán alebo pridelenie. Pri malých alebo voľne obmedzených problémoch to môže fungovať, s rastúcou zložitosťou však tento prístup zlyháva. Model môže ignorovať obmedzenia, uprednostniť nesprávny cieľ alebo vytvoriť plány, ktoré znejú rozumne, no nie sú realizovateľné, pričom zlyhania nemožno spoľahlivo odhaliť ani im zabrániť.
LLM + Code Interpreter: Pri tomto prístupe LLM interpretuje požiadavku a pomocou nástrojov pristupuje k zdrojom údajov a generuje spustiteľný optimalizačný kód. To zvyšuje flexibilitu a pozorovateľnosť, spoľahlivosť však zostáva problémom. LLM musí naďalej správne prevádzať obmedzenia do kódu a aj malé chyby v uvažovaní alebo programovaní môžu viesť k neplatným či suboptimálnym výsledkom, najmä pri rastúcom počte obmedzení.
Hybridný prístup: LLM → štruktúrované obmedzenia → deterministický riešič: Tretí prístup oddeľuje zodpovednosti. LLM nikdy „nerozhoduje“ o výsledku, iba pomáha formalizovať premenné, obmedzenia a ciele. Osvedčený optimalizačný riešič presadzuje obmedzenia, zaručuje realizovateľnosť a vytvára výsledky, ktoré možno overiť a auditovať. Úloha LLM sa obmedzuje na prevod požiadaviek v prirodzenom jazyku na explicitné, štruktúrované obmedzenia pomocou vopred definovaných schém. Tieto obmedzenia sa automaticky kompilujú do kódu riešiča, napríklad OR-Tools, ktorý deterministicky vypočíta realizovateľné a optimálne riešenie.
Metódy sme testovali pomocou viacerých LLM vrátane GPT-5, GPT-5.1 a GPT-5.2. Hybridný prístup podľa očakávania prekonal alternatívy:
Metóda | Presnosť prideľovania | Priemerná latencia | Počet tokenov na dopyt |
|---|---|---|---|
Čistý LLM | 70–78 % | 62–190 s | ~175 000 |
LLM + Code Interpreter | 82–84 % | 62–140 s | ~9 000 |
LLM → riešič (hybridný prístup) | 95–97 % | 6–25 s | ~2 000 |
Naša hybridná metóda dosahuje výrazne vyššiu presnosť, viac než štvornásobnú efektivitu využitia tokenov a rádovo nižšiu latenciu.
Naším ďalším krokom je vytvoriť zovšeobecniteľné a opakovane použiteľné rozhranie, ktoré premieňa prirodzený jazyk na štruktúrované sémantické reprezentácie. Náš backend ich následne prevedie na kód pripravený pre riešič. V tomto experimente sme sa zamerali na úlohy lineárnej optimalizácie a prístup sme vyhodnotili na troch verejných množinách údajov (NLP4LP, NL4OPT a IndustryOR).
Samostatný LLM
Hybridná metóda (LLM → štruktúrované pravidlá → riešič → overený výstup)
Pomocou LLM získať zo vstupu premenné, obmedzenia a ciele a sformulovať štruktúrovaný optimalizačný problém.
Odoslať štruktúrovaný problém a pôvodnú požiadavku do LLM na samooverenie.
Previesť štruktúrovaný problém do kódu OR-Tools a vypočítať optimálne pridelenie.
Tento prístup sme hodnotili pomocou proprietárnych prelomových modelov vrátane GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max a GPT-5.2, ako aj modelov s otvoreným zdrojovým kódom, napríklad Kimi K2, modelov GPT-OSS a MiniMax M2. Krabicové grafy sumarizujú výsledky jednotlivých metód.
Hybridný prístup dosahuje konzistentne presnejšie, stabilnejšie a overiteľnejšie výsledky než samostatný LLM takmer pri všetkých hodnotených základných jazykových modeloch. Hoci sa absolútny výkon jednotlivých modelov líši, relatívne prínosy hybridného prístupu zostávajú konzistentné. To naznačuje, že zlepšenia vyplývajú z oddelenia porozumenia prirodzenému jazyku od formálnej optimalizácie, a nie zo spoliehania sa na schopnosť uvažovania jedného konkrétneho modelu.
Presnosť
Pri NLP4LP a NL4OPT, ktoré pozostávajú najmä z úloh lineárneho programovania, dosahuje hybridná metóda takmer maximálnu presnosť a prekonáva príkazy pre samostatný LLM. Hybridný systém namiesto „približne správneho“ uvažovania konzistentnejšie vytvára platné a správne zostavené matematické formulácie. Pri náročnejšej množine údajov IndustryOR klesá presnosť oboch metód, ale z odlišných dôvodov. Mnohé úlohy IndustryOR zahŕňajú kombinatorické štruktúry, ako sú trasovanie vozidiel, určovanie poradia úloh a prideľovanie pracovných síl, ktoré presahujú možnosti lineárnej optimalizácie aktuálne podporované naším backendom riešiča.
Analýza spôsobov zlyhania ukazuje, že samostatné LLM často porušujú požadované obmedzenia, ako znázorňujú nasledujúce príklady:
Príklad 1:
Plain Text
Samostatný LLM vytvorí riešenie s nižším celkovým obsahom tuku, poruší však požiadavku, podľa ktorej môžu jedlá s morčacím mäsom tvoriť najviac 40 % všetkých jedál. Hybridný prístup toto tvrdé obmedzenie správne presadí a vráti platnú odpoveď.
Príklad 2:
Plain Text
Samostatný LLM opäť vytvorí riešenie s nižším množstvom vypúšťaných látok, prekročí však maximálny povolený limit liekov proti bolesti. Hybridný prístup toto tvrdé obmedzenie správne presadí a vráti platnú odpoveď.
Latencia a využitie tokenov
Údaje o latencii a využití tokenov odhaľujú dôležitý rozdiel. Hybridný prístup má vyššiu priemernú latenciu a spotrebu tokenov než jednorazový príkaz pre LLM, je to však dôsledok architektonických rozhodnutí, nie neefektívnosti.
Hybridný proces zahŕňa:
Jedno alebo viac volaní LLM na získanie štruktúrovaných premenných, obmedzení a cieľov.
Krok samooverenia na odhalenie vnútorných nezrovnalostí.
Hoci tieto kroky v porovnaní s jediným príkazom zvyšujú réžiu, latencia zostáva ohraničená a predvídateľná. Keď je problém správne formulovaný, riešič ho zvyčajne spracuje rýchlo. Táto dodatočná práca vytvára explicitné, opakovane použiteľné a auditovateľné medzireprezentácie. Samostatné prístupy s LLM naopak vtesnávajú uvažovanie do jediného netransparentného generovania, čím presúvajú náklady na opakované pokusy, manuálne kontroly a následné zlyhania. Budúce verzie môžu túto réžiu znížiť pomocou:
Ukladania získaných schém do vyrovnávacej pamäte.
Postupnej aktualizácie obmedzení.
Lepšej orchestrácie príkazov a volaní.
Transparentnosť a auditovateľnosť
Napokon, aj keď obe metódy zlyhajú, samotný spôsob zlyhania je zásadne odlišný.
Pri samostatnom LLM sú zlyhania často skryté: model môže vrátiť výsledok s nenápadnou chybou.
Pri hybridnom prístupe explicitná formulácia problému zviditeľňuje zlyhania a pomáha tímom určiť, ktorá časť formulácie spôsobila chybu.
Budúce verzie by mohli tieto formulácie zobrazovať v rozhraní, aby ich používatelia mohli pred spustením riešiča skontrolovať alebo overiť. Táto transparentnosť zvyšuje nameranú presnosť a zjednodušuje ladenie a zdokonaľovanie systému, čo je nevyhnutné pri nasadení v reálnom prostredí.
Hlavný poznatok
Výsledky všetkých benchmarkov a väčšiny testovaných základných modelov potvrdzujú hlavný záver našej práce:
LLM dokážu výborne pochopiť a previesť zámer, no na zabezpečenie správnosti sú nevyhnutné deterministické riešiče.
Hybridný prístup mení prirodzený jazyk zo zdroja nejednoznačnosti na spoľahlivé rozhranie pre matematicky správne rozhodovanie. Podniková AI sa tak približuje k systémom, ktoré sú nielen inteligentné, ale aj dôveryhodné.
Podnikové obmedzenia sa zriedka nachádzajú v úhľadných schémach alebo dokonale formulovaných príkazoch. Sú rozptýlené v databázach, tabuľkách, interných zásadách a zmluvách. Požiadavky používateľov môžu byť neúplné, nejednoznačné alebo v rozpore s obchodnými pravidlami. Aby tento prístup fungoval vo veľkom rozsahu, vytvárame opakovane použiteľný backendový engine, ktorý túto zložitosť mení na spoľahlivú podnikovú funkciu.
Tento engine tvorí formálnu chrbticu rozhodovacích systémov využívajúcich AI a poskytuje:
Symbolickú vedomostnú bázu s adaptérmi, ktoré prijímajú obchodné pravidlá, obmedzenia, premenné a ciele.
Prekladovú vrstvu, ktorá kompiluje schémy do kódu riešiča.
Rozhrania, ktoré tímom umožňujú kontrolovať, auditovať a upravovať obmedzenia.
Hoci sa tieto experimenty v súčasnosti zameriavajú na optimalizáciu, rovnakú metódu možno rozšíriť aj na logické overovanie. Medzi možné podnikové využitia patria:
Dynamické ad hoc plánovanie, trasovanie a prideľovanie zdrojov pri dodržaní všetkých prevádzkových obmedzení.
Generovanie odpovedí a odporúčaní, ktoré dôsledne rešpektujú obchodné pravidlá.
Navrhovanie a overovanie zložitých 3D objektov, videí a architektúr s odhalením nerealizovateľných návrhov ešte pred produkciou.
Dnešná AI je výkonná, podniky však potrebujú viac než výkon: potrebujú správnosť, konzistentnosť a kontrolu. Náš hybridný systém LLM a riešiča je krokom k svetu, v ktorom:
Agenti si nevymýšľajú pravidlá ani obmedzenia.
Logické odvodzovanie a optimalizácia sú matematicky správne.
Prirodzený jazyk slúži ako univerzálne rozhranie k deterministickým systémom.