Spojení LLM a formálních řešičů pro spolehlivá rozhodnutí AI

Velké jazykové modely (LLM) dosáhly mimořádného pokroku v porozumění přirozenému jazyku, generování plynulých odpovědí a vytváření zcela nových prostředí pro zákazníky i zaměstnance. LLM jsou však ze své podstaty stochastické, takže při jejich použití ke složitému numerickému či logickému uvažování lze jen omezeně zaručit, že jejich výstupy budou vyhovující nebo optimální. Například:

• Manažer zadá plánovacímu asistentovi s AI pokyn “Ship as much as possible next week while keeping costs low,” a systém vytvoří ambiciózní plán, který působí efektivně, ale bez upozornění překračuje kapacitu skladu a porušuje záruky doručení.

• Koordinátor zadá asistentovi s AI pokyn “Reassign crews to reduce overnight stays and minimize disruption,” a model vytvoří levnější rozvrh, který vypadá optimálně, ale porušuje povinná omezení pracovní doby nebo odpočinku.

• Asistent s AI pro finanční operace musí schvalovat transakce podle přísných regionálních a rizikových omezení, ale podezřelou transakci povolí na základě smyšleného odůvodnění, které zní, jako by pravidla splňovalo, přestože porušuje interní zásady.

V prostředích s přísnými provozními požadavky pomáhá spojení LLM s formálními řešiči zajistit, aby rozhodnutí založená na přirozeném jazyce nepřekračovala stanovené hranice a nevedla k neproveditelným, suboptimálním či nevyhovujícím výsledkům.

Náš výzkumný a vývojový tým zkoumá hybridní přístup, který spojuje kreativitu a flexibilitu LLM s důsledností, zárukami a transparentností formálních matematických řešičů, jako jsou Z3, Pyomo a OR-Tools. Vyvíjíme také opakovaně použitelný formální AI engine, aby se tato funkce stala standardní součástí podnikového technologického stacku. Platforma umožní organizacím přebírat obchodní pravidla přímo ze stávajících systémů, průběžně podle nich ověřovat rozhodnutí a bezpečně nasazovat agenty AI v jasně vymezených mezích.

Naší vizí je omezit provozní rizika a zároveň urychlit rozhodování ve velkém měřítku. Vedoucí pracovníci získají rychlejší rozhodnutí vycházející z přirozeného jazyka a odpovídající zásadám, zatímco organizace mohou automatizovat operativní změny plánování, přidělování zdrojů v dodavatelském řetězci, finančních operací, ověřování zásad, a dokonce i tvorby videí či 3D návrhů. Integrovaná ochranná opatření brání tomu, aby se neproveditelné, nevyhovující či nebezpečné výsledky dostaly do produkčního prostředí.

V kontrolovaných experimentech s optimalizačními úlohami z oblasti logistiky a se třemi veřejnými benchmarky náš hybridní přístup soustavně prokazoval:

• Vyšší přesnost

• Lepší interpretovatelnost a auditovatelnost

Náš přístup obrací obvyklé paradigma „LLM dělá všechno“ a místo něj využívá následující uspořádání:

Tento přístup jasně odděluje odpovědnosti: LLM získávají pravidla a omezení z přirozeného jazyka, zatímco deterministické řešiče, jako jsou OR-Tools, Z3 a Pyomo, zajišťují optimalizaci a ověřování. Výsledek spojuje přednosti obou přístupů:

Začali jsme výzvou, které čelí někteří naši klienti:

Převádět požadavky v přirozeném jazyce na optimální rozhodnutí o zdrojích v reálném čase a přitom důsledně vynucovat provozní omezení, zásady a nákladové limity.

Tato výzva je jádrem moderní logistiky a dodavatelských řetězců, včetně plánování pracovníků, přidělování aktiv, trasování, plánování plnění objednávek a řízení kapacit. Právě zde musí LLM a formální řešiče spolupracovat, aby vznikly důvěryhodné systémy. Pro hodnocení jsme vytvořili kontrolované testovací scénáře, datové zdroje a omezení spolu s 240 syntetickými dotazy. Příklady:

• Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.

• Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.

Z dotazů je zřejmé, že systém musí spolehlivě získávat a vynucovat tvrdá a měkká omezení přímo z požadavků v přirozeném jazyce:

• Tvrdá omezení jsou závazná (například nejdřívější datum zahájení, smluvní podmínky a kapacitní limity). Porušení kteréhokoli z nich řešení zneplatní.

• Měkká omezení vyjadřují preference, například minimalizaci zpoždění, snížení nákladů a omezení změn. Cílem je optimalizovat bez překročení pevných hranic.

Některé aspekty těchto optimalizačních problémů nelze plně předem definovat. Je nutné je sestavovat dynamicky nejen z předem definovaných omezení a cílů ve strukturované obchodní logice, interních dokumentech a provozních datech, ale také z požadavku uživatele.

Abychom zjistili, jak si v tomto prostředí vedou různé techniky, implementovali a porovnali jsme tři přístupy.

1. Čisté LLM: Nejjednodušší přístup předá všechna relevantní data a požadavek uživatele v přirozeném jazyce jedinému promptu pro LLM, který má vytvořit optimální plán nebo přidělení. U malých nebo volně omezených problémů to může fungovat, ale s rostoucí složitostí přístup selhává. Model může ignorovat omezení, upřednostnit nesprávný cíl nebo vytvořit plány, které zní rozumně, ale nejsou proveditelné, aniž by existoval spolehlivý způsob, jak selhání odhalit či jim zabránit.

2. LLM + interpret kódu: V tomto přístupu LLM interpretuje požadavek a pomocí nástrojů přistupuje ke zdrojům dat a generuje spustitelný optimalizační kód. To zvyšuje flexibilitu a pozorovatelnost, spolehlivost však zůstává problémem. LLM musí omezení stále převést do správného kódu a drobné chyby v uvažování či programování mohou vést k neplatným nebo suboptimálním výsledkům, zejména s rostoucím počtem omezení.

3. Hybridní přístup: LLM → strukturovaná omezení → deterministický řešič: Třetí přístup odděluje odpovědnosti. LLM o výsledku nikdy „nerozhoduje“; pomáhá formalizovat proměnné, omezení a cíle. Osvědčený optimalizační řešič vynucuje omezení, zaručuje proveditelnost a vytváří ověřitelné a auditovatelné výsledky. Úloha LLM se omezuje na převod požadavků v přirozeném jazyce na explicitní, strukturovaná omezení pomocí předem definovaných schémat. Tato omezení se automaticky kompilují do kódu pro řešič, například OR-Tools, který deterministicky vypočítá proveditelné a optimální řešení.

Metody jsme testovali s několika LLM, včetně GPT-5, GPT-5.1 a GPT-5.2. Hybridní přístup podle očekávání alternativy překonal:

Naše hybridní metoda přináší výrazné zvýšení přesnosti, více než čtyřnásobnou efektivitu využití tokenů a řádové snížení latence.

Naším dalším krokem je vytvořit zobecnitelné a opakovaně použitelné rozhraní, které převádí přirozený jazyk na strukturované sémantické reprezentace, jež náš backend dokáže převést na kód připravený pro řešič. V tomto experimentu jsme se zaměřili na problémy lineární optimalizace a přístup vyhodnotili na třech veřejných datových sadách (NLP4LP, NL4OPT a IndustryOR).

1. Samostatné LLM

2. Hybridní metoda (LLM → strukturovaná pravidla → řešič → ověřený výstup)

• Pomocí LLM získat ze vstupu proměnné, omezení a cíle a formulovat strukturovaný optimalizační problém.

• Předat strukturovaný problém a původní požadavek LLM k samoověření.

• Převést strukturovaný problém do kódu OR-Tools a vypočítat optimální přidělení.

Tento přístup jsme hodnotili pomocí proprietárních průkopnických modelů, včetně GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max a GPT-5.2, a open-source modelů, jako jsou Kimi K2, modely GPT-OSS a MiniMax M2. Krabicové grafy shrnují výsledky jednotlivých metod.

Hybridní přístup dosahuje téměř u všech hodnocených základních jazykových modelů soustavně přesnějších, stabilnějších a lépe ověřitelných výsledků než samostatné LLM použité jako výchozí řešení. Přestože se absolutní výkon jednotlivých modelů liší, relativní přínosy hybridního přístupu zůstávají konzistentní. To naznačuje, že zlepšení vyplývají z oddělení porozumění přirozenému jazyku od formální optimalizace, nikoli ze spoléhání na schopnost uvažování jediného modelu.

Přesnost

U NLP4LP a NL4OPT, které tvoří především problémy lineárního programování, dosahuje hybridní metoda téměř maximální přesnosti a překonává samostatné použití promptů pro LLM. Namísto „přibližně správného“ uvažování hybridní systém soustavněji vytváří platné a správně formulované matematické zápisy. U náročnější datové sady IndustryOR klesá přesnost obou metod, avšak z různých důvodů. Mnoho problémů IndustryOR zahrnuje kombinatorické struktury, například trasování vozidel, řazení úloh a přidělování pracovníků, které přesahují možnosti lineární optimalizace aktuálně podporované naším backendem řešiče.

Analýza způsobů selhání ukazuje, že samostatná LLM často porušují povinná omezení, jak znázorňují následující příklady:

Příklad 1:

1"A bodybuilder buys prepared meals: a turkey dinner and a tuna salad sandwich. The turkey dinner contains 20 grams of protein, 30 grams of carbohydrates, and 12 grams of fat. The tuna salad sandwich contains 18 grams of protein, 25 grams of carbohydrates, and 8 grams of fat. The bodybuilder needs at least 150 grams of protein and 200 grams of carbohydrates. Because turkey dinners are expensive, no more than 40% of the meals should be turkey dinners. How many of each meal should the bodybuilder eat to minimize total fat intake?"

Samostatné LLM vytvoří řešení s nižším celkovým obsahem tuku, ale poruší požadavek, podle kterého mohou krůtí večeře tvořit nejvýše 40 % jídel. Hybridní přístup toto tvrdé omezení správně vynutí a vrátí platnou odpověď.

Příklad 2:

1"A hospitalized patient can take two pills: Pill 1 and Pill 2. Each Pill 1 provides 0.2 units of pain medication and 0.3 units of anxiety medication. Each Pill 2 provides 0.6 units of pain medication and 0.2 units of anxiety medication. Pill 1 causes 0.3 units of discharge, while Pill 2 causes 0.1 units. At most 6 units of pain medication may be provided, and at least 3 units of anxiety medication must be provided. How many of each pill should the patient receive to minimize total discharge?"

Samostatné LLM opět vytvoří řešení s nižšími emisemi, ale překročí maximální povolený limit léků proti bolesti. Hybridní přístup toto tvrdé omezení správně vynutí a vrátí platnou odpověď.

Latence a využití tokenů

Údaje o latenci a využití tokenů odhalují důležitý rozdíl. Hybridní přístup má vyšší průměrnou latenci a spotřebu tokenů než jednorázový prompt pro LLM, ale to je důsledkem architektonických rozhodnutí, nikoli neefektivity.

Hybridní proces zahrnuje:

1. Jedno či více volání LLM za účelem získání strukturovaných proměnných, omezení a cílů.

2. Krok samoověření, který odhalí vnitřní nesrovnalosti.

Přestože tyto kroky ve srovnání s jediným promptem zvyšují režii, latence zůstává omezená a předvídatelná. Jakmile je problém správně formulován, řešič zpravidla pracuje rychle. Tato dodatečná práce vytváří explicitní, opakovaně použitelné a auditovatelné mezireprezentace. Samostatné LLM naproti tomu stlačují uvažování do jediného neprůhledného generování, čímž přesouvají náklady na opakované pokusy, ruční kontroly a následná selhání. Budoucí verze mohou tuto režii snížit pomocí:

• Ukládání získaných schémat do mezipaměti.

• Průběžné aktualizace omezení.

• Lepší orchestrace promptů a volání.

Transparentnost a auditovatelnost

A konečně, i když obě metody selžou, zásadně se liší samotný způsob selhání.

• U samostatného LLM bývají selhání často skrytá: model může vrátit výsledek s nenápadnou chybou.

• U hybridního přístupu explicitní formulace problému zviditelňuje selhání a pomáhá týmům zjistit, která část formulace chybu způsobila.

Budoucí verze by mohly tyto formulace zpřístupnit v rozhraní, aby je uživatelé mohli před spuštěním řešiče zkontrolovat či ověřit. Tato transparentnost zvyšuje naměřenou přesnost a usnadňuje ladění i zdokonalování systému, což je pro nasazení v reálném světě zásadní.

Hlavní poznatek

Výsledky ze všech benchmarků a většiny testovaných základních modelů potvrzují hlavní závěr naší práce:

LLM výborně rozumějí záměru a převádějí ho do jiné podoby, ale k vynucení správnosti jsou nezbytné deterministické řešiče.

Hybridní přístup mění přirozený jazyk ze zdroje nejednoznačnosti na spolehlivé rozhraní pro matematicky správné rozhodování a přibližuje podnikovou AI k systémům, které jsou nejen inteligentní, ale také důvěryhodné.

Podniková omezení se málokdy vyskytují v přehledných schématech nebo dokonale formulovaných promptech. Jsou rozptýlena v databázích, tabulkách, interních zásadách a smlouvách. Požadavky uživatelů mohou být neúplné, nejednoznačné nebo v rozporu s obchodními pravidly. Aby tento přístup fungoval ve velkém měřítku, vyvíjíme opakovaně použitelný backendový engine, který tuto složitost přemění ve spolehlivou podnikovou funkci.

Tento engine ve své podstatě funguje jako formální páteř rozhodovacích systémů řízených AI a poskytuje:

• Symbolickou znalostní bázi s adaptéry, které načítají obchodní pravidla, omezení, proměnné a cíle.

• Překladovou vrstvu, která kompiluje schémata do kódu pro řešič.

• Rozhraní, která týmům umožňují omezení prohlížet, auditovat a upravovat.

Přestože se tyto experimenty v současnosti zaměřují na optimalizaci, stejnou metodu lze rozšířit i na logické ověřování. Možná podniková využití zahrnují:

• Operativní dynamické plánování, trasování a přidělování zdrojů při dodržení všech provozních omezení.

• Generování odpovědí a doporučení, která soustavně respektují obchodní pravidla.

• Navrhování a ověřování složitých 3D objektů, videí a architektur s odhalením neproveditelných návrhů ještě před výrobou.

Dnešní AI je výkonná, ale podniky potřebují víc než výkon: potřebují správnost, konzistenci a kontrolu. Náš hybridní systém LLM a řešiče je krokem ke světu, ve kterém:

• Agenti si nevymýšlejí pravidla ani omezení.

• Logické odvozování a optimalizace jsou matematicky správné.

• Přirozený jazyk slouží jako univerzální rozhraní k deterministickým systémům.