Združevanje velikih jezikovnih modelov in formalnih reševalnikov za zanesljive odločitve UI

Veliki jezikovni modeli so izjemno napredovali pri razumevanju naravnega jezika, ustvarjanju tekočih odgovorov ter omogočanju povsem novih izkušenj za stranke in zaposlene. Ker pa so veliki jezikovni modeli sami po sebi stohastični, pri njihovi uporabi za kompleksno numerično ali logično sklepanje ni mogoče zanesljivo zagotoviti, da bodo rezultati skladni ali optimalni. Na primer:

• Vodja pomočniku z umetno inteligenco za načrtovanje naroči: “Ship as much as possible next week while keeping costs low,” sistem pa pripravi ambiciozen načrt, ki je videti učinkovit, vendar neopazno preseže zmogljivost skladišča in krši jamstva glede dostave.

• Koordinator pomočniku z umetno inteligenco naroči: “Reassign crews to reduce overnight stays and minimize disruption,” model pa pripravi cenejši urnik, ki je videti optimalen, vendar krši obvezne omejitve delovnega časa ali počitka.

• Pomočnik z umetno inteligenco za finančno poslovanje mora odobravati transakcije ob strogih regionalnih omejitvah in omejitvah tveganja, vendar sumljivo transakcijo potrdi z izmišljenim pojasnilom, ki zveni skladno, čeprav krši notranjo politiko.

V okoljih s strogimi operativnimi zahtevami povezovanje velikih jezikovnih modelov s formalnimi reševalniki pomaga zagotoviti, da odločitve, ki izhajajo iz naravnega jezika, ostanejo znotraj opredeljenih meja ter ne vodijo do neizvedljivih, neoptimalnih ali neskladnih rezultatov.

Naša ekipa za raziskave in razvoj preučuje hibridni pristop, ki ustvarjalnost in prilagodljivost velikih jezikovnih modelov združuje s strogostjo, jamstvi in preglednostjo formalnih matematičnih reševalnikov, kot so Z3, Pyomo in OR-Tools. Razvijamo tudi večkrat uporabljiv formalni pogon umetne inteligence, da bi ta zmožnost postala standardni del tehnološkega sklada podjetij. Platforma bo organizacijam omogočila neposreden zajem poslovnih pravil iz obstoječih sistemov, stalno preverjanje odločitev glede na ta pravila ter varno uvedbo agentov umetne inteligence znotraj jasno določenih meja.

Naša vizija je zmanjšati operativno tveganje in hkrati pospešiti sprejemanje odločitev v velikem obsegu. Vodje lahko na podlagi vnosov v naravnem jeziku hitreje sprejemajo odločitve, skladne s politikami, organizacije pa lahko avtomatizirajo sprotne spremembe razporejanja, dodeljevanja virov v dobavni verigi, finančnega poslovanja, preverjanja politik ter celo oblikovanja videoposnetkov ali 3D-vsebin. Vgrajeni zaščitni ukrepi preprečujejo, da bi neizvedljivi, neskladni ali nevarni rezultati dosegli produkcijsko okolje.

V nadzorovanih poskusih z optimizacijskimi problemi s področja logistike in na treh javnih primerjalnih naborih je naš hibridni pristop dosledno pokazal:

• Večjo natančnost

• Večjo razložljivost in možnost revizije

Naš pristop obrne običajno paradigmo »veliki jezikovni model naredi vse« in namesto nje uporablja naslednjo zasnovo:

Ta pristop jasno ločuje odgovornosti: veliki jezikovni modeli iz naravnega jezika izluščijo pravila in omejitve, deterministični reševalniki, kot so OR-Tools, Z3 in Pyomo, pa izvajajo optimizacijo in preverjanje. Rezultat združuje prednosti obeh pristopov:

Začeli smo z izzivom, s katerim se srečujejo nekatere naše stranke:

Pretvarjanje zahtev v naravnem jeziku v optimalne sprotne odločitve o virih ob strogem upoštevanju operativnih omejitev, politik in stroškov.

Ta izziv je v središču sodobne logistike in dobavnih verig, vključno z razporejanjem delovne sile, dodeljevanjem sredstev, usmerjanjem, načrtovanjem izpolnjevanja naročil in upravljanjem zmogljivosti. Prav tu morajo veliki jezikovni modeli in formalni reševalniki sodelovati, da nastanejo sistemi, vredni zaupanja. Za vrednotenje smo oblikovali nadzorovane preizkusne scenarije, podatkovne vire in omejitve ter 240 sintetičnih poizvedb. Primeri vključujejo:

• Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.

• Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.

Iz poizvedb je razvidno, da mora sistem neposredno iz zahtev v naravnem jeziku zanesljivo izluščiti in uveljaviti trde in mehke omejitve:

• Trde omejitve niso predmet pogajanj (npr. najzgodnejši datumi začetka, pogodbena določila in zgornje meje zmogljivosti). Kršitev katere koli od njih razveljavi rešitev.

• Mehke omejitve izražajo preference, kot so zmanjšanje zamud in stroškov ter omejevanje sprememb. Cilj je optimizirati, ne da bi prestopili trde meje.

Nekaterih vidikov teh optimizacijskih problemov ni mogoče v celoti vnaprej opredeliti. Treba jih je dinamično sestaviti iz vnaprej določenih omejitev in ciljev strukturirane poslovne logike, notranjih dokumentov in operativnih podatkov ter iz uporabnikove zahteve.

Da bi razumeli uspešnost različnih tehnik v takem okolju, smo uvedli in primerjali tri pristope.

1. Čisti veliki jezikovni model: Najpreprostejši pristop vse ustrezne podatke in uporabnikovo zahtevo v naravnem jeziku posreduje v enem pozivu enemu velikemu jezikovnemu modelu, ki mora pripraviti optimalen načrt ali razporeditev. To lahko deluje pri majhnih ali ohlapno omejenih problemih, vendar se z večanjem kompleksnosti pristop izkaže za nezadostnega. Model lahko prezre omejitve, da prednost napačnemu cilju ali pripravi načrte, ki zvenijo smiselno, vendar niso izvedljivi, pri čemer napak ni mogoče zanesljivo odkriti ali preprečiti.

2. Veliki jezikovni model + Tolmač kod (Code Interpreter): Pri tem pristopu veliki jezikovni model razloži zahtevo in z orodji dostopa do podatkovnih virov ter ustvari izvedljivo optimizacijsko kodo. To izboljša prilagodljivost in opazljivost, vendar zanesljivost ostaja izziv. Veliki jezikovni model mora omejitve še vedno pretvoriti v pravilno kodo, že majhne napake pri sklepanju ali programiranju pa lahko povzročijo neveljavne ali neoptimalne rezultate, zlasti ko število omejitev narašča.

3. Hibridno: veliki jezikovni model → strukturirane omejitve → deterministični reševalnik: Tretji pristop ločuje odgovornosti. Veliki jezikovni model nikoli ne »odloča« o rezultatu, temveč pomaga formalizirati spremenljivke, omejitve in cilje. Preizkušen optimizacijski reševalnik uveljavlja omejitve, zagotavlja izvedljivost ter ustvari rezultate, ki jih je mogoče preveriti in revidirati. Vloga velikega jezikovnega modela je omejena na pretvarjanje zahtev v naravnem jeziku v eksplicitne, strukturirane omejitve po vnaprej določenih shemah. Te omejitve se samodejno prevedejo v kodo reševalnika, kot je OR-Tools, ki deterministično izračuna izvedljivo, optimalno rešitev.

Metode smo preizkusili z več velikimi jezikovnimi modeli, med drugim z GPT-5, GPT-5.1 in GPT-5.2. Hibridni pristop je po pričakovanjih presegel druge možnosti:

Naša hibridna metoda prinaša znatno večjo natančnost, več kot štirikrat večjo učinkovitost porabe žetonov in za velikostni razred manjšo zakasnitev.

Naš naslednji korak je razvoj posplošljivega, večkrat uporabnega vmesnika, ki naravni jezik pretvori v strukturirane semantične predstavitve, zaledni sistem pa jih lahko prevede v kodo, pripravljeno za reševalnik. V tem poskusu smo se osredotočili na probleme linearne optimizacije in pristop ovrednotili na treh javnih podatkovnih naborih (NLP4LP, NL4OPT in IndustryOR).

1. Samostojni veliki jezikovni model

2. Hibridna metoda (veliki jezikovni model → strukturirana pravila → reševalnik → preverjen rezultat)

• Z velikim jezikovnim modelom iz vnosa izluščite spremenljivke, omejitve in cilje ter oblikujte strukturiran optimizacijski problem.

• Strukturirani problem in izvirno zahtevo posredujte velikemu jezikovnemu modelu v samopreverjanje.

• Strukturirani problem prevedite v kodo OR-Tools, da izračunate optimalno razporeditev.

Pristop smo ovrednotili z lastniškimi prelomnimi modeli, med drugim GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max in GPT-5.2, ter z odprtokodnimi modeli, kot so Kimi K2, modeli GPT-OSS in MiniMax M2. Škatlasti diagrami povzemajo rezultate posameznih metod.

Hibridni pristop pri skoraj vseh ovrednotenih osnovnih jezikovnih modelih dosledno ustvarja natančnejše, stabilnejše in bolj preverljive rezultate kot primerjalni samostojni veliki jezikovni model. Čeprav se absolutna uspešnost med modeli razlikuje, relativne izboljšave hibridnega pristopa ostajajo dosledne. To kaže, da izboljšave izvirajo iz ločevanja razumevanja naravnega jezika od formalne optimizacije, ne pa iz zanašanja na sposobnost sklepanja enega samega modela.

Natančnost

Pri NLP4LP in NL4OPT, ki vsebujeta predvsem probleme linearnega programiranja, hibridna metoda dosega skoraj najvišjo možno natančnost in presega samostojno uporabo pozivov velikemu jezikovnemu modelu. Hibridni sistem namesto »približno pravilnega« sklepanja dosledneje ustvarja veljavne in ustrezno oblikovane matematične formulacije. Pri zahtevnejšem podatkovnem naboru IndustryOR se natančnost obeh metod zmanjša, vendar iz različnih razlogov. Številni problemi IndustryOR vključujejo kombinatorične strukture, kot so usmerjanje vozil, določanje zaporedja nalog in razporejanje delovne sile, ki presegajo zmožnosti linearne optimizacije, ki jih trenutno podpira naše zaledje z reševalnikom.

Analiza načinov odpovedi kaže, da samostojni veliki jezikovni modeli pogosto kršijo zahtevane omejitve, kot prikazujeta spodnja primera:

Primer 1:

1"A bodybuilder buys prepared meals: a turkey dinner and a tuna salad sandwich. The turkey dinner contains 20 grams of protein, 30 grams of carbohydrates, and 12 grams of fat. The tuna salad sandwich contains 18 grams of protein, 25 grams of carbohydrates, and 8 grams of fat. The bodybuilder needs at least 150 grams of protein and 200 grams of carbohydrates. Because turkey dinners are expensive, no more than 40% of the meals should be turkey dinners. How many of each meal should the bodybuilder eat to minimize total fat intake?"

Samostojni veliki jezikovni model pripravi rešitev z manjšo skupno vsebnostjo maščob, vendar krši zahtevo, da smejo puranji obroki predstavljati največ 40 % vseh obrokov. Hibridni pristop pravilno uveljavi to trdo omejitev in vrne veljaven odgovor.

Primer 2:

1"A hospitalized patient can take two pills: Pill 1 and Pill 2. Each Pill 1 provides 0.2 units of pain medication and 0.3 units of anxiety medication. Each Pill 2 provides 0.6 units of pain medication and 0.2 units of anxiety medication. Pill 1 causes 0.3 units of discharge, while Pill 2 causes 0.1 units. At most 6 units of pain medication may be provided, and at least 3 units of anxiety medication must be provided. How many of each pill should the patient receive to minimize total discharge?"

Samostojni veliki jezikovni model znova pripravi rešitev z manj izpusti, vendar preseže najvišjo dovoljeno omejitev za protibolečinska zdravila. Hibridni pristop pravilno uveljavi to trdo omejitev in vrne veljaven odgovor.

Zakasnitev in poraba žetonov

Podatki o zakasnitvi in porabi žetonov razkrivajo pomembno razliko. Hibridni pristop ima večjo povprečno zakasnitev in porabo žetonov kot enkratni poziv velikemu jezikovnemu modelu, vendar je to posledica arhitekturnih odločitev in ne neučinkovitosti.

Hibridni cevovod vključuje:

1. En ali več klicev velikega jezikovnega modela za pridobivanje strukturiranih spremenljivk, omejitev in ciljev.

2. Korak samopreverjanja za odkrivanje notranjih neskladij.

Čeprav ti koraki v primerjavi z enim pozivom prinašajo dodatno režijo, zakasnitev ostaja omejena in predvidljiva, izvajanje reševalnika pa je po ustrezni formulaciji problema praviloma hitro. Dodatno delo ustvari eksplicitne, večkrat uporabne in preverljive vmesne predstavitve. Samostojni veliki jezikovni modeli pa sklepanje strnejo v eno samo nepregledno generiranje, zato se stroški prenesejo na ponovne poskuse, ročna preverjanja in poznejše napake. Prihodnje različice lahko to režijo zmanjšajo z:

• Medpomnjenjem pridobljenih shem.

• Postopnim posodabljanjem omejitev.

• Izboljšanjem usklajevanja pozivov in klicev.

Preglednost in možnost revizije

Tudi kadar obe metodi odpovesta, je način odpovedi bistveno drugačen.

• Pri samostojnem velikem jezikovnem modelu napake pogosto ostanejo neopažene: model lahko vrne rezultat, ki je le na videz pravilen.

• Pri hibridnem pristopu eksplicitna formulacija problema razkrije napake in ekipam pomaga ugotoviti, kateri del formulacije jih je povzročil.

Prihodnje različice bi lahko te formulacije prikazale v vmesniku, da bi jih uporabniki lahko pregledali ali preverili pred zagonom reševalnika. Ta preglednost izboljša izmerjeno natančnost ter poenostavi odpravljanje napak in izpopolnjevanje sistema, kar je bistveno za uporabo v resničnem okolju.

Ključna ugotovitev

Rezultati vseh primerjalnih preizkusov in večine preizkušenih osnovnih modelov potrjujejo osrednji sklep našega dela:

Veliki jezikovni modeli so zmogljivi pri razumevanju in pretvarjanju namena, deterministični reševalniki pa so bistveni za zagotavljanje pravilnosti.

Hibridni pristop naravni jezik iz vira dvoumnosti spremeni v zanesljiv vmesnik za matematično utemeljeno odločanje ter umetno inteligenco za podjetja približa sistemom, ki niso le inteligentni, temveč tudi vredni zaupanja.

Omejitve v podjetjih so le redko zapisane v urejenih shemah ali popolno oblikovanih pozivih. Razpršene so po podatkovnih zbirkah, preglednicah, notranjih politikah in pogodbah. Zahteve uporabnikov so lahko nepopolne, dvoumne ali neskladne s poslovnimi pravili. Da bi ta pristop deloval v velikem obsegu, razvijamo večkrat uporabljiv zaledni pogon, ki to kompleksnost pretvori v zanesljivo zmogljivost za podjetja.

Ta pogon je formalna hrbtenica sistemov odločanja, ki jih poganja umetna inteligenca, in zagotavlja:

• Simbolno bazo znanja z vmesniki za zajem poslovnih pravil, omejitev, spremenljivk in ciljev.

• Pretvorbeno plast, ki sheme prevede v kodo za reševalnik.

• Vmesnike, prek katerih lahko ekipe pregledujejo, revidirajo in spreminjajo omejitve.

Čeprav so ti poskusi trenutno osredotočeni na optimizacijo, je isto metodo mogoče razširiti na logično preverjanje. Možne poslovne uporabe vključujejo:

• Izvajanje sprotnega dinamičnega razporejanja, usmerjanja in dodeljevanja virov ob upoštevanju vseh operativnih omejitev.

• Ustvarjanje odgovorov in priporočil, ki dosledno upoštevajo poslovna pravila.

• Oblikovanje in preverjanje kompleksnih 3D-predmetov, videoposnetkov in arhitektur ter odkrivanje neizvedljivih zasnov pred produkcijo.

Današnja umetna inteligenca je zmogljiva, vendar podjetja potrebujejo več kot le zmogljivost: potrebujejo pravilnost, doslednost in nadzor. Naš hibridni sistem velikih jezikovnih modelov in reševalnikov je korak proti svetu, v katerem:

• Agenti si ne izmišljajo pravil ali omejitev.

• Logično izpeljevanje in optimizacija sta matematično utemeljena.

• Naravni jezik je univerzalni vmesnik za deterministične sisteme.