Veliki jezični modeli (LLM-ovi) iznimno su napredovali u razumijevanju prirodnog jezika, generiranju tečnih odgovora i stvaranju potpuno novih iskustava za korisnike i zaposlenike. Međutim, budući da su LLM-ovi sami po sebi stohastički, njihova primjena za složeno numeričko ili logičko rasuđivanje pruža ograničena jamstva da će njihovi rezultati biti usklađeni s pravilima ili optimalni. Na primjer:
Voditelj kaže AI pomoćniku za planiranje: “Ship as much as possible next week while keeping costs low,” a sustav isporuči ambiciozan plan koji djeluje učinkovito, ali neprimjetno premašuje kapacitet skladišta i krši jamstva isporuke.
Koordinator kaže AI pomoćniku: “Reassign crews to reduce overnight stays and minimize disruption,” a model izradi jeftiniji raspored koji djeluje optimalno, ali krši obvezna ograničenja radnog vremena ili odmora.
AI pomoćnik za financijske operacije mora odobravati transakcije u skladu sa strogim regionalnim ograničenjima i ograničenjima rizika, ali odobri sumnjivu transakciju izmišljajući obrazloženje koje zvuči usklađeno, iako krši interna pravila.
U okruženjima sa strogim operativnim zahtjevima kombiniranje LLM-ova s formalnim rješavačima pomaže osigurati da odluke utemeljene na prirodnom jeziku ostanu unutar definiranih granica te izbjegnu neizvedive, neoptimalne ili neusklađene ishode.
Naš tim za R&D istražuje hibridni pristup koji spaja kreativnost i fleksibilnost LLM-ova sa strogošću, jamstvima i transparentnošću formalnih matematičkih rješavača kao što su Z3, Pyomo i OR-Tools. Razvijamo i višekratno upotrebljiv formalni AI mehanizam kako bi ta mogućnost postala standardni dio tehnološke infrastrukture poduzeća. Platforma će organizacijama omogućiti izravan unos poslovnih pravila iz postojećih sustava, kontinuiranu provjeru odluka prema tim pravilima i sigurnu primjenu AI agenata unutar jasno definiranih granica.
Naša je vizija smanjiti operativni rizik i istodobno ubrzati donošenje odluka u velikom opsegu. Rukovoditelji brže donose odluke usklađene s pravilima na temelju unosa na prirodnom jeziku, dok organizacije mogu automatizirati ad hoc promjene rasporeda, raspodjele resursa u opskrbnom lancu, financijskih operacija, provjere pravila, pa čak i dizajna videozapisa ili 3D objekata. Ugrađene zaštitne mjere sprječavaju da neizvedivi, neusklađeni ili nesigurni ishodi dospiju u produkciju.
U kontroliranim eksperimentima s optimizacijskim problemima iz logistike i na trima javnim referentnim skupovima naš je hibridni pristup dosljedno pokazivao:
Veću točnost
Veću razumljivost i mogućnost revizije
Naš pristup preokreće uobičajenu paradigmu „LLM radi sve” i umjesto toga slijedi ovaj model:
Ovaj pristup jasno razdvaja odgovornosti: LLM-ovi izdvajaju pravila i ograničenja iz prirodnog jezika, dok deterministički rješavači kao što su OR-Tools, Z3 i Pyomo obavljaju optimizaciju i provjeru. Rezultat objedinjuje prednosti obaju pristupa:
LLM-ovi | Rješavači | Hibridni pristup (LLM + rješavač) | |
|---|---|---|---|
Razumijevanje ljudske namjere u različitim domenama | ✅ Izvrsno | ❌ Nimalo | ✅ Izvrsno |
Determinističko ponašanje | ❌ Ne | ✅ Zajamčeno | ✅ Da |
Dokazivo točno matematičko rasuđivanje i optimizacija uz višestruka ograničenja | ⚠️ Nepouzdano | ✅ Zajamčeno | ✅ Da |
Mogućnost revizije i razumljivost | ⚠️ Nepouzdano | ✅ Jasno | ✅ Jasno |
Otpornost na šum i umetanje zlonamjernih uputa u upit | ❌ Ranjivo | ✅ Imuno | ✅ Snažno |
Počeli smo s izazovom s kojim se suočavaju neki naši klijenti:
Pretvaranje zahtjeva na prirodnom jeziku u optimalne odluke o resursima u stvarnom vremenu uz strogu primjenu operativnih, regulatornih i troškovnih ograničenja.
Taj je izazov u središtu suvremene logistike i opskrbnih lanaca, uključujući raspoređivanje radne snage, dodjelu imovine, usmjeravanje, planiranje ispunjavanja narudžbi i upravljanje kapacitetima. Upravo je to područje u kojem LLM-ovi i formalni rješavači moraju surađivati kako bi nastali pouzdani sustavi. Za procjenu smo izradili kontrolirane testne scenarije, izvore podataka i ograničenja te 240 sintetičkih upita. Primjeri uključuju:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Iz upita se vidi da sustav mora pouzdano izdvojiti i primijeniti čvrsta i fleksibilna ograničenja izravno iz zahtjeva na prirodnom jeziku:
Čvrsta ograničenja nisu predmet pregovora (npr. najraniji datumi početka, ugovorne odredbe i gornje granice kapaciteta). Kršenje bilo kojeg od njih poništava rješenje.
Fleksibilna ograničenja predstavljaju preferencije, poput smanjenja kašnjenja i troškova te ograničavanja promjena. Cilj je provesti optimizaciju bez prekoračenja čvrstih granica.
Neki se aspekti tih optimizacijskih problema ne mogu unaprijed potpuno definirati. Moraju se dinamički sastaviti ne samo na temelju unaprijed definiranih ograničenja i ciljeva iz strukturirane poslovne logike, internih dokumenata i operativnih podataka nego i iz korisnikova zahtjeva.
Kako bismo utvrdili učinkovitost različitih tehnika u tim uvjetima, implementirali smo i usporedili tri pristupa.
Čisti LLM: Najjednostavniji pristup prosljeđuje sve relevantne podatke i korisnikov zahtjev na prirodnom jeziku u jedan upit LLM-u, od kojeg se traži optimalan plan ili raspodjela. Iako to može funkcionirati za male probleme ili one s malo ograničenja, pristup prestaje biti učinkovit kako složenost raste. Model može zanemariti ograničenja, dati prednost pogrešnom cilju ili izraditi planove koji zvuče razumno, ali nisu izvedivi, bez pouzdanog načina otkrivanja ili sprječavanja pogrešaka.
LLM + Interpreter koda: U ovom pristupu LLM tumači zahtjev i alatima pristupa izvorima podataka te generira izvršivi optimizacijski kod. To povećava fleksibilnost i vidljivost, ali pouzdanost i dalje ostaje problem. LLM i dalje mora prevesti ograničenja u ispravan kod, a male pogreške u rasuđivanju ili programiranju mogu dati nevaljane ili neoptimalne rezultate, osobito s porastom broja ograničenja.
Hibridno: LLM → strukturirana ograničenja → deterministički rješavač: Treći pristup razdvaja odgovornosti. LLM nikada ne „odlučuje” o ishodu, već pomaže formalizirati varijable, ograničenja i ciljeve. Dokazani optimizacijski rješavač primjenjuje ograničenja, jamči izvedivost te daje rezultate koji se mogu provjeriti i revidirati. Uloga LLM-a ograničena je na prevođenje zahtjeva na prirodnom jeziku u eksplicitna, strukturirana ograničenja pomoću unaprijed definiranih shema. Ta se ograničenja automatski prevode u kod za rješavač, kao što je OR-Tools, koji deterministički izračunava izvedivo, optimalno rješenje.
Metode smo testirali s pomoću nekoliko LLM-ova, uključujući GPT-5, GPT-5.1 i GPT-5.2. Kao što se očekivalo, hibridni je pristup nadmašio alternative:
Metoda | Točnost dodjele | Prosječna latencija | Broj tokena po upitu |
|---|---|---|---|
Čisti LLM | 70–78 % | 62–190 s | ~175.000 |
LLM + Interpreter koda | 82–84 % | 62–140 s | ~9.000 |
LLM → rješavač (hibridno) | 95–97 % | 6–25 s | ~2.000 |
Naša hibridna metoda pokazuje znatno povećanje točnosti, više nego četverostruko veću učinkovitost tokena i deseterostruko smanjenje latencije.
Naš je sljedeći korak izraditi općenito primjenjivo, višekratno upotrebljivo sučelje koje prirodni jezik pretvara u strukturirane semantičke prikaze, a naš ih pozadinski sustav može prevesti u kod spreman za rješavač. U ovom smo se eksperimentu usredotočili na probleme linearne optimizacije i procijenili pristup na trima javnim skupovima podataka (NLP4LP, NL4OPT i IndustryOR).
Samostalni LLM
Hibridna metoda (LLM → strukturirana pravila → rješavač → provjereni rezultat)
LLM-om izdvojite varijable, ograničenja i ciljeve iz unosa te formulirajte strukturirani optimizacijski problem.
Proslijedite strukturirani problem i izvorni zahtjev LLM-u radi samoprovjere.
Prevedite strukturirani problem u kod za OR-Tools kako biste izračunali optimalnu dodjelu.
Ovaj smo pristup procijenili s pomoću vlasničkih graničnih modela, uključujući GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max i GPT-5.2, te modela otvorenog koda kao što su Kimi K2, modeli GPT-OSS i MiniMax M2. Kutijasti dijagrami sažimaju rezultate svake metode.
Hibridni pristup dosljedno daje točnije, stabilnije i provjerljivije rezultate od referentnog samostalnog LLM-a za gotovo sve procijenjene temeljne jezične modele. Iako se apsolutna učinkovitost razlikuje među modelima, relativna poboljšanja hibridnog pristupa ostaju dosljedna. To upućuje na zaključak da poboljšanja proizlaze iz razdvajanja razumijevanja prirodnog jezika od formalne optimizacije, a ne iz oslanjanja na sposobnost rasuđivanja pojedinog modela.
Točnost
Na skupovima NLP4LP i NL4OPT, koji se uglavnom sastoje od problema linearnog programiranja, hibridna metoda postiže gotovo najveću moguću točnost i nadmašuje samostalne upite LLM-u. Umjesto „približno točnog” rasuđivanja, hibridni sustav dosljednije generira valjane, pravilno oblikovane matematičke formulacije. Na zahtjevnijem skupu podataka IndustryOR točnost se smanjuje za obje metode, ali iz različitih razloga. Mnogi problemi iz skupa IndustryOR obuhvaćaju kombinatorne strukture, poput usmjeravanja vozila, određivanja slijeda zadataka i raspoređivanja radne snage, koje nadilaze mogućnosti linearne optimizacije što ih naš pozadinski rješavač trenutačno podržava.
Analiza načina zakazivanja pokazuje da samostalni LLM-ovi često krše obvezna ograničenja, kao što je prikazano u nastavku:
Primjer 1:
Plain Text
Samostalni LLM daje rješenje s manjom ukupnom količinom masti, ali krši zahtjev prema kojem obroci s puretinom smiju činiti najviše 40 % obroka. Hibridni pristup pravilno primjenjuje to čvrsto ograničenje i vraća valjan odgovor.
Primjer 2:
Plain Text
Samostalni LLM ponovno daje rješenje s manjim otpuštanjem, ali premašuje najveću dopuštenu količinu lijekova protiv bolova. Hibridni pristup pravilno primjenjuje to čvrsto ograničenje i vraća valjan odgovor.
Latencija i potrošnja tokena
Podaci o latenciji i potrošnji tokena otkrivaju važnu razliku. Hibridni pristup ima veću prosječnu latenciju i potrošnju tokena od jednog upita LLM-u, no to je posljedica arhitekturnih odluka, a ne neučinkovitosti.
Hibridni proces obuhvaća:
Jedan ili više poziva LLM-u radi izdvajanja strukturiranih varijabli, ograničenja i ciljeva.
Korak samoprovjere radi otkrivanja unutarnjih nedosljednosti.
Iako ti koraci stvaraju dodatno opterećenje u usporedbi s jednim upitom, latencija ostaje ograničena i predvidljiva, a izvršavanje rješavača obično je brzo nakon što se problem pravilno formulira. Tim dodatnim radom nastaju eksplicitni, višekratno upotrebljivi i provjerljivi međup prikazi. Nasuprot tome, samostalni LLM-ovi sažimaju rasuđivanje u jedan neproziran postupak generiranja, čime se troškovi prebacuju na ponovne pokušaje, ručne provjere i naknadne kvarove. U budućim se inačicama to opterećenje može smanjiti:
Predmemoriranjem izdvojenih shema.
Postupnim ažuriranjem ograničenja.
Poboljšanjem orkestracije upita i poziva.
Transparentnost i mogućnost revizije
Naposljetku, čak i kada obje metode zakažu, način njihova zakazivanja bitno se razlikuje.
Kod samostalnog LLM-a pogreške često prolaze nezapaženo: model može vratiti rezultat koji je neznatno, ali ipak netočan.
Kod hibridnog pristupa eksplicitna formulacija problema čini pogreške vidljivima i pomaže timovima utvrditi koji ih je dio formulacije uzrokovao.
Buduće inačice mogle bi te formulacije prikazati u sučelju, omogućujući korisnicima da ih pregledaju ili provjere prije pokretanja rješavača. Ta transparentnost poboljšava izmjerenu točnost te olakšava otklanjanje pogrešaka i doradu sustava, što je ključno za primjenu u stvarnom svijetu.
Ključni zaključak
Rezultati na svim referentnim skupovima i za većinu testiranih temeljnih modela potvrđuju glavni zaključak našeg rada:
LLM-ovi su vrlo učinkoviti u razumijevanju i prevođenju namjere, ali deterministički su rješavači ključni za osiguravanje ispravnosti.
Hibridni pristup pretvara prirodni jezik iz izvora dvosmislenosti u pouzdano sučelje za matematički utemeljeno donošenje odluka, približavajući poslovni AI sustavima koji nisu samo inteligentni nego i pouzdani.
Ograničenja u poduzećima rijetko postoje u urednim shemama ili savršeno oblikovanim upitima. Raspršena su po bazama podataka, proračunskim tablicama, internim pravilima i ugovorima. Zahtjevi korisnika mogu biti nepotpuni, dvosmisleni ili neusklađeni s poslovnim pravilima. Kako bismo ovaj pristup primijenili u velikom opsegu, razvijamo višekratno upotrebljiv pozadinski mehanizam koji tu složenost pretvara u pouzdanu poslovnu mogućnost.
U svojoj osnovi taj mehanizam služi kao formalna okosnica sustava odlučivanja vođenih umjetnom inteligencijom te pruža:
Simboličku bazu znanja s prilagodnicima koji unose poslovna pravila, ograničenja, varijable i ciljeve.
Sloj za prevođenje koji sheme prevodi u kod za rješavač.
Sučelja koja timovima omogućuju pregled, reviziju i izmjenu ograničenja.
Iako su trenutačni eksperimenti usmjereni na optimizaciju, ista se metoda može proširiti na logičku provjeru. Moguće poslovne primjene obuhvaćaju:
Ad hoc dinamičko raspoređivanje, usmjeravanje i raspodjelu resursa uz primjenu svih operativnih ograničenja.
Generiranje odgovora i preporuka koji su dosljedno usklađeni s poslovnim pravilima.
Dizajniranje i provjeru složenih 3D objekata, videozapisa i arhitektura uz otkrivanje neizvedivih rješenja prije produkcije.
Današnji AI vrlo je moćan, ali poduzećima nije dovoljna samo moć: trebaju ispravnost, dosljednost i kontrolu. Naš hibridni sustav LLM-a i rješavača korak je prema svijetu u kojem:
Agenti ne izmišljaju pravila ni ograničenja.
Logičko zaključivanje i optimizacija matematički su utemeljeni.
Prirodni jezik služi kao univerzalno sučelje za determinističke sustave.