Veliki jezički modeli (LLM-ovi) izuzetno su napredovali u razumijevanju prirodnog jezika, generiranju tečnih odgovora i stvaranju potpuno novih iskustava za klijente i zaposlenike. Međutim, budući da su LLM-ovi po svojoj prirodi stohastički, njihova primjena u složenom numeričkom ili logičkom rezonovanju pruža ograničene garancije da će rezultati biti usklađeni ili optimalni. Naprimjer:
Rukovodilac kaže AI asistentu za planiranje: “Ship as much as possible next week while keeping costs low,” a sistem izrađuje ambiciozan plan koji djeluje efikasno, ali neprimjetno premašuje kapacitet skladišta i krši garancije isporuke.
Koordinator kaže AI asistentu: “Reassign crews to reduce overnight stays and minimize disruption,” a model izrađuje jeftiniji raspored koji djeluje optimalno, ali krši obavezna ograničenja radnog vremena ili odmora.
AI asistent za finansijske operacije mora odobravati transakcije u skladu sa strogim regionalnim ograničenjima i ograničenjima rizika, ali propušta sumnjivu transakciju izmišljajući obrazloženje koje zvuči usklađeno, iako krši internu politiku.
U okruženjima sa strogim operativnim zahtjevima, kombiniranje LLM-ova s formalnim rješavačima pomaže da odluke zasnovane na prirodnom jeziku ostanu unutar utvrđenih granica te da se izbjegnu neizvodivi, neoptimalni ili neusklađeni ishodi.
Naš tim za istraživanje i razvoj ispituje hibridni pristup koji spaja kreativnost i fleksibilnost LLM-ova sa strogošću, garancijama i transparentnošću formalnih matematičkih rješavača kao što su Z3, Pyomo i OR-Tools. Također razvijamo višekratno upotrebljiv formalni AI pogon kako bi ova mogućnost postala standardni dio tehnološkog sistema preduzeća. Platforma će organizacijama omogućiti da poslovna pravila preuzimaju direktno iz postojećih sistema, kontinuirano provjeravaju odluke prema tim pravilima i sigurno primjenjuju AI agente unutar jasno utvrđenih granica.
Naša je vizija smanjiti operativni rizik i istovremeno ubrzati donošenje odluka u velikom obimu. Rukovodioci brže donose odluke usklađene s pravilima na osnovu unosa na prirodnom jeziku, dok organizacije mogu automatizirati ad hoc promjene rasporeda, raspodjelu resursa u lancu snabdijevanja, finansijske operacije, provjeru pravila, pa čak i dizajn videa ili 3D sadržaja. Ugrađene zaštitne mjere sprečavaju da neizvodivi, neusklađeni ili nesigurni ishodi dospiju u produkciju.
U kontroliranim eksperimentima s optimizacijskim problemima iz logistike i na tri javna referentna skupa naš hibridni pristup dosljedno je pokazivao:
Veću tačnost
Veću razumljivost i mogućnost revizije
Naš pristup preokreće uobičajenu paradigmu „LLM radi sve“ i umjesto toga slijedi ovaj koncept:
Ovaj pristup jasno razdvaja odgovornosti: LLM-ovi izvlače pravila i ograničenja iz prirodnog jezika, dok deterministički rješavači kao što su OR-Tools, Z3 i Pyomo obavljaju optimizaciju i provjeru. Rezultat objedinjuje prednosti oba pristupa:
LLM-ovi | Rješavači | Hibridno (LLM + rješavač) | |
|---|---|---|---|
Razumijevanje ljudske namjere u različitim domenama | ✅ Odlično | ❌ Nema | ✅ Odlično |
Determinističko ponašanje | ❌ Ne | ✅ Zagarantirano | ✅ Da |
Dokazivo ispravno matematičko rezonovanje i optimizacija uz više ograničenja | ⚠️ Nepouzdano | ✅ Zagarantirano | ✅ Da |
Mogućnost revizije i razumljivost | ⚠️ Nepouzdano | ✅ Jasno | ✅ Jasno |
Otpornost na šum i ubacivanje zlonamjernih instrukcija u upit | ❌ Ranjivo | ✅ Imuno | ✅ Snažno |
Počeli smo s izazovom s kojim se suočavaju neki naši klijenti:
Pretvaranje zahtjeva na prirodnom jeziku u optimalne odluke o resursima u stvarnom vremenu, uz strogo provođenje operativnih, regulatornih i troškovnih ograničenja.
Ovaj izazov nalazi se u središtu moderne logistike i lanaca snabdijevanja, uključujući raspoređivanje radne snage, raspodjelu imovine, usmjeravanje, planiranje realizacije i upravljanje kapacitetima. To je ujedno područje u kojem LLM-ovi i formalni rješavači moraju sarađivati kako bi nastali pouzdani sistemi. Za evaluaciju smo pripremili kontrolirane testne scenarije, izvore podataka i ograničenja te 240 sintetičkih upita. Primjeri uključuju:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Iz upita se vidi da sistem mora pouzdano izdvajati i provoditi čvrsta i fleksibilna ograničenja direktno iz zahtjeva na prirodnom jeziku:
Čvrsta ograničenja nisu predmet pregovora (npr. najraniji datumi početka, ugovorni uslovi i gornje granice kapaciteta). Kršenje bilo kojeg od njih čini rješenje nevažećim.
Fleksibilna ograničenja predstavljaju preferencije, kao što su smanjenje kašnjenja i troškova te ograničavanje promjena. Cilj je optimizirati bez prekoračenja čvrstih granica.
Neki aspekti ovih optimizacijskih problema ne mogu se u potpunosti unaprijed definirati. Moraju se dinamički sastavljati ne samo iz unaprijed definiranih ograničenja i ciljeva strukturirane poslovne logike, internih dokumenata i operativnih podataka nego i iz korisničkog zahtjeva.
Kako bismo razumjeli rezultate različitih tehnika u ovom okruženju, implementirali smo i uporedili tri pristupa.
Čisti LLM: Najjednostavniji pristup prosljeđuje sve relevantne podatke i korisnički zahtjev na prirodnom jeziku jednom LLM upitu od kojeg se traži da izradi optimalan plan ili raspodjelu. Iako to može funkcionirati kod malih problema ili problema s malo ograničenja, prestaje funkcionirati s rastom složenosti. Model može zanemariti ograničenja, dati prednost pogrešnom cilju ili izraditi planove koji zvuče razumno, ali su neizvodivi, bez pouzdanog načina otkrivanja ili sprečavanja grešaka.
LLM + Tumač koda: U ovom pristupu LLM tumači zahtjev i koristi alate za pristup izvorima podataka te generiranje izvršnog optimizacijskog koda. Time se povećavaju fleksibilnost i vidljivost, ali pouzdanost ostaje problem. LLM i dalje mora ispravno prevesti ograničenja u kôd, a male greške u rezonovanju ili kodiranju mogu dovesti do nevažećih ili neoptimalnih ishoda, naročito s rastom broja ograničenja.
Hibridno: LLM → strukturirana ograničenja → deterministički rješavač: Treći pristup razdvaja odgovornosti. LLM nikada ne „odlučuje“ o ishodu; pomaže formalizirati varijable, ograničenja i ciljeve. Dokazani optimizacijski rješavač provodi ograničenja, garantira izvodivost i daje rezultate koji se mogu provjeriti i revidirati. Uloga LLM-a ograničena je na prevođenje zahtjeva na prirodnom jeziku u eksplicitna, strukturirana ograničenja pomoću unaprijed definiranih shema. Ta se ograničenja automatski pretvaraju u kôd za rješavač, kao što je OR-Tools, koji deterministički izračunava izvodivo i optimalno rješenje.
Metode smo testirali pomoću nekoliko LLM-ova, uključujući GPT-5, GPT-5.1 i GPT-5.2. Očekivano, hibridni pristup nadmašio je druge mogućnosti:
Metoda | Tačnost raspoređivanja | Prosječna latencija | Tokeni korišteni po upitu |
|---|---|---|---|
Čisti LLM | 70–78% | 62–190 s | ~175.000 |
LLM + Tumač koda | 82–84% | 62–140 s | ~9.000 |
LLM → rješavač (hibridno) | 95–97% | 6–25 s | ~2.000 |
Naša hibridna metoda pokazuje znatno povećanje tačnosti, više nego četverostruko veću efikasnost tokena i deseterostruko smanjenje latencije.
Naš sljedeći korak je izrada generaliziranog, višekratno upotrebljivog interfejsa koji prirodni jezik pretvara u strukturirane semantičke reprezentacije, koje naš pozadinski sistem može prevesti u kôd spreman za rješavač. U ovom eksperimentu usredotočili smo se na probleme linearne optimizacije i ocijenili pristup na tri javna skupa podataka (NLP4LP, NL4OPT i IndustryOR).
Samostalni LLM
Hibridna metoda (LLM → strukturirana pravila → rješavač → provjereni rezultat)
Koristiti LLM za izdvajanje varijabli, ograničenja i ciljeva iz unosa te formuliranje strukturiranog optimizacijskog problema.
Proslijediti strukturirani problem i izvorni zahtjev LLM-u radi samoprovjere.
Prevesti strukturirani problem u OR-Tools kôd radi izračunavanja optimalne raspodjele.
Ovaj pristup ocijenili smo pomoću vlasničkih graničnih modela, uključujući GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max i GPT-5.2, te modela otvorenog koda kao što su Kimi K2, GPT-OSS modeli i MiniMax M2. Kutijasti dijagrami sažimaju rezultate svake metode.
Hibridni pristup dosljedno daje tačnije, stabilnije i provjerljivije rezultate od referentnog samostalnog LLM-a kod gotovo svih ocijenjenih temeljnih jezičkih modela. Iako se apsolutne performanse razlikuju među modelima, relativna poboljšanja hibridnog pristupa ostaju dosljedna. To ukazuje da poboljšanja proizlaze iz razdvajanja razumijevanja prirodnog jezika od formalne optimizacije, a ne iz oslanjanja na sposobnost rezonovanja jednog modela.
Tačnost
Na skupovima NLP4LP i NL4OPT, koji se uglavnom sastoje od problema linearnog programiranja, hibridna metoda postiže gotovo maksimalnu tačnost i nadmašuje samostalne LLM upite. Umjesto stvaranja „približno ispravnog“ rezonovanja, hibridni sistem dosljednije generira važeće i pravilno oblikovane matematičke formulacije. Na zahtjevnijem skupu podataka IndustryOR tačnost obje metode opada, ali iz različitih razloga. Mnogi problemi iz skupa IndustryOR uključuju kombinatorne strukture, kao što su usmjeravanje vozila, određivanje redoslijeda zadataka i raspoređivanje radne snage, koje premašuju mogućnosti linearne optimizacije što ih trenutno podržava naš pozadinski rješavač.
Analiza načina neuspjeha pokazuje da samostalni LLM-ovi često krše obavezna ograničenja, kao što je prikazano u nastavku:
Primjer 1:
Plain Text
Samostalni LLM daje rješenje s manjom ukupnom količinom masti, ali krši zahtjev da obroci s puretinom čine najviše 40% obroka. Hibridni pristup ispravno provodi ovo čvrsto ograničenje i daje važeći odgovor.
Primjer 2:
Plain Text
Samostalni LLM ponovo daje rješenje s manjom količinom ispusta, ali premašuje najveću dopuštenu količinu lijekova protiv bolova. Hibridni pristup ispravno provodi to čvrsto ograničenje i daje važeći odgovor.
Latencija i upotreba tokena
Podaci o latenciji i upotrebi tokena otkrivaju važnu razliku. Hibridni pristup ima veću prosječnu latenciju i potrošnju tokena od jednog LLM upita, ali to je posljedica arhitektonskih odluka, a ne neefikasnosti.
Hibridni proces obuhvata:
Jedan ili više poziva LLM-u radi izdvajanja strukturiranih varijabli, ograničenja i ciljeva.
Korak samoprovjere radi otkrivanja unutrašnjih nedosljednosti.
Iako ovi koraci stvaraju dodatno opterećenje u odnosu na jedan upit, latencija ostaje ograničena i predvidiva, a rješavač se obično brzo izvršava nakon što se problem pravilno formulira. Dodatni rad stvara eksplicitne, višekratno upotrebljive međureprezentacije koje se mogu revidirati. Nasuprot tome, samostalni LLM pristupi sažimaju rezonovanje u jedno neprozirno generiranje, prebacujući troškove na ponovne pokušaje, ručne provjere i kasnije propuste. Buduće verzije mogu smanjiti ovo opterećenje pomoću:
Keširanja izdvojenih shema.
Postepenog ažuriranja ograničenja.
Poboljšanja orkestracije upita i poziva.
Transparentnost i mogućnost revizije
Konačno, čak i kada obje metode zakažu, sam način neuspjeha suštinski se razlikuje.
Kod samostalnog LLM-a greške su često neprimjetne: model može vratiti rezultat koji je teško uočljivo netačan.
Kod hibridnog pristupa eksplicitna formulacija problema čini greške vidljivim i pomaže timovima utvrditi koji je dio formulacije prouzrokovao grešku.
Buduće verzije mogle bi prikazivati ove formulacije u interfejsu kako bi ih korisnici mogli pregledati ili provjeriti prije pokretanja rješavača. Ova transparentnost poboljšava izmjerenu tačnost te olakšava otklanjanje grešaka i unapređivanje sistema, što je ključno za primjenu u stvarnom svijetu.
Ključni zaključak
Na svim referentnim skupovima i kod većine testiranih temeljnih modela rezultati potvrđuju glavni zaključak našeg rada:
LLM-ovi su moćni u razumijevanju i prevođenju namjere, ali deterministički rješavači ključni su za osiguravanje ispravnosti.
Hibridni pristup pretvara prirodni jezik iz izvora nejasnoća u pouzdan interfejs za matematički utemeljeno donošenje odluka, približavajući poslovni AI sistemima koji nisu samo inteligentni nego i pouzdani.
Ograničenja u preduzećima rijetko postoje u urednim shemama ili savršeno formuliranim upitima. Rasuta su po bazama podataka, proračunskim tabelama, internim pravilima i ugovorima. Korisnički zahtjevi mogu biti nepotpuni, nejasni ili neusklađeni s poslovnim pravilima. Kako bi ovaj pristup funkcionirao u velikom obimu, razvijamo višekratno upotrebljiv pozadinski pogon koji tu složenost pretvara u pouzdanu poslovnu mogućnost.
U svojoj osnovi ovaj pogon služi kao formalna okosnica sistema odlučivanja zasnovanih na AI-ju i pruža:
Simboličku bazu znanja s adapterima koji unose poslovna pravila, ograničenja, varijable i ciljeve.
Sloj za prevođenje koji pretvara sheme u kôd za rješavač.
Interfejse koji timovima omogućavaju pregled, reviziju i izmjenu ograničenja.
Iako su ovi eksperimenti trenutno usmjereni na optimizaciju, ista metoda može se proširiti na logičku provjeru. Moguće poslovne primjene uključuju:
Obavljanje ad hoc dinamičkog raspoređivanja, usmjeravanja i raspodjele resursa uz strogo provođenje svakog operativnog ograničenja.
Generiranje odgovora i preporuka koji su dosljedno usklađeni s poslovnim pravilima.
Projektiranje i provjeru složenih 3D objekata, videa i arhitektura uz otkrivanje neizvodivih rješenja prije produkcije.
Današnji AI je moćan, ali preduzećima nije dovoljna samo moć: potrebni su im ispravnost, dosljednost i kontrola. Naš hibridni sistem LLM-a i rješavača korak je prema svijetu u kojem:
Agenti ne izmišljaju pravila ili ograničenja.
Logičko zaključivanje i optimizacija matematički su utemeljeni.
Prirodni jezik služi kao univerzalni interfejs za determinističke sisteme.