Grote taalmodellen (LLM's) hebben buitengewone vooruitgang geboekt in het begrijpen van natuurlijke taal, het genereren van vloeiende antwoorden en het mogelijk maken van geheel nieuwe ervaringen voor klanten en medewerkers. Omdat LLM's inherent stochastisch zijn, biedt hun inzet voor complexe numerieke of logische redenering echter maar beperkte garanties dat de resultaten aan de regels voldoen of optimaal zijn. Bijvoorbeeld:
Een manager zegt tegen een AI-planningsassistent: "Ship as much as possible next week while keeping costs low," waarna het systeem een ambitieus plan oplevert dat efficiënt lijkt, maar ongemerkt de magazijncapaciteit overschrijdt en leveringsgaranties schendt.
Een coördinator zegt tegen een AI-assistent: "Reassign crews to reduce overnight stays and minimize disruption," waarna het model een goedkoper rooster opstelt dat optimaal lijkt, maar verplichte werk- of rusttijden schendt.
Een AI-assistent voor financiële activiteiten moet transacties goedkeuren binnen strikte regionale en risicobeperkingen, maar keurt een verdachte transactie goed met een verzonnen onderbouwing die conform de regels klinkt, terwijl die het interne beleid schendt.
In omgevingen met strenge operationele eisen helpt de combinatie van LLM's en formele solvers om te waarborgen dat beslissingen op basis van natuurlijke taal binnen vastgestelde grenzen blijven en geen onhaalbare, suboptimale of niet-conforme resultaten opleveren.
Ons R&D-team onderzoekt een hybride aanpak die de creativiteit en flexibiliteit van LLM's combineert met de nauwkeurigheid, garanties en transparantie van formele wiskundige solvers zoals Z3, Pyomo en OR-Tools. We bouwen ook een herbruikbare formele AI-engine om deze mogelijkheid tot een standaardonderdeel van de technologiestack van ondernemingen te maken. Met het platform kunnen organisaties bedrijfsregels rechtstreeks uit hun bestaande systemen inladen, beslissingen voortdurend aan die regels toetsen en AI-agents veilig binnen duidelijk vastgestelde grenzen inzetten.
Onze visie is om operationele risico's te beperken en besluitvorming op schaal te versnellen. Leidinggevenden kunnen sneller beleidsconforme beslissingen nemen op basis van natuurlijke taal, terwijl organisaties ad-hocwijzigingen kunnen automatiseren in planning, toewijzing van middelen in de toeleveringsketen, financiële activiteiten, beleidstoetsing en zelfs video- of 3D-ontwerp. Ingebouwde veiligheidsmaatregelen voorkomen dat onhaalbare, niet-conforme of onveilige resultaten in productie terechtkomen.
In gecontroleerde experimenten met logistieke optimalisatieproblemen en drie openbare benchmarks liet onze hybride aanpak consequent het volgende zien:
Hogere nauwkeurigheid
Betere interpreteerbaarheid en controleerbaarheid
Onze aanpak keert het gebruikelijke paradigma waarin de "LLM alles doet" om en volgt in plaats daarvan dit ontwerp:
Deze aanpak scheidt de verantwoordelijkheden duidelijk: LLM's halen regels en beperkingen uit natuurlijke taal, terwijl deterministische solvers zoals OR-Tools, Z3 en Pyomo de optimalisatie en verificatie uitvoeren. Het resultaat combineert de sterke punten van beide benaderingen:
LLM's | Solvers | Hybride (LLM + solver) | |
|---|---|---|---|
Menselijke intenties in verschillende domeinen begrijpen | ✅ Uitstekend | ❌ Geen | ✅ Uitstekend |
Deterministisch gedrag | ❌ Nee | ✅ Gegarandeerd | ✅ Ja |
Aantoonbaar correct bij wiskundige redenering en optimalisatie met meerdere beperkingen | ⚠️ Kwetsbaar | ✅ Gegarandeerd | ✅ Ja |
Controleerbaarheid en interpreteerbaarheid | ⚠️ Kwetsbaar | ✅ Duidelijk | ✅ Duidelijk |
Bestand tegen ruis en injectie in prompts | ❌ Kwetsbaar | ✅ Immuun | ✅ Sterk |
We begonnen met een uitdaging waarmee sommige van onze klanten te maken hebben:
Verzoeken in natuurlijke taal omzetten in optimale, realtime beslissingen over middelen, met strikte handhaving van operationele, beleids- en kostenbeperkingen.
Deze uitdaging vormt de kern van moderne logistiek en toeleveringsketens, waaronder personeelsplanning, toewijzing van bedrijfsmiddelen, routering, fulfillmentplanning en capaciteitsbeheer. Ook op dit gebied moeten LLM's en formele solvers samenwerken om betrouwbare systemen op te leveren. Voor onze evaluatie stelden we gecontroleerde testscenario's, gegevensbronnen en beperkingen op, samen met 240 synthetische query's. Enkele voorbeelden:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Uit de query's blijkt dat het systeem harde en zachte beperkingen rechtstreeks uit verzoeken in natuurlijke taal betrouwbaar moet extraheren en handhaven:
Harde beperkingen zijn niet onderhandelbaar, zoals vroegst mogelijke begindatums, contractvoorwaarden en capaciteitslimieten. Schending van één ervan maakt de oplossing ongeldig.
Zachte beperkingen leggen voorkeuren vast, zoals vertragingen minimaliseren, kosten verlagen en wijzigingen beperken. Het doel is optimalisatie zonder harde grenzen te overschrijden.
Sommige aspecten van deze optimalisatieproblemen kunnen niet volledig vooraf worden vastgelegd. Ze moeten dynamisch worden samengesteld op basis van zowel vooraf vastgelegde beperkingen en doelstellingen uit gestructureerde bedrijfslogica, interne documenten en operationele gegevens als het verzoek van de gebruiker.
Om inzicht te krijgen in de prestaties van verschillende technieken in deze context, hebben we drie benaderingen geïmplementeerd en vergeleken.
Pure LLM: Bij de eenvoudigste aanpak worden alle relevante gegevens en het verzoek van de gebruiker in natuurlijke taal via één prompt aan een LLM doorgegeven, met de opdracht een optimaal plan of een optimale toewijzing te maken. Dit kan werken bij kleine problemen of problemen met weinig beperkingen, maar werkt niet meer naarmate de complexiteit toeneemt. Het model kan beperkingen negeren, de verkeerde doelstelling voorrang geven of plannen opstellen die redelijk klinken maar onhaalbaar zijn, zonder betrouwbare manier om fouten te detecteren of voorkomen.
LLM + Code-interpreter: Bij deze aanpak interpreteert de LLM het verzoek en gebruikt deze tools om gegevensbronnen te raadplegen en uitvoerbare optimalisatiecode te genereren. Dit biedt meer flexibiliteit en inzicht, maar de betrouwbaarheid blijft een probleem. De LLM moet beperkingen nog steeds naar correcte code vertalen. Kleine fouten in de redenering of code kunnen ongeldige of suboptimale resultaten opleveren, vooral wanneer het aantal beperkingen toeneemt.
Hybride: LLM → gestructureerde beperkingen → deterministische solver: De derde aanpak scheidt de verantwoordelijkheden. De LLM "beslist" nooit over het resultaat, maar helpt de variabelen, beperkingen en doelstellingen te formaliseren. Een bewezen optimalisatiesolver handhaaft de beperkingen, garandeert haalbaarheid en produceert resultaten die kunnen worden geverifieerd en gecontroleerd. De rol van de LLM is beperkt tot het vertalen van verzoeken in natuurlijke taal naar expliciete, gestructureerde beperkingen aan de hand van vooraf vastgelegde schema's. Die beperkingen worden automatisch gecompileerd tot solvercode, bijvoorbeeld voor OR-Tools, waarmee deterministisch een haalbare, optimale oplossing wordt berekend.
We hebben de methoden getest met verschillende LLM's, waaronder GPT-5, GPT-5.1 en GPT-5.2. Zoals verwacht presteerde de hybride aanpak beter dan de alternatieven:
Methode | Nauwkeurigheid van toewijzing | Gemiddelde latentie | Gebruikte tokens per query |
|---|---|---|---|
Pure LLM | 70–78% | 62–190 s | ~175.000 |
LLM + Code-interpreter | 82–84% | 62–140 s | ~9.000 |
LLM → solver (hybride) | 95–97% | 6–25 s | ~2.000 |
Onze hybride methode toont een aanzienlijke toename in nauwkeurigheid, ruim vier keer efficiënter tokengebruik en een tienvoudige afname van de latentie.
Onze volgende stap is het bouwen van een generaliseerbare, herbruikbare interface die natuurlijke taal omzet in gestructureerde semantische representaties, die onze backend vervolgens kan vertalen naar code voor de solver. Voor dit experiment richtten we ons op lineaire optimalisatieproblemen en evalueerden we de aanpak aan de hand van drie openbare datasets: NLP4LP, NL4OPT en IndustryOR.
Zelfstandige LLM
Hybride methode (LLM → gestructureerde regels → solver → geverifieerde uitvoer)
Gebruik een LLM om variabelen, beperkingen en doelstellingen uit de invoer te extraheren en een gestructureerd optimalisatieprobleem te formuleren.
Geef het gestructureerde probleem en het oorspronkelijke verzoek door aan een LLM voor zelfverificatie.
Vertaal het gestructureerde probleem naar OR-Tools-code om de optimale toewijzing te berekenen.
We evalueerden deze aanpak met eigen grensverleggende modellen, waaronder GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max en GPT-5.2, naast opensourcemodellen zoals Kimi K2, GPT-OSS-modellen en MiniMax M2. De boxplots vatten de resultaten voor elke methode samen.
Bij vrijwel alle geëvalueerde onderliggende taalmodellen levert de hybride aanpak consequent nauwkeurigere, stabielere en beter verifieerbare resultaten op dan een zelfstandige LLM als referentie. Hoewel de absolute prestaties per model verschillen, blijft de relatieve winst van de hybride aanpak consistent. Dit wijst erop dat de verbeteringen voortkomen uit het scheiden van begrip van natuurlijke taal en formele optimalisatie, en niet uit afhankelijkheid van het redeneervermogen van één model.
Nauwkeurigheid
Bij NLP4LP en NL4OPT, die hoofdzakelijk uit lineaire-programmeringsproblemen bestaan, behaalt de hybride methode een vrijwel maximale nauwkeurigheid en presteert deze beter dan zelfstandige LLM-prompts. In plaats van een "ongeveer correcte" redenering te produceren, genereert het hybride systeem consistenter geldige, correct opgebouwde wiskundige formuleringen. Bij de uitdagendere IndustryOR-dataset neemt de nauwkeurigheid van beide methoden af, maar om verschillende redenen. Veel IndustryOR-problemen omvatten combinatorische structuren, zoals voertuigroutering, taakvolgordebepaling en personeelstoewijzing, die de mogelijkheden voor lineaire optimalisatie van onze huidige solver-backend te boven gaan.
Analyse van de foutscenario's laat zien dat zelfstandige LLM's vaak verplichte beperkingen schenden, zoals hieronder geïllustreerd:
Voorbeeld 1:
Plain Text
De zelfstandige LLM levert een oplossing met minder totaal vet, maar schendt de eis dat kalkoenmaaltijden maximaal 40% van de maaltijden mogen uitmaken. De hybride aanpak handhaaft deze harde beperking correct en retourneert een geldig antwoord.
Voorbeeld 2:
Plain Text
De zelfstandige LLM levert opnieuw een oplossing met een lagere uitstoot, maar overschrijdt de maximaal toegestane limiet voor pijnmedicatie. De hybride aanpak handhaaft die harde beperking correct en retourneert een geldig antwoord.
Latentie en tokengebruik
De gegevens over latentie en tokengebruik laten een belangrijk verschil zien. De hybride aanpak heeft een hogere gemiddelde latentie en een hoger tokengebruik dan één enkele LLM-prompt, maar dat komt door architectuurkeuzes en niet door inefficiëntie.
De hybride pipeline omvat:
Een of meer LLM-aanroepen om gestructureerde variabelen, beperkingen en doelstellingen te extraheren.
Een zelfverificatiestap om interne inconsistenties te signaleren.
Hoewel deze stappen ten opzichte van één prompt extra overhead veroorzaken, blijft de latentie begrensd en voorspelbaar. Zodra het probleem goed is geformuleerd, wordt de solver doorgaans snel uitgevoerd. Het extra werk levert expliciete, herbruikbare en controleerbare tussenrepresentaties op. Zelfstandige LLM-benaderingen vatten de redenering daarentegen samen in één ondoorzichtige generatie, waardoor de kosten verschuiven naar nieuwe pogingen, handmatige controles en fouten verderop in het proces. Toekomstige versies kunnen deze overhead verminderen door:
Geëxtraheerde schema's in de cache op te slaan.
Beperkingen stapsgewijs bij te werken.
De orkestratie van prompts en aanroepen te verbeteren.
Transparantie en controleerbaarheid
Zelfs wanneer beide methoden mislukken, is de aard van de fout fundamenteel anders.
Bij een zelfstandige LLM blijven fouten vaak onopgemerkt: het model kan een resultaat retourneren dat subtiel onjuist is.
Bij de hybride aanpak maakt de expliciete probleemformulering fouten zichtbaar en kunnen teams vaststellen welk onderdeel van de formulering een fout heeft veroorzaakt.
Toekomstige versies zouden deze formuleringen in een interface kunnen tonen, zodat gebruikers ze kunnen controleren of verifiëren voordat de solver wordt uitgevoerd. Deze transparantie verhoogt de gemeten nauwkeurigheid en maakt het systeem eenvoudiger te debuggen en verfijnen, wat essentieel is voor toepassing in de praktijk.
Belangrijkste conclusie
Bij alle benchmarks en de meeste geteste onderliggende modellen bevestigen de resultaten een centrale conclusie van ons werk:
LLM's zijn krachtig in het begrijpen en vertalen van intenties, maar deterministische solvers zijn essentieel om correctheid af te dwingen.
De hybride aanpak verandert natuurlijke taal van een bron van dubbelzinnigheid in een betrouwbare interface voor wiskundig verantwoorde besluitvorming. Daarmee komt bedrijfs-AI een stap dichter bij systemen die niet alleen intelligent, maar ook betrouwbaar zijn.
Bedrijfsbeperkingen zijn zelden vastgelegd in overzichtelijke schema's of perfect geformuleerde prompts. Ze zijn verspreid over databases, spreadsheets, intern beleid en contracten. Gebruikersverzoeken kunnen onvolledig, dubbelzinnig of strijdig met bedrijfsregels zijn. Om deze aanpak op schaal toe te passen, bouwen we een herbruikbare backend-engine die deze complexiteit omzet in een betrouwbare bedrijfstoepassing.
In de kern vormt deze engine de formele ruggengraat van AI-gestuurde beslissystemen en biedt deze:
Een symbolische kennisbank met adapters die bedrijfsregels, beperkingen, variabelen en doelstellingen inladen.
Een vertaallaag die schema's compileert tot solvercode.
Interfaces waarmee teams beperkingen kunnen inspecteren, controleren en aanpassen.
Hoewel deze experimenten momenteel gericht zijn op optimalisatie, kan dezelfde methode worden uitgebreid naar logische verificatie. Mogelijke bedrijfstoepassingen zijn:
Ad-hoc dynamische planning, routering en middelentoewijzing uitvoeren, waarbij elke operationele beperking wordt gehandhaafd.
Antwoorden en aanbevelingen genereren die consequent aan de bedrijfsregels voldoen.
Complexe 3D-objecten, video's en architecturen ontwerpen en valideren, waarbij onhaalbare ontwerpen vóór productie worden onderschept.
AI is tegenwoordig krachtig, maar ondernemingen hebben meer nodig dan alleen kracht: ze hebben correctheid, consistentie en controle nodig. Ons hybride systeem met LLM's en solvers is een stap naar een wereld waarin:
Agents geen regels of beperkingen hallucineren.
Logische deductie en optimalisatie wiskundig verantwoord zijn.
Natuurlijke taal als universele interface voor deterministische systemen dient.