LLM-er har gjort ekstraordinære fremskritt innen forståelse av naturlig språk, generering av flytende svar og utvikling av helt nye kunde- og medarbeideropplevelser. Men fordi LLM-er er stokastiske av natur, gir bruk av dem til kompleks numerisk eller logisk resonnering begrensede garantier for at resultatene følger kravene eller er optimale. For eksempel:
En leder sier til en AI-basert planleggingsassistent: “Ship as much as possible next week while keeping costs low,” og systemet leverer en offensiv plan som ser effektiv ut, men som i det skjulte overskrider lagerkapasiteten og bryter leveringsgarantiene.
En koordinator sier til en AI-assistent: “Reassign crews to reduce overnight stays and minimize disruption,” og modellen lager en rimeligere tidsplan som ser optimal ut, men som bryter obligatoriske grenser for tjenestetid eller hvile.
En AI-assistent for finansdrift skal godkjenne transaksjoner under strenge regionale krav og risikokrav, men godkjenner en mistenkelig transaksjon ved å dikte opp en begrunnelse som høres regelrett ut, selv om den bryter interne retningslinjer.
I miljøer med strenge driftskrav bidrar kombinasjonen av LLM-er og formelle løsere til at beslutninger basert på naturlig språk holder seg innenfor definerte grenser og unngår umulige, suboptimale eller regelstridige resultater.
R&D-teamet vårt undersøker en hybridtilnærming som kombinerer kreativiteten og fleksibiliteten til LLM-er med stringensen, garantiene og åpenheten til formelle matematiske løsere som Z3, Pyomo og OR-Tools. Vi utvikler også en gjenbrukbar formell AI-motor for å gjøre denne funksjonen til en standarddel av virksomhetens teknologistakk. Plattformen vil gjøre det mulig for organisasjoner å hente forretningsregler direkte fra eksisterende systemer, fortløpende kontrollere beslutninger mot reglene og trygt ta i bruk AI-agenter innenfor klart definerte grenser.
Visjonen vår er å redusere operasjonell risiko og samtidig fremskynde beslutninger i stor skala. Ledere får raskere beslutninger som følger retningslinjene, basert på naturlig språk, mens organisasjoner kan automatisere løpende endringer i planlegging, ressursfordeling i forsyningskjeden, finansdrift, kontroll av retningslinjer og til og med video- eller 3D-design. Innebygde sikkerhetstiltak hindrer at umulige, regelstridige eller utrygge resultater settes i produksjon.
I kontrollerte eksperimenter med logistikklignende optimeringsproblemer og tre offentlige referansedatasett viste hybridtilnærmingen vår konsekvent:
Høyere nøyaktighet
Bedre tolkbarhet og revisjonsmuligheter
Tilnærmingen vår snur det vanlige paradigmet der «LLM-en gjør alt», og følger i stedet denne utformingen:
Denne tilnærmingen skiller tydelig mellom ansvarsområdene: LLM-er henter ut regler og begrensninger fra naturlig språk, mens deterministiske løsere som OR-Tools, Z3 og Pyomo håndterer optimering og verifisering. Resultatet kombinerer styrkene ved begge tilnærmingene:
LLM-er | Løsere | Hybrid (LLM + løser) | |
|---|---|---|---|
Forstå menneskelig hensikt på tvers av fagområder | ✅ Svært god | ❌ Ingen | ✅ Svært god |
Deterministisk atferd | ❌ Nei | ✅ Garantert | ✅ Ja |
Beviselig korrekt matematisk resonnering og optimering med flere begrensninger | ⚠️ Sårbar | ✅ Garantert | ✅ Ja |
Revisjonsmuligheter og tolkbarhet | ⚠️ Sårbar | ✅ Tydelig | ✅ Tydelig |
Motstand mot støy og injeksjon i prompter | ❌ Sårbar | ✅ Immun | ✅ Sterk |
Vi begynte med en utfordring noen av kundene våre står overfor:
Å gjøre forespørsler på naturlig språk om til optimale ressursbeslutninger i sanntid, samtidig som drifts-, policy- og kostnadsbegrensninger håndheves strengt.
Denne utfordringen står sentralt i moderne logistikk og forsyningskjeder, blant annet bemanningsplanlegging, ressursfordeling, ruteplanlegging, leveranseplanlegging og kapasitetsstyring. Det er også her LLM-er og formelle løsere må samarbeide for å skape pålitelige systemer. Til evalueringen utarbeidet vi kontrollerte testscenarioer, datakilder og begrensninger samt 240 syntetiske forespørsler. Eksempler:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Forespørslene viser at systemet må kunne hente ut og håndheve harde og myke begrensninger direkte fra forespørsler på naturlig språk på en pålitelig måte:
Harde begrensninger er ufravikelige (for eksempel tidligste startdato, kontraktsvilkår og kapasitetsgrenser). Brudd på bare én av dem gjør løsningen ugyldig.
Myke begrensninger uttrykker preferanser, som å minimere forsinkelser, redusere kostnader og begrense endringer. Målet er å optimere uten å bryte de harde grensene.
Enkelte sider ved disse optimeringsproblemene kan ikke forhåndsdefineres fullstendig. De må settes sammen dynamisk, ikke bare fra forhåndsdefinerte begrensninger og mål i strukturert forretningslogikk, interne dokumenter og driftsdata, men også fra brukerens forespørsel.
For å forstå hvordan ulike teknikker fungerer i denne sammenhengen, implementerte og sammenlignet vi tre tilnærminger.
Ren LLM: Den enkleste tilnærmingen sender alle relevante data og brukerens forespørsel på naturlig språk til én enkelt LLM-prompt, som bes om å lage en optimal plan eller fordeling. Dette kan fungere for små problemer eller problemer med få begrensninger, men bryter sammen når kompleksiteten øker. Modellen kan overse begrensninger, prioritere feil mål eller lage planer som høres rimelige ut, men som ikke lar seg gjennomføre, uten noen pålitelig måte å oppdage eller forhindre feil på.
LLM + Kodetolker: I denne tilnærmingen tolker LLM-en forespørselen og bruker verktøy til å hente data fra datakilder og generere kjørbar optimeringskode. Dette gir større fleksibilitet og observerbarhet, men påliteligheten er fortsatt en utfordring. LLM-en må fortsatt oversette begrensningene til korrekt kode, og små feil i resonnering eller kode kan gi ugyldige eller suboptimale resultater, særlig når antallet begrensninger øker.
Hybrid: LLM → strukturerte begrensninger → deterministisk løser: Den tredje tilnærmingen fordeler ansvaret. LLM-en «bestemmer» aldri resultatet. Den bidrar til å formalisere variablene, begrensningene og målene. En velprøvd optimeringsløser håndhever begrensningene, garanterer gjennomførbarhet og gir resultater som kan verifiseres og revideres. LLM-ens rolle er begrenset til å oversette forespørsler på naturlig språk til eksplisitte, strukturerte begrensninger ved hjelp av forhåndsdefinerte skjemaer. Disse begrensningene kompileres automatisk til kode for en løser, for eksempel OR-Tools, som deterministisk beregner en gjennomførbar og optimal løsning.
Vi testet metodene med flere LLM-er, blant annet GPT-5, GPT-5.1 og GPT-5.2. Som forventet ga hybridtilnærmingen bedre resultater enn alternativene:
Metode | Fordelingsnøyaktighet | Gjennomsnittlig latenstid | Tokenbruk per forespørsel |
|---|---|---|---|
Ren LLM | 70–78 % | 62–190 s | ~175 000 |
LLM + Kodetolker | 82–84 % | 62–140 s | ~9 000 |
LLM → løser (hybrid) | 95–97 % | 6–25 s | ~2 000 |
Hybridmetoden vår gir betydelig høyere nøyaktighet, mer enn fire ganger så effektiv tokenbruk og en tidobling av hastigheten.
Neste steg er å utvikle et generaliserbart og gjenbrukbart grensesnitt som gjør naturlig språk om til strukturerte semantiske representasjoner, som serverdelen kan oversette til kode som er klar for løseren. I dette eksperimentet fokuserte vi på lineære optimeringsproblemer og evaluerte tilnærmingen mot tre offentlige datasett (NLP4LP, NL4OPT og IndustryOR).
Selvstendig LLM
Hybridmetode (LLM → strukturerte regler → løser → verifisert resultat)
Bruk en LLM til å hente ut variabler, begrensninger og mål fra inndataene og formulere et strukturert optimeringsproblem.
Send det strukturerte problemet og den opprinnelige forespørselen til en LLM for selvverifisering.
Oversett det strukturerte problemet til OR-Tools-kode for å beregne den optimale fordelingen.
Vi evaluerte tilnærmingen med proprietære banebrytende modeller, blant annet GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max og GPT-5.2, samt modeller med åpen kildekode som Kimi K2, GPT-OSS-modeller og MiniMax M2. Boksdiagrammene oppsummerer resultatene for hver metode.
På tvers av nesten alle de underliggende språkmodellene vi evaluerte, gir hybridtilnærmingen konsekvent mer nøyaktige, stabile og verifiserbare resultater enn referansegrunnlaget med en selvstendig LLM. Selv om den absolutte ytelsen varierer mellom modellene, er de relative gevinstene ved hybridtilnærmingen stabile. Dette tyder på at forbedringene skyldes skillet mellom forståelse av naturlig språk og formell optimering, ikke resonneringsevnen til én bestemt modell.
Nøyaktighet
På NLP4LP og NL4OPT, som hovedsakelig består av lineære programmeringsproblemer, oppnår hybridmetoden nesten maksimal nøyaktighet og gir bedre resultater enn en selvstendig LLM-prompt. I stedet for å levere en «omtrent riktig» resonnering genererer hybridsystemet mer konsekvent gyldige og velformulerte matematiske formuleringer. På det mer krevende IndustryOR-datasettet synker nøyaktigheten for begge metodene, men av ulike årsaker. Mange IndustryOR-problemer omfatter kombinatoriske strukturer, som kjøretøyruting, oppgavesekvensering og bemanningsfordeling, som overstiger kapasiteten for lineær optimering som serverdelen for løseren vår støtter i dag.
Analysen av feilmønstrene viser at selvstendige LLM-er ofte bryter obligatoriske begrensninger, som vist nedenfor:
Eksempel 1:
Plain Text
Den selvstendige LLM-en lager en løsning med mindre fett totalt, men bryter kravet om at kalkunmiddager ikke skal utgjøre mer enn 40 % av måltidene. Hybridtilnærmingen håndhever denne harde begrensningen korrekt og returnerer et gyldig svar.
Eksempel 2:
Plain Text
Den selvstendige LLM-en lager igjen en løsning med lavere utslipp, men overskrider den høyeste tillatte grensen for smertestillende medisiner. Hybridtilnærmingen håndhever denne harde begrensningen korrekt og returnerer et gyldig svar.
Latenstid og tokenbruk
Dataene om latenstid og tokenbruk avdekker et viktig skille. Hybridtilnærmingen har høyere gjennomsnittlig latenstid og tokenbruk enn én enkelt LLM-prompt, men dette skyldes arkitekturvalg, ikke ineffektivitet.
Hybridprosessen omfatter:
Én eller flere LLM-kall for å hente ut strukturerte variabler, begrensninger og mål.
Et selvverifiseringstrinn som fanger opp interne uoverensstemmelser.
Selv om disse trinnene gir merarbeid sammenlignet med én enkelt prompt, forblir latenstiden avgrenset og forutsigbar. Løseren er vanligvis rask når problemet først er riktig formulert. Merarbeidet skaper eksplisitte, gjenbrukbare og reviderbare mellomrepresentasjoner. Selvstendige LLM-tilnærminger komprimerer derimot resonneringen til én ugjennomsiktig generering og flytter kostnadene til nye forsøk, manuelle kontroller og senere feil. Fremtidige versjoner kan redusere dette merarbeidet gjennom:
Mellomlagring av uttrukne skjemaer.
Trinnvis oppdatering av begrensninger.
Bedre orkestrering av prompter og kall.
Åpenhet og revisjonsmuligheter
Selv når begge metodene mislykkes, er det grunnleggende forskjeller på hvordan feilene oppstår.
Med en selvstendig LLM er feilene ofte skjulte: Modellen kan returnere et resultat med små, vanskelige feil.
Med hybridtilnærmingen gjør den eksplisitte problemformuleringen feilene synlige og hjelper teamene med å finne ut hvilken del av formuleringen som forårsaket feilen.
Fremtidige versjoner kan vise disse formuleringene i et grensesnitt, slik at brukerne kan revidere eller kontrollere dem før løseren kjøres. Denne åpenheten gir bedre målt nøyaktighet og gjør systemet enklere å feilsøke og videreutvikle, noe som er avgjørende for bruk i den virkelige verden.
Viktigste konklusjon
På tvers av alle referansedatasett og de fleste underliggende modellene vi testet, underbygger resultatene en sentral konklusjon i arbeidet vårt:
LLM-er er svært gode til å forstå og oversette hensikt, men deterministiske løsere er avgjørende for å sikre korrekthet.
Hybridtilnærmingen gjør naturlig språk til et pålitelig grensesnitt for matematisk holdbare beslutninger, i stedet for en kilde til tvetydighet. Dermed kommer AI for virksomheter ett skritt nærmere systemer som ikke bare er intelligente, men også pålitelige.
Begrensninger i virksomheter finnes sjelden i ryddige skjemaer eller perfekt formulerte prompter. De er spredt på databaser, regneark, interne retningslinjer og kontrakter. Brukerforespørsler kan være ufullstendige, tvetydige eller i strid med forretningsreglene. For å få denne tilnærmingen til å fungere i stor skala utvikler vi en gjenbrukbar motor for serverdelen som gjør kompleksiteten om til en pålitelig funksjon for virksomheter.
Denne motoren fungerer i bunn og grunn som en formell ryggrad for AI-baserte beslutningssystemer og tilbyr:
En symbolsk kunnskapsbase med adaptere som henter inn forretningsregler, begrensninger, variabler og mål.
Et oversettelseslag som kompilerer skjemaer til kode for løsere.
Grensesnitt som lar team inspisere, revidere og endre begrensninger.
Selv om disse eksperimentene foreløpig fokuserer på optimering, kan samme metode utvides til logisk verifisering. Mulige bruksområder i virksomheter omfatter:
Utføre dynamisk ad hoc-planlegging, ruteplanlegging og ressursfordeling og samtidig håndheve alle driftsbegrensninger.
Generere svar og anbefalinger som konsekvent følger forretningsreglene.
Utforme og validere komplekse 3D-objekter, videoer og arkitekturer og oppdage design som ikke lar seg realisere, før produksjon.
Dagens AI er kraftig, men virksomheter trenger mer enn kraft: De trenger korrekthet, konsistens og kontroll. Hybridsystemet vårt med LLM-er og løsere er et skritt mot en verden der:
Agenter ikke hallusinerer regler eller begrensninger.
Logisk deduksjon og optimering er matematisk holdbare.
Naturlig språk fungerer som et universelt grensesnitt mot deterministiske systemer.