Store sprogmodeller (LLM'er) har gjort enorme fremskridt med at forstå naturligt sprog, generere flydende svar og muliggøre helt nye oplevelser for kunder og medarbejdere. Men da LLM'er i sagens natur er stokastiske, er der kun begrænset sikkerhed for, at deres output er regeloverholdende eller optimalt, når de bruges til kompleks numerisk eller logisk ræsonnering. For eksempel:
En leder siger til en AI-planlægningsassistent: “Ship as much as possible next week while keeping costs low,” og systemet leverer en aggressiv plan, der ser effektiv ud, men i det skjulte overskrider lagerkapaciteten og bryder leveringsgarantierne.
En koordinator siger til en AI-assistent: “Reassign crews to reduce overnight stays and minimize disruption,” og modellen udarbejder en billigere tidsplan, der ser optimal ud, men overtræder obligatoriske grænser for tjenestetid eller hvile.
En AI-assistent til finansielle processer skal godkende transaktioner under strenge regionale krav og risikokrav, men godkender en mistænkelig transaktion ved at opfinde en begrundelse, der lyder regeloverholdende, selvom den strider mod interne retningslinjer.
I miljøer med strenge driftskrav hjælper kombinationen af LLM'er og formelle solvere med at sikre, at beslutninger baseret på naturligt sprog holder sig inden for fastlagte grænser og undgår umulige, suboptimale eller regelstridige resultater.
Vores forsknings- og udviklingsteam undersøger en hybrid tilgang, der kombinerer LLM'ers kreativitet og fleksibilitet med den stringens, sikkerhed og gennemsigtighed, som formelle matematiske solvere som Z3, Pyomo og OR-Tools giver. Vi udvikler også en genanvendelig formel AI-motor, der skal gøre denne funktion til en fast del af virksomhedens teknologistak. Platformen vil gøre det muligt for organisationer at hente forretningsregler direkte fra deres eksisterende systemer, løbende kontrollere beslutninger mod reglerne og implementere AI-agenter sikkert inden for klart definerede grænser.
Vores vision er at reducere driftsrisikoen og samtidig fremskynde beslutningstagningen i stor skala. Ledere får hurtigere beslutninger, der overholder gældende politikker, ud fra input i naturligt sprog, mens organisationer kan automatisere ad hoc-ændringer i planlægning, ressourcefordeling i forsyningskæden, finansielle processer, kontrol af politikker og endda video- eller 3D-design. Indbyggede sikkerhedsforanstaltninger forhindrer umulige, regelstridige eller usikre resultater i at nå produktion.
I kontrollerede forsøg med optimeringsproblemer inden for logistik og tre offentlige benchmarks viste vores hybride tilgang konsekvent:
Større nøjagtighed
Bedre fortolkelighed og revisionsmuligheder
Vores tilgang vender det sædvanlige paradigme, hvor »LLM'en gør alt«, på hovedet og følger i stedet dette design:
Tilgangen adskiller ansvarsområderne klart: LLM'er udleder regler og begrænsninger fra naturligt sprog, mens deterministiske solvere som OR-Tools, Z3 og Pyomo står for optimering og kontrol. Resultatet forener styrkerne ved begge tilgange:
LLM'er | Solvere | Hybrid (LLM + solver) | |
|---|---|---|---|
Forstår menneskers hensigt på tværs af domæner | ✅ Fremragende | ❌ Ingen | ✅ Fremragende |
Deterministisk adfærd | ❌ Nej | ✅ Garanteret | ✅ Ja |
Beviseligt korrekt matematisk ræsonnering og optimering på tværs af flere begrænsninger | ⚠️ Skrøbelig | ✅ Garanteret | ✅ Ja |
Revisionsmuligheder og fortolkelighed | ⚠️ Skrøbelig | ✅ Tydelig | ✅ Tydelig |
Modstandsdygtighed over for promptstøj og promptinjektion | ❌ Sårbar | ✅ Immun | ✅ Stærk |
Vi begyndte med en udfordring, som nogle af vores kunder står over for:
At omsætte anmodninger i naturligt sprog til optimale ressourcebeslutninger i realtid og samtidig håndhæve driftsmæssige, politiske og økonomiske begrænsninger strengt.
Denne udfordring er central for moderne logistik og forsyningskæder, herunder vagtplanlægning, aktivfordeling, ruteplanlægning, leveranceplanlægning og kapacitetsstyring. Det er også her, LLM'er og formelle solvere skal arbejde sammen for at skabe troværdige systemer. Til vores evaluering opstillede vi kontrollerede testscenarier, datakilder og begrænsninger samt 240 syntetiske forespørgsler. Eksempler:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Forespørgslerne viser, at systemet pålideligt skal udlede og håndhæve hårde og bløde begrænsninger direkte fra anmodninger i naturligt sprog:
Hårde begrænsninger kan ikke forhandles, f.eks. tidligste startdatoer, kontraktvilkår og kapacitetslofter. Hvis blot én af dem overtrædes, er løsningen ugyldig.
Bløde begrænsninger udtrykker præferencer såsom at minimere forsinkelser, reducere omkostninger og begrænse ændringer. Målet er at optimere uden at overskride de hårde grænser.
Nogle aspekter af disse optimeringsproblemer kan ikke defineres fuldt ud på forhånd. De skal sammensættes dynamisk ud fra både foruddefinerede begrænsninger og målsætninger fra struktureret forretningslogik, interne dokumenter og driftsdata samt brugerens anmodning.
For at forstå, hvordan forskellige teknikker klarer sig i denne sammenhæng, implementerede og sammenlignede vi tre tilgange.
Ren LLM: Den enkleste tilgang sender alle relevante data og brugerens anmodning i naturligt sprog til én LLM-prompt, som skal udarbejde en optimal plan eller fordeling. Det kan fungere ved små problemer eller problemer med få begrænsninger, men bryder sammen, når kompleksiteten stiger. Modellen kan overse begrænsninger, prioritere det forkerte mål eller udarbejde planer, der lyder rimelige, men er umulige, uden nogen pålidelig måde at opdage eller forhindre fejl på.
LLM + Kodefortolker: I denne tilgang fortolker LLM'en anmodningen og bruger værktøjer til at tilgå datakilder og generere eksekverbar optimeringskode. Det giver større fleksibilitet og observerbarhed, men pålideligheden er fortsat en udfordring. LLM'en skal stadig omsætte begrænsninger til korrekt kode, og små fejl i ræsonnering eller kode kan give ugyldige eller suboptimale resultater, især når antallet af begrænsninger vokser.
Hybrid: LLM → strukturerede begrænsninger → deterministisk solver: Den tredje tilgang adskiller ansvarsområderne. LLM'en »beslutter« aldrig resultatet. Den hjælper med at formalisere variabler, begrænsninger og målsætninger. En gennemprøvet optimeringssolver håndhæver begrænsningerne, garanterer, at løsningen er mulig, og leverer resultater, der kan kontrolleres og revideres. LLM'ens rolle er begrænset til at omsætte anmodninger i naturligt sprog til eksplicitte, strukturerede begrænsninger ved hjælp af foruddefinerede skemaer. Begrænsningerne kompileres automatisk til solverkode, f.eks. OR-Tools, som deterministisk beregner en mulig, optimal løsning.
Vi testede metoderne med flere LLM'er, herunder GPT-5, GPT-5.1 og GPT-5.2. Som forventet klarede den hybride tilgang sig bedre end alternativerne:
Metode | Nøjagtighed af fordeling | Gennemsnitlig latenstid | Tokenforbrug pr. forespørgsel |
|---|---|---|---|
Ren LLM | 70–78 % | 62–190 sek. | ~175.000 |
LLM + Kodefortolker | 82–84 % | 62–140 sek. | ~9.000 |
LLM → solver (hybrid) | 95–97 % | 6–25 sek. | ~2.000 |
Vores hybride metode giver en markant højere nøjagtighed, mere end fire gange større tokeneffektivitet og en reduktion af latenstiden med en størrelsesorden.
Næste skridt er at udvikle en generaliserbar og genanvendelig grænseflade, der omsætter naturligt sprog til strukturerede semantiske repræsentationer, som vores backend kan oversætte til solverklar kode. I dette forsøg fokuserede vi på lineære optimeringsproblemer og evaluerede tilgangen på tre offentlige datasæt (NLP4LP, NL4OPT og IndustryOR).
Selvstændig LLM
Hybrid metode (LLM → strukturerede regler → solver → verificeret output)
Brug en LLM til at udlede variabler, begrænsninger og målsætninger fra inputtet og formulere et struktureret optimeringsproblem.
Send det strukturerede problem og den oprindelige anmodning til en LLM med henblik på selvkontrol.
Oversæt det strukturerede problem til OR-Tools-kode for at beregne den optimale fordeling.
Vi evaluerede tilgangen med proprietære banebrydende modeller, herunder GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max og GPT-5.2, samt open source-modeller som Kimi K2, GPT-OSS-modeller og MiniMax M2. Boksplottene opsummerer resultaterne for hver metode.
Den hybride tilgang giver konsekvent mere nøjagtige, stabile og verificerbare resultater end en selvstændig LLM-baseline på tværs af næsten alle de evaluerede underliggende sprogmodeller. Selvom den absolutte ydeevne varierer mellem modellerne, er de relative forbedringer ved den hybride tilgang stabile. Det tyder på, at forbedringerne skyldes adskillelsen af forståelse af naturligt sprog og formel optimering frem for afhængighed af én bestemt models evne til ræsonnering.
Nøjagtighed
På NLP4LP og NL4OPT, som primært består af lineære programmeringsproblemer, opnår den hybride metode næsten maksimal nøjagtighed og klarer sig bedre end prompts til en selvstændig LLM. I stedet for at levere »tilnærmelsesvis korrekt« ræsonnering genererer hybridsystemet mere konsekvent gyldige og velformulerede matematiske formuleringer. På det mere krævende IndustryOR-datasæt falder nøjagtigheden for begge metoder, men af forskellige årsager. Mange IndustryOR-problemer omfatter kombinatoriske strukturer såsom køretøjsruter, rækkefølger af opgaver og fordeling af medarbejdere, som ligger ud over de lineære optimeringsfunktioner, vores solverbackend aktuelt understøtter.
Analysen af fejltyperne viser, at selvstændige LLM'er ofte overtræder obligatoriske begrænsninger, som vist nedenfor:
Eksempel 1:
Plain Text
Den selvstændige LLM leverer en løsning med mindre fedt i alt, men overtræder kravet om, at kalkunmåltider højst må udgøre 40 % af måltiderne. Den hybride tilgang håndhæver denne hårde begrænsning korrekt og returnerer et gyldigt svar.
Eksempel 2:
Plain Text
Den selvstændige LLM leverer igen en løsning med mindre udledning, men overskrider den maksimalt tilladte grænse for smertestillende medicin. Den hybride tilgang håndhæver denne hårde begrænsning korrekt og returnerer et gyldigt svar.
Latenstid og tokenforbrug
Dataene om latenstid og tokenforbrug afslører en vigtig forskel. Den hybride tilgang har højere gennemsnitlig latenstid og større tokenforbrug end en enkelt LLM-prompt, men det skyldes arkitekturvalg frem for ineffektivitet.
Den hybride pipeline omfatter:
Et eller flere LLM-kald til at udlede strukturerede variabler, begrænsninger og målsætninger.
Et trin med selvkontrol, der opdager interne uoverensstemmelser.
Selvom disse trin medfører ekstra arbejde sammenlignet med en enkelt prompt, er latenstiden stadig afgrænset og forudsigelig, og solveren kører typisk hurtigt, når problemet er korrekt formuleret. Det ekstra arbejde skaber eksplicitte, genanvendelige og reviderbare mellemrepræsentationer. Selvstændige LLM-tilgange samler derimod ræsonneringen i én uigennemsigtig generering og flytter omkostningerne til nye forsøg, manuelle kontroller og efterfølgende fejl. Fremtidige versioner kan reducere dette ekstraarbejde ved at:
Cache udledte skemaer.
Opdatere begrænsninger trinvist.
Forbedre orkestreringen af prompt og kald.
Gennemsigtighed og revisionsmuligheder
Selv i tilfælde, hvor begge metoder fejler, er selve fejltypen grundlæggende forskellig.
Med en selvstændig LLM sker fejl ofte ubemærket: Modellen kan returnere et resultat, der er forkert på en svært gennemskuelig måde.
Med den hybride tilgang gør den eksplicitte problemformulering fejlene synlige og hjælper teams med at finde den del af formuleringen, der forårsagede fejlen.
Fremtidige versioner kan vise formuleringerne i en brugerflade, så brugerne kan gennemgå eller kontrollere dem, før solveren kører. Denne gennemsigtighed forbedrer den målte nøjagtighed og gør systemet lettere at fejlfinde og videreudvikle, hvilket er afgørende for implementering i praksis.
Vigtigste konklusion
På tværs af alle benchmarks og de fleste af de testede underliggende modeller understøtter resultaterne en central konklusion i vores arbejde:
LLM'er er stærke til at forstå og omsætte hensigter, men deterministiske solvere er afgørende for at sikre korrekthed.
Den hybride tilgang forvandler naturligt sprog fra en kilde til tvetydighed til en pålidelig grænseflade for matematisk velfunderet beslutningstagning og bringer virksomheders AI et skridt nærmere systemer, der både er intelligente og troværdige.
Virksomheders begrænsninger findes sjældent i velordnede skemaer eller perfekt formulerede prompts. De er spredt på tværs af databaser, regneark, interne politikker og kontrakter. Brugeranmodninger kan være ufuldstændige, tvetydige eller i strid med forretningsregler. For at få denne tilgang til at fungere i stor skala udvikler vi en genanvendelig backendmotor, der omsætter kompleksiteten til en pålidelig virksomhedsfunktion.
Motoren fungerer grundlæggende som en formel rygrad for AI-drevne beslutningssystemer og leverer:
En symbolsk vidensbase med adaptere, der indlæser forretningsregler, begrænsninger, variabler og målsætninger.
Et oversættelseslag, der kompilerer skemaer til solverkode.
Grænseflader, hvor teams kan undersøge, revidere og ændre begrænsninger.
Selvom forsøgene i øjeblikket fokuserer på optimering, kan samme metode udvides til logisk kontrol. Mulige forretningsanvendelser omfatter:
Udfør dynamisk ad hoc-planlægning, ruteplanlægning og ressourcefordeling, samtidig med at alle driftsmæssige begrænsninger håndhæves.
Generér svar og anbefalinger, der konsekvent overholder forretningsreglerne.
Design og validér komplekse 3D-objekter, videoer og arkitekturer, og opdag umulige design før produktion.
AI er stærk i dag, men virksomheder har brug for mere end styrke: De har brug for korrekthed, konsistens og kontrol. Vores hybride system med LLM og solver er et skridt mod en verden, hvor:
Agenter ikke hallucinerer regler eller begrænsninger.
Logisk deduktion og optimering er matematisk velfunderet.
Naturligt sprog fungerer som universel grænseflade til deterministiske systemer.