Navigazzjoni prinċipali

Kif ngħaqqdu l-LLMs ma’ solvers formali għal deċiżjonijiet affidabbli tal-IA

Arkitettura ibrida tgħaqqad il-flessibbiltà tal-LLM ma’ solvers deterministiċi biex tipproduċi deċiżjonijiet affidabbli u verifikabbli għall-intrapriżi.

Il-mudelli lingwistiċi kbar (LLMs) għamlu progress straordinarju biex jifhmu l-lingwa naturali, jiġġeneraw tweġibiet mexxejja u joħolqu esperjenzi għalkollox ġodda għall-klijenti u l-impjegati. Madankollu, minħabba li l-LLMs huma intrinsikament stokastiċi, l-użu tagħhom għal raġunament numeriku jew loġiku kumpless joffri garanziji limitati li r-riżultati tagħhom ikunu konformi jew ottimali. Pereżempju:

  • Maniġer jgħid lil assistent tal-ippjanar bl-IA, “Ship as much as possible next week while keeping costs low,” u s-sistema tipproduċi pjan aggressiv li jidher effiċjenti, iżda mingħajr ma tindika dan taqbeż il-kapaċità tal-maħżen u tikser il-garanziji tal-konsenja.

  • Koordinatur jgħid lil assistent tal-IA, “Reassign crews to reduce overnight stays and minimize disruption,” u l-mudell jipproduċi skeda orħos li tidher ottimali, iżda tikser ir-restrizzjonijiet obbligatorji dwar il-ħin tax-xogħol jew il-mistrieħ.

  • Assistent tal-IA għall-operazzjonijiet finanzjarji jrid japprova tranżazzjonijiet skont restrizzjonijiet reġjonali u tar-riskju stretti, iżda jawtorizza tranżazzjoni suspettuża billi jivvinta ġustifikazzjoni li tinstema’ konformi waqt li tikser il-politika interna.

F’ambjenti b’rekwiżiti operazzjonali stretti, il-kombinazzjoni tal-LLMs ma’ solvers formali tgħin biex id-deċiżjonijiet ibbażati fuq il-lingwa naturali jibqgħu fil-limiti definiti u jevitaw riżultati mhux fattibbli, subottimali jew mhux konformi.

It-tim tagħna tar-R&D qed jinvestiga approċċ ibridu li jgħaqqad il-kreattività u l-flessibbiltà tal-LLMs mar-rigorożità, il-garanziji u t-trasparenza ta’ solvers matematiċi formali bħal Z3, Pyomo u OR-Tools. Qed nibnu wkoll magna formali tal-IA li tista’ terġa’ tintuża, biex din il-kapaċità ssir parti standard mill-infrastruttura teknoloġika tal-intrapriżi. Il-pjattaforma se tippermetti lill-organizzazzjonijiet jimportaw ir-regoli tan-negozju direttament mis-sistemi eżistenti tagħhom, jivverifikaw kontinwament id-deċiżjonijiet skont dawk ir-regoli u jimplimentaw aġenti tal-IA b’mod sikur f’limiti definiti b’mod ċar.

Il-viżjoni tagħna hi li nnaqqsu r-riskju operazzjonali filwaqt li nħaffu t-teħid tad-deċiżjonijiet fuq skala kbira. Il-mexxejja jieħdu deċiżjonijiet aktar malajr u konformi mal-politiki minn inputs bil-lingwa naturali, filwaqt li l-organizzazzjonijiet jistgħu jawtomatizzaw bidliet ad hoc fl-iskedar, fl-allokazzjoni tar-riżorsi tal-katina tal-provvista, fl-operazzjonijiet finanzjarji, fil-verifika tal-politiki u saħansitra fid-disinn ta’ vidjows jew 3D. Salvagwardji integrati jipprevjenu riżultati mhux fattibbli, mhux konformi jew mhux sikuri milli jidħlu fil-produzzjoni.

F’esperimenti kkontrollati fuq problemi ta’ ottimizzazzjoni simili għal dawk tal-loġistika u fuq tliet parametri referenzjarji pubbliċi, l-approċċ ibridu tagħna wera b’mod konsistenti:

  • Preċiżjoni akbar

  • Aktar interpretabbiltà u awditabbiltà

L-arkitettura ibrida

L-approċċ tagħna jaqleb il-paradigma tas-soltu li “l-LLM jagħmel kollox” u minflok isegwi dan id-disinn:

Dijagramma li tqabbel kif il-mudelli lingwistiċi kbar u s-solvers deterministiċi jgħaqqdu l-fehim tal-lingwa naturali ma’ ottimizzazzjoni verifikabbli.

Dan l-approċċ jissepara r-responsabbiltajiet b’mod ċar: l-LLMs jisiltu r-regoli u r-restrizzjonijiet mil-lingwa naturali, filwaqt li solvers deterministiċi bħal OR-Tools, Z3 u Pyomo jieħdu ħsieb l-ottimizzazzjoni u l-verifika. Ir-riżultat jgħaqqad il-vantaġġi taż-żewġ approċċi:

LLMs

Solvers

Ibridu (LLM + Solver)

Jifhmu l-intenzjoni tal-bniedem f’oqsma differenti

✅ Eċċellenti

❌ Xejn

✅ Eċċellenti

Imġiba deterministika

❌ Le

✅ Garantita

✅ Iva

Korrettezza ppruvata fir-raġunament matematiku u fl-ottimizzazzjoni b’diversi restrizzjonijiet

⚠️ Fraġli

✅ Garantita

✅ Iva

Awditabbiltà u interpretabbiltà

⚠️ Fraġli

✅ Ċara

✅ Ċara

Reżistenza għall-istorbju u l-injezzjoni fil-prompt

❌ Vulnerabbli

✅ Immuni

✅ Qawwija

L-ewwel fażi sperimentali: il-loġistika u l-allokazzjoni tal-ħaddiema

Il-qasam tal-problema

Bdejna bi sfida li jiffaċċjaw xi wħud mill-klijenti tagħna:

It-trasformazzjoni ta’ talbiet bil-lingwa naturali f’deċiżjonijiet ottimali u f’ħin reali dwar ir-riżorsi, filwaqt li jiġu infurzati strettament ir-restrizzjonijiet operazzjonali, tal-politika u tal-ispejjeż.

Din l-isfida tinsab fil-qalba tal-loġistika u tal-ktajjen tal-provvista moderni, inklużi l-iskedar tal-ħaddiema, l-allokazzjoni tal-assi, ir-rotot, l-ippjanar tat-twettiq tal-ordnijiet u l-ġestjoni tal-kapaċità. Huwa wkoll qasam fejn l-LLMs u s-solvers formali jridu jaħdmu flimkien biex jipproduċu sistemi affidabbli. Għall-evalwazzjoni tagħna, ħloqna xenarji ta’ ttestjar, sorsi tad-data u restrizzjonijiet ikkontrollati, flimkien ma’ 240 mistoqsija sintetika. Xi eżempji huma:

  • Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.

  • Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.

Mit-talbiet nistgħu naraw li s-sistema trid tislet u tinforza b’mod affidabbli restrizzjonijiet riġidi u flessibbli direttament minn talbiet bil-lingwa naturali:

  • Ir-restrizzjonijiet riġidi mhumiex negozjabbli (eż. l-ewwel dati possibbli tal-bidu, it-termini kuntrattwali u l-limiti massimi tal-kapaċità). Il-ksur ta’ kwalunkwe waħda minnhom jinvalida s-soluzzjoni.

  • Ir-restrizzjonijiet flessibbli jirrappreżentaw preferenzi, bħat-tnaqqis tad-dewmien u tal-ispejjeż u l-limitazzjoni tal-bidliet. L-għan hu li ssir ottimizzazzjoni mingħajr ma jinqabżu l-limiti riġidi.

Xi aspetti ta’ dawn il-problemi tal-ottimizzazzjoni ma jistgħux jiġu definiti kompletament minn qabel. Iridu jinbnew b’mod dinamiku billi jintużaw mhux biss restrizzjonijiet u objettivi definiti minn qabel mil-loġika strutturata tan-negozju, minn dokumenti interni u minn data operazzjonali, iżda wkoll it-talba tal-utent.

L-approċċi li evalwajna

Biex nifhmu kif jaħdmu tekniki differenti f’dan il-kuntest, implimentajna u qabbilna tliet approċċi.

  1. LLM pur: L-aktar approċċ sempliċi jgħaddi d-data rilevanti kollha u t-talba tal-utent bil-lingwa naturali lil prompt wieħed ta’ LLM, li jintalab jipproduċi pjan jew allokazzjoni ottimali. Għalkemm dan jista’ jaħdem għal problemi żgħar jew bi ftit restrizzjonijiet, ma jibqax effettiv meta tiżdied il-kumplessità. Il-mudell jista’ jinjora r-restrizzjonijiet, jagħti prijorità lill-objettiv ħażin jew jipproduċi pjanijiet li jinstemgħu raġonevoli iżda mhumiex fattibbli, mingħajr mod affidabbli kif jinstabu jew jiġu evitati l-fallimenti.

  2. LLM + Code Interpreter: F’dan l-approċċ, l-LLM jinterpreta t-talba u juża għodod biex jaċċessa s-sorsi tad-data u jiġġenera kodiċi eżegwibbli tal-ottimizzazzjoni. Dan iżid il-flessibbiltà u l-osservabbiltà, iżda l-affidabbiltà tibqa’ problema. L-LLM xorta jrid jittraduċi r-restrizzjonijiet f’kodiċi korrett, u żbalji żgħar fir-raġunament jew fil-kodiċi jistgħu jipproduċu riżultati invalidi jew subottimali, speċjalment hekk kif jiżdiedu r-restrizzjonijiet.

  3. Ibridu: LLM → restrizzjonijiet strutturati → solver deterministiku: It-tielet approċċ jissepara r-responsabbiltajiet. L-LLM qatt ma “jiddeċiedi” r-riżultat; jgħin biex il-varjabbli, ir-restrizzjonijiet u l-objettivi jiġu formalizzati. Solver tal-ottimizzazzjoni ppruvat jinforza r-restrizzjonijiet, jiggarantixxi l-fattibbiltà u jipproduċi riżultati li jistgħu jiġu vverifikati u awditjati. Ir-rwol tal-LLM huwa limitat għat-traduzzjoni ta’ talbiet bil-lingwa naturali f’restrizzjonijiet espliċiti u strutturati permezz ta’ skemi definiti minn qabel. Dawk ir-restrizzjonijiet jiġu kkompilati awtomatikament f’kodiċi għal solver, bħal OR-Tools, li jikkalkula b’mod deterministiku soluzzjoni fattibbli u ottimali.

Riżultati

Ittestjajna l-metodi b’diversi LLMs, inklużi GPT-5, GPT-5.1 u GPT-5.2. Kif mistenni, l-approċċ ibridu kiseb riżultati aħjar mill-alternattivi:

Metodu

Preċiżjoni tal-allokazzjoni

Latenza medja

Tokens użati għal kull talba

LLM pur

70–78%

62–190 s

~175,000

LLM + Code Interpreter

82–84%

62–140 s

~9,000

LLM → Solver (Ibridu)

95–97%

6–25 s

~2,000

Il-metodu ibridu tagħna juri żieda sostanzjali fil-preċiżjoni, effiċjenza tat-tokens aktar minn 4 darbiet ogħla u tnaqqis ta’ ordni ta’ kobor fil-latenza.

It-tieni fażi sperimentali: ottimizzazzjoni għal skopijiet ġenerali mil-lingwa naturali

Il-pass li jmiss tagħna hu li nibnu interfaċċa ġeneralizzabbli u li tista’ terġa’ tintuża, li tikkonverti l-lingwa naturali f’rappreżentazzjonijiet semantiċi strutturati li l-backend tagħna jista’ jittraduċi f’kodiċi lest għas-solver. Għal dan l-esperiment, iffukajna fuq problemi ta’ ottimizzazzjoni lineari u evalwajna l-approċċ bi tliet settijiet tad-data pubbliċi (NLP4LP, NL4OPT u IndustryOR).

L-approċċi li evalwajna

  1. LLM awtonomu

  2. Metodu ibridu (LLM → regoli strutturati → solver → output ivverifikat)

Dijagramma tal-fluss tax-xogħol ibridu, minn talbiet bil-lingwa naturali għal restrizzjonijiet strutturati, soluzzjoni deterministika u output ivverifikat.

  • Uża LLM biex jislet il-varjabbli, ir-restrizzjonijiet u l-objettivi mill-input u jifformula problema ta’ ottimizzazzjoni strutturata.

  • Għaddi l-problema strutturata u t-talba oriġinali lil LLM għall-awtoverifika.

  • Ittraduċi l-problema strutturata f’kodiċi OR-Tools biex tikkalkula l-allokazzjoni ottimali.

Riżultati

Evalwajna dan l-approċċ b’mudelli avvanzati proprjetarji, inklużi GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max u GPT-5.2, flimkien ma’ mudelli b’sors miftuħ bħal Kimi K2, mudelli GPT-OSS u MiniMax M2. Il-graffs tat-tip box plot jiġbru fil-qosor ir-riżultati ta’ kull metodu.

Grafika li tqabbel mudelli lingwistiċi kbar awtonomi ma’ approċċi ibridi bbażati fuq solvers f’parametri referenzjarji tal-ottimizzazzjoni.

Fi kważi l-mudelli lingwistiċi sottostanti kollha evalwati, l-approċċ ibridu jipproduċi b’mod konsistenti riżultati aktar preċiżi, stabbli u verifikabbli minn linja bażi b’LLM awtonomu. Għalkemm il-prestazzjoni assoluta tvarja bejn il-mudelli, il-vantaġġi relattivi tal-approċċ ibridu jibqgħu konsistenti. Dan jissuġġerixxi li t-titjib ġej mis-separazzjoni tal-fehim tal-lingwa naturali mill-ottimizzazzjoni formali, aktar milli mid-dipendenza fuq il-kapaċità ta’ raġunament ta’ mudell wieħed.

Preċiżjoni

Fuq NLP4LP u NL4OPT, li jikkonsistu prinċipalment fi problemi ta’ programmazzjoni lineari, il-metodu ibridu jikseb preċiżjoni qrib il-limitu massimu u jaqbeż il-prompts lil LLM awtonomu. Minflok jipproduċi raġunament “bejn wieħed u ieħor korrett”, is-sistema ibrida tiġġenera b’mod aktar konsistenti formulazzjonijiet matematiċi validi u strutturati sew. Fuq is-sett tad-data IndustryOR, li huwa aktar diffiċli, il-preċiżjoni tonqos għaż-żewġ metodi, iżda għal raġunijiet differenti. Ħafna problemi ta’ IndustryOR jinvolvu strutturi kombinatorji, bħar-rotot tal-vetturi, is-sekwenzjar tal-kompiti u l-allokazzjoni tal-ħaddiema, li jaqbżu l-kapaċitajiet ta’ ottimizzazzjoni lineari appoġġjati bħalissa mill-backend tas-solver tagħna.

L-analiżi tal-modi ta’ falliment turi li LLMs awtonomi spiss jiksru r-restrizzjonijiet meħtieġa, kif jidher hawn taħt:

Eżempju 1:

Plain Text

"A bodybuilder buys prepared meals: a turkey dinner and a tuna salad sandwich. The turkey dinner contains 20 grams of protein, 30 grams of carbohydrates, and 12 grams of fat. The tuna salad sandwich contains 18 grams of protein, 25 grams of carbohydrates, and 8 grams of fat. The bodybuilder needs at least 150 grams of protein and 200 grams of carbohydrates. Because turkey dinners are expensive, no more than 40% of the meals should be turkey dinners. How many of each meal should the bodybuilder eat to minimize total fat intake?"

L-LLM awtonomu jipproduċi soluzzjoni b’inqas xaħam totali, iżda jikser ir-rekwiżit li l-ikliet bid-dundjan ma jkunux aktar minn 40% tal-ikliet. L-approċċ ibridu jinforza b’mod korrett din ir-restrizzjoni riġida u jagħti tweġiba valida.

Eżempju 2:

Plain Text

"A hospitalized patient can take two pills: Pill 1 and Pill 2. Each Pill 1 provides 0.2 units of pain medication and 0.3 units of anxiety medication. Each Pill 2 provides 0.6 units of pain medication and 0.2 units of anxiety medication. Pill 1 causes 0.3 units of discharge, while Pill 2 causes 0.1 units. At most 6 units of pain medication may be provided, and at least 3 units of anxiety medication must be provided. How many of each pill should the patient receive to minimize total discharge?"

L-LLM awtonomu jerġa’ jipproduċi soluzzjoni b’inqas ħruġ, iżda jaqbeż il-limitu massimu permess għall-mediċina kontra l-uġigħ. L-approċċ ibridu jinforza b’mod korrett dik ir-restrizzjoni riġida u jagħti tweġiba valida.

Latenza u użu tat-tokens

Id-data dwar il-latenza u l-użu tat-tokens turi distinzjoni importanti. L-approċċ ibridu għandu latenzi medji u użu tat-tokens ogħla minn prompt wieħed lil LLM, iżda dan jirrifletti għażliet arkitettoniċi aktar milli ineffiċjenza.

Il-pipeline ibridu jinkludi:

  1. Sejħa waħda jew aktar lil LLM biex jisiltu varjabbli, restrizzjonijiet u objettivi strutturati.

  2. Pass ta’ awtoverifika biex jinqabdu inkonsistenzi interni.

Għalkemm dawn il-passi jżidu l-ispiża operazzjonali meta mqabbla ma’ prompt wieħed, il-latenza tibqa’ limitata u prevedibbli, u l-eżekuzzjoni tas-solver normalment tkun rapida ladarba l-problema tkun ifformulata sew. Ix-xogħol addizzjonali joħloq rappreżentazzjonijiet intermedji espliċiti, li jistgħu jerġgħu jintużaw u jiġu awditjati. Għall-kuntrarju, approċċi b’LLM waħdu jikkompressaw ir-raġunament f’ġenerazzjoni opaka waħda, u jittrasferixxu l-ispejjeż lejn tentattivi mill-ġdid, kontrolli manwali u fallimenti sussegwenti. Iterazzjonijiet futuri jistgħu jnaqqsu din l-ispiża permezz ta’:

  • Caching tal-iskemi estratti.

  • Aġġornament inkrementali tar-restrizzjonijiet.

  • Titjib fl-orkestrazzjoni tal-prompts u tas-sejħiet.

Trasparenza u awditabbiltà

Fl-aħħar nett, anki meta ż-żewġ metodi jfallu, il-mod kif ifallu jkun fundamentalment differenti.

  • B’LLM waħdu, il-fallimenti ħafna drabi ma jidhrux: il-mudell jista’ jagħti riżultat b’żball sottili.

  • Bl-approċċ ibridu, il-formulazzjoni espliċita tal-problema tagħmel il-fallimenti trasparenti u tgħin lit-timijiet jidentifikaw liema parti tal-formulazzjoni kkawżat żball.

Verżjonijiet futuri jistgħu juru dawn il-formulazzjonijiet f’interfaċċa, biex l-utenti jkunu jistgħu jawditjawhom jew jivverifikawhom qabel jitħaddem is-solver. Din it-trasparenza ttejjeb il-preċiżjoni mkejla u tagħmel is-sistema aktar faċli biex jiġu dijanjostikati l-problemi u rfinata, ħaġa essenzjali għall-implimentazzjoni fid-dinja reali.

Il-konklużjoni ewlenija

Fil-parametri referenzjarji kollha u fil-biċċa l-kbira tal-mudelli sottostanti ttestjati, ir-riżultati jsaħħu konklużjoni ċentrali tax-xogħol tagħna:

L-LLMs huma b’saħħithom biex jifhmu u jittraduċu l-intenzjoni, iżda s-solvers deterministiċi huma essenzjali biex jiżguraw il-korrettezza.

L-approċċ ibridu jittrasforma l-lingwa naturali minn sors ta’ ambigwità f’interfaċċa affidabbli għal teħid ta’ deċiżjonijiet matematikament sod, u jqarrab l-IA għall-intrapriżi lejn sistemi li mhux biss huma intelliġenti, iżda wkoll affidabbli.

Il-pass li jmiss: magna formali tal-IA għall-intrapriżi li tista’ terġa’ tintuża

Ir-restrizzjonijiet tal-intrapriżi rarament ikunu organizzati fi skemi puliti jew prompts ifformulati perfettament. Ikunu mifruxa f’bażijiet tad-data, spreadsheets, politiki interni u kuntratti. It-talbiet tal-utenti jistgħu jkunu mhux kompluti, ambigwi jew inkonsistenti mar-regoli tan-negozju. Biex dan l-approċċ jaħdem fuq skala kbira, qed nibnu magna backend li tista’ terġa’ tintuża u li tittrasforma din il-kumplessità f’kapaċità affidabbli għall-intrapriżi.

Dijagramma tal-magna formali tal-IA għall-intrapriżi, inklużi r-regoli tan-negozju, it-traduzzjoni għas-solver u t-teħid ta’ deċiżjonijiet awditabbli.

Il-pjattaforma

Fil-qalba tagħha, din il-magna sservi ta’ sinsla formali għal sistemi ta’ teħid ta’ deċiżjonijiet immexxija mill-IA, u tipprovdi:

  • Bażi simbolika tal-għarfien b’adapters li jimportaw ir-regoli tan-negozju, ir-restrizzjonijiet, il-varjabbli u l-objettivi.

  • Saff tat-traduzzjoni li jikkompila l-iskemi f’kodiċi għas-solver.

  • Interfaċċi li jippermettu lit-timijiet jispezzjonaw, jawditjaw u jimmodifikaw ir-restrizzjonijiet.

Fejn dan joħloq il-valur

Għalkemm bħalissa dawn l-esperimenti jiffukaw fuq l-ottimizzazzjoni, l-istess metodu jista’ jiġi estiż għall-verifika loġika. Applikazzjonijiet potenzjali għan-negozji jinkludu:

  • Twettiq ta’ skedar, rotot u allokazzjoni tar-riżorsi dinamiċi ad hoc, filwaqt li tiġi infurzata kull restrizzjoni operazzjonali.

  • Ġenerazzjoni ta’ tweġibiet u rakkomandazzjonijiet li jirrispettaw b’mod konsistenti r-regoli tan-negozju.

  • Disinn u validazzjoni ta’ oġġetti 3D, vidjows u arkitetturi kumplessi, filwaqt li disinni mhux fattibbli jinqabdu qabel il-produzzjoni.

Ħsibijiet tal-għeluq

L-IA tal-lum hija b’saħħitha, iżda l-intrapriżi jeħtieġu aktar minn saħħa: jeħtieġu korrettezza, konsistenza u kontroll. Is-sistema ibrida tagħna ta’ LLM u solver hija pass lejn dinja fejn:

  • L-aġenti ma jivvintawx regoli jew restrizzjonijiet.

  • Id-deduzzjoni loġika u l-ottimizzazzjoni jkunu matematikament sodi.

  • Il-lingwa naturali sservi bħala l-interfaċċa universali għal sistemi deterministiċi.

Awtur

Peng Seng Ang