Συνδυασμός LLM και τυπικών επιλυτών για αξιόπιστες αποφάσεις AI

Τα μεγάλα γλωσσικά μοντέλα (LLM) έχουν σημειώσει εντυπωσιακή πρόοδο στην κατανόηση της φυσικής γλώσσας, στην παραγωγή εύληπτων απαντήσεων και στη δημιουργία εντελώς νέων εμπειριών για πελάτες και εργαζομένους. Ωστόσο, επειδή τα LLM είναι εγγενώς στοχαστικά, η χρήση τους για σύνθετη αριθμητική ή λογική συλλογιστική παρέχει περιορισμένες εγγυήσεις ότι τα αποτελέσματά τους θα συμμορφώνονται με τους κανόνες ή θα είναι βέλτιστα. Για παράδειγμα:

• Ένας διευθυντής λέει σε έναν βοηθό σχεδιασμού AI: “Ship as much as possible next week while keeping costs low,” και το σύστημα καταρτίζει ένα επιθετικό σχέδιο που φαίνεται αποδοτικό, αλλά υπερβαίνει χωρίς προειδοποίηση τη χωρητικότητα της αποθήκης και αθετεί τις εγγυήσεις παράδοσης.

• Ένας συντονιστής λέει σε έναν βοηθό AI: “Reassign crews to reduce overnight stays and minimize disruption,” και το μοντέλο καταρτίζει ένα πρόγραμμα χαμηλότερου κόστους που φαίνεται βέλτιστο, αλλά παραβιάζει υποχρεωτικούς περιορισμούς για τον χρόνο υπηρεσίας ή ανάπαυσης.

• Ένας βοηθός AI χρηματοοικονομικών λειτουργιών πρέπει να εγκρίνει συναλλαγές υπό αυστηρούς περιφερειακούς περιορισμούς και περιορισμούς κινδύνου, αλλά εγκρίνει μια ύποπτη συναλλαγή επινοώντας μια αιτιολόγηση που φαίνεται σύννομη, ενώ παραβιάζει την εσωτερική πολιτική.

Σε περιβάλλοντα με αυστηρές λειτουργικές απαιτήσεις, ο συνδυασμός LLM και τυπικών επιλυτών συμβάλλει ώστε οι αποφάσεις που βασίζονται στη φυσική γλώσσα να παραμένουν εντός καθορισμένων ορίων και να αποφεύγονται ανέφικτα, μη βέλτιστα ή μη συμμορφούμενα αποτελέσματα.

Η ομάδα Έρευνας και Ανάπτυξής μας διερευνά μια υβριδική προσέγγιση που συνδυάζει τη δημιουργικότητα και την ευελιξία των LLM με την αυστηρότητα, τις εγγυήσεις και τη διαφάνεια τυπικών μαθηματικών επιλυτών, όπως οι Z3, Pyomo και OR-Tools. Αναπτύσσουμε επίσης μια επαναχρησιμοποιήσιμη τυπική μηχανή AI, ώστε αυτή η δυνατότητα να αποτελέσει καθιερωμένο μέρος της τεχνολογικής υποδομής των επιχειρήσεων. Η πλατφόρμα θα επιτρέπει στους οργανισμούς να εισάγουν επιχειρηματικούς κανόνες απευθείας από τα υφιστάμενα συστήματά τους, να επαληθεύουν συνεχώς τις αποφάσεις βάσει αυτών των κανόνων και να αναπτύσσουν με ασφάλεια πράκτορες AI εντός σαφώς καθορισμένων ορίων.

Όραμά μας είναι να μειώσουμε τον λειτουργικό κίνδυνο, επιταχύνοντας παράλληλα τη λήψη αποφάσεων σε μεγάλη κλίμακα. Τα στελέχη λαμβάνουν ταχύτερες αποφάσεις που συμμορφώνονται με τις πολιτικές, με βάση δεδομένα φυσικής γλώσσας, ενώ οι οργανισμοί μπορούν να αυτοματοποιούν έκτακτες αλλαγές στον προγραμματισμό, στην κατανομή πόρων της εφοδιαστικής αλυσίδας, στις χρηματοοικονομικές λειτουργίες, στην επαλήθευση πολιτικών, ακόμη και στον σχεδιασμό βίντεο ή τρισδιάστατων αντικειμένων. Οι ενσωματωμένες δικλίδες ασφαλείας εμποδίζουν ανέφικτα, μη συμμορφούμενα ή μη ασφαλή αποτελέσματα να φτάσουν στην παραγωγή.

Σε ελεγχόμενα πειράματα με προβλήματα βελτιστοποίησης τύπου εφοδιαστικής και τρία δημόσια σημεία αναφοράς, η υβριδική προσέγγισή μας παρουσίασε σταθερά:

• Μεγαλύτερη ακρίβεια

• Μεγαλύτερη ερμηνευσιμότητα και δυνατότητα ελέγχου

Η προσέγγισή μας ανατρέπει το συνηθισμένο πρότυπο «το LLM κάνει τα πάντα» και ακολουθεί τον εξής σχεδιασμό:

Αυτή η προσέγγιση διαχωρίζει με σαφήνεια τις αρμοδιότητες: τα LLM εξάγουν κανόνες και περιορισμούς από τη φυσική γλώσσα, ενώ ντετερμινιστικοί επιλυτές, όπως οι OR-Tools, Z3 και Pyomo, αναλαμβάνουν τη βελτιστοποίηση και την επαλήθευση. Το αποτέλεσμα συνδυάζει τα πλεονεκτήματα και των δύο προσεγγίσεων:

Ξεκινήσαμε με μια πρόκληση που αντιμετωπίζουν ορισμένοι πελάτες μας:

Μετατροπή αιτημάτων φυσικής γλώσσας σε βέλτιστες αποφάσεις για τους πόρους σε πραγματικό χρόνο, με αυστηρή εφαρμογή λειτουργικών περιορισμών, πολιτικών και περιορισμών κόστους.

Αυτή η πρόκληση βρίσκεται στον πυρήνα της σύγχρονης εφοδιαστικής και των εφοδιαστικών αλυσίδων, όπως ο προγραμματισμός προσωπικού, η κατανομή παγίων, η δρομολόγηση, ο σχεδιασμός διεκπεραίωσης και η διαχείριση δυναμικότητας. Σε αυτό ακριβώς το πεδίο τα LLM και οι τυπικοί επιλυτές πρέπει να συνεργαστούν για τη δημιουργία αξιόπιστων συστημάτων. Για την αξιολόγησή μας, δημιουργήσαμε ελεγχόμενα σενάρια δοκιμών, πηγές δεδομένων και περιορισμούς, μαζί με 240 συνθετικά ερωτήματα. Ενδεικτικά παραδείγματα:

• Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.

• Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.

Από τα ερωτήματα βλέπουμε ότι το σύστημα πρέπει να εξάγει και να εφαρμόζει αξιόπιστα αυστηρούς και ελαστικούς περιορισμούς απευθείας από αιτήματα φυσικής γλώσσας:

• Οι αυστηροί περιορισμοί δεν είναι διαπραγματεύσιμοι (π.χ. οι ενωρίτερες ημερομηνίες έναρξης, οι συμβατικοί όροι και τα ανώτατα όρια δυναμικότητας). Η παραβίαση έστω και ενός από αυτούς καθιστά τη λύση άκυρη.

• Οι ελαστικοί περιορισμοί εκφράζουν προτιμήσεις, όπως η ελαχιστοποίηση καθυστερήσεων, η μείωση του κόστους και ο περιορισμός των αλλαγών. Στόχος είναι η βελτιστοποίηση χωρίς υπέρβαση των αυστηρών ορίων.

Ορισμένες πτυχές αυτών των προβλημάτων βελτιστοποίησης δεν μπορούν να προκαθοριστούν πλήρως. Πρέπει να συντίθενται δυναμικά, αντλώντας στοιχεία όχι μόνο από προκαθορισμένους περιορισμούς και στόχους που προέρχονται από δομημένη επιχειρηματική λογική, εσωτερικά έγγραφα και λειτουργικά δεδομένα, αλλά και από το αίτημα του χρήστη.

Για να κατανοήσουμε την απόδοση διαφορετικών τεχνικών σε αυτό το περιβάλλον, υλοποιήσαμε και συγκρίναμε τρεις προσεγγίσεις.

1. Αμιγές LLM: Η απλούστερη προσέγγιση παρέχει όλα τα σχετικά δεδομένα και το αίτημα φυσικής γλώσσας του χρήστη σε μία προτροπή προς ένα LLM, από το οποίο ζητείται να δημιουργήσει ένα βέλτιστο σχέδιο ή μια βέλτιστη κατανομή. Παρότι αυτό μπορεί να λειτουργήσει για μικρά προβλήματα ή προβλήματα με λίγους περιορισμούς, παύει να αποδίδει όσο αυξάνεται η πολυπλοκότητα. Το μοντέλο μπορεί να αγνοήσει περιορισμούς, να δώσει προτεραιότητα σε λάθος στόχο ή να δημιουργήσει σχέδια που φαίνονται εύλογα αλλά είναι ανέφικτα, χωρίς αξιόπιστο τρόπο εντοπισμού ή αποτροπής των αστοχιών.

2. LLM + Code Interpreter: Σε αυτή την προσέγγιση, το LLM ερμηνεύει το αίτημα και χρησιμοποιεί εργαλεία για πρόσβαση σε πηγές δεδομένων και δημιουργία εκτελέσιμου κώδικα βελτιστοποίησης. Αυτό προσθέτει ευελιξία και παρατηρησιμότητα, αλλά η αξιοπιστία παραμένει πρόβλημα. Το LLM πρέπει και πάλι να μετατρέψει τους περιορισμούς σε ορθό κώδικα, ενώ μικρά σφάλματα συλλογιστικής ή προγραμματισμού μπορούν να οδηγήσουν σε άκυρα ή μη βέλτιστα αποτελέσματα, ιδίως όσο αυξάνονται οι περιορισμοί.

3. Υβριδικό σύστημα: LLM → δομημένοι περιορισμοί → ντετερμινιστικός επιλυτής: Η τρίτη προσέγγιση διαχωρίζει τις αρμοδιότητες. Το LLM δεν «αποφασίζει» ποτέ το αποτέλεσμα· συμβάλλει στην τυπική διατύπωση των μεταβλητών, των περιορισμών και των στόχων. Ένας δοκιμασμένος επιλυτής βελτιστοποίησης εφαρμόζει τους περιορισμούς, εγγυάται ότι η λύση είναι εφικτή και παράγει αποτελέσματα που μπορούν να επαληθευτούν και να ελεγχθούν. Ο ρόλος του LLM περιορίζεται στη μετατροπή αιτημάτων φυσικής γλώσσας σε σαφείς, δομημένους περιορισμούς με χρήση προκαθορισμένων σχημάτων. Αυτοί οι περιορισμοί μεταγλωττίζονται αυτόματα σε κώδικα επιλυτή, όπως το OR-Tools, το οποίο υπολογίζει ντετερμινιστικά μια εφικτή, βέλτιστη λύση.

Δοκιμάσαμε τις μεθόδους χρησιμοποιώντας διάφορα LLM, μεταξύ των οποίων τα GPT-5, GPT-5.1 και GPT-5.2. Όπως αναμενόταν, η υβριδική προσέγγιση ξεπέρασε σε απόδοση τις εναλλακτικές:

Η υβριδική μας μέθοδος επιτυγχάνει σημαντική αύξηση της ακρίβειας, πάνω από 4 φορές μεγαλύτερη αποδοτικότητα token και μείωση της καθυστέρησης κατά μία τάξη μεγέθους.

Το επόμενο βήμα μας είναι η δημιουργία μιας γενικεύσιμης, επαναχρησιμοποιήσιμης διεπαφής που μετατρέπει τη φυσική γλώσσα σε δομημένες σημασιολογικές αναπαραστάσεις, τις οποίες το σύστημα υποστήριξής μας μπορεί να μετατρέψει σε κώδικα έτοιμο για τον επιλυτή. Για αυτό το πείραμα, επικεντρωθήκαμε σε προβλήματα γραμμικής βελτιστοποίησης και αξιολογήσαμε την προσέγγιση σε σχέση με τρία δημόσια σύνολα δεδομένων (NLP4LP, NL4OPT και IndustryOR).

1. Αυτόνομο LLM

2. Υβριδική μέθοδος (LLM → δομημένοι κανόνες → επιλυτής → επαληθευμένο αποτέλεσμα)

• Χρήση ενός LLM για την εξαγωγή μεταβλητών, περιορισμών και στόχων από τα δεδομένα εισόδου και τη διατύπωση ενός δομημένου προβλήματος βελτιστοποίησης.

• Υποβολή του δομημένου προβλήματος και του αρχικού αιτήματος σε ένα LLM για αυτοεπαλήθευση.

• Μετατροπή του δομημένου προβλήματος σε κώδικα OR-Tools για τον υπολογισμό της βέλτιστης ανάθεσης.

Αξιολογήσαμε αυτή την προσέγγιση χρησιμοποιώντας ιδιόκτητα κορυφαία μοντέλα, μεταξύ των οποίων τα GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max και GPT-5.2, καθώς και μοντέλα ανοικτού κώδικα, όπως τα Kimi K2, τα μοντέλα GPT-OSS και το MiniMax M2. Τα διαγράμματα πλαισίου συνοψίζουν τα αποτελέσματα κάθε μεθόδου.

Η υβριδική προσέγγιση παράγει σταθερά ακριβέστερα, πιο συνεπή και επαληθεύσιμα αποτελέσματα από τη βασική προσέγγιση ενός αυτόνομου LLM, σε σχεδόν όλα τα υποκείμενα γλωσσικά μοντέλα που αξιολογήθηκαν. Παρότι η απόλυτη απόδοση διαφέρει μεταξύ των μοντέλων, τα σχετικά οφέλη της υβριδικής προσέγγισης παραμένουν σταθερά. Αυτό υποδηλώνει ότι οι βελτιώσεις προκύπτουν από τον διαχωρισμό της κατανόησης φυσικής γλώσσας από την τυπική βελτιστοποίηση και όχι από την εξάρτηση από την ικανότητα συλλογιστικής ενός συγκεκριμένου μοντέλου.

Ακρίβεια

Στα NLP4LP και NL4OPT, τα οποία αποτελούνται κυρίως από προβλήματα γραμμικού προγραμματισμού, η υβριδική μέθοδος επιτυγχάνει ακρίβεια κοντά στο ανώτατο δυνατό επίπεδο και ξεπερνά τις μεμονωμένες προτροπές προς LLM. Αντί να παράγει «κατά προσέγγιση ορθή» συλλογιστική, το υβριδικό σύστημα δημιουργεί με μεγαλύτερη συνέπεια έγκυρες και σωστά διατυπωμένες μαθηματικές αναπαραστάσεις. Στο πιο απαιτητικό σύνολο δεδομένων IndustryOR, η ακρίβεια μειώνεται και για τις δύο μεθόδους, αλλά για διαφορετικούς λόγους. Πολλά προβλήματα του IndustryOR περιλαμβάνουν συνδυαστικές δομές, όπως δρομολόγηση οχημάτων, αλληλουχία εργασιών και ανάθεση προσωπικού, που υπερβαίνουν τις δυνατότητες γραμμικής βελτιστοποίησης τις οποίες υποστηρίζει επί του παρόντος το σύστημα επιλυτή μας.

Η ανάλυση των τρόπων αστοχίας δείχνει ότι τα αυτόνομα LLM παραβιάζουν συχνά υποχρεωτικούς περιορισμούς, όπως φαίνεται παρακάτω:

Παράδειγμα 1:

1"A bodybuilder buys prepared meals: a turkey dinner and a tuna salad sandwich. The turkey dinner contains 20 grams of protein, 30 grams of carbohydrates, and 12 grams of fat. The tuna salad sandwich contains 18 grams of protein, 25 grams of carbohydrates, and 8 grams of fat. The bodybuilder needs at least 150 grams of protein and 200 grams of carbohydrates. Because turkey dinners are expensive, no more than 40% of the meals should be turkey dinners. How many of each meal should the bodybuilder eat to minimize total fat intake?"

Το αυτόνομο LLM παράγει μια λύση με χαμηλότερη συνολική ποσότητα λίπους, αλλά παραβιάζει την απαίτηση τα γεύματα με γαλοπούλα να μην υπερβαίνουν το 40% των γευμάτων. Η υβριδική προσέγγιση εφαρμόζει σωστά αυτόν τον αυστηρό περιορισμό και επιστρέφει έγκυρη απάντηση.

Παράδειγμα 2:

1"A hospitalized patient can take two pills: Pill 1 and Pill 2. Each Pill 1 provides 0.2 units of pain medication and 0.3 units of anxiety medication. Each Pill 2 provides 0.6 units of pain medication and 0.2 units of anxiety medication. Pill 1 causes 0.3 units of discharge, while Pill 2 causes 0.1 units. At most 6 units of pain medication may be provided, and at least 3 units of anxiety medication must be provided. How many of each pill should the patient receive to minimize total discharge?"

Το αυτόνομο LLM παράγει και πάλι μια λύση με χαμηλότερες απορρίψεις, αλλά υπερβαίνει το μέγιστο επιτρεπόμενο όριο παυσίπονων. Η υβριδική προσέγγιση εφαρμόζει σωστά αυτόν τον αυστηρό περιορισμό και επιστρέφει έγκυρη απάντηση.

Καθυστέρηση και χρήση token

Τα δεδομένα καθυστέρησης και χρήσης token αναδεικνύουν μια σημαντική διάκριση. Η υβριδική προσέγγιση έχει μεγαλύτερη μέση καθυστέρηση και χρήση token από μια μεμονωμένη προτροπή προς ένα LLM, αλλά αυτό οφείλεται σε αρχιτεκτονικές επιλογές και όχι σε αναποτελεσματικότητα.

Η υβριδική ροή περιλαμβάνει:

1. Μία ή περισσότερες κλήσεις LLM για την εξαγωγή δομημένων μεταβλητών, περιορισμών και στόχων.

2. Ένα βήμα αυτοεπαλήθευσης για τον εντοπισμό εσωτερικών ασυνεπειών.

Παρότι αυτά τα βήματα προσθέτουν επιβάρυνση σε σύγκριση με μία μόνο προτροπή, η καθυστέρηση παραμένει περιορισμένη και προβλέψιμη, ενώ η εκτέλεση του επιλυτή είναι συνήθως γρήγορη όταν το πρόβλημα έχει διατυπωθεί σωστά. Η πρόσθετη εργασία δημιουργεί σαφείς, επαναχρησιμοποιήσιμες και ελέγξιμες ενδιάμεσες αναπαραστάσεις. Αντίθετα, οι αυτόνομες προσεγγίσεις LLM συμπυκνώνουν τη συλλογιστική σε μία αδιαφανή παραγωγή αποτελέσματος, μεταφέροντας το κόστος σε επαναλήψεις, μη αυτόματους ελέγχους και μεταγενέστερες αστοχίες. Μελλοντικές εκδόσεις μπορούν να μειώσουν αυτή την επιβάρυνση μέσω:

• Αποθήκευσης των εξαχθέντων σχημάτων στην κρυφή μνήμη.

• Σταδιακής ενημέρωσης των περιορισμών.

• Βελτίωσης του συντονισμού προτροπών και κλήσεων.

Διαφάνεια και δυνατότητα ελέγχου

Τέλος, ακόμη και όταν αποτυγχάνουν και οι δύο μέθοδοι, ο ίδιος ο τρόπος αστοχίας διαφέρει ριζικά.

• Σε ένα αυτόνομο LLM, οι αστοχίες συχνά περνούν απαρατήρητες: το μοντέλο ενδέχεται να επιστρέψει ένα αποτέλεσμα με δυσδιάκριτα σφάλματα.

• Στην υβριδική προσέγγιση, η σαφής διατύπωση του προβλήματος καθιστά τις αστοχίες εμφανείς και βοηθά τις ομάδες να εντοπίσουν ποιο μέρος της διατύπωσης προκάλεσε το σφάλμα.

Μελλοντικές εκδόσεις θα μπορούσαν να εμφανίζουν αυτές τις διατυπώσεις σε μια διεπαφή, ώστε οι χρήστες να τις ελέγχουν ή να τις επαληθεύουν πριν από την εκτέλεση του επιλυτή. Αυτή η διαφάνεια βελτιώνει τη μετρούμενη ακρίβεια και διευκολύνει τον εντοπισμό σφαλμάτων και τη βελτίωση του συστήματος, κάτι ουσιώδες για την εφαρμογή του σε πραγματικές συνθήκες.

Βασικό συμπέρασμα

Σε όλα τα σημεία αναφοράς και στα περισσότερα υποκείμενα μοντέλα που δοκιμάστηκαν, τα αποτελέσματα ενισχύουν ένα κεντρικό συμπέρασμα της εργασίας μας:

Τα LLM είναι ισχυρά στην κατανόηση και τη μετατροπή της πρόθεσης, αλλά οι ντετερμινιστικοί επιλυτές είναι απαραίτητοι για τη διασφάλιση της ορθότητας.

Η υβριδική προσέγγιση μετατρέπει τη φυσική γλώσσα από πηγή ασάφειας σε αξιόπιστη διεπαφή για τη λήψη μαθηματικά ορθών αποφάσεων, φέρνοντας την επιχειρηματική AI ένα βήμα πιο κοντά σε συστήματα που δεν είναι μόνο ευφυή αλλά και αξιόπιστα.

Οι επιχειρηματικοί περιορισμοί σπάνια υπάρχουν σε τακτοποιημένα σχήματα ή σε άψογα διατυπωμένες προτροπές. Είναι διάσπαρτοι σε βάσεις δεδομένων, υπολογιστικά φύλλα, εσωτερικές πολιτικές και συμβάσεις. Τα αιτήματα των χρηστών ενδέχεται να είναι ελλιπή, ασαφή ή ασύμβατα με τους επιχειρηματικούς κανόνες. Για να εφαρμόσουμε αυτή την προσέγγιση σε μεγάλη κλίμακα, αναπτύσσουμε μια επαναχρησιμοποιήσιμη μηχανή υποστήριξης που μετατρέπει αυτή την πολυπλοκότητα σε αξιόπιστη επιχειρηματική δυνατότητα.

Στον πυρήνα της, αυτή η μηχανή λειτουργεί ως τυπική ραχοκοκαλιά για συστήματα λήψης αποφάσεων που βασίζονται στην AI, παρέχοντας:

• Μια συμβολική βάση γνώσεων με προσαρμογείς που εισάγουν επιχειρηματικούς κανόνες, περιορισμούς, μεταβλητές και στόχους.

• Ένα επίπεδο μετάφρασης που μεταγλωττίζει τα σχήματα σε κώδικα επιλυτή.

• Διεπαφές που επιτρέπουν στις ομάδες να επιθεωρούν, να ελέγχουν και να τροποποιούν τους περιορισμούς.

Παρότι τα πειράματα αυτά επικεντρώνονται επί του παρόντος στη βελτιστοποίηση, η ίδια μέθοδος μπορεί να επεκταθεί στη λογική επαλήθευση. Οι πιθανές επιχειρηματικές εφαρμογές περιλαμβάνουν:

• Δυναμικό προγραμματισμό, δρομολόγηση και κατανομή πόρων κατά περίπτωση, με αυστηρή εφαρμογή κάθε λειτουργικού περιορισμού.

• Παραγωγή απαντήσεων και προτάσεων που τηρούν με συνέπεια τους επιχειρηματικούς κανόνες.

• Σχεδιασμό και επικύρωση σύνθετων τρισδιάστατων αντικειμένων, βίντεο και αρχιτεκτονικών, με εντοπισμό ανέφικτων σχεδίων πριν από την παραγωγή.

Η AI είναι σήμερα ισχυρή, αλλά οι επιχειρήσεις χρειάζονται κάτι περισσότερο από ισχύ: χρειάζονται ορθότητα, συνέπεια και έλεγχο. Το υβριδικό μας σύστημα LLM και επιλυτών αποτελεί ένα βήμα προς έναν κόσμο όπου:

• Οι πράκτορες δεν επινοούν κανόνες ή περιορισμούς.

• Η λογική συναγωγή και η βελτιστοποίηση είναι μαθηματικά ορθές.

• Η φυσική γλώσσα λειτουργεί ως καθολική διεπαφή για ντετερμινιστικά συστήματα.