Associer LLM et solveurs formels pour des décisions d’IA fiables

Les grands modèles de langage (LLM) ont fait des progrès extraordinaires dans la compréhension du langage naturel, la génération de réponses fluides et la création d’expériences entièrement nouvelles pour les clients et les employés. Cependant, les LLM étant intrinsèquement stochastiques, leur utilisation pour des raisonnements numériques ou logiques complexes offre peu de garanties quant à la conformité ou à l’optimalité de leurs résultats. Par exemple :

• Un responsable dit à un assistant de planification basé sur l’IA : « Expédiez autant que possible la semaine prochaine tout en limitant les coûts ». Le système fournit alors un plan ambitieux qui semble efficace, mais dépasse discrètement la capacité de l’entrepôt et compromet les garanties de livraison.

• Un coordinateur dit à un assistant basé sur l’IA : « Réaffectez les équipes afin de réduire les nuitées et de limiter les perturbations ». Le modèle produit alors un planning moins coûteux qui semble optimal, mais enfreint les contraintes obligatoires relatives au temps de service ou au repos.

• Un assistant d’opérations financières basé sur l’IA doit approuver des transactions soumises à de strictes contraintes régionales et de risque, mais il valide une transaction suspecte en inventant une justification qui semble conforme tout en enfreignant la politique interne.

Dans les environnements aux exigences opérationnelles strictes, l’association de LLM et de solveurs formels contribue à garantir que les décisions guidées par le langage naturel restent dans les limites définies et évitent les résultats irréalisables, sous-optimaux ou non conformes.

Notre équipe R&D étudie une approche hybride qui associe la créativité et la flexibilité des LLM à la rigueur, aux garanties et à la transparence de solveurs mathématiques formels tels que Z3, Pyomo et OR-Tools. Nous développons également un moteur d’IA formelle réutilisable afin d’intégrer cette capacité aux composants standard de la pile technologique d’entreprise. La plateforme permettra aux organisations d’importer directement les règles métier de leurs systèmes existants, de vérifier en continu les décisions au regard de ces règles et de déployer des agents d’IA en toute sécurité dans des limites clairement définies.

Notre vision consiste à réduire les risques opérationnels tout en accélérant la prise de décision à grande échelle. Les dirigeants obtiennent plus rapidement des décisions conformes aux politiques à partir d’instructions en langage naturel, tandis que les organisations peuvent automatiser des modifications ponctuelles de planning, l’allocation des ressources de la chaîne logistique, les opérations financières, la vérification des politiques, voire la conception vidéo ou 3D. Des garde-fous intégrés empêchent la mise en production de résultats irréalisables, non conformes ou dangereux.

Lors d’expériences contrôlées portant sur des problèmes d’optimisation de type logistique et trois bancs d’essai publics, notre approche hybride a systématiquement démontré :

• Une plus grande précision

• Une interprétabilité et une auditabilité accrues

Notre approche inverse le paradigme habituel selon lequel « le LLM fait tout » et adopte plutôt la conception suivante :

Cette approche sépare clairement les responsabilités : les LLM extraient les règles et les contraintes du langage naturel, tandis que des solveurs déterministes tels qu’OR-Tools, Z3 et Pyomo assurent l’optimisation et la vérification. Le résultat associe les points forts des deux approches :

Nous avons commencé par un défi auquel certains de nos clients sont confrontés :

Transformer des demandes en langage naturel en décisions optimales et en temps réel concernant les ressources, tout en faisant strictement respecter les contraintes opérationnelles, réglementaires et financières.

Ce défi est au cœur de la logistique et des chaînes d’approvisionnement modernes, notamment de la planification du personnel, de l’allocation des actifs, de l’acheminement, de la planification des commandes et de la gestion des capacités. C’est également dans ce domaine que les LLM et les solveurs formels doivent collaborer pour produire des systèmes dignes de confiance. Pour notre évaluation, nous avons créé des scénarios de test, des sources de données et des contraintes contrôlés, ainsi que 240 requêtes synthétiques. En voici quelques exemples :

• Veuillez réviser le planning existant à la suite d’une annulation. Le site cible doit être entièrement approvisionné d’ici le 24 décembre 2025. Dans la mesure du possible, prélevez les stocks dans un entrepôt proche et faites-les transiter par un point de groupage précis. La date de début la plus proche autorisée est le 14 décembre 2025.

• Demande de dernière minute : une personnalité arrivera sur le site A dans trois heures. Le personnel requis doit être sur place dans les deux heures. Veuillez ajuster les affectations du personnel tout en limitant les modifications du planning existant.

Ces requêtes montrent que le système doit extraire et appliquer de manière fiable les contraintes strictes et souples directement issues des demandes en langage naturel :

• Les contraintes strictes ne sont pas négociables (par exemple, les dates de début les plus proches, les clauses contractuelles et les plafonds de capacité). La violation d’une seule d’entre elles invalide la solution.

• Les contraintes souples expriment des préférences, telles que la réduction des retards, des coûts et du nombre de modifications. L’objectif est d’optimiser sans franchir les limites strictes.

Certains aspects de ces problèmes d’optimisation ne peuvent pas être entièrement prédéfinis. Ils doivent être assemblés dynamiquement en s’appuyant non seulement sur des contraintes et des objectifs prédéfinis provenant de la logique métier structurée, des documents internes et des données opérationnelles, mais aussi sur la demande de l’utilisateur.

Pour comprendre les performances de différentes techniques dans ce contexte, nous avons mis en œuvre et comparé trois approches.

1. LLM seul : l’approche la plus simple transmet toutes les données pertinentes et la demande en langage naturel de l’utilisateur à un prompt destiné à un seul LLM, qui doit produire un plan ou une allocation optimale. Cette méthode peut fonctionner pour les problèmes de petite taille ou soumis à peu de contraintes, mais elle échoue à mesure que la complexité augmente. Le modèle peut ignorer des contraintes, privilégier le mauvais objectif ou produire des plans qui semblent raisonnables, mais sont irréalisables, sans moyen fiable de détecter ou d’éviter les défaillances.

2. LLM + Interpréteur de code : dans cette approche, le LLM interprète la demande et utilise des outils pour accéder aux sources de données et générer un code d’optimisation exécutable. Cette méthode apporte davantage de flexibilité et d’observabilité, mais sa fiabilité demeure problématique. Le LLM doit toujours traduire les contraintes en code correct, et de petites erreurs de raisonnement ou de programmation peuvent produire des résultats invalides ou sous-optimaux, en particulier lorsque le nombre de contraintes augmente.

3. Approche hybride : LLM → contraintes structurées → solveur déterministe : la troisième approche sépare les responsabilités. Le LLM ne « décide » jamais du résultat ; il contribue à formaliser les variables, les contraintes et les objectifs. Un solveur d’optimisation éprouvé applique les contraintes, garantit la faisabilité et produit des résultats vérifiables et auditables. Le rôle du LLM se limite à traduire les demandes en langage naturel en contraintes explicites et structurées à l’aide de schémas prédéfinis. Ces contraintes sont automatiquement compilées en code destiné à un solveur tel qu’OR-Tools, qui calcule de manière déterministe une solution réalisable et optimale.

Nous avons testé les méthodes avec plusieurs LLM, notamment GPT-5, GPT-5.1 et GPT-5.2. Comme prévu, l’approche hybride a surpassé les autres :

Notre méthode hybride démontre une augmentation substantielle de la précision, une efficacité en tokens plus de 4 fois supérieure et une réduction de la latence d’un ordre de grandeur.

Notre prochaine étape consiste à créer une interface généralisable et réutilisable qui convertit le langage naturel en représentations sémantiques structurées, que notre backend peut traduire en code prêt pour le solveur. Pour cette expérience, nous nous sommes concentrés sur les problèmes d’optimisation linéaire et avons évalué l’approche sur trois jeux de données publics (NLP4LP, NL4OPT et IndustryOR).

1. LLM autonome

2. Méthode hybride (LLM → règles structurées → solveur → résultat vérifié)

• Utiliser un LLM pour extraire de l’entrée les variables, les contraintes et les objectifs, puis formuler un problème d’optimisation structuré.

• Transmettre le problème structuré et la demande d’origine à un LLM pour une auto-vérification.

• Traduire le problème structuré en code OR-Tools afin de calculer l’affectation optimale.

Nous avons évalué cette approche avec des modèles propriétaires de pointe, notamment GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max et GPT-5.2, ainsi qu’avec des modèles open source tels que Kimi K2, les modèles GPT-OSS et MiniMax M2. Les diagrammes en boîte résument les résultats de chaque méthode.

Pour presque tous les modèles de langage sous-jacents évalués, l’approche hybride produit systématiquement des résultats plus précis, stables et vérifiables que la référence fondée sur un LLM autonome. Bien que les performances absolues varient selon les modèles, les gains relatifs de l’approche hybride restent constants. Cela suggère que les améliorations proviennent de la séparation entre la compréhension du langage naturel et l’optimisation formelle, plutôt que de la capacité de raisonnement d’un modèle particulier.

Précision

Sur NLP4LP et NL4OPT, qui comprennent principalement des problèmes de programmation linéaire, la méthode hybride atteint une précision proche du maximum et surpasse l’utilisation de prompts avec un LLM autonome. Au lieu de produire un raisonnement « approximativement correct », le système hybride génère plus systématiquement des formulations mathématiques valides et bien formées. Sur le jeu de données IndustryOR, plus difficile, la précision diminue pour les deux méthodes, mais pour des raisons différentes. De nombreux problèmes d’IndustryOR impliquent des structures combinatoires, telles que l’acheminement des véhicules, l’ordonnancement des tâches et l’affectation du personnel, qui dépassent les capacités d’optimisation linéaire actuellement prises en charge par notre backend de solveur.

L’analyse des modes de défaillance montre que les LLM autonomes enfreignent fréquemment les contraintes requises, comme illustré ci-dessous :

Exemple 1 :

1"A bodybuilder buys prepared meals: a turkey dinner and a tuna salad sandwich. The turkey dinner contains 20 grams of protein, 30 grams of carbohydrates, and 12 grams of fat. The tuna salad sandwich contains 18 grams of protein, 25 grams of carbohydrates, and 8 grams of fat. The bodybuilder needs at least 150 grams of protein and 200 grams of carbohydrates. Because turkey dinners are expensive, no more than 40% of the meals should be turkey dinners. How many of each meal should the bodybuilder eat to minimize total fat intake?"

Le LLM autonome produit une solution dont la teneur totale en matières grasses est plus faible, mais ne respecte pas l’exigence selon laquelle les repas à base de dinde ne doivent pas représenter plus de 40 % des repas. L’approche hybride applique correctement cette contrainte stricte et renvoie une réponse valide.

Exemple 2 :

1"A hospitalized patient can take two pills: Pill 1 and Pill 2. Each Pill 1 provides 0.2 units of pain medication and 0.3 units of anxiety medication. Each Pill 2 provides 0.6 units of pain medication and 0.2 units of anxiety medication. Pill 1 causes 0.3 units of discharge, while Pill 2 causes 0.1 units. At most 6 units of pain medication may be provided, and at least 3 units of anxiety medication must be provided. How many of each pill should the patient receive to minimize total discharge?"

Le LLM autonome produit de nouveau une solution avec moins de sorties, mais dépasse la limite maximale autorisée d’antalgiques. L’approche hybride applique correctement cette contrainte stricte et renvoie une réponse valide.

Latence et utilisation des tokens

Les données de latence et d’utilisation des tokens révèlent une distinction importante. L’approche hybride présente une latence moyenne et une utilisation des tokens supérieures à celles d’un prompt LLM unique, mais cela reflète des choix architecturaux plutôt qu’un manque d’efficacité.

Le pipeline hybride comprend :

1. Un ou plusieurs appels à un LLM pour extraire des variables, des contraintes et des objectifs structurés.

2. Une étape d’auto-vérification pour détecter les incohérences internes.

Bien que ces étapes entraînent un surcoût par rapport à un prompt unique, la latence reste limitée et prévisible, et l’exécution du solveur est généralement rapide une fois le problème correctement formulé. Ce travail supplémentaire crée des représentations intermédiaires explicites, réutilisables et auditables. À l’inverse, les approches fondées uniquement sur un LLM condensent le raisonnement en une génération opaque, reportant les coûts sur les nouvelles tentatives, les contrôles manuels et les défaillances en aval. Les prochaines versions pourront réduire ce surcoût grâce aux mesures suivantes :

• Mise en cache des schémas extraits.

• Mise à jour incrémentielle des contraintes.

• Amélioration de l’orchestration des prompts et des appels.

Transparence et auditabilité

Enfin, même lorsque les deux méthodes échouent, la nature de leur mode de défaillance est fondamentalement différente.

• Avec un LLM autonome, les défaillances sont souvent silencieuses : le modèle peut renvoyer un résultat subtilement erroné.

• Avec l’approche hybride, la formulation explicite du problème rend les défaillances transparentes et aide les équipes à déterminer quelle partie de la formulation a causé une erreur.

De futures versions pourraient présenter ces formulations dans une interface, afin que les utilisateurs puissent les auditer ou les vérifier avant l’exécution du solveur. Cette transparence améliore la précision mesurée et facilite le débogage et le perfectionnement du système, ce qui est essentiel à son déploiement dans des conditions réelles.

À retenir

Sur tous les bancs d’essai et pour la plupart des modèles sous-jacents testés, les résultats confortent une conclusion centrale de nos travaux :

Les LLM excellent dans la compréhension et la traduction de l’intention, mais les solveurs déterministes sont essentiels pour garantir l’exactitude.

L’approche hybride transforme le langage naturel, source d’ambiguïté, en une interface fiable pour une prise de décision mathématiquement rigoureuse. Elle rapproche ainsi l’IA d’entreprise de systèmes non seulement intelligents, mais aussi dignes de confiance.

Les contraintes d’entreprise se présentent rarement sous forme de schémas bien ordonnés ou de prompts parfaitement formulés. Elles sont dispersées entre des bases de données, des feuilles de calcul, des politiques internes et des contrats. Les demandes des utilisateurs peuvent être incomplètes, ambiguës ou incompatibles avec les règles métier. Pour déployer cette approche à grande échelle, nous développons un moteur backend réutilisable qui transforme cette complexité en une capacité d’entreprise fiable.

Ce moteur constitue fondamentalement l’ossature formelle des systèmes décisionnels pilotés par l’IA et fournit :

• Une base de connaissances symbolique dotée d’adaptateurs qui importent les règles métier, les contraintes, les variables et les objectifs.

• Une couche de traduction qui compile les schémas en code destiné au solveur.

• Des interfaces permettant aux équipes d’examiner, d’auditer et de modifier les contraintes.

Bien que ces expériences portent actuellement sur l’optimisation, la même méthode peut être étendue à la vérification logique. Les applications métier potentielles comprennent :

• Planifier, acheminer et allouer dynamiquement des ressources de façon ponctuelle tout en faisant respecter chaque contrainte opérationnelle.

• Générer des réponses et des recommandations qui respectent systématiquement les règles métier.

• Concevoir et valider des objets 3D, des vidéos et des architectures complexes, tout en détectant les conceptions irréalisables avant la production.

L’IA est aujourd’hui puissante, mais les entreprises ont besoin de plus que de la puissance : il leur faut de l’exactitude, de la cohérence et du contrôle. Notre système hybride associant LLM et solveur constitue une avancée vers un monde où :

• Les agents n’inventent pas de règles ni de contraintes.

• La déduction logique et l’optimisation sont mathématiquement rigoureuses.

• Le langage naturel sert d’interface universelle avec les systèmes déterministes.