Os grandes modelos de linguagem (LLMs) avançaram extraordinariamente na compreensão da linguagem natural, na geração de respostas fluentes e na criação de experiências totalmente novas para clientes e funcionários. No entanto, como os LLMs são inerentemente estocásticos, seu uso em raciocínios numéricos ou lógicos complexos oferece poucas garantias de que os resultados estarão em conformidade ou serão ideais. Por exemplo:
Um gerente diz a um assistente de planejamento de IA: "Ship as much as possible next week while keeping costs low," e o sistema apresenta um plano agressivo que parece eficiente, mas excede silenciosamente a capacidade do armazém e descumpre as garantias de entrega.
Um coordenador diz a um assistente de IA: "Reassign crews to reduce overnight stays and minimize disruption," e o modelo cria uma programação de menor custo que parece ideal, mas viola limites obrigatórios de jornada ou descanso.
Um assistente de IA para operações financeiras precisa aprovar transações sob rigorosas restrições regionais e de risco, mas libera uma transação suspeita ao inventar uma justificativa que parece estar em conformidade, embora viole a política interna.
Em ambientes com requisitos operacionais rigorosos, combinar LLMs com solucionadores formais ajuda a garantir que decisões orientadas por linguagem natural permaneçam dentro dos limites definidos e evitem resultados inviáveis, abaixo do ideal ou em desconformidade.
Nossa equipe de P&D está investigando uma abordagem híbrida que combina a criatividade e a flexibilidade dos LLMs com o rigor, as garantias e a transparência de solucionadores matemáticos formais como Z3, Pyomo e OR-Tools. Também estamos desenvolvendo um mecanismo reutilizável de IA formal para tornar esse recurso parte padrão da infraestrutura tecnológica empresarial. A plataforma permitirá que organizações importem regras de negócios diretamente de seus sistemas atuais, verifiquem continuamente as decisões em relação a essas regras e implantem agentes de IA com segurança, dentro de limites claramente definidos.
Nossa visão é reduzir o risco operacional e acelerar a tomada de decisões em escala. Os líderes tomam decisões mais rápidas e em conformidade com as políticas a partir de entradas em linguagem natural, enquanto as organizações podem automatizar mudanças pontuais em programação, alocação de recursos da cadeia de suprimentos, operações financeiras, verificação de políticas e até criação de vídeos ou projetos 3D. Proteções integradas impedem que resultados inviáveis, em desconformidade ou inseguros cheguem à produção.
Em experimentos controlados com problemas de otimização semelhantes aos de logística e três benchmarks públicos, nossa abordagem híbrida demonstrou consistentemente:
Maior precisão
Maior interpretabilidade e auditabilidade
Nossa abordagem inverte o paradigma usual de que "o LLM faz tudo" e adota o seguinte design:
Essa abordagem separa claramente as responsabilidades: os LLMs extraem regras e restrições da linguagem natural, enquanto solucionadores determinísticos como OR-Tools, Z3 e Pyomo cuidam da otimização e da verificação. O resultado reúne os pontos fortes das duas abordagens:
LLMs | Solucionadores | Híbrido (LLM + solucionador) | |
|---|---|---|---|
Compreensão da intenção humana em diferentes áreas | ✅ Excelente | ❌ Nenhuma | ✅ Excelente |
Comportamento determinístico | ❌ Não | ✅ Garantido | ✅ Sim |
Correção comprovável no raciocínio matemático e na otimização com múltiplas restrições | ⚠️ Frágil | ✅ Garantida | ✅ Sim |
Auditabilidade e interpretabilidade | ⚠️ Frágil | ✅ Clara | ✅ Clara |
Resistência a ruído e injeção no prompt | ❌ Vulnerável | ✅ Imune | ✅ Forte |
Começamos com um desafio enfrentado por alguns de nossos clientes:
Transformar solicitações em linguagem natural em decisões ideais de recursos em tempo real, aplicando rigorosamente restrições operacionais, políticas e de custo.
Esse desafio está no centro da logística e das cadeias de suprimentos modernas, incluindo programação de equipes, alocação de ativos, roteamento, planejamento de atendimento e gestão de capacidade. É também onde LLMs e solucionadores formais precisam trabalhar juntos para criar sistemas confiáveis. Para nossa avaliação, criamos cenários de teste controlados, fontes de dados e restrições, além de 240 consultas sintéticas. Alguns exemplos:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
As consultas mostram que o sistema precisa extrair e aplicar com confiabilidade restrições rígidas e flexíveis diretamente de solicitações em linguagem natural:
Restrições rígidas são inegociáveis (por exemplo, datas mínimas de início, termos contratuais e limites de capacidade). Violar qualquer uma delas invalida a solução.
Restrições flexíveis representam preferências, como minimizar atrasos, reduzir custos e limitar alterações. O objetivo é otimizar sem ultrapassar os limites rígidos.
Alguns aspectos desses problemas de otimização não podem ser totalmente predefinidos. Eles precisam ser montados dinamicamente com base não só em restrições e objetivos predefinidos na lógica de negócios estruturada, em documentos internos e em dados operacionais, mas também na solicitação do usuário.
Para entender o desempenho de diferentes técnicas nesse contexto, implementamos e comparamos três abordagens.
LLM puro: a abordagem mais simples envia todos os dados relevantes e a solicitação do usuário em linguagem natural para um único prompt de LLM, que deve gerar um plano ou uma alocação ideal. Embora isso possa funcionar em problemas pequenos ou com poucas restrições, a abordagem deixa de funcionar à medida que a complexidade aumenta. O modelo pode ignorar restrições, priorizar o objetivo errado ou criar planos que parecem razoáveis, mas são inviáveis, sem uma forma confiável de detectar ou evitar as falhas.
LLM + Code Interpreter: nessa abordagem, o LLM interpreta a solicitação e usa ferramentas para acessar fontes de dados e gerar código de otimização executável. Isso oferece mais flexibilidade e observabilidade, mas a confiabilidade ainda é um problema. O LLM ainda precisa traduzir as restrições em código correto, e pequenos erros de raciocínio ou programação podem gerar resultados inválidos ou abaixo do ideal, especialmente com o aumento das restrições.
Híbrida: LLM → restrições estruturadas → solucionador determinístico: a terceira abordagem separa as responsabilidades. O LLM nunca "decide" o resultado; ele ajuda a formalizar as variáveis, restrições e objetivos. Um solucionador de otimização comprovado aplica as restrições, garante a viabilidade e gera resultados que podem ser verificados e auditados. A função do LLM limita-se a traduzir solicitações em linguagem natural em restrições explícitas e estruturadas usando esquemas predefinidos. Essas restrições são compiladas automaticamente em código para o solucionador, como OR-Tools, que calcula de forma determinística uma solução viável e ideal.
Testamos os métodos usando vários LLMs, incluindo GPT-5, GPT-5.1 e GPT-5.2. Como esperado, a abordagem híbrida superou as alternativas:
Método | Precisão da alocação | Latência média | Tokens usados por consulta |
|---|---|---|---|
LLM puro | 70–78% | 62–190 s | ~175.000 |
LLM + Code Interpreter | 82–84% | 62–140 s | ~9.000 |
LLM → solucionador (híbrido) | 95–97% | 6–25 s | ~2.000 |
Nosso método híbrido demonstra um aumento substancial na precisão, eficiência de tokens mais de quatro vezes maior e uma redução de uma ordem de grandeza na latência.
Nosso próximo passo é criar uma interface generalizável e reutilizável que converta linguagem natural em representações semânticas estruturadas, que nosso backend possa traduzir em código pronto para o solucionador. Neste experimento, nos concentramos em problemas de otimização linear e avaliamos a abordagem com três conjuntos de dados públicos (NLP4LP, NL4OPT e IndustryOR).
LLM independente
Método híbrido (LLM → regras estruturadas → solucionador → resultado verificado)
Usar um LLM para extrair variáveis, restrições e objetivos da entrada e formular um problema de otimização estruturado.
Enviar o problema estruturado e a solicitação original a um LLM para autoverificação.
Traduzir o problema estruturado em código OR-Tools para calcular a alocação ideal.
Avaliamos essa abordagem usando modelos proprietários de fronteira, incluindo GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max e GPT-5.2, além de modelos de código aberto como Kimi K2, modelos GPT-OSS e MiniMax M2. Os diagramas de caixa resumem os resultados de cada método.
Em quase todos os modelos de linguagem subjacentes avaliados, a abordagem híbrida gera consistentemente resultados mais precisos, estáveis e verificáveis que a referência baseada em um LLM independente. Embora o desempenho absoluto varie entre os modelos, os ganhos relativos da abordagem híbrida permanecem consistentes. Isso sugere que as melhorias resultam da separação entre a compreensão da linguagem natural e a otimização formal, e não da dependência da capacidade de raciocínio de um único modelo.
Precisão
No NLP4LP e no NL4OPT, compostos principalmente por problemas de programação linear, o método híbrido alcança uma precisão próxima do máximo e supera o uso de prompts com LLMs independentes. Em vez de produzir um raciocínio "aproximadamente correto", o sistema híbrido gera formulações matemáticas válidas e bem estruturadas com mais consistência. No conjunto de dados IndustryOR, mais desafiador, a precisão cai nos dois métodos, mas por motivos diferentes. Muitos problemas do IndustryOR envolvem estruturas combinatórias, como roteamento de veículos, sequenciamento de tarefas e alocação de equipes, que excedem os recursos de otimização linear atualmente disponíveis no backend do nosso solucionador.
A análise dos modos de falha mostra que LLMs independentes frequentemente violam restrições obrigatórias, como ilustrado abaixo:
Exemplo 1:
Plain Text
O LLM independente gera uma solução com menos gordura total, mas viola a exigência de que refeições com peru representem no máximo 40% das refeições. A abordagem híbrida aplica corretamente essa restrição rígida e retorna uma resposta válida.
Exemplo 2:
Plain Text
O LLM independente novamente gera uma solução com menor descarga, mas ultrapassa o limite máximo permitido de analgésicos. A abordagem híbrida aplica corretamente essa restrição rígida e retorna uma resposta válida.
Latência e uso de tokens
Os dados de latência e uso de tokens revelam uma diferença importante. A abordagem híbrida apresenta latência média e uso de tokens maiores que um único prompt de LLM, mas isso reflete escolhas de arquitetura, não ineficiência.
O pipeline híbrido inclui:
Uma ou mais chamadas ao LLM para extrair variáveis, restrições e objetivos estruturados.
Uma etapa de autoverificação para detectar inconsistências internas.
Embora essas etapas adicionem sobrecarga em comparação com um único prompt, a latência permanece limitada e previsível, e a execução do solucionador costuma ser rápida quando o problema está bem formulado. O trabalho adicional cria representações intermediárias explícitas, reutilizáveis e auditáveis. Em contrapartida, abordagens com LLMs independentes condensam o raciocínio em uma única geração opaca, transferindo os custos para novas tentativas, verificações manuais e falhas posteriores. Versões futuras poderão reduzir essa sobrecarga por meio de:
Armazenamento em cache dos esquemas extraídos.
Atualização incremental das restrições.
Aprimoramento da orquestração de prompts e chamadas.
Transparência e auditabilidade
Por fim, mesmo quando os dois métodos falham, o próprio modo de falha é essencialmente diferente.
Com um LLM independente, as falhas muitas vezes são silenciosas: o modelo pode retornar um resultado sutilmente incorreto.
Na abordagem híbrida, a formulação explícita do problema torna as falhas transparentes e ajuda as equipes a identificar qual parte da formulação causou o erro.
Versões futuras poderão exibir essas formulações em uma interface, permitindo que os usuários as auditem ou verifiquem antes da execução do solucionador. Essa transparência melhora a precisão medida e facilita a depuração e o aprimoramento do sistema, algo essencial para a implantação no mundo real.
Principal conclusão
Em todos os benchmarks e na maioria dos modelos subjacentes testados, os resultados reforçam uma conclusão central do nosso trabalho:
Os LLMs são excelentes para compreender e traduzir intenções, mas solucionadores determinísticos são essenciais para garantir a correção.
A abordagem híbrida transforma a linguagem natural, antes fonte de ambiguidade, em uma interface confiável para decisões matematicamente sólidas, aproximando a IA empresarial de sistemas que sejam não apenas inteligentes, mas também confiáveis.
As restrições empresariais raramente estão organizadas em esquemas claros ou prompts perfeitamente formulados. Elas estão dispersas em bancos de dados, planilhas, políticas internas e contratos. As solicitações dos usuários podem estar incompletas, ser ambíguas ou contrariar as regras de negócios. Para aplicar essa abordagem em escala, estamos criando um mecanismo de backend reutilizável que transforma essa complexidade em um recurso empresarial confiável.
Em sua essência, esse mecanismo funciona como a base formal de sistemas de decisão orientados por IA, oferecendo:
Uma base de conhecimento simbólica com adaptadores que importam regras de negócios, restrições, variáveis e objetivos.
Uma camada de tradução que compila esquemas em código para o solucionador.
Interfaces que permitem às equipes inspecionar, auditar e modificar restrições.
Embora estes experimentos se concentrem atualmente em otimização, o mesmo método pode ser aplicado à verificação lógica. Entre as possíveis aplicações empresariais estão:
Realizar programação, roteamento e alocação dinâmica de recursos de forma pontual, respeitando todas as restrições operacionais.
Gerar respostas e recomendações que respeitem consistentemente as regras de negócios.
Criar e validar objetos 3D, vídeos e arquiteturas complexas, detectando projetos inviáveis antes da produção.
A IA atual é poderosa, mas as empresas precisam de mais do que poder: precisam de correção, consistência e controle. Nosso sistema híbrido de LLM e solucionador é um passo rumo a um mundo em que:
Os agentes não alucinem regras nem restrições.
A dedução lógica e a otimização sejam matematicamente sólidas.
A linguagem natural sirva como interface universal para sistemas determinísticos.