Model bahasa besar (LLM) telah mencapai kemajuan luar biasa dalam memahami bahasa alami, menghasilkan respons yang lancar, dan mendukung pengalaman pelanggan maupun karyawan yang sepenuhnya baru. Namun, karena LLM pada dasarnya bersifat stokastik, penggunaannya untuk penalaran numerik atau logis yang kompleks hanya memberikan jaminan terbatas bahwa keluarannya akan patuh atau optimal. Contohnya:
Seorang manajer memberi tahu asisten perencanaan AI, “Ship as much as possible next week while keeping costs low,” lalu sistem menyusun rencana agresif yang tampak efisien, tetapi diam-diam melampaui kapasitas gudang dan melanggar jaminan pengiriman.
Seorang koordinator memberi tahu asisten AI, “Reassign crews to reduce overnight stays and minimize disruption,” lalu model menghasilkan jadwal berbiaya lebih rendah yang tampak optimal, tetapi melanggar batas wajib waktu tugas atau istirahat.
Asisten AI operasi keuangan harus menyetujui transaksi berdasarkan batasan wilayah dan risiko yang ketat, tetapi justru meloloskan transaksi mencurigakan dengan mengarang alasan yang terdengar patuh meski melanggar kebijakan internal.
Dalam lingkungan dengan persyaratan operasional yang ketat, menggabungkan LLM dengan solver formal membantu memastikan keputusan berbasis bahasa alami tetap berada dalam batas yang ditetapkan serta menghindari hasil yang tidak layak, kurang optimal, atau tidak patuh.
Tim R&D kami sedang meneliti pendekatan hibrida yang memadukan kreativitas dan fleksibilitas LLM dengan ketelitian, jaminan, dan transparansi solver matematika formal seperti Z3, Pyomo, dan OR-Tools. Kami juga membangun mesin AI formal yang dapat digunakan kembali agar kemampuan ini menjadi bagian standar dari rangkaian teknologi perusahaan. Platform ini akan memungkinkan organisasi menyerap aturan bisnis langsung dari sistem yang ada, terus memverifikasi keputusan berdasarkan aturan tersebut, dan menerapkan agen AI secara aman dalam batas yang ditetapkan dengan jelas.
Visi kami adalah mengurangi risiko operasional sekaligus mempercepat pengambilan keputusan dalam skala besar. Para pemimpin dapat mengambil keputusan berbasis masukan bahasa alami dengan lebih cepat dan sesuai kebijakan, sementara organisasi dapat mengotomatiskan perubahan ad hoc pada penjadwalan, alokasi sumber daya rantai pasok, operasi keuangan, verifikasi kebijakan, bahkan desain video atau 3D. Perlindungan bawaan mencegah hasil yang tidak layak, tidak patuh, atau tidak aman masuk ke tahap produksi.
Dalam eksperimen terkendali yang mencakup masalah optimisasi ala logistik dan tiga tolok ukur publik, pendekatan hibrida kami secara konsisten menunjukkan:
Akurasi lebih tinggi
Interpretabilitas dan kemampuan audit yang lebih baik
Pendekatan kami membalik paradigma umum “LLM menangani semuanya” dan mengikuti rancangan berikut:
Pendekatan ini memisahkan tanggung jawab secara jelas: LLM mengekstrak aturan dan batasan dari bahasa alami, sedangkan solver deterministik seperti OR-Tools, Z3, dan Pyomo menangani optimisasi dan verifikasi. Hasilnya memadukan keunggulan kedua pendekatan:
LLM | Solver | Hibrida (LLM + Solver) | |
|---|---|---|---|
Memahami maksud manusia di berbagai bidang | ✅ Sangat baik | ❌ Tidak ada | ✅ Sangat baik |
Perilaku deterministik | ❌ Tidak | ✅ Terjamin | ✅ Ya |
Dapat dibuktikan benar dalam penalaran matematika dan optimisasi dengan banyak batasan | ⚠️ Rentan | ✅ Terjamin | ✅ Ya |
Kemampuan audit dan interpretabilitas | ⚠️ Rentan | ✅ Jelas | ✅ Jelas |
Ketahanan terhadap derau dan injeksi prompt | ❌ Rentan | ✅ Kebal | ✅ Kuat |
Kami memulai dengan tantangan yang dihadapi beberapa klien kami:
Mengubah permintaan bahasa alami menjadi keputusan sumber daya yang optimal dan real-time, dengan tetap memastikan batasan operasional, kebijakan, dan biaya dipatuhi secara ketat.
Tantangan ini merupakan inti logistik dan rantai pasok modern, termasuk penjadwalan tenaga kerja, alokasi aset, penentuan rute, perencanaan pemenuhan, dan pengelolaan kapasitas. Di bidang ini pula LLM dan solver formal perlu bekerja sama untuk menghasilkan sistem yang dapat dipercaya. Untuk evaluasi, kami membuat skenario pengujian, sumber data, dan batasan yang terkendali, beserta 240 kueri sintetis. Contohnya meliputi:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Dari kueri tersebut, terlihat bahwa sistem harus dapat mengekstrak dan menerapkan batasan keras dan lunak secara andal langsung dari permintaan bahasa alami:
Batasan keras tidak dapat ditawar (misalnya tanggal mulai paling awal, ketentuan kontrak, dan batas kapasitas). Pelanggaran terhadap salah satunya membuat solusi tidak valid.
Batasan lunak merepresentasikan preferensi, seperti meminimalkan keterlambatan, mengurangi biaya, dan membatasi perubahan. Tujuannya adalah melakukan optimisasi tanpa melanggar batasan keras.
Beberapa aspek masalah optimisasi ini tidak dapat sepenuhnya ditetapkan sebelumnya. Aspek tersebut harus dirangkai secara dinamis dengan memanfaatkan bukan hanya batasan dan tujuan yang telah ditetapkan dari logika bisnis terstruktur, dokumen internal, dan data operasional, tetapi juga permintaan pengguna.
Untuk memahami kinerja berbagai teknik dalam konteks ini, kami menerapkan dan membandingkan tiga pendekatan.
LLM murni: Pendekatan paling sederhana meneruskan seluruh data relevan dan permintaan bahasa alami pengguna ke satu prompt LLM, lalu memintanya menghasilkan rencana atau alokasi yang optimal. Cara ini dapat berfungsi untuk masalah kecil atau dengan batasan longgar, tetapi mulai gagal seiring meningkatnya kompleksitas. Model dapat mengabaikan batasan, memprioritaskan tujuan yang keliru, atau menghasilkan rencana yang terdengar masuk akal tetapi tidak layak, tanpa cara andal untuk mendeteksi atau mencegah kegagalan.
LLM + Penerjemah Kode: Dalam pendekatan ini, LLM menafsirkan permintaan dan menggunakan alat untuk mengakses sumber data serta menghasilkan kode optimisasi yang dapat dieksekusi. Hal ini meningkatkan fleksibilitas dan observabilitas, tetapi keandalan masih menjadi masalah. LLM tetap harus menerjemahkan batasan menjadi kode yang benar, dan kesalahan kecil dalam penalaran atau pemrograman dapat menghasilkan keluaran yang tidak valid atau kurang optimal, terutama ketika jumlah batasan meningkat.
Hibrida: LLM → batasan terstruktur → solver deterministik: Pendekatan ketiga memisahkan tanggung jawab. LLM tidak pernah “menentukan” hasil; LLM membantu memformalkan variabel, batasan, dan tujuan. Solver optimisasi yang telah teruji menerapkan batasan, menjamin kelayakan, serta menghasilkan keluaran yang dapat diverifikasi dan diaudit. Peran LLM terbatas pada penerjemahan permintaan bahasa alami menjadi batasan yang eksplisit dan terstruktur menggunakan skema yang telah ditetapkan. Batasan tersebut otomatis dikompilasi menjadi kode solver, seperti OR-Tools, yang menghitung solusi optimal dan layak secara deterministik.
Kami menguji metode tersebut menggunakan beberapa LLM, termasuk GPT-5, GPT-5.1, dan GPT-5.2. Seperti yang diharapkan, pendekatan hibrida mengungguli alternatif lainnya:
Metode | Akurasi penugasan | Latensi rata-rata | Token yang digunakan per kueri |
|---|---|---|---|
LLM murni | 70–78% | 62–190 dtk. | ~175.000 |
LLM + Penerjemah Kode | 82–84% | 62–140 dtk. | ~9.000 |
LLM → Solver (Hibrida) | 95–97% | 6–25 dtk. | ~2.000 |
Metode hibrida kami menunjukkan peningkatan akurasi yang substansial, efisiensi token lebih dari 4× lebih tinggi, dan pengurangan latensi hingga satu orde magnitudo.
Langkah kami berikutnya adalah membangun antarmuka umum yang dapat digunakan kembali untuk mengubah bahasa alami menjadi representasi semantik terstruktur, yang kemudian dapat diterjemahkan backend kami menjadi kode siap solver. Untuk eksperimen ini, kami berfokus pada masalah optimisasi linear dan mengevaluasi pendekatan tersebut menggunakan tiga set data publik (NLP4LP, NL4OPT, dan IndustryOR).
LLM mandiri
Metode hibrida (LLM → aturan terstruktur → solver → keluaran terverifikasi)
Menggunakan LLM untuk mengekstrak variabel, batasan, dan tujuan dari masukan, lalu merumuskan masalah optimisasi terstruktur.
Meneruskan masalah terstruktur dan permintaan asli ke LLM untuk verifikasi mandiri.
Menerjemahkan masalah terstruktur menjadi kode OR-Tools untuk menghitung penugasan optimal.
Kami mengevaluasi pendekatan ini menggunakan model terdepan milik sendiri, termasuk GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max, dan GPT-5.2, serta model sumber terbuka seperti Kimi K2, model GPT-OSS, dan MiniMax M2. Diagram kotak merangkum hasil setiap metode.
Pada hampir semua model bahasa dasar yang dievaluasi, pendekatan hibrida secara konsisten menghasilkan keluaran yang lebih akurat, stabil, dan dapat diverifikasi dibandingkan tolok dasar LLM mandiri. Walaupun kinerja absolut berbeda-beda antar-model, peningkatan relatif dari pendekatan hibrida tetap konsisten. Hal ini menunjukkan bahwa peningkatan tersebut berasal dari pemisahan pemahaman bahasa alami dan optimisasi formal, bukan dari ketergantungan pada kemampuan penalaran satu model tertentu.
Akurasi
Pada NLP4LP dan NL4OPT, yang terutama terdiri dari masalah pemrograman linear, metode hibrida mencapai akurasi mendekati batas maksimum dan mengungguli penggunaan prompt LLM mandiri. Alih-alih menghasilkan penalaran yang “kira-kira benar”, sistem hibrida lebih konsisten menghasilkan rumusan matematika yang valid dan tersusun dengan baik. Pada set data IndustryOR yang lebih menantang, akurasi kedua metode menurun, tetapi dengan alasan berbeda. Banyak masalah IndustryOR melibatkan struktur kombinatorial, seperti penentuan rute kendaraan, pengurutan tugas, dan penugasan tenaga kerja, yang melampaui kemampuan optimisasi linear yang saat ini didukung backend solver kami.
Analisis terhadap jenis kegagalan menunjukkan bahwa LLM mandiri sering melanggar batasan wajib, seperti ditunjukkan di bawah ini:
Contoh 1:
Plain Text
LLM mandiri menghasilkan solusi dengan total lemak lebih rendah, tetapi melanggar ketentuan bahwa makan malam kalkun tidak boleh melebihi 40% dari seluruh hidangan. Pendekatan hibrida menerapkan batasan keras ini dengan benar dan menghasilkan jawaban yang valid.
Contoh 2:
Plain Text
LLM mandiri kembali menghasilkan solusi dengan jumlah pemulangan lebih rendah, tetapi melampaui batas maksimum obat pereda nyeri yang diizinkan. Pendekatan hibrida menerapkan batasan keras tersebut dengan benar dan menghasilkan jawaban yang valid.
Latensi dan penggunaan token
Data latensi dan penggunaan token menunjukkan perbedaan penting. Pendekatan hibrida memiliki latensi rata-rata dan penggunaan token yang lebih tinggi daripada satu prompt LLM sekali jalan, tetapi hal ini mencerminkan pilihan arsitektur, bukan inefisiensi.
Alur hibrida mencakup:
Satu atau beberapa panggilan LLM untuk mengekstrak variabel, batasan, dan tujuan terstruktur.
Langkah verifikasi mandiri untuk mendeteksi inkonsistensi internal.
Walaupun langkah-langkah ini menambah beban dibandingkan satu prompt, latensi tetap terbatas dan dapat diprediksi, sedangkan eksekusi solver biasanya cepat setelah masalah dirumuskan dengan baik. Pekerjaan tambahan ini menghasilkan representasi perantara yang eksplisit, dapat digunakan kembali, dan dapat diaudit. Sebaliknya, pendekatan LLM mandiri memadatkan penalaran ke dalam satu proses pembuatan yang tidak transparan sehingga biaya beralih ke percobaan ulang, pemeriksaan manual, dan kegagalan lanjutan. Iterasi mendatang dapat mengurangi beban ini melalui:
Menyimpan skema hasil ekstraksi dalam cache.
Memperbarui batasan secara bertahap.
Meningkatkan orkestrasi prompt dan panggilan.
Transparansi dan kemampuan audit
Terakhir, bahkan ketika kedua metode gagal, karakter kegagalannya sangat berbeda.
Pada LLM mandiri, kegagalan sering terjadi tanpa terlihat: model dapat mengembalikan hasil yang keliru secara samar.
Pada pendekatan hibrida, perumusan masalah yang eksplisit membuat kegagalan terlihat jelas dan membantu tim mengidentifikasi bagian rumusan yang menyebabkan kesalahan.
Versi mendatang dapat menampilkan rumusan tersebut dalam antarmuka agar pengguna dapat mengaudit atau memverifikasinya sebelum solver dijalankan. Transparansi ini meningkatkan akurasi terukur serta memudahkan proses debug dan penyempurnaan sistem, yang sangat penting untuk penerapan di dunia nyata.
Inti sari
Di seluruh tolok ukur dan sebagian besar model dasar yang diuji, hasilnya menegaskan kesimpulan utama pekerjaan kami:
LLM unggul dalam memahami dan menerjemahkan maksud, tetapi solver deterministik sangat penting untuk memastikan kebenaran.
Pendekatan hibrida mengubah bahasa alami dari sumber ambiguitas menjadi antarmuka andal untuk pengambilan keputusan yang kuat secara matematis, membawa AI perusahaan selangkah lebih dekat ke sistem yang bukan hanya cerdas, tetapi juga tepercaya.
Batasan perusahaan jarang tersusun dalam skema yang rapi atau prompt dengan kata-kata sempurna. Batasan tersebut tersebar di basis data, spreadsheet, kebijakan internal, dan kontrak. Permintaan pengguna mungkin tidak lengkap, ambigu, atau tidak konsisten dengan aturan bisnis. Agar pendekatan ini dapat diterapkan dalam skala besar, kami membangun mesin backend yang dapat digunakan kembali untuk mengubah kompleksitas tersebut menjadi kemampuan perusahaan yang andal.
Pada intinya, mesin ini menjadi tulang punggung formal bagi sistem pengambilan keputusan berbasis AI dengan menyediakan:
Basis pengetahuan simbolis beserta adaptor yang menyerap aturan bisnis, batasan, variabel, dan tujuan.
Lapisan penerjemahan yang mengompilasi skema menjadi kode solver.
Antarmuka yang memungkinkan tim memeriksa, mengaudit, dan mengubah batasan.
Walaupun eksperimen ini saat ini berfokus pada optimisasi, metode yang sama dapat diperluas ke verifikasi logis. Potensi penerapan bisnis meliputi:
Melakukan penjadwalan dinamis ad hoc, penentuan rute, dan alokasi sumber daya sambil memastikan seluruh batasan operasional dipatuhi.
Menghasilkan jawaban dan rekomendasi yang selalu mematuhi aturan bisnis.
Merancang dan memvalidasi objek 3D, video, dan arsitektur yang kompleks sekaligus mendeteksi desain yang tidak layak sebelum produksi.
AI saat ini sangat mumpuni, tetapi perusahaan membutuhkan lebih dari sekadar kemampuan: mereka memerlukan kebenaran, konsistensi, dan kendali. Sistem hibrida LLM dan solver kami merupakan langkah menuju dunia tempat:
Agen tidak menghalusinasikan aturan atau batasan.
Deduksi logis dan optimisasi kuat secara matematis.
Bahasa alami menjadi antarmuka universal bagi sistem deterministik.