Model basa gedhe (LLM) wis ngalami kemajuan luar biasa kanggo mangerteni basa alami, ngasilake tanggapan sing lancar, lan nyengkuyung pengalaman anyar kanggo pelanggan lan karyawan. Nanging, amarga LLM pancen asipat stokastik, panganggone kanggo nalar angka utawa logika sing rumit mung menehi jaminan winates yen asilé bakal manut aturan utawa optimal. Contoné:
Manajer kandha marang asisten perencanaan AI, “Ship as much as possible next week while keeping costs low,” banjur sistem kasebut ngasilake rencana agresif sing katon efisien, nanging tanpa katara ngluwihi kapasitas gudhang lan nglanggar jaminan pangiriman.
Koordinator kandha marang asisten AI, “Reassign crews to reduce overnight stays and minimize disruption,” banjur model kasebut nggawe jadwal sing luwih murah lan katon optimal, nanging nglanggar watesan wajib babagan wektu tugas utawa ngaso.
Asisten AI operasi keuangan kudu nyetujoni transaksi miturut watesan wilayah lan risiko sing ketat, nanging malah nglolosake transaksi curiga kanthi ngarang alesan sing katon manut aturan, senajan nglanggar kabijakan internal.
Ing lingkungan kanthi syarat operasional sing ketat, nggabungake LLM karo solver formal mbantu mesthekake yen kaputusan adhedhasar basa alami tetep ana ing wates sing ditemtokake lan ora ngasilake asil sing ora layak, suboptimal, utawa ora manut aturan.
Tim R&D kita lagi nliti pendekatan hibrida sing nggabungake kreativitas lan keluwesan LLM karo kaketatan, jaminan, lan transparansi solver matematika formal kayata Z3, Pyomo, lan OR-Tools. Kita uga lagi mbangun mesin AI formal sing bisa dienggo maneh supaya kapabilitas iki dadi bagean standar saka tumpukan teknologi perusahaan. Platform iki bakal ngidini organisasi njupuk aturan bisnis langsung saka sistem sing wis ana, terus-terusan mriksa kaputusan adhedhasar aturan kasebut, lan masang agen AI kanthi aman ing wates sing ditetepake kanthi cetha.
Visi kita yaiku nyuda risiko operasional lan nyepetake panggawe kaputusan ing skala gedhe. Pimpinan bisa luwih cepet nggawe kaputusan sing manut kabijakan saka input basa alami, dene organisasi bisa ngotomatisasi owah-owahan ad hoc ing jadwal, alokasi sumber daya rantai pasokan, operasi keuangan, verifikasi kabijakan, malah desain video utawa 3D. Pangamanan gawan nyegah asil sing ora layak, ora manut aturan, utawa ora aman supaya ora mlebu produksi.
Ing eksperimen terkendali kanggo masalah optimasi kaya logistik lan telung pathokan umum, pendekatan hibrida kita kanthi konsisten nuduhake:
Akurasi luwih dhuwur
Luwih gampang dimangerteni lan diaudit
Pendekatan kita mbalik paradigma umum “LLM nindakake kabèh” lan nggunakake rancangan iki:
Pendekatan iki misahake tanggung jawab kanthi cetha: LLM njupuk aturan lan watesan saka basa alami, dene solver deterministik kayata OR-Tools, Z3, lan Pyomo nangani optimasi lan verifikasi. Asilé nggabungake kaunggulan saka loro pendekatan kasebut:
LLM | Solver | Hibrida (LLM + Solver) | |
|---|---|---|---|
Mangerteni maksud manungsa ing macem-macem bidang | ✅ Apik banget | ❌ Ora ana | ✅ Apik banget |
Prilaku deterministik | ❌ Ora | ✅ Dijamin | ✅ Ya |
Bisa dibuktekake bener ing nalar matematika lan optimasi kanthi akeh watesan | ⚠️ Rentan | ✅ Dijamin | ✅ Ya |
Gampang diaudit lan dimangerteni | ⚠️ Rentan | ✅ Cetha | ✅ Cetha |
Tahan gangguan lan injeksi prompt | ❌ Rentan | ✅ Kebal | ✅ Kuwat |
Kita miwiti saka tantangan sing diadhepi sawetara klien:
Ngowahi panjaluk basa alami dadi kaputusan sumber daya sing optimal lan wektu nyata, kanthi tetep ngetrapake watesan operasional, kabijakan, lan biaya kanthi ketat.
Tantangan iki dadi inti logistik lan rantai pasokan modern, kalebu jadwal tenaga kerja, alokasi aset, penentuan rute, perencanaan pemenuhan, lan manajemen kapasitas. Ing kéné uga LLM lan solver formal kudu makarya bebarengan kanggo ngasilake sistem sing bisa dipercaya. Kanggo evaluasi, kita nggawe skenario uji, sumber data, lan watesan sing terkendali, uga 240 pitakon sintetik. Contoné:
Please revise the existing schedule following a cancellation. The target facility must be fully supplied by 24 December 2025. When possible, source inventory from a nearby warehouse and route it through a specific consolidation point. The earliest allowable start date is 14 December 2025.
Last-minute request: a VIP will arrive at location A in three hours. We need the required staff on site within two hours. Please adjust staff allocations while minimizing changes to the existing schedule.
Saka pitakon kasebut, katon yen sistem kudu bisa njupuk lan ngetrapake watesan atos lan alus langsung saka panjaluk basa alami kanthi andal:
Watesan atos ora bisa ditawar (umpamane tanggal wiwitan paling awal, syarat kontrak, lan wates maksimal kapasitas). Nglanggar salah siji watesan kasebut ndadekake solusi ora sah.
Watesan alus nyatakake preferensi, kayata nyilikake keterlambatan, nyuda biaya, lan matesi owah-owahan. Sasarané yaiku ngoptimalake tanpa nglanggar watesan atos.
Sawetara aspek masalah optimasi iki ora bisa ditemtokake kanthi lengkap saka wiwitan. Aspek kasebut kudu dirakit kanthi dinamis, ora mung saka watesan lan sasaran sing wis ditemtokake ing logika bisnis terstruktur, dokumen internal, lan data operasional, nanging uga saka panjaluke pangguna.
Kanggo mangerteni kinerja macem-macem teknik ing kahanan iki, kita ngetrapake lan mbandhingake telung pendekatan.
LLM murni: Pendekatan paling prasaja ngirim kabèh data sing cocog lan panjaluk basa alami saka pangguna menyang siji prompt LLM, sing banjur dijaluk nggawe rencana utawa alokasi optimal. Pendekatan iki bisa digunakake kanggo masalah cilik utawa sing watesané longgar, nanging bakal gagal nalika kerumitan mundhak. Model bisa nglirwakake watesan, ngutamakake sasaran sing kliru, utawa nggawe rencana sing katon lumrah nanging ora layak, tanpa cara andal kanggo nemokake utawa nyegah kegagalan.
LLM + Code Interpreter: Ing pendekatan iki, LLM napsirake panjaluk lan nggunakake piranti kanggo ngakses sumber data lan nggawe kode optimasi sing bisa dieksekusi. Iki nambah keluwesan lan visibilitas, nanging keandalan isih dadi masalah. LLM isih kudu nerjemahake watesan dadi kode sing bener, lan kaluputan cilik ing nalar utawa kode bisa ngasilake asil sing ora sah utawa suboptimal, luwih-luwih nalika cacah watesan mundhak.
Hibrida: LLM → watesan terstruktur → solver deterministik: Pendekatan katelu misahake tanggung jawab. LLM ora tau “nemtokake” asil; LLM mung mbantu ngrumusake variabel, watesan, lan sasaran kanthi formal. Solver optimasi sing wis kabukten ngetrapake watesan, njamin kelayakan, lan ngasilake asil sing bisa diverifikasi lan diaudit. Peran LLM diwatesi kanggo nerjemahake panjaluk basa alami dadi watesan sing eksplisit lan terstruktur nganggo skema sing wis ditemtokake. Watesan kasebut kanthi otomatis dikompilasi dadi kode solver, kayata OR-Tools, sing kanthi deterministik ngetung solusi optimal sing layak.
Kita nguji metode kasebut nganggo sawetara LLM, kalebu GPT-5, GPT-5.1, lan GPT-5.2. Kaya sing dikarepake, pendekatan hibrida ngluwihi kinerja alternatif liyane:
Metode | Akurasi penugasan | Latensi rata-rata | Token saben pitakon |
|---|---|---|---|
LLM murni | 70–78% | 62–190 dtk | ~175.000 |
LLM + Code Interpreter | 82–84% | 62–140 dtk | ~9.000 |
LLM → Solver (Hibrida) | 95–97% | 6–25 dtk | ~2.000 |
Metode hibrida kita nuduhake paningkatan akurasi sing gedhe, efisiensi token luwih saka 4×, lan latensi mudhun nganti saprasepuluhé.
Langkah sabanjure yaiku mbangun antarmuka umum sing bisa dienggo maneh kanggo ngowahi basa alami dadi representasi semantik terstruktur, sing banjur bisa diterjemahake backend dadi kode siap-solver. Kanggo eksperimen iki, kita fokus ing masalah optimasi linear lan ngevaluasi pendekatan iki nganggo telung set data umum (NLP4LP, NL4OPT, lan IndustryOR).
LLM mandiri
Metode hibrida (LLM → aturan terstruktur → solver → asil terverifikasi)
Gunakake LLM kanggo njupuk variabel, watesan, lan sasaran saka input, banjur ngrumusake masalah optimasi terstruktur.
Kirim masalah terstruktur lan panjaluk asli menyang LLM kanggo verifikasi mandiri.
Terjemahake masalah terstruktur dadi kode OR-Tools kanggo ngetung penugasan optimal.
Kita ngevaluasi pendekatan iki nganggo model tercanggih proprieter, kalebu GPT-5.1, GPT-5 mini, GPT-5.1-Codex-Max, lan GPT-5.2, uga model sumber terbuka kayata Kimi K2, model GPT-OSS, lan MiniMax M2. Plot kothak ngringkes asil saben metode.
Pendekatan hibrida kanthi konsisten ngasilake asil sing luwih akurat, stabil, lan bisa diverifikasi tinimbang pathokan LLM mandiri ing meh kabèh model basa dhasar sing dievaluasi. Sanajan kinerja mutlak béda-béda antarmodel, kauntungan relatif saka pendekatan hibrida tetep konsisten. Iki nuduhake yen paningkatan kasebut asalé saka misahake pangerten basa alami lan optimasi formal, dudu gumantung marang kabisan nalar sawijining model.
Akurasi
Ing NLP4LP lan NL4OPT, sing mayoritas isiné masalah pemrograman linear, metode hibrida nggayuh akurasi meh maksimal lan ngluwihi prompt LLM mandiri. Tinimbang ngasilake nalar sing “kira-kira bener”, sistem hibrida luwih konsisten nggawe rumusan matematika sing sah lan kabentuk kanthi becik. Ing set data IndustryOR sing luwih nantang, akurasi loro metode padha mudhun, nanging amarga sebab sing béda. Akeh masalah IndustryOR ngemot struktur kombinatorial, kayata rute kendaraan, urutan tugas, lan penugasan tenaga kerja, sing ngluwihi kapabilitas optimasi linear sing saiki didhukung backend solver kita.
Analisis wujud kegagalan nuduhake yen LLM mandiri kerep nglanggar watesan sing diwajibake, kaya katuduhake ing ngisor iki:
Conto 1:
Plain Text
LLM mandiri ngasilake solusi kanthi gajih total luwih sithik, nanging nglanggar syarat yen dhaharan kalkun ora kena luwih saka 40% saka kabèh dhaharan. Pendekatan hibrida ngetrapake watesan atos iki kanthi bener lan menehi jawaban sing sah.
Conto 2:
Plain Text
LLM mandiri maneh ngasilake solusi kanthi pembuangan luwih sithik, nanging ngluwihi wates maksimal obat antinyeri sing diidinake. Pendekatan hibrida ngetrapake watesan atos kasebut kanthi bener lan menehi jawaban sing sah.
Latensi lan panggunaan token
Data latensi lan panggunaan token nuduhake prabédan penting. Pendekatan hibrida nduweni latensi rata-rata lan panggunaan token sing luwih dhuwur tinimbang prompt LLM sapisan, nanging iki nggambarake pilihan arsitektur, dudu inefisiensi.
Alur hibrida nyakup:
Siji utawa luwih panggilan LLM kanggo njupuk variabel, watesan, lan sasaran sing terstruktur.
Langkah verifikasi mandiri kanggo nemokake inkonsistensi internal.
Sanajan langkah-langkah iki nambah beban dibandhingake karo prompt tunggal, latensiné tetep winates lan bisa diprakirakake, dene eksekusi solver biasane cepet sawise masalah dirumusake kanthi becik. Pakaryan tambahan iki nggawe representasi antara sing eksplisit, bisa dienggo maneh, lan bisa diaudit. Kosok baline, pendekatan LLM mandiri ngringkes nalar dadi siji generasi sing ora transparan, saéngga biaya pindhah menyang uji coba maneh, pamriksaan manual, lan kegagalan sabanjure. Versi sabanjure bisa nyuda beban iki kanthi:
Nyimpen skema sing wis dijupuk ing cache.
Nganyari watesan kanthi bertahap.
Ngapikake orkestrasi prompt lan panggilan.
Transparansi lan kemampuan audit
Pungkasan, sanajan loro metode padha gagal, wujud kegagalané pancen béda.
Ing LLM mandiri, kegagalan kerep ora katon: model bisa menehi asil sing luput kanthi samar.
Ing pendekatan hibrida, rumusan masalah sing eksplisit ndadekake kegagalan katon cetha lan mbantu tim nemtokake bagean rumusan sing nyebabake luput.
Versi sabanjure bisa nampilake rumusan kasebut ing antarmuka, supaya pangguna bisa ngaudit utawa verifikasi sadurunge solver dijalanke. Transparansi iki ningkatake akurasi sing diukur lan nggampangake sistem kanggo didandani lan disampurnakake, sing penting kanggo panyebaran ing kahanan nyata.
Inti utama
Ing kabèh pathokan lan mayoritas model dhasar sing diuji, asil kasebut nguwatake dudutan utama saka pakaryan kita:
LLM unggul kanggo mangerteni lan nerjemahake maksud, nanging solver deterministik penting kanggo njamin kabeneran.
Pendekatan hibrida ngowahi basa alami saka sumber ambiguitas dadi antarmuka andal kanggo panggawe kaputusan sing sah miturut matematika, saéngga AI perusahaan luwih cedhak marang sistem sing ora mung cerdas, nanging uga bisa dipercaya.
Watesan perusahaan arang ana ing skema sing rapi utawa prompt sing dirumusake kanthi sampurna. Watesan kasebut sumebar ing basis data, lembar kerja, kabijakan internal, lan kontrak. Panjaluke pangguna bisa ora lengkap, ambigu, utawa ora selaras karo aturan bisnis. Supaya pendekatan iki bisa digunakake ing skala gedhe, kita lagi mbangun mesin backend sing bisa dienggo maneh kanggo ngowahi kerumitan iki dadi kapabilitas perusahaan sing andal.
Intiné, mesin iki dadi penyangga formal kanggo sistem kaputusan adhedhasar AI, kanthi nyedhiyakake:
Basis kawruh simbolis kanthi adaptor sing njupuk aturan bisnis, watesan, variabel, lan sasaran.
Lapisan penerjemahan sing ngompilasi skema dadi kode solver.
Antarmuka sing ngidini tim mriksa, ngaudit, lan ngowahi watesan.
Sanajan eksperimen iki saiki fokus ing optimasi, metode sing padha bisa dikembangake kanggo verifikasi logis. Potensi aplikasi bisnis kalebu:
Nindakake jadwal dinamis ad hoc, penentuan rute, lan alokasi sumber daya kanthi tetep ngetrapake kabèh watesan operasional.
Ngasilake jawaban lan saran sing tansah manut aturan bisnis.
Ngrancang lan ngesahake obyek 3D, video, lan arsitektur rumit, sinambi nemokake rancangan sing ora layak sadurunge produksi.
AI saiki pancen kuwasa, nanging perusahaan mbutuhake luwih saka mung kakuwatan: perlu kabeneran, konsistensi, lan kontrol. Sistem hibrida LLM lan solver kita minangka langkah tumuju jagad ing ngendi:
Agen ora ngarang aturan utawa watesan.
Deduksi logis lan optimasi sah miturut matematika.
Basa alami dadi antarmuka universal kanggo sistem deterministik.