Suara real-time menghadirkan cara yang benar-benar berbeda bagi orang untuk berinteraksi dengan aplikasi berbasis AI. Alih-alih mengetik atau menelusuri menu, pengguna dapat berbicara secara alami dan menerima respons dengan tempo real-time serta konteks emosional.
Membangun pengalaman suara real-time yang unggul berarti mengoordinasikan interaksi langsung. Di sinilah pengembangan produk yang sesungguhnya dimulai. Pengalaman real-time terasa seketika dan alami; membangun aplikasi yang mampu mempertahankannya merupakan tantangan rekayasa tersendiri.
Model hanyalah salah satu bagian dari sistem. Aplikasi produksi memerlukan infrastruktur yang dirancang khusus untuk suara, pemisahan yang jelas antara alur percakapan dan penalaran yang lebih mendalam, serta kontrol berbasis peristiwa untuk mengelola sesi selama berlangsung.
Sebagian besar tantangan yang tersisa terletak pada pagar pengaman dan evaluasi. Pemeriksaan keamanan harus mengimbangi audio langsung, sedangkan kualitas percakapan yang sesaat—seperti waktu respons, nada, dan alur—sulit dinilai dengan strategi evaluasi tradisional.
Saat ini, sebagian besar aplikasi AI dengan fitur suara masih bekerja dengan cara yang sama: ucapan masuk, teks keluar, model berpikir, lalu suara sintetis membacakan jawabannya. Cara ini berfungsi. Namun, interaksinya terasa seperti kenyataannya: sebuah alur pemrosesan, bukan percakapan.
Suara real-time mengubah hal itu. Pengguna berbicara secara alami dan menerima respons dengan tempo, nada, serta konteks emosional. Pengalamannya lebih cepat dan lancar daripada alur ucapan-ke-teks berantai—lebih menyerupai percakapan dengan seseorang daripada mengoperasikan sistem.
Kami telah melihat teknologi ini membuka bentuk interaksi produk yang sulit didukung oleh arsitektur beralur. Agen suara real-time dapat menangani interaksi layanan pelanggan yang biasanya memerlukan menu IVR panjang dan kaku serta pengalihan antardepartemen. Agen ini dapat memberikan pelatihan dan orientasi, mendukung aksesibilitas di berbagai media, dan banyak lagi. Di mana pun percakapan lisan lebih unggul daripada antarmuka berbasis teks, suara real-time layak dikembangkan.
Sebagian besar aplikasi dengan fitur suara menggunakan apa yang disebut “pendekatan berantai”: alur berisi model terpisah untuk ucapan-ke-teks, pemrosesan bahasa, dan teks-ke-ucapan. Sistem ini bekerja dengan baik dan membuka beragam peluang, tetapi audio hanya berada di kedua ujung alur. Tahapan terpisah menciptakan struktur yang kaku dan menambah latensi sehingga interaksi terasa kurang alami dibandingkan percakapan sungguhan.
Suara real-time menggunakan pendekatan berbeda. Alih-alih mengandalkan model terpisah untuk mendengar, berpikir, dan berbicara, satu model menangani ketiganya secara bawaan serta memahami dan menghasilkan audio maupun transkrip secara bersamaan. Input dan output berlangsung terus-menerus sehingga sistem dapat merespons dengan tempo alami dan ekspresi emosional yang mempertahankan irama realistis percakapan langsung. Hasilnya, waktu respons, nada, dan penanganan interupsi menjadi bagian utama produk.
Pengalaman real-time menarik karena terasa seketika, tetapi sulit diwujudkan karena tidak ada yang menunggu giliran. Untuk mendukungnya, pembuatan audio yang cepat dan akurat saja tidak cukup. Bagian yang sulit adalah segala hal lainnya. Model beroperasi dalam sesi langsung; segala sesuatu di sekitarnya—status, keamanan, orkestrasi, dan kontrol—harus berjalan bersama percakapan dengan kecepatan yang sama.
Dalam aplikasi suara berantai, percakapan berbasis giliran memberikan struktur timbal balik yang jelas. Pengguna berbicara, sistem merespons, lalu tahap berikutnya dimulai. Suara real-time tidak menyediakan struktur tersebut. Kedua pihak dapat berbicara bersamaan, atau tidak ada yang berbicara sehingga terjadi keheningan. Pengguna dapat menyela di tengah respons atau mengajukan pertanyaan lanjutan sebelum sistem selesai berbicara. Interupsi bukan lagi kasus khusus, melainkan pola interaksi utama.
Pola inilah yang menjadikan aplikasi real-time pada dasarnya sebagai persoalan koordinasi, sekaligus membuat sistem di sekitar model sama pentingnya dengan model itu sendiri.
Mendukung sistem semacam ini dalam skala besar memerlukan desain khusus untuk interaksi langsung. Ada tiga komponen yang terus muncul dalam sistem yang berhasil masuk ke lingkungan produksi.
Sesi suara real-time harus menangani streaming audio, pergantian giliran bicara, interupsi, siklus hidup koneksi, dan eksekusi agen. Dukungan telepon mungkin juga diperlukan, tergantung tempat aplikasi diterapkan. Semua ini merupakan fondasi pengalaman dan unsur penting untuk menskalakan aplikasi.
Persyaratan pertama adalah lapisan sesi yang dirancang khusus untuk suara. Kerangka Komunikasi Real-Time (RTC) menyediakan sarana bagi aplikasi untuk mengelola peserta, mengalirkan audio, dan menjalankan agen dalam lingkungan telepon. Berdasarkan pengalaman kami, Livekit sangat membantu karena menyediakan rangkaian teknologi WebRTC berlatensi rendah, lengkap dengan peredam bising berkualitas tinggi dan pengurangan jitter siap pakai. Membangun sendiri lapisan ini biasanya tidak sepadan dengan kerumitan tambahannya.
Arsitektur multiagen untuk suara real-time pada dasarnya bertujuan memisahkan tanggung jawab.
Model suara real-time sangat efektif untuk streaming audio percakapan, tetapi tidak dioptimalkan untuk penalaran yang lebih mendalam. Tugas seperti pemanggilan alat, pengambilan informasi, atau pengambilan keputusan terstruktur lebih baik dijalankan oleh model lain.
Salah satu pola yang berguna adalah arsitektur penanggap–pemikir.
Penanggap adalah agen suara real-time. Penanggap bertanggung jawab mempertahankan interaksi langsung: mendengarkan, berbicara, menangani interupsi, dan menjaga alur percakapan. Desainnya mengutamakan kecepatan respons, kejelasan, dan kesinambungan emosi.
Pemikir adalah agen terpisah yang didukung model berkemampuan penalaran. Agen ini bekerja di luar jalur utama dan menangani tugas seperti penggunaan alat, pengambilan informasi, dan perencanaan. Penanggap dapat memanggilnya saat diperlukan, lalu memasukkan hasilnya kembali ke dalam percakapan.
Dalam beberapa kasus, pemikir dapat menangani penalaran secara langsung. Dalam kasus lain, pemikir dapat bertindak sebagai orkestrator bagi sekumpulan agen khusus. Gagasan utamanya adalah menyerahkan pekerjaan ini kepada model yang lebih sesuai untuk tugas penalaran.
Manfaatnya sederhana: penanggap dapat tetap cepat, komunikatif, dan fokus, sementara pemikir menangani pekerjaan yang memerlukan lebih banyak waktu, konteks, atau struktur.
Perkembangan model terdepan di masa mendatang mungkin membuat pendekatan ini tidak diperlukan. Namun, saat ini kami mendapati bahwa pola ini secara konsisten mengungguli pendekatan agen tunggal.
Sistem suara real-time secara alami menghasilkan aliran peristiwa yang berkelanjutan.
Pengguna mulai berbicara, berhenti sejenak, dan menyela. Transkrip diperbarui secara bertahap. Respons dibuat dan dialirkan. Hasil eksternal masuk. Kondisi dalam sesi terus berubah. Semua ini dapat direkam, dialirkan, dan disimpan sebagai peristiwa penting yang membentuk status percakapan saat ini. Tanpanya, kita kehilangan kemampuan untuk melakukan intervensi secara terperinci dan tepat sasaran.
Pendekatan berbasis peristiwa menyediakan cara yang jelas untuk mengelolanya. Sistem merekam peristiwa saat terjadi, memperbarui status sesi, dan memicu tindakan lanjutan yang sesuai.
Penangan ringan menjaga jalur real-time tetap responsif, sedangkan tugas yang lebih kompleks—seperti memperbarui mesin status, mencatat metrik, menghapus informasi sensitif, memperbarui basis data, dan mengakhiri sesi—dipicu sebagai tugas latar belakang asinkron.
Seiring penambahan fitur, jumlah tugas latar belakang ini dapat meningkat dengan cepat. Perubahan kecil pada produk pun dapat menciptakan alur peristiwa dan dependensi baru. Arsitektur konkurensi yang tertata baik penting agar sistem tetap mudah dipahami dan andal seiring perkembangannya.
Pendekatan berbasis peristiwa ini juga mendukung kebutuhan produk yang sangat penting: membentuk percakapan itu sendiri. Sistem audio real-time tidak hanya menghasilkan balasan; sistem juga mengatur tempo, menangani keheningan dan interupsi, serta menentukan cara dan waktu sesi harus diakhiri. Perilaku ini merupakan bagian dari pengalaman produk dan perlu dirancang secara eksplisit.
Saat status sesi berubah berdasarkan jumlah giliran, waktu yang berlalu, atau perilaku pengguna, sistem dapat memberikan panduan khusus kepada penanggap. Sistem dapat memberi prompt kepada agen agar membantu pengguna menutup percakapan ketika batas sesi mendekat, atau memberikan klarifikasi jika interaksi terhenti. Intervensi ini ringan, tetapi membuat pengalaman terasa terarah dan menyatu.
Sistem yang dirancang dengan baik mempertahankan gambaran jelas tentang status sesi: siapa yang berbicara, bagaimana percakapan berkembang, dan kondisi apa saja yang telah terpenuhi. Status yang terus diperbarui oleh aliran peristiwa ini memungkinkan pemberian panduan yang tepat pada saat yang tepat.
Pagar pengaman wajib ada dalam AI yang berinteraksi dengan pengguna. Pagar ini menangani keamanan, kepatuhan, penyalahgunaan, dan keandalan. Dalam sistem berbasis giliran, ada beberapa titik yang jelas untuk menjalankannya: setelah pengguna berbicara atau sebelum respons disampaikan.
Suara real-time menghilangkan sebagian besar titik pemeriksaan yang leluasa tersebut. Input pengguna masuk terus-menerus. Output audio mungkin sudah mulai dialirkan. Transkrip lengkap sering kali tertinggal dari audionya. Jika sistem menunggu pesan lengkap sebelum memeriksanya, percakapan tidak lagi terasa real-time.
Sebaliknya, pagar pengaman perlu berjalan bersama percakapan agar interaksi tetap terasa alami. Salah satu pendekatannya adalah mengalirkan audio ke buffer sambil mengevaluasi fragmen transkrip secara asinkron begitu tersedia. Dengan demikian, pemeriksaan keamanan dapat berjalan nyaris real-time tanpa menghambat interaksi.
Saat pagar pengaman terpicu, sistem dapat merespons sesuai konteks dengan mengalihkan percakapan, menyesuaikan perilaku, atau mengakhiri sesi jika diperlukan. Dengan begitu, pagar pengaman dapat bekerja secara real-time tanpa menurunkan kualitas pengalaman pengguna.
Bagian tersulit dalam mengevaluasi sistem percakapan real-time adalah bahwa beberapa kualitas terpenting—waktu respons, interupsi, alur, dan nada—tidak dapat dinilai hanya melalui transkrip.
Alur evaluasi standar memasukkan skenario realistis ke sistem, mengamati output, lalu memberinya skor. Untuk sistem berbasis teks atau audio berantai, caranya mudah: kirim teks, lalu periksa teks keluarannya. Dalam sistem real-time, input berupa audio langsung, sedangkan dinamika percakapan yang paling penting berada dalam dimensi waktu: cara agen menangani ucapan yang tumpang tindih, kecepatan responsnya, dan cara agen melanjutkan percakapan setelah interupsi.
Pengujian manual—berbicara langsung dengan agen—dapat menangkap kualitas ini, tetapi sulit dilakukan dalam skala besar. Otomatisasi berbasis transkrip mudah diskalakan, tetapi menghilangkan sinyal yang membedakan pengalaman real-time yang baik dari yang buruk.
Tidak ada satu metode yang memadai. Solusi praktisnya adalah menggabungkan beberapa lapisan:
Evaluasi antaragen: agen real-time kedua, yang diperintahkan untuk memerankan persona pengguna tertentu, bercakap-cakap dengan sistem yang sedang diuji. LLM ketiga yang bertindak sebagai juri menilai interaksi tersebut. Metode ini menguji seluruh jalur audio dalam skala besar, termasuk waktu respons dan penanganan interupsi.
Metrik nonfungsional: waktu hingga audio pertama dan analisis sentimen transkrip memberikan indikator kuantitatif untuk kualitas percakapan.
Tinjauan kualitatif manual: tetap penting untuk menemukan masalah yang luput dari metrik otomatis, khususnya terkait nada dan kealamian.
Tidak ada satu metode yang mencakup semuanya. Menerapkan agen real-time ke lingkungan produksi memerlukan ketiga lapisan tersebut. Meski demikian, perangkat evaluasi audio real-time masih belum sematang perangkat untuk AI berbasis teks.
Suara real-time mengubah bentuk produk. Waktu respons, interupsi, keheningan, dan pemulihan sama pentingnya bagi pengalaman pengguna seperti kata-kata yang diucapkan.
Artinya, model hanyalah salah satu bagian dari sistem. Suara real-time untuk produksi membutuhkan lapisan sesi yang dirancang khusus untuk suara, pemisahan yang jelas antara berbicara dan penalaran, serta kontrol berbasis peristiwa atas sesi langsung. Pagar pengaman tetap menjadi hambatan latensi, tetapi pendekatan kreatif dapat mempertahankan sebagian besar pengalaman real-time.
Evaluasi masih menjadi bagian terlemah dari rangkaian teknologi ini. Belum ada metode baku untuk menguji kualitas yang membuat suara real-time terasa nyaman: waktu respons, nada, penanganan interupsi, dan alur percakapan. Sebelum metode tersebut tersedia, tim yang membangun dengan teknologi ini perlu menggabungkan pengujian otomatis, pengujian antaragen, dan tinjauan manual.