Giọng nói thời gian thực mang đến một cách tương tác hoàn toàn khác với các ứng dụng dùng AI. Thay vì nhập văn bản hoặc thao tác qua menu, người dùng trò chuyện tự nhiên và nhận phản hồi theo nhịp thời gian thực, có cả sắc thái cảm xúc.
Để tạo trải nghiệm giọng nói thời gian thực xuất sắc, cần điều phối tốt một tương tác trực tiếp. Đây là lúc công việc phát triển sản phẩm thực sự bắt đầu. Trải nghiệm thời gian thực mang tính tức thì và tự nhiên như thật; xây dựng một ứng dụng duy trì được trải nghiệm ấy là một thách thức kỹ thuật riêng biệt.
Mô hình chỉ là một phần của hệ thống. Ứng dụng trong môi trường vận hành cần hạ tầng chuyên biệt cho giọng nói, sự phân tách rõ ràng giữa mạch hội thoại và suy luận chuyên sâu, cùng cơ chế điều khiển theo sự kiện để quản lý phiên khi nó diễn ra.
Phần lớn khó khăn còn lại nằm ở cơ chế bảo vệ và hoạt động đánh giá. Kiểm tra an toàn phải theo kịp âm thanh trực tiếp, còn những phẩm chất hội thoại khó nắm bắt như thời điểm, giọng điệu và mạch hội thoại lại rất khó đánh giá bằng các chiến lược truyền thống.
Hầu hết ứng dụng AI hỗ trợ giọng nói hiện nay vẫn hoạt động theo cùng một cách: tiếp nhận lời nói, chuyển thành văn bản, để mô hình suy nghĩ rồi dùng giọng nói tổng hợp đọc câu trả lời. Cách này có hiệu quả. Nhưng tương tác vẫn cho cảm giác đúng như bản chất của nó: một quy trình xử lý, chứ không phải cuộc trò chuyện.
Giọng nói thời gian thực thay đổi điều đó. Người dùng nói chuyện tự nhiên và nhận phản hồi có nhịp điệu, giọng điệu cùng sắc thái cảm xúc. Trải nghiệm này nhanh và liền mạch hơn quy trình chuyển giọng nói thành văn bản theo chuỗi, giống trò chuyện với một người hơn là vận hành một hệ thống.
Chúng tôi nhận thấy cách này mở ra những phương thức tương tác với sản phẩm mà kiến trúc quy trình xử lý khó đáp ứng. Tác nhân giọng nói thời gian thực có thể xử lý các tương tác dịch vụ khách hàng vốn cần những menu IVR dài dòng, hạn chế và nhiều lần chuyển bộ phận. Chúng có thể huấn luyện, hướng dẫn làm quen, hỗ trợ khả năng tiếp cận trên nhiều phương tiện và hơn thế nữa. Ở bất cứ đâu hội thoại bằng lời có ưu thế hơn giao diện văn bản, giọng nói thời gian thực đều đáng để đầu tư phát triển.
Hầu hết ứng dụng hỗ trợ giọng nói sử dụng phương pháp được gọi là “theo chuỗi”: một quy trình gồm các mô hình riêng biệt để chuyển giọng nói thành văn bản, xử lý ngôn ngữ và chuyển văn bản thành giọng nói. Các hệ thống này hoạt động tốt và mở ra nhiều cơ hội, nhưng âm thanh chỉ xuất hiện ở hai đầu quy trình. Các bước tách biệt tạo ra cấu trúc cứng nhắc và độ trễ, khiến tương tác kém tự nhiên hơn một cuộc trò chuyện thực sự.
Giọng nói thời gian thực dùng một cách tiếp cận khác. Thay vì dựa vào các mô hình riêng biệt để nghe, suy nghĩ và nói, một mô hình duy nhất xử lý cả ba chức năng một cách nguyên bản, đồng thời hiểu và tạo cả âm thanh lẫn bản chép lời. Đầu vào và đầu ra diễn ra liên tục, cho phép hệ thống phản hồi với thời điểm tự nhiên và biểu cảm phù hợp, duy trì nhịp điệu chân thực của cuộc trò chuyện trực tiếp. Do đó, thời điểm, giọng điệu và khả năng xử lý ngắt lời trở thành phần cốt lõi của sản phẩm.
Trải nghiệm thời gian thực hấp dẫn vì mang tính tức thì, nhưng cũng khó triển khai vì không thành phần nào chờ đến lượt. Để hỗ trợ trải nghiệm này, chỉ tạo âm thanh nhanh và chính xác là chưa đủ. Phần khó nằm ở mọi yếu tố còn lại. Mô hình hoạt động trong một phiên trực tiếp; mọi thành phần xung quanh—trạng thái, độ an toàn, điều phối và kiểm soát—đều phải vận hành song song với cuộc trò chuyện theo cùng nhịp trực tiếp.
Trong ứng dụng giọng nói theo chuỗi, hội thoại theo lượt tạo ra cấu trúc đối đáp rõ ràng. Người dùng nói, hệ thống phản hồi rồi bước tiếp theo bắt đầu. Giọng nói thời gian thực không có cấu trúc như vậy. Hai bên có thể nói cùng lúc, hoặc không bên nào nói và chỉ có sự im lặng. Người dùng có thể ngắt lời giữa chừng hoặc hỏi tiếp trước khi hệ thống nói xong. Ngắt lời không còn là trường hợp ngoại lệ mà trở thành một kiểu tương tác cốt lõi.
Chính kiểu tương tác này khiến ứng dụng thời gian thực về cơ bản trở thành một bài toán điều phối, đồng thời lý giải vì sao hệ thống xung quanh mô hình cũng quan trọng như chính mô hình.
Để hỗ trợ loại hệ thống này ở quy mô lớn, cần thiết kế riêng cho tương tác trực tiếp. Có ba phần thường xuyên xuất hiện trong những hệ thống được đưa vào vận hành.
Phiên giọng nói thời gian thực cần xử lý việc truyền phát âm thanh, luân phiên hội thoại, ngắt lời, vòng đời kết nối và thực thi tác nhân. Tùy nơi triển khai ứng dụng, hệ thống cũng có thể cần hỗ trợ điện thoại. Đây là những thành phần nền tảng của trải nghiệm và giữ vai trò trọng yếu khi mở rộng ứng dụng.
Yêu cầu đầu tiên là một lớp phiên chuyên biệt cho giọng nói. Các khung Giao tiếp Thời gian thực (RTC) cung cấp cho ứng dụng một môi trường để quản lý người tham gia, truyền phát âm thanh và chạy các tác nhân trong môi trường điện thoại. Theo kinh nghiệm của chúng tôi, riêng Livekit rất hữu ích khi cung cấp sẵn một ngăn xếp WebRTC có độ trễ thấp, khả năng khử tiếng ồn chất lượng cao và giảm dao động trễ. Độ phức tạp tăng thêm khiến việc tự triển khai lớp này hiếm khi đáng công.
Về bản chất, kiến trúc đa tác nhân cho giọng nói thời gian thực nhằm phân tách các mối quan tâm.
Các mô hình giọng nói thời gian thực rất hiệu quả trong việc truyền phát âm thanh hội thoại, nhưng chưa được tối ưu cho suy luận chuyên sâu. Những tác vụ như gọi công cụ, truy xuất hoặc ra quyết định có cấu trúc sẽ hiệu quả hơn khi do một mô hình khác thực hiện.
Một mẫu thiết kế hữu ích là kiến trúc bộ phản hồi–bộ tư duy.
Bộ phản hồi là tác nhân giọng nói thời gian thực. Nó chịu trách nhiệm duy trì tương tác trực tiếp: lắng nghe, nói, xử lý ngắt lời và giữ mạch hội thoại. Thiết kế của nó ưu tiên khả năng phản hồi nhanh, sự rõ ràng và tính liền mạch về cảm xúc.
Bộ tư duy là một tác nhân riêng biệt, vận hành bằng mô hình có khả năng suy luận. Nó hoạt động ngoài luồng và xử lý các tác vụ như sử dụng công cụ, truy xuất và lập kế hoạch. Bộ phản hồi có thể gọi bộ tư duy khi cần rồi đưa kết quả trở lại cuộc trò chuyện.
Trong một số trường hợp, bộ tư duy có thể trực tiếp xử lý việc suy luận. Trong những trường hợp khác, nó có thể đóng vai trò điều phối một nhóm tác nhân chuyên biệt. Ý tưởng cốt lõi là giao công việc này cho một mô hình phù hợp hơn với các tác vụ suy luận.
Lợi ích rất rõ ràng: bộ phản hồi có thể duy trì tốc độ, tính tự nhiên và sự tập trung, còn bộ tư duy xử lý công việc cần nhiều thời gian, ngữ cảnh hoặc cấu trúc hơn.
Những bước tiến tương lai của mô hình tiên phong có thể khiến cách tiếp cận này không còn cần thiết, nhưng hiện tại chúng tôi nhận thấy mẫu thiết kế này luôn vượt trội hơn cách tiếp cận chỉ dùng một tác nhân.
Hệ thống giọng nói thời gian thực tự nhiên tạo ra một luồng sự kiện liên tục.
Người dùng bắt đầu nói, tạm dừng rồi ngắt lời. Bản chép lời được cập nhật từng phần. Phản hồi được tạo và truyền phát. Kết quả từ bên ngoài được trả về. Các điều kiện trong phiên thay đổi. Tất cả những yếu tố này có thể được ghi nhận, truyền phát và lưu trữ dưới dạng các sự kiện chính đã tạo nên trạng thái hiện tại cụ thể của cuộc trò chuyện. Nếu thiếu chúng, chúng ta không thể can thiệp chi tiết và đúng mục tiêu.
Cách tiếp cận theo sự kiện cung cấp một phương thức rõ ràng để quản lý quá trình này. Hệ thống ghi nhận sự kiện khi chúng xảy ra, cập nhật trạng thái phiên và kích hoạt các hành động tiếp theo phù hợp.
Các trình xử lý nhẹ giúp luồng thời gian thực luôn phản hồi nhanh, còn những tác vụ phức tạp hơn—như cập nhật máy trạng thái, ghi chỉ số, loại bỏ thông tin nhạy cảm, cập nhật cơ sở dữ liệu và thoát phiên—được kích hoạt dưới dạng tác vụ nền bất đồng bộ.
Khi thêm tính năng, số lượng tác vụ nền này có thể tăng nhanh. Ngay cả những thay đổi nhỏ đối với sản phẩm cũng có thể tạo ra các luồng sự kiện và quan hệ phụ thuộc mới. Một kiến trúc đồng thời được tổ chức tốt rất quan trọng để hệ thống vẫn dễ hiểu và đáng tin cậy trong quá trình phát triển.
Cách tiếp cận theo sự kiện này cũng hỗ trợ một vấn đề trọng yếu của sản phẩm: định hình chính cuộc trò chuyện. Hệ thống âm thanh thời gian thực không chỉ tạo phản hồi; nó còn quản lý nhịp độ, xử lý khoảng lặng và sự ngắt lời, đồng thời quyết định cách thức và thời điểm kết thúc phiên. Những hành vi này là một phần của trải nghiệm sản phẩm và cần được thiết kế một cách có chủ đích.
Khi trạng thái phiên thay đổi theo số lượt, thời gian đã trôi qua hoặc hành vi người dùng, hệ thống có thể đưa hướng dẫn phù hợp vào bộ phản hồi. Hệ thống có thể nhắc tác nhân giúp người dùng khép lại cuộc trò chuyện khi gần đến giới hạn phiên, hoặc làm rõ vấn đề nếu tương tác đình trệ. Những biện pháp can thiệp này không phức tạp nhưng khiến trải nghiệm trở nên có chủ đích và nhất quán.
Một hệ thống được thiết kế tốt luôn nắm rõ trạng thái phiên: ai đang nói, cuộc trò chuyện tiến triển ra sao và những điều kiện nào đã được đáp ứng. Trạng thái này được luồng sự kiện cập nhật liên tục, qua đó cung cấp đúng hướng dẫn vào đúng thời điểm.
Cơ chế bảo vệ là thành phần bắt buộc trong AI hướng đến người dùng. Chúng giúp quản lý độ an toàn, tuân thủ, hành vi lạm dụng và độ tin cậy. Trong hệ thống theo lượt, có những thời điểm rõ ràng để chạy các cơ chế này: sau khi người dùng nói hoặc trước khi gửi phản hồi.
Giọng nói thời gian thực loại bỏ hầu hết những điểm kiểm tra thuận tiện đó. Dữ liệu đầu vào của người dùng đến liên tục. Âm thanh đầu ra có thể đã bắt đầu phát trực tuyến. Bản chép lời hoàn chỉnh thường xuất hiện chậm hơn âm thanh. Nếu hệ thống đợi thông điệp hoàn chỉnh rồi mới kiểm tra, cuộc trò chuyện sẽ không còn mang cảm giác thời gian thực.
Thay vào đó, cơ chế bảo vệ cần vận hành song song với cuộc trò chuyện để duy trì tương tác tự nhiên như thật. Một cách tiếp cận là truyền âm thanh vào bộ đệm, đồng thời đánh giá bất đồng bộ từng đoạn bản chép lời ngay khi có, nhờ đó có thể kiểm tra an toàn gần như theo thời gian thực mà không làm gián đoạn tương tác.
Khi cơ chế bảo vệ được kích hoạt, hệ thống có thể phản ứng theo ngữ cảnh bằng cách chuyển hướng cuộc trò chuyện, điều chỉnh hành vi hoặc kết thúc phiên khi phù hợp. Cách này giúp cơ chế bảo vệ hoạt động theo thời gian thực mà không làm giảm trải nghiệm người dùng.
Thách thức lớn nhất khi đánh giá một hệ thống hội thoại thời gian thực là một số phẩm chất quan trọng nhất—thời điểm, khả năng xử lý ngắt lời, mạch hội thoại và giọng điệu—không thể được phản ánh qua phép thử chỉ dựa trên bản chép lời.
Quy trình đánh giá tiêu chuẩn đưa các tình huống thực tế vào hệ thống, quan sát đầu ra rồi chấm điểm. Với hệ thống dựa trên văn bản hoặc âm thanh theo chuỗi, việc này khá đơn giản: gửi văn bản vào và kiểm tra văn bản đầu ra. Trong hệ thống thời gian thực, đầu vào là âm thanh trực tiếp, còn những động lực hội thoại quan trọng nhất nằm ở chiều thời gian: tác nhân xử lý lời nói chồng lấn ra sao, phản hồi nhanh thế nào và phục hồi sau khi bị ngắt lời như thế nào.
Kiểm thử thủ công—trò chuyện trực tiếp với tác nhân—phản ánh được những phẩm chất này nhưng khó mở rộng quy mô. Tự động hóa dựa trên bản chép lời có thể mở rộng quy mô nhưng lại loại bỏ tín hiệu phân biệt trải nghiệm thời gian thực tốt với trải nghiệm kém.
Không phương pháp nào là đủ. Giải pháp thực tế là kết hợp nhiều lớp:
Đánh giá giữa các tác nhân: một tác nhân thời gian thực thứ hai, được yêu cầu nhập vai một kiểu người dùng cụ thể, sẽ trò chuyện với hệ thống đang được kiểm thử. Một LLM thứ ba đóng vai trò giám khảo để chấm điểm tương tác. Phương pháp này kiểm thử toàn bộ luồng âm thanh, gồm cả thời điểm và khả năng xử lý ngắt lời, ở quy mô lớn.
Chỉ số phi chức năng: thời gian đến âm thanh đầu tiên và phân tích sắc thái cảm xúc trong bản chép lời cung cấp các chỉ báo định lượng thay thế cho chất lượng hội thoại.
Đánh giá định tính thủ công: vẫn rất cần thiết để phát hiện các vấn đề mà chỉ số tự động bỏ sót, đặc biệt về giọng điệu và độ tự nhiên.
Không một phương pháp nào bao quát được mọi khía cạnh. Việc triển khai tác nhân thời gian thực vào môi trường vận hành đòi hỏi kết hợp cả ba lớp; dù vậy, công cụ đánh giá âm thanh thời gian thực vẫn chưa hoàn thiện bằng công cụ dành cho AI dựa trên văn bản.
Giọng nói thời gian thực làm thay đổi bản chất của sản phẩm. Thời điểm, sự ngắt lời, khoảng lặng và khả năng phục hồi tác động đến trải nghiệm của người dùng không kém gì lời nói.
Điều đó có nghĩa mô hình chỉ là một phần của hệ thống. Hệ thống giọng nói thời gian thực trong môi trường vận hành cần một lớp phiên chuyên biệt cho giọng nói, sự phân tách rõ ràng giữa nói và suy luận, cùng cơ chế điều khiển theo sự kiện quanh phiên trực tiếp. Cơ chế bảo vệ vẫn là nút thắt về độ trễ, nhưng các cách tiếp cận sáng tạo có thể duy trì phần lớn trải nghiệm thời gian thực.
Đánh giá vẫn là phần yếu nhất trong toàn bộ hệ thống. Hiện vẫn chưa có phương pháp thống nhất để kiểm thử những phẩm chất tạo nên trải nghiệm giọng nói thời gian thực tốt: thời điểm, giọng điệu, khả năng xử lý ngắt lời và mạch hội thoại. Cho đến khi có phương pháp đó, các nhóm phát triển bằng công nghệ này sẽ phải kết hợp kiểm thử tự động, phiên chạy giữa các tác nhân và đánh giá thủ công.