อะไรทำให้ประสบการณ์เสียงเรียลไทม์รองรับการใช้งานในวงกว้างได้

• เสียงแบบเรียลไทม์มอบวิธีโต้ตอบกับแอปพลิเคชันที่ขับเคลื่อนด้วย AI ซึ่งแตกต่างไปจากเดิมอย่างสิ้นเชิง แทนที่จะพิมพ์หรือไล่เลือกเมนู ผู้ใช้สามารถพูดอย่างเป็นธรรมชาติและรับคำตอบที่มีจังหวะแบบเรียลไทม์พร้อมบริบททางอารมณ์

• หัวใจของการสร้างประสบการณ์เสียงเรียลไทม์ที่ยอดเยี่ยมคือการประสานปฏิสัมพันธ์สด งานพัฒนาผลิตภัณฑ์ที่แท้จริงเริ่มต้นตรงนี้ ประสบการณ์เรียลไทม์ให้ความรู้สึกทันทีและเป็นธรรมชาติ แต่การสร้างแอปพลิเคชันที่รักษาคุณสมบัตินี้ไว้ได้คือโจทย์ทางวิศวกรรมอีกแบบหนึ่ง

• โมเดลเป็นเพียงส่วนหนึ่งของระบบ แอปพลิเคชันที่ใช้งานจริงต้องมีโครงสร้างพื้นฐานที่ออกแบบมาเพื่อเสียงโดยเฉพาะ แยกความลื่นไหลของการสนทนาออกจากการให้เหตุผลเชิงลึกอย่างชัดเจน และควบคุมเซสชันด้วยเหตุการณ์ขณะที่ดำเนินไป

• ความยากที่เหลืออยู่ส่วนใหญ่อยู่ที่มาตรการป้องกันและการประเมิน การตรวจสอบความปลอดภัยต้องทำงานทันเสียงสด ขณะที่คุณสมบัติของการสนทนาที่เกิดขึ้นเพียงชั่วขณะ เช่น จังหวะ น้ำเสียง และความลื่นไหล ประเมินได้ยากด้วยแนวทางแบบดั้งเดิม

ปัจจุบันแอปพลิเคชัน AI ที่รองรับเสียงส่วนใหญ่ยังทำงานในรูปแบบเดิม คือรับเสียงเข้ามา แปลงเป็นข้อความ ให้โมเดลคิด แล้วใช้เสียงสังเคราะห์อ่านคำตอบกลับไป วิธีนี้ใช้งานได้ แต่ปฏิสัมพันธ์ให้ความรู้สึกตรงตามโครงสร้างของมัน นั่นคือเป็นไปป์ไลน์ ไม่ใช่การสนทนา

เสียงแบบเรียลไทม์เปลี่ยนสิ่งนั้น ผู้ใช้พูดได้อย่างเป็นธรรมชาติและได้รับคำตอบที่สื่อทั้งจังหวะ น้ำเสียง และบริบททางอารมณ์ ประสบการณ์นี้รวดเร็วและลื่นไหลกว่าไปป์ไลน์แปลงเสียงเป็นข้อความแบบต่อเป็นทอด ให้ความรู้สึกเหมือนคุยกับคนมากกว่าการสั่งงานระบบ

เราเห็นแล้วว่าแนวทางนี้เปิดทางให้สร้างผลิตภัณฑ์ในรูปแบบที่สถาปัตยกรรมแบบไปป์ไลน์รองรับได้ยาก เอเจนต์เสียงเรียลไทม์รองรับงานบริการลูกค้าที่เดิมต้องใช้เมนู IVR ยาวและจำกัด รวมถึงการโอนสายหลายแผนกได้ เอเจนต์เหล่านี้ช่วยฝึกสอน แนะนำผู้ใช้ใหม่ สนับสนุนการเข้าถึงผ่านสื่อหลายรูปแบบ และทำสิ่งอื่นได้อีกมาก ทุกที่ที่การสนทนาด้วยเสียงได้เปรียบอินเทอร์เฟซข้อความ ล้วนควรพิจารณาสร้างระบบเสียงเรียลไทม์

แอปพลิเคชันที่รองรับเสียงส่วนใหญ่ใช้สิ่งที่เรียกว่า “แนวทางแบบต่อเป็นทอด” ซึ่งเป็นไปป์ไลน์ของโมเดลแยกกันสำหรับแปลงเสียงเป็นข้อความ ประมวลผลภาษา และแปลงข้อความเป็นเสียง ระบบเหล่านี้ทำงานได้ดีและเปิดโอกาสได้หลากหลาย แต่เสียงมีบทบาทเพียงที่ต้นทางและปลายทางเท่านั้น ขั้นตอนที่แยกจากกันเพิ่มทั้งโครงสร้างที่ตายตัวและความหน่วง ทำให้ปฏิสัมพันธ์เป็นธรรมชาติน้อยกว่าการสนทนาจริง

เสียงแบบเรียลไทม์ใช้แนวทางที่ต่างออกไป แทนที่จะใช้โมเดลแยกกันสำหรับการฟัง คิด และพูด โมเดลเดียวจัดการทั้งสามอย่างได้โดยตรง พร้อมทำความเข้าใจและสร้างทั้งเสียงกับบทถอดเสียงไปพร้อมกัน ข้อมูลเข้าและออกดำเนินไปอย่างต่อเนื่อง ทำให้ระบบตอบสนองด้วยจังหวะที่เป็นธรรมชาติและถ่ายทอดอารมณ์ได้ โดยยังคงลีลาที่สมจริงของการสนทนาสด ผลก็คือจังหวะ น้ำเสียง และการรับมือกับการขัดจังหวะกลายเป็นหัวใจของผลิตภัณฑ์

ประสบการณ์เรียลไทม์น่าดึงดูดเพราะตอบสนองทันที แต่ก็สร้างได้ยากเพราะไม่มีสิ่งใดรอถึงคิวของตน การรองรับประสบการณ์นี้ต้องอาศัยมากกว่าการสร้างเสียงที่รวดเร็วและแม่นยำ ส่วนที่ยากคือทุกสิ่งที่เหลือ โมเดลทำงานอยู่ในเซสชันสด ทุกสิ่งรอบตัว ไม่ว่าจะเป็นสถานะ ความปลอดภัย การประสานงาน และการควบคุม จึงต้องทำงานควบคู่กับการสนทนาด้วยความเร็วเดียวกัน

ในแอปพลิเคชันเสียงแบบต่อเป็นทอด การสนทนาแบบผลัดกันโต้ตอบมีโครงสร้างรับส่งที่ชัดเจน ผู้ใช้พูด ระบบตอบ แล้วจึงเริ่มขั้นตอนถัดไป เสียงแบบเรียลไทม์ไม่มีโครงสร้างเช่นนั้น ทั้งสองฝ่ายอาจพูดพร้อมกัน หรือไม่มีใครพูดจนเกิดความเงียบก็ได้ ผู้ใช้อาจขัดจังหวะกลางคำตอบหรือถามต่อก่อนที่ระบบจะพูดจบ การขัดจังหวะจึงไม่ใช่กรณีพิเศษอีกต่อไป แต่กลายเป็นรูปแบบหลักของปฏิสัมพันธ์

รูปแบบนี้ทำให้แอปพลิเคชันเรียลไทม์เป็นโจทย์ด้านการประสานงานโดยพื้นฐาน และเป็นเหตุผลว่าทำไมระบบรอบโมเดลจึงสำคัญไม่แพ้ตัวโมเดลเอง

การรองรับระบบประเภทนี้ในวงกว้างต้องออกแบบมาเพื่อปฏิสัมพันธ์สดโดยเฉพาะ ซึ่งประกอบด้วยสามส่วนที่พบเสมอในระบบที่นำไปใช้งานจริงได้สำเร็จ

เซสชันเสียงเรียลไทม์ต้องรองรับการสตรีมเสียง การผลัดกันพูด การขัดจังหวะ วงจรชีวิตการเชื่อมต่อ และการทำงานของเอเจนต์ อาจต้องรองรับระบบโทรศัพท์ด้วย ทั้งนี้ขึ้นอยู่กับสภาพแวดล้อมที่นำแอปพลิเคชันไปใช้งาน สิ่งเหล่านี้เป็นรากฐานของประสบการณ์และเป็นหัวใจของการขยายแอปพลิเคชัน

ข้อกำหนดแรกคือชั้นเซสชันที่ออกแบบมาเพื่อเสียงโดยเฉพาะ เฟรมเวิร์กการสื่อสารแบบเรียลไทม์ (RTC) ช่วยให้แอปพลิเคชันมีพื้นที่จัดการผู้เข้าร่วม สตรีมเสียง และเรียกใช้เอเจนต์ในสภาพแวดล้อมระบบโทรศัพท์ จากประสบการณ์ของเรา Livekit มีประโยชน์อย่างยิ่ง เพราะมีสแต็ก WebRTC ความหน่วงต่ำ พร้อมระบบตัดเสียงรบกวนคุณภาพสูงและลดความแปรปรวนของสัญญาณมาให้ในตัว การสร้างชั้นนี้ขึ้นเองแทบไม่คุ้มกับความซับซ้อนที่เพิ่มขึ้น

สถาปัตยกรรมหลายเอเจนต์สำหรับเสียงเรียลไทม์มีหัวใจอยู่ที่การแยกหน้าที่รับผิดชอบ

โมเดลเสียงเรียลไทม์มีประสิทธิภาพสูงในการสตรีมเสียงสนทนา แต่ไม่ได้ปรับมาเพื่อการให้เหตุผลเชิงลึก งานอย่างการเรียกใช้เครื่องมือ การค้นคืนข้อมูล หรือการตัดสินใจอย่างเป็นระบบ จะมีประสิทธิภาพมากกว่าเมื่อใช้โมเดลอีกตัวดำเนินการ

รูปแบบที่มีประโยชน์คือสถาปัตยกรรมผู้ตอบ–ผู้คิด

ผู้ตอบคือเอเจนต์เสียงเรียลไทม์ ผู้ตอบมีหน้าที่ดูแลปฏิสัมพันธ์สด ได้แก่ ฟัง พูด รับมือกับการขัดจังหวะ และรักษาความลื่นไหลของการสนทนา การออกแบบผู้ตอบให้ความสำคัญกับการตอบสนองที่รวดเร็ว ความชัดเจน และความต่อเนื่องทางอารมณ์

ผู้คิดคือเอเจนต์อีกตัวที่ขับเคลื่อนด้วยโมเดลซึ่งมีความสามารถด้านการให้เหตุผล ผู้คิดทำงานนอกเส้นทางการสนทนาหลัก และจัดการงานต่างๆ เช่น การใช้เครื่องมือ การค้นคืนข้อมูล และการวางแผน ผู้ตอบสามารถเรียกใช้ผู้คิดเมื่อต้องการ แล้วนำผลลัพธ์กลับมาใช้ในการสนทนา

ในบางกรณี ผู้คิดอาจจัดการการให้เหตุผลโดยตรง ในกรณีอื่น ผู้คิดอาจทำหน้าที่ประสานงานกลุ่มเอเจนต์เฉพาะทาง แนวคิดสำคัญคือมอบงานนี้ให้โมเดลที่เหมาะกับงานด้านการให้เหตุผลมากกว่า

ประโยชน์นั้นเรียบง่าย ผู้ตอบยังคงทำงานได้รวดเร็ว เป็นธรรมชาติ และตรงประเด็น ขณะที่ผู้คิดจัดการงานซึ่งต้องใช้เวลา บริบท หรือโครงสร้างมากกว่า

ความก้าวหน้าของโมเดลระดับแนวหน้าในอนาคตอาจทำให้แนวทางนี้ไม่จำเป็น แต่ตอนนี้เราพบว่ารูปแบบนี้มีประสิทธิภาพเหนือกว่าแนวทางเอเจนต์เดี่ยวอย่างสม่ำเสมอ

ระบบเสียงเรียลไทม์สร้างกระแสเหตุการณ์อย่างต่อเนื่องโดยธรรมชาติ

ผู้ใช้เริ่มพูด หยุดชั่วคราว และขัดจังหวะ บทถอดเสียงได้รับการอัปเดตทีละส่วน คำตอบถูกสร้างและสตรีมออกไป ผลลัพธ์จากภายนอกถูกส่งเข้ามา เงื่อนไขภายในเซสชันเปลี่ยนแปลงไป ข้อมูลทั้งหมดนี้สามารถบันทึก สตรีม และจัดเก็บเป็นเหตุการณ์สำคัญที่ก่อให้เกิดสถานะปัจจุบันของการสนทนาได้ หากไม่มีเหตุการณ์เหล่านี้ เราจะไม่สามารถแทรกแซงได้อย่างละเอียดและตรงจุด

แนวทางที่ขับเคลื่อนด้วยเหตุการณ์ช่วยให้จัดการเรื่องนี้ได้อย่างชัดเจน ระบบจะบันทึกเหตุการณ์ทันทีที่เกิดขึ้น อัปเดตสถานะเซสชัน และเรียกใช้การดำเนินการต่อเนื่องที่เหมาะสม

ตัวจัดการขนาดเล็กช่วยให้เส้นทางเรียลไทม์ตอบสนองได้รวดเร็ว ส่วนงานที่ซับซ้อนกว่า เช่น การอัปเดตกลไกสถานะ บันทึกเมตริก ลบข้อมูลละเอียดอ่อน อัปเดตฐานข้อมูล และออกจากเซสชัน จะทำงานแบบอะซิงโครนัสในเบื้องหลัง

เมื่อเพิ่มฟีเจอร์ จำนวนงานเบื้องหลังเหล่านี้อาจเพิ่มขึ้นอย่างรวดเร็ว แม้แต่การเปลี่ยนแปลงผลิตภัณฑ์เพียงเล็กน้อยก็อาจเพิ่มลำดับเหตุการณ์และการพึ่งพาใหม่ๆ สถาปัตยกรรมที่จัดระเบียบการทำงานพร้อมกันนี้อย่างดี มีความสำคัญต่อการทำให้ระบบยังคงเข้าใจง่ายและเชื่อถือได้เมื่อพัฒนาต่อไป

แนวทางที่ขับเคลื่อนด้วยเหตุการณ์ยังรองรับประเด็นสำคัญของผลิตภัณฑ์ นั่นคือการกำหนดรูปแบบของบทสนทนาเอง ระบบเสียงเรียลไทม์ไม่เพียงสร้างคำตอบ แต่ยังควบคุมจังหวะ จัดการความเงียบและการขัดจังหวะ ตลอดจนตัดสินใจว่าควรยุติเซสชันอย่างไรและเมื่อใด พฤติกรรมเหล่านี้เป็นส่วนหนึ่งของประสบการณ์ผลิตภัณฑ์และควรได้รับการออกแบบอย่างชัดเจน

เมื่อสถานะเซสชันเปลี่ยนไปตามจำนวนรอบ เวลาที่ผ่านไป หรือพฤติกรรมของผู้ใช้ ระบบสามารถส่งคำแนะนำที่ตรงจุดให้ผู้ตอบได้ ระบบอาจส่งพรอมต์ให้เอเจนต์ช่วยผู้ใช้สรุปบทสนทนาเมื่อใกล้ถึงขีดจำกัดของเซสชัน หรือช่วยชี้แจงเมื่อปฏิสัมพันธ์หยุดชะงัก การแทรกแซงเหล่านี้มีน้ำหนักเบา แต่ทำให้ประสบการณ์รู้สึกมีจุดมุ่งหมายและเป็นหนึ่งเดียวกัน

ระบบที่ออกแบบอย่างดีต้องมองเห็นสถานะเซสชันได้ชัดเจนว่าใครกำลังพูด การสนทนาดำเนินไปอย่างไร และเงื่อนไขใดได้รับการตอบสนองแล้ว สถานะนี้ซึ่งได้รับการอัปเดตอย่างต่อเนื่องจากกระแสเหตุการณ์ ช่วยให้ระบบให้คำแนะนำที่เหมาะสมได้ในเวลาที่เหมาะสม

AI ที่ให้บริการผู้ใช้จำเป็นต้องมีมาตรการป้องกัน มาตรการเหล่านี้ช่วยดูแลความปลอดภัย การปฏิบัติตามข้อกำหนด การใช้ในทางที่ผิด และความน่าเชื่อถือ ในระบบที่ผลัดกันโต้ตอบ มีจังหวะชัดเจนให้ตรวจสอบ เช่น หลังผู้ใช้พูดจบหรือก่อนส่งคำตอบ

เสียงแบบเรียลไทม์ทำให้จุดตรวจสอบที่สะดวกเหล่านั้นแทบหายไป ข้อมูลจากผู้ใช้เข้ามาอย่างต่อเนื่อง เสียงตอบกลับอาจเริ่มสตรีมไปแล้ว บทถอดเสียงฉบับสมบูรณ์มักตามหลังเสียงจริง หากระบบรอให้ข้อความสมบูรณ์ก่อนตรวจสอบ การสนทนาก็จะไม่รู้สึกว่าเป็นเรียลไทม์

มาตรการป้องกันจึงต้องทำงานไปพร้อมกับการสนทนา เพื่อคงความเป็นธรรมชาติของปฏิสัมพันธ์ แนวทางหนึ่งคือสตรีมเสียงเข้าไปยังบัฟเฟอร์ พร้อมประเมินส่วนย่อยของบทถอดเสียงแบบอะซิงโครนัสทันทีที่พร้อมใช้งาน ทำให้ตรวจสอบความปลอดภัยได้เกือบเรียลไทม์โดยไม่ขัดจังหวะปฏิสัมพันธ์

เมื่อมาตรการป้องกันทำงาน ระบบสามารถตอบสนองตามบริบทด้วยการเปลี่ยนทิศทางการสนทนา ปรับพฤติกรรม หรือยุติเซสชันตามความเหมาะสม วิธีนี้ช่วยให้มาตรการป้องกันทำงานแบบเรียลไทม์โดยไม่ลดทอนประสบการณ์ของผู้ใช้

ส่วนที่ยากที่สุดของการประเมินระบบสนทนาแบบเรียลไทม์คือ คุณสมบัติสำคัญบางประการ เช่น จังหวะ การขัดจังหวะ ความลื่นไหล และน้ำเสียง ไม่อาจวัดได้ด้วยการทดสอบจากบทถอดเสียงเพียงอย่างเดียว

กระบวนการประเมินมาตรฐานจะป้อนสถานการณ์สมจริงเข้าสู่ระบบ สังเกตผลลัพธ์ และให้คะแนน สำหรับระบบข้อความหรือระบบเสียงแบบต่อเป็นทอด วิธีนี้ตรงไปตรงมา เพียงส่งข้อความเข้าแล้วตรวจข้อความที่ออกมา ในระบบเรียลไทม์ ข้อมูลเข้าคือเสียงสด และพลวัตของการสนทนาที่สำคัญที่สุดอยู่ในมิติของเวลา เช่น เอเจนต์รับมือกับเสียงพูดซ้อนกันอย่างไร ตอบเร็วเพียงใด และกลับเข้าสู่การสนทนาหลังถูกขัดจังหวะอย่างไร

การทดสอบด้วยตนเอง ซึ่งก็คือการพูดกับเอเจนต์โดยตรง วัดคุณสมบัติเหล่านี้ได้ แต่ขยายระบบได้ยาก ระบบอัตโนมัติที่อิงบทถอดเสียงขยายได้ แต่ตัดสัญญาณที่ใช้แยกประสบการณ์เรียลไทม์ที่ดีออกจากประสบการณ์ที่ไม่ดีทิ้งไป

ไม่มีวิธีใดวิธีหนึ่งที่เพียงพอ ทางออกในทางปฏิบัติคือใช้หลายชั้นร่วมกัน ได้แก่

• การประเมินระหว่างเอเจนต์: ให้เอเจนต์เรียลไทม์อีกตัวสวมบทบาทเป็นผู้ใช้ตามลักษณะที่กำหนด แล้วสนทนากับระบบที่กำลังทดสอบ จากนั้นใช้ LLM ตัวที่สามเป็นกรรมการให้คะแนนปฏิสัมพันธ์ วิธีนี้ทดสอบเส้นทางเสียงทั้งหมด รวมถึงจังหวะและการรับมือกับการขัดจังหวะได้ในปริมาณมาก

• เมตริกที่ไม่ใช่เชิงฟังก์ชัน: ระยะเวลาจนได้ยินเสียงแรกและการวิเคราะห์อารมณ์จากบทถอดเสียง เป็นตัวชี้วัดเชิงปริมาณแทนคุณภาพการสนทนา

• การทบทวนเชิงคุณภาพด้วยตนเอง: ยังคงจำเป็นต่อการตรวจพบปัญหาที่เมตริกอัตโนมัติพลาด โดยเฉพาะเรื่องน้ำเสียงและความเป็นธรรมชาติ

ไม่มีวิธีใดครอบคลุมทุกอย่างได้เพียงลำพัง การนำเอเจนต์เรียลไทม์ขึ้นใช้งานจริงต้องใช้ทั้งสามวิธีร่วมกัน แต่ถึงอย่างนั้น เครื่องมือประเมินเสียงเรียลไทม์ก็ยังไม่พัฒนาเต็มที่เท่าเครื่องมือสำหรับ AI แบบข้อความ

เสียงแบบเรียลไทม์เปลี่ยนรูปแบบของผลิตภัณฑ์ ผู้ใช้สัมผัสถึงจังหวะ การขัดจังหวะ ความเงียบ และการกลับเข้าสู่บทสนทนาไม่ต่างจากถ้อยคำที่ได้ยิน

นั่นหมายความว่าโมเดลเป็นเพียงส่วนหนึ่งของระบบ ระบบเสียงเรียลไทม์ที่ใช้งานจริงต้องมีชั้นเซสชันที่ออกแบบมาเพื่อเสียงโดยเฉพาะ แยกการพูดออกจากการให้เหตุผลอย่างชัดเจน และควบคุมเซสชันสดด้วยเหตุการณ์ มาตรการป้องกันยังคงเป็นคอขวดด้านความหน่วง แต่แนวทางที่สร้างสรรค์ช่วยรักษาประสบการณ์เรียลไทม์ไว้ได้มาก

ส่วนที่อ่อนแอที่สุดของระบบยังคงเป็นการประเมิน ปัจจุบันยังไม่มีวิธีที่เป็นมาตรฐานในการทดสอบคุณสมบัติที่ทำให้เสียงเรียลไทม์มอบประสบการณ์ที่ดี ได้แก่ จังหวะ น้ำเสียง การรับมือกับการขัดจังหวะ และความลื่นไหลของการสนทนา จนกว่าจะมีวิธีดังกล่าว ทีมที่สร้างผลิตภัณฑ์ด้วยเทคโนโลยีนี้ต้องผสานการทดสอบอัตโนมัติ การทดสอบระหว่างเอเจนต์ และการทบทวนด้วยตนเอง