يمنح الصوت في الوقت الفعلي الناس طريقة مختلفة جذريًا للتفاعل مع التطبيقات المدعومة بالذكاء الاصطناعي. بدلًا من الكتابة أو التنقل بين القوائم، يتحدث المستخدمون بطبيعية ويتلقون ردودًا بإيقاع آني وسياق عاطفي.
يتطلب إنشاء تجربة صوتية آنية رائعة تنسيق تفاعل مباشر. وهنا يبدأ العمل الحقيقي على المنتج. التجربة الآنية فورية وواقعية، لكن إنشاء تطبيق يحافظ على هذه السمات يمثل تحديًا هندسيًا متميزًا.
النموذج ليس سوى جزء من النظام. تحتاج تطبيقات الإنتاج إلى بنية تحتية مصممة للصوت، وفصل واضح بين تدفق المحادثة والاستدلال الأعمق، وتحكم قائم على الأحداث لإدارة الجلسة أثناء تطورها.
تكمن معظم الصعوبات المتبقية في ضوابط الحماية والتقييم. يجب أن تواكب فحوص السلامة الصوت المباشر، كما يصعب تقييم سمات المحادثة العابرة، مثل التوقيت والنبرة وتدفق الحوار، باستراتيجيات التقييم التقليدية.
لا تزال معظم تطبيقات الذكاء الاصطناعي الصوتية اليوم تعمل بالطريقة نفسها: يدخل الكلام ويخرج النص، ثم يفكر نموذج ويقرأ صوت اصطناعي الإجابة. وهذه الطريقة تعمل. لكن التفاعل يبدو كما هو فعلًا: مسار معالجة، لا محادثة.
يغيّر الصوت في الوقت الفعلي ذلك. يتحدث المستخدمون بطبيعية ويتلقون ردودًا تحمل إيقاعًا ونبرة وسياقًا عاطفيًا. التجربة أسرع وأكثر سلاسة من مسارات تحويل الكلام إلى نص المتسلسلة، وأقرب إلى التحدث مع شخص منها إلى تشغيل نظام.
وقد رأينا كيف يتيح ذلك مجالات للمنتجات تجد معماريات المسارات صعوبة في خدمتها. يستطيع وكلاء الصوت الآني التعامل مع تفاعلات خدمة العملاء التي كانت ستتطلب قوائم استجابة صوتية تفاعلية طويلة ومقيّدة وتحويلات بين الأقسام. ويمكنهم تقديم التدريب والتهيئة والمساعدة في إتاحة الوصول عبر وسائط متعددة، وغير ذلك. حيثما تتفوق المحادثة المنطوقة على الواجهات النصية، يستحق الصوت الآني الاستثمار في بنائه.
تستخدم معظم التطبيقات الصوتية ما يُعرف «بالنهج المتسلسل»: مسارًا من نماذج منفصلة لتحويل الكلام إلى نص، ومعالجة اللغة، وتحويل النص إلى كلام. تعمل هذه الأنظمة جيدًا وتتيح طيفًا واسعًا من الفرص، لكن الصوت لا يوجد إلا عند طرفي المسار. تضيف الخطوات المنفصلة بنية مفروضة وزمن استجابة أطول، فتنتج تفاعلًا أقل طبيعية من المحادثة الحقيقية.
يتبع الصوت في الوقت الفعلي نهجًا مختلفًا. بدلًا من الاعتماد على نماذج منفصلة للاستماع والتفكير والتحدث، يتولى نموذج واحد الوظائف الثلاث بطبيعته، فيفهم الصوت والنصوص المفرغة وينتجهما في آن واحد. تتدفق المدخلات والمخرجات باستمرار، ما يتيح للنظام الاستجابة بتوقيت طبيعي وردود معبّرة تحافظ على الإيقاع الواقعي للمحادثة المباشرة. وبذلك يصبح التوقيت والنبرة والتعامل مع المقاطعات جزءًا محوريًا من المنتج.
تجذب التجربة الآنية لأنها تبدو فورية، وتصعب لأن لا شيء ينتظر دوره. يتطلب دعمها أكثر من توليد صوت سريع ودقيق. فالجزء الصعب هو كل ما عدا ذلك. يعمل النموذج داخل جلسة مباشرة، ويجب أن يعمل كل ما يحيط به، من الحالة والسلامة والتنسيق والتحكم، بالتوازي مع المحادثة وبالوتيرة المباشرة نفسها.
في التطبيقات الصوتية المتسلسلة، توفر المحادثات القائمة على الأدوار بنية واضحة لتبادل الحديث. يتحدث المستخدم، فيرد النظام، ثم تبدأ الخطوة التالية. لا يوفر الصوت الآني هذه البنية. قد يتحدث الطرفان في الوقت نفسه، أو لا يتحدث أي منهما فيسود الصمت. يمكن للمستخدم المقاطعة في منتصف الرد أو طرح سؤال متابعة قبل أن ينتهي النظام من الكلام. وهكذا تكف المقاطعات عن كونها حالات هامشية وتصبح نمطًا أساسيًا للتفاعل.
هذا النمط هو ما يجعل التطبيقات الآنية في جوهرها مسألة تنسيق، ولهذا لا تقل المنظومة المحيطة بالنموذج أهمية عن النموذج نفسه.
يتطلب دعم هذا النوع من الأنظمة على نطاق واسع تصميمًا مخصصًا للتفاعل المباشر، ويتكون ذلك من ثلاثة عناصر تتكرر في الأنظمة التي تصل إلى بيئة الإنتاج.
يجب أن تدير جلسات الصوت الآني بث الصوت وتبادل الأدوار والمقاطعات ودورة حياة الاتصال وتنفيذ الوكيل. وقد يلزم أيضًا دعم الاتصالات الهاتفية، حسب مكان نشر التطبيق. هذه عناصر أساسية في التجربة ومحورية لتوسيع نطاق التطبيق.
أول المتطلبات هو طبقة جلسات مصممة للصوت. توفر أطر الاتصال في الوقت الفعلي (RTC) للتطبيق بيئة لإدارة المشاركين وبث الصوت وتشغيل الوكلاء ضمن بيئة اتصالات هاتفية. من واقع تجربتنا، كان Livekit مفيدًا بوجه خاص؛ إذ يوفر حزمة WebRTC منخفضة زمن الاستجابة، مع إلغاء عالي الجودة للضوضاء وتقليل التذبذب بصورة مدمجة. نادرًا ما يستحق تنفيذ هذه الطبقة بنفسك ما يضيفه من تعقيد.
تقوم معمارية الوكلاء المتعددين للصوت الآني أساسًا على فصل المسؤوليات.
تتفوق نماذج الصوت الآني في بث صوت المحادثة، لكنها غير محسّنة للاستدلال الأعمق. يُفضّل تنفيذ مهام مثل استدعاء الأدوات أو الاسترجاع أو اتخاذ القرارات المنظّم بواسطة نموذج آخر.
من الأنماط المفيدة معمارية المستجيب والمفكّر.
المستجيب هو وكيل الصوت الآني. وهو مسؤول عن استمرار التفاعل المباشر: الاستماع والتحدث والتعامل مع المقاطعات والحفاظ على تدفق المحادثة. يعطي تصميمه الأولوية لسرعة الاستجابة والوضوح والاستمرارية العاطفية.
أما المفكّر فهو وكيل منفصل يدعمه نموذج قادر على الاستدلال. يعمل خارج مسار المحادثة ويتولى مهام مثل استخدام الأدوات والاسترجاع والتخطيط. يمكن للمستجيب الاستعانة به عند الحاجة وإدماج النتائج مجددًا في المحادثة.
في بعض الحالات، قد يتولى المفكّر الاستدلال مباشرة. وفي حالات أخرى، قد يعمل منسقًا لمجموعة من الوكلاء المتخصصين. الفكرة الأساسية هي إسناد هذا العمل إلى نموذج أنسب لمهام الاستدلال.
الفائدة بسيطة: يظل المستجيب سريعًا ومتحاورًا ومركّزًا، بينما يتولى المفكّر العمل الذي يحتاج إلى مزيد من الوقت أو السياق أو التنظيم.
قد تجعل التطورات المستقبلية في النماذج الرائدة هذا النهج غير ضروري، لكننا وجدنا حتى الآن أن هذا النمط يتفوق باستمرار على نهج الوكيل الواحد.
تنتج أنظمة الصوت الآني بطبيعتها تدفقًا مستمرًا من الأحداث.
يبدأ المستخدمون الحديث، ثم يتوقفون مؤقتًا ويقاطعون. تُحدّث النصوص المفرغة تدريجيًا. تُنشأ الردود وتُبث. تصل النتائج الخارجية. تتغير الظروف داخل الجلسة. يمكن التقاط هذه العناصر كلها وبثها وتخزينها بوصفها أحداثًا رئيسية أنشأت الحالة الراهنة المحددة للمحادثة. ومن دونها، نفقد القدرة على إجراء تدخلات دقيقة وموجّهة.
يوفر النهج القائم على الأحداث طريقة واضحة لإدارة ذلك. يلتقط النظام الأحداث عند وقوعها، ويحدّث حالة الجلسة، ويطلق إجراءات المتابعة المناسبة.
تحافظ المعالجات الخفيفة على استجابة المسار الآني، بينما تُطلق المهام الأكثر تعقيدًا، مثل تحديث آلات الحالات وتسجيل المقاييس وإزالة المعلومات الحساسة وتحديث قواعد البيانات وإنهاء الجلسة، كمهام خلفية غير متزامنة.
قد يتزايد عدد هذه المهام الخلفية بسرعة مع إضافة الميزات. حتى التغييرات الصغيرة في المنتج قد تنشئ تدفقات أحداث وتبعيات جديدة. تُعد المعمارية المنظّمة جيدًا لإدارة هذا التزامن مهمة كي يظل النظام مفهومًا وموثوقًا مع تطوره.
يدعم هذا النهج القائم على الأحداث أيضًا جانبًا بالغ الأهمية في المنتج: تشكيل المحادثة نفسها. لا يقتصر دور النظام الصوتي الآني على توليد الردود؛ بل يدير الإيقاع، ويتعامل مع الصمت والمقاطعات، ويقرر كيف ومتى ينبغي إنهاء الجلسة. هذه السلوكيات جزء من تجربة المنتج، وتستفيد من تصميمها بوضوح.
مع تغير حالة الجلسة بحسب عدد الأدوار أو الوقت المنقضي أو سلوك المستخدم، يستطيع النظام تزويد المستجيب بإرشادات موجّهة. قد يوجّه الوكيل إلى مساعدة المستخدم في إنهاء الحديث عند اقتراب حد الجلسة، أو تقديم توضيح إذا تعثر التفاعل. هذه التدخلات خفيفة، لكنها تضفي على التجربة طابعًا مقصودًا ومتماسكًا.
يحافظ النظام المصمم جيدًا على رؤية واضحة لحالة الجلسة: من يتحدث، وكيف تتقدم المحادثة، وما الشروط التي تحققت. تتيح هذه الحالة، التي يحدّثها تدفق الأحداث باستمرار، تقديم الإرشاد المناسب في الوقت المناسب.
ضوابط الحماية ضرورة في أنظمة الذكاء الاصطناعي الموجّهة للمستخدمين. فهي تدير السلامة والامتثال وإساءة الاستخدام والموثوقية. في الأنظمة القائمة على الأدوار، توجد نقاط واضحة لتطبيقها: بعد أن يتحدث المستخدم أو قبل تقديم الرد.
أما الصوت في الوقت الفعلي فيلغي معظم نقاط التحقق المريحة هذه. تصل مدخلات المستخدم باستمرار. وقد يكون بث المخرجات الصوتية قد بدأ بالفعل. غالبًا ما تتأخر النصوص المفرغة المكتملة عن الصوت. إذا انتظر النظام اكتمال الرسائل قبل فحصها، فلن تعود المحادثة تبدو آنية.
لذلك، يجب أن تعمل ضوابط الحماية بالتوازي مع المحادثة للحفاظ على طبيعة التفاعل الواقعية. تتمثل إحدى الطرق في بث الصوت إلى مخزن مؤقت، مع تقييم أجزاء النص المفرغ بصورة غير متزامنة فور توفرها، ما يتيح إجراء فحوص السلامة بوتيرة شبه آنية من دون تعطيل التفاعل.
عند تفعيل أحد ضوابط الحماية، يمكن للنظام الاستجابة بما يلائم السياق عبر إعادة توجيه المحادثة أو تعديل السلوك أو إنهاء الجلسة عند الاقتضاء. يضمن ذلك عمل ضوابط الحماية في الوقت الفعلي من دون الإضرار بتجربة المستخدم.
أصعب ما في تقييم نظام محادثة آني أن بعض أهم سماته، مثل التوقيت والمقاطعات والانسيابية والنبرة، لا يمكن قياسها باختبارات تعتمد على النصوص المفرغة وحدها.
تُدخل مسارات التقييم القياسية سيناريوهات واقعية إلى النظام، ثم ترصد المخرجات وتمنحها درجات. هذا مباشر في الأنظمة النصية أو الصوتية المتسلسلة: أرسل نصًا وافحص النص الناتج. في الوقت الفعلي، تكون المدخلات صوتًا مباشرًا، وتكمن أهم ديناميكيات المحادثة في بُعدها الزمني: كيف يتعامل الوكيل مع تداخل الكلام، ومدى سرعة استجابته، وكيف يستعيد سير المحادثة بعد مقاطعة.
يلتقط الاختبار اليدوي، أي التحدث مباشرة إلى الوكيل، هذه السمات، لكنه لا يتوسع بسهولة. تتوسع الأتمتة القائمة على النصوص المفرغة، لكنها تزيل الإشارة التي تميز تجربة جيدة في الوقت الفعلي من تجربة سيئة.
لا تكفي طريقة واحدة. الحل العملي هو استخدام مجموعة متكاملة:
تقييمات من وكيل إلى وكيل: يتحاور وكيل ثانٍ يعمل في الوقت الفعلي، وموجّه لتقمّص شخصية مستخدم محددة، مع النظام قيد الاختبار. ثم يتولى نموذج ثالث من النماذج اللغوية الكبيرة (LLM) دور الحَكَم ويقيّم التفاعل. يختبر ذلك المسار الصوتي كاملًا، بما فيه التوقيت والتعامل مع المقاطعات، وعلى نطاق واسع.
المقاييس غير الوظيفية: يوفر زمن بدء أول مقطع صوتي وتحليل مشاعر النص المفرغ مؤشرات كمية بديلة لجودة المحادثة.
المراجعة النوعية اليدوية: تظل ضرورية لاكتشاف المشكلات التي تفوتها المقاييس المؤتمتة، ولا سيما ما يتعلق بالنبرة والطبيعية.
لا توجد طريقة واحدة تغطي كل شيء. يتطلب نشر الوكلاء الآنيين في بيئة الإنتاج الجمع بين الطرق الثلاث، ومع ذلك تظل أدوات تقييم الصوت الآني غير ناضجة مقارنة بأدوات الذكاء الاصطناعي النصي.
يغيّر الصوت في الوقت الفعلي طبيعة المنتج. يختبر المستخدمون التوقيت والمقاطعة والصمت واستعادة سير الحديث بقدر ما يختبرون الكلمات.
وهذا يعني أن النموذج ليس سوى جزء من النظام. يتطلب تشغيل الصوت الآني في بيئة الإنتاج طبقة جلسات مصممة للصوت، وفصلًا واضحًا بين التحدث والاستدلال، وتحكمًا قائمًا على الأحداث في الجلسة المباشرة. تظل ضوابط الحماية عنق الزجاجة في زمن الاستجابة، لكن الأساليب المبتكرة تستطيع الحفاظ على قدر كبير من التجربة الآنية.
لا يزال التقييم أضعف أجزاء المنظومة. لا توجد بعد طريقة مستقرة لاختبار السمات التي تجعل تجربة الصوت الآني جيدة: التوقيت والنبرة والتعامل مع المقاطعات وانسيابية المحادثة. وإلى أن تتوفر هذه الطريقة، سيتعين على الفرق التي تستخدم هذه التقنية الجمع بين الاختبارات المؤتمتة، وجولات التقييم من وكيل إلى وكيل، والمراجعة اليدوية.