प्रत्यक्ष-वेळेतील ध्वनी-अनुभव मोठ्या प्रमाणावर प्रभावी कशामुळे ठरतात

• प्रत्यक्ष-वेळेतील ध्वनीमुळे लोकांना कृत्रिम बुद्धिमत्तेवर चालणाऱ्या अनुप्रयोगांशी संवाद साधण्याचा मूलतः वेगळा मार्ग मिळतो. टंकलेखन किंवा पर्यायसूची वापरण्याऐवजी वापरकर्ते सहजपणे बोलतात आणि त्यांना प्रत्यक्ष-वेळेतील लय व भावनिक संदर्भासह प्रतिसाद मिळतात.

• उत्कृष्ट प्रत्यक्ष-वेळेतील ध्वनी-अनुभव उभारणे म्हणजे थेट संवादाचे समन्वयन करणे. उत्पादनावरील खरे काम येथून सुरू होते. प्रत्यक्ष-वेळेतील अनुभव तात्काळ आणि जिवंत वाटतो. तो सातत्याने देणारा अनुप्रयोग तयार करणे हे स्वतंत्र अभियांत्रिकी आव्हान आहे.

• मॉडेल हा प्रणालीचा केवळ एक भाग आहे. प्रत्यक्ष वापरातील अनुप्रयोगांना ध्वनी-केंद्रित पायाभूत सुविधा, संभाषणाचा ओघ आणि सखोल रीझनिंग यांमधील स्पष्ट विभागणी आणि चालू सत्र व्यवस्थापित करण्यासाठी घटनाधारित नियंत्रण आवश्यक असते.

• उरलेली बहुतांश गुंतागुंत सुरक्षा-नियंत्रणे आणि मूल्यमापनात आहे. सुरक्षा तपासण्यांनी थेट ध्वनीच्या वेगाशी जुळवून घेतले पाहिजे. वेळसाधन, स्वर आणि संभाषणाचा ओघ यांसारख्या क्षणभंगुर गुणांचे पारंपरिक मूल्यमापन पद्धतींनी परीक्षण करणे कठीण असते.

आजचे बहुतांश ध्वनी-सक्षम कृत्रिम बुद्धिमत्ता अनुप्रयोग अजूनही एकाच पद्धतीने चालतात: वाणी दिली जाते, मजकूर मिळतो, मॉडेल विचार करते आणि संश्लेषित आवाज उत्तर वाचून दाखवतो. ही पद्धत काम करते. पण हा संवाद जसा आहे तसाच वाटतो: संभाषण नव्हे, तर प्रक्रिया-साखळी.

प्रत्यक्ष-वेळेतील ध्वनी हे बदलतो. वापरकर्ते सहजपणे बोलतात आणि त्यांना लय, स्वर व भावनिक संदर्भ असलेले प्रतिसाद मिळतात. हा अनुभव साखळीबद्ध वाणी-ते-मजकूर प्रक्रियेपेक्षा जलद आणि अधिक प्रवाही असून, प्रणाली चालवण्यापेक्षा एखाद्या व्यक्तीशी बोलण्यासारखा वाटतो.

यामुळे प्रक्रिया-साखळीच्या रचनांना कठीण जाणाऱ्या उत्पादन-संधी खुल्या होताना आम्ही पाहिल्या आहेत. प्रत्यक्ष-वेळेतील ध्वनी एजंट ग्राहकसेवेतील असे संवाद हाताळू शकतात, ज्यांसाठी अन्यथा लांबलचक, मर्यादित परस्परसंवादी ध्वनी-प्रतिसाद पर्यायसूची आणि विभागांमधील हस्तांतरणे आवश्यक असतात. ते प्रशिक्षण देऊ शकतात, नव्या वापरकर्त्यांना सुरुवात करून देऊ शकतात, विविध माध्यमांतील सुगम्यतेत मदत करू शकतात आणि बरेच काही करू शकतात. जिथे मजकूराधारित संवादपटलापेक्षा बोलून संवाद साधणे फायदेशीर आहे, तिथे प्रत्यक्ष-वेळेतील ध्वनी विकसित करणे उपयुक्त ठरते.

बहुतांश ध्वनी-सक्षम अनुप्रयोगांमध्ये ‘साखळीबद्ध पद्धत’ वापरली जाते: वाणी-ते-मजकूर, भाषा प्रक्रिया आणि मजकूर-ते-वाणी यांसाठी स्वतंत्र मॉडेलची प्रक्रिया-साखळी. या प्रणाली चांगले काम करतात आणि अनेक संधी खुल्या करतात, पण ध्वनीचा वापर केवळ प्रक्रियेच्या टोकांवर होतो. वेगवेगळ्या टप्प्यांमुळे अनिवार्य रचना आणि विलंब वाढतो. त्यामुळे संवाद खऱ्या संभाषणापेक्षा कमी नैसर्गिक वाटतो.

प्रत्यक्ष-वेळेतील ध्वनी वेगळी पद्धत वापरतो. ऐकणे, विचार करणे आणि बोलणे यांसाठी स्वतंत्र मॉडेलवर अवलंबून राहण्याऐवजी एकच मॉडेल ही तिन्ही कामे मूळ स्वरूपात हाताळते आणि ध्वनी व लिप्यंतरे एकाच वेळी समजून घेते व निर्माण करते. निविष्ट आणि निष्पत्ती सतत सुरू राहतात. त्यामुळे प्रणाली नैसर्गिक वेळसाधन व भावपूर्ण प्रतिसादांसह थेट संभाषणाची वास्तववादी लय टिकवू शकते. परिणामी वेळसाधन, स्वर आणि व्यत्यय हाताळणी हे उत्पादनाचे मध्यवर्ती भाग बनतात.

प्रत्यक्ष-वेळेतील अनुभव तात्काळ वाटत असल्यामुळे आकर्षक असतो; पण कुठलीही गोष्ट आपल्या क्रमाची वाट पाहत नसल्यामुळे तो कठीणही असतो. त्याला आधार देण्यासाठी वेगवान आणि अचूक ध्वनिनिर्मितीपेक्षा अधिक काही आवश्यक असते. इतर सर्व गोष्टी हाच कठीण भाग आहे. मॉडेल थेट सत्रात काम करते. त्याभोवतीची स्थिती, सुरक्षितता, समन्वयन आणि नियंत्रण या सर्व गोष्टींनी संभाषणासोबत त्याच थेट वेगाने काम केले पाहिजे.

साखळीबद्ध ध्वनी-अनुप्रयोगात आळीपाळीच्या संभाषणामुळे स्वच्छ प्रश्नोत्तर रचना मिळते. वापरकर्ता बोलतो, प्रणाली प्रतिसाद देते आणि पुढचा टप्पा सुरू होतो. प्रत्यक्ष-वेळेतील ध्वनीत अशी रचना मिळत नाही. दोन्ही बाजू एकाच वेळी बोलू शकतात किंवा कोणीही न बोलल्याने शांतता असू शकते. वापरकर्ता प्रतिसादाच्या मध्येच व्यत्यय आणू शकतो किंवा प्रणालीचे बोलणे पूर्ण होण्यापूर्वी पुढचा प्रश्न विचारू शकतो. व्यत्यय हे अपवाद न राहता संवादाचा मुख्य नमुना बनतात.

या नमुन्यामुळे प्रत्यक्ष-वेळेतील अनुप्रयोग मुळातच समन्वयनाची समस्या ठरतात आणि म्हणून मॉडेलभोवतीची प्रणालीही मॉडेलइतकीच महत्त्वाची असते.

अशा प्रकारच्या प्रणालीला मोठ्या प्रमाणावर आधार देण्यासाठी थेट संवाद लक्षात घेऊन खास रचना करावी लागते. प्रत्यक्ष वापरापर्यंत पोहोचणाऱ्या प्रणालींमध्ये त्याचे तीन भाग वारंवार दिसतात.

प्रत्यक्ष-वेळेतील ध्वनीसत्रांनी ध्वनीप्रवाह, बोलण्याची पाळी, व्यत्यय, जोडणीचे जीवनचक्र आणि एजंटचे कार्यान्वयन हाताळले पाहिजे. अनुप्रयोग कुठे उपलब्ध केला आहे त्यानुसार दूरध्वनी सेवेचा आधारही आवश्यक असू शकतो. हे अनुभवाचे पायाभूत भाग असून अनुप्रयोगाचा विस्तार करण्यासाठी अत्यंत महत्त्वाचे आहेत.

ध्वनी-केंद्रित सत्रस्तर ही पहिली गरज आहे. प्रत्यक्ष-वेळेतील संप्रेषण चौकटी अनुप्रयोगाला सहभागी व्यवस्थापित करण्यासाठी, ध्वनी प्रवाहित करण्यासाठी आणि दूरध्वनी वातावरणात एजंट चालवण्यासाठी जागा देतात. आमच्या अनुभवानुसार, विशेषतः Livekit उपयुक्त ठरले आहे. ते कमी विलंबाची WebRTC रचना तसेच उच्च-गुणवत्तेचे ध्वनी-व्यत्यय निराकरण आणि प्रसारणातील चढ-उतार कमी करण्याची अंगभूत सुविधा देते. अतिरिक्त गुंतागुंत लक्षात घेता हा स्तर स्वतः विकसित करणे क्वचितच फायदेशीर ठरते.

प्रत्यक्ष-वेळेतील ध्वनीसाठी बहु-एजंट रचना ही मुळात जबाबदाऱ्यांच्या विभागणीविषयी आहे.

प्रत्यक्ष-वेळेतील ध्वनी मॉडेल संभाषणात्मक ध्वनीप्रवाहात अत्यंत प्रभावी आहेत, पण सखोल रीझनिंगसाठी अनुकूलित केलेली नाहीत. साधनांना बोलावणे, माहिती शोधणे किंवा संरचित निर्णय घेणे यांसारखी कामे वेगळ्या मॉडेलने केल्यास अधिक चांगली होतात.

प्रतिसादक-विचारक रचना हा एक उपयुक्त नमुना आहे.

प्रतिसादक हा प्रत्यक्ष-वेळेतील ध्वनी एजंट असतो. थेट संवाद टिकवण्याची जबाबदारी त्याची असते: ऐकणे, बोलणे, व्यत्यय हाताळणे आणि संभाषणाचा ओघ राखणे. त्याच्या रचनेत तत्परता, स्पष्टता आणि भावनिक सातत्याला प्राधान्य दिले जाते.

विचारक हा रीझनिंग करू शकणाऱ्या मॉडेलवर चालणारा स्वतंत्र एजंट असतो. तो मुख्य संवादमार्गाबाहेर काम करतो आणि साधनांचा वापर, माहिती शोधणे व नियोजन यांसारखी कामे हाताळतो. गरज पडल्यास प्रतिसादक त्याची मदत घेऊन मिळालेले निष्कर्ष पुन्हा संभाषणात समाविष्ट करू शकतो.

काही प्रकरणांत विचारक थेट रीझनिंग हाताळू शकतो. इतर प्रकरणांत तो विशेषीकृत एजंटच्या संचासाठी समन्वयक म्हणून काम करू शकतो. रीझनिंगच्या कामांसाठी अधिक योग्य असलेल्या मॉडेलने हे काम करावे, ही यामागील मुख्य कल्पना आहे.

फायदा स्पष्ट आहे: प्रतिसादक जलद, संवादक्षम आणि लक्ष केंद्रित ठेवू शकतो, तर अधिक वेळ, संदर्भ किंवा रचना आवश्यक असलेले काम विचारक हाताळतो.

भविष्यातील अत्याधुनिक मॉडेलमधील प्रगतीमुळे ही पद्धत अनावश्यक ठरू शकते. पण सध्या हा नमुना एकाच एजंटच्या पद्धतींपेक्षा सातत्याने सरस ठरत असल्याचे आम्हाला आढळले आहे.

प्रत्यक्ष-वेळेतील ध्वनीप्रणालींमध्ये घटनांचा अखंड प्रवाह स्वाभाविकपणे निर्माण होतो.

वापरकर्ते बोलायला सुरुवात करतात, थांबतात आणि व्यत्यय आणतात. लिप्यंतरे टप्प्याटप्प्याने अद्ययावत होतात. प्रतिसाद निर्माण करून प्रवाहित केले जातात. बाह्य निष्कर्ष प्राप्त होतात. सत्रातील परिस्थिती बदलत राहते. संभाषणाची विशिष्ट वर्तमान स्थिती निर्माण करणाऱ्या महत्त्वाच्या घटना म्हणून या सर्व गोष्टी टिपता, प्रवाहित करता आणि साठवता येतात. त्यांच्याशिवाय नेमके आणि लक्ष्यित हस्तक्षेप करण्याची क्षमता आपण गमावतो.

घटनाधारित पद्धत हे व्यवस्थापित करण्याचा स्पष्ट मार्ग देते. प्रणाली घटना घडताक्षणी टिपते, सत्राची स्थिती अद्ययावत करते आणि योग्य पुढील कृती सुरू करते.

हलके हाताळक प्रत्यक्ष-वेळेतील मार्ग प्रतिसादक्षम ठेवतात, तर स्थिती-यंत्रे अद्ययावत करणे, मापनसूचक नोंदवणे, संवेदनशील माहिती काढणे, डेटाबेस अद्ययावत करणे आणि सत्रातून बाहेर पडणे यांसारखी गुंतागुंतीची कामे समकालिकेतर पार्श्वभूमी कार्ये म्हणून सुरू केली जातात.

वैशिष्ट्ये वाढत गेल्यावर या पार्श्वभूमी कार्यांची संख्या झपाट्याने वाढू शकते. उत्पादनातील लहान बदलांमुळेही घटनांचे नवे प्रवाह आणि अवलंबित्वे निर्माण होऊ शकतात. प्रणाली विकसित होत असताना ती समजण्यास सोपी आणि विश्वासार्ह ठेवण्यासाठी या समवर्ती कार्यांची सुव्यवस्थित रचना महत्त्वाची असते.

ही घटनाधारित पद्धत उत्पादनाशी संबंधित आणखी एका महत्त्वाच्या बाबीलाही आधार देते: संभाषणालाच अपेक्षित आकार देणे. प्रत्यक्ष-वेळेतील ध्वनीप्रणाली केवळ उत्तरे निर्माण करत नाही. ती लय व्यवस्थापित करते, शांतता व व्यत्यय हाताळते आणि सत्र कसे व केव्हा संपवायचे हे ठरवते. ही वर्तने उत्पादन-अनुभवाचा भाग आहेत आणि त्यांची स्पष्ट रचना केल्यास फायदा होतो.

बोलण्याच्या पाळ्यांची संख्या, गेलेला वेळ किंवा वापरकर्त्याचे वर्तन यांनुसार सत्राची स्थिती बदलत असताना प्रणाली प्रतिसादकाला लक्ष्यित मार्गदर्शन देऊ शकते. सत्राची मर्यादा जवळ आल्यावर ती एजंटला वापरकर्त्याला संवाद पूर्ण करण्यात मदत करण्याची सूचना देऊ शकते किंवा संवाद थांबल्यास स्पष्टीकरण देऊ शकते. हे हस्तक्षेप हलके असले तरी अनुभव उद्देशपूर्ण आणि सुसंगत बनवतात.

उत्तम रचना केलेली प्रणाली सत्राच्या स्थितीचे स्पष्ट चित्र राखते: कोण बोलत आहे, संभाषण कसे पुढे जात आहे आणि कोणत्या अटी पूर्ण झाल्या आहेत. घटनांच्या प्रवाहामुळे सतत अद्ययावत होणारी ही स्थिती योग्य वेळी योग्य मार्गदर्शन देणे शक्य करते.

वापरकर्त्यांशी थेट संवाद साधणाऱ्या कृत्रिम बुद्धिमत्तेत सुरक्षा-नियंत्रणे अनिवार्य आहेत. ती सुरक्षितता, नियमपालन, गैरवापर आणि विश्वासार्हता हाताळतात. आळीपाळीने चालणाऱ्या प्रणालीत ती तपासण्यासाठी स्पष्ट टप्पे असतात: वापरकर्ता बोलल्यानंतर किंवा उत्तर देण्यापूर्वी.

प्रत्यक्ष-वेळेतील ध्वनीमुळे यांपैकी बहुतांश सोयीचे तपासणी टप्पे नाहीसे होतात. वापरकर्त्याची माहिती सतत येत राहते. ध्वनीचे प्रक्षेपण आधीच सुरू झालेले असू शकते. पूर्ण लिप्यंतरे अनेकदा ध्वनीच्या मागे पडतात. तपासणीपूर्वी प्रणालीने पूर्ण संदेशांची वाट पाहिली, तर संभाषण प्रत्यक्ष-वेळेतील वाटत नाही.

त्याऐवजी, संवादाचा जिवंतपणा टिकवण्यासाठी सुरक्षा-नियंत्रणे संभाषणासोबतच कार्यरत राहिली पाहिजेत. एक मार्ग म्हणजे ध्वनी बफरमध्ये प्रवाहित करणे आणि उपलब्ध होत जाणाऱ्या लिप्यंतराच्या तुकड्यांचे समकालिकेतर मूल्यमापन करणे. त्यामुळे संवाद न अडवता सुरक्षा तपासण्या जवळपास प्रत्यक्ष-वेळेच्या वेगाने करता येतात.

सुरक्षा-नियंत्रण सक्रिय झाल्यावर, प्रणाली संभाषणाला दुसरी दिशा देऊन, वर्तन बदलून किंवा योग्य ठिकाणी सत्र संपवून संदर्भानुसार प्रतिसाद देऊ शकते. यामुळे वापरकर्ता-अनुभव न बिघडवता सुरक्षा-नियंत्रणे प्रत्यक्ष वेळेत काम करतात.

प्रत्यक्ष-वेळेतील संवादप्रणालीचे मूल्यमापन करताना सर्वांत कठीण बाब म्हणजे वेळसाधन, व्यत्यय, ओघ आणि स्वर यांसारखे महत्त्वाचे गुण केवळ लिप्यंतरावर आधारित चाचणीत टिपता येत नाहीत.

प्रमाणित मूल्यमापन प्रक्रिया प्रणालीला वास्तववादी परिस्थिती देतात, निष्पत्तीचे निरीक्षण करतात आणि गुण देतात. मजकूराधारित किंवा साखळीबद्ध ध्वनीप्रणालींसाठी हे सोपे आहे: मजकूर पाठवा आणि मिळालेला मजकूर तपासा. प्रत्यक्ष-वेळेत निविष्ट म्हणून थेट ध्वनी येतो आणि सर्वाधिक महत्त्वाची संभाषणगत गती वेळेशी संबंधित असते: एजंट एकाच वेळी होणारे बोलणे कसे हाताळतो, किती लवकर प्रतिसाद देतो आणि व्यत्ययानंतर कसा सावरतो.

प्रत्यक्ष चाचणीमध्ये एजंटशी थेट बोलल्यामुळे हे गुण टिपले जातात, पण ही पद्धत मोठ्या प्रमाणावर वापरता येत नाही. लिप्यंतराधारित स्वयंचलन मोठ्या प्रमाणावर करता येते, पण चांगला आणि वाईट प्रत्यक्ष-वेळेतील अनुभव वेगळा करणारे संकेत त्यातून निघून जातात.

एकच पद्धत पुरेशी नाही. व्यावहारिक उपाय म्हणजे या पद्धतींचा संच:

• एजंट-ते-एजंट मूल्यमापन: विशिष्ट वापरकर्ता-व्यक्तिमत्त्व स्वीकारण्याची सूचना दिलेला दुसरा प्रत्यक्ष-वेळेतील एजंट चाचणीखालील प्रणालीशी संवाद साधतो. तिसरा LLM परीक्षक म्हणून संवादाला गुण देतो. यात वेळसाधन आणि व्यत्यय हाताळणीसह संपूर्ण ध्वनीमार्गाची मोठ्या प्रमाणावर चाचणी होते.

• अकार्यात्मक मापनसूचक: पहिला ध्वनी मिळेपर्यंतचा कालावधी आणि लिप्यंतरातील भावनांचे विश्लेषण संभाषणाच्या गुणवत्तेसाठी परिमाणात्मक पर्यायी मापे देतात.

• प्रत्यक्ष गुणात्मक आढावा: स्वयंचलित मापनसूचकांच्या नजरेतून सुटणाऱ्या, विशेषतः स्वर आणि नैसर्गिकतेशी संबंधित समस्या शोधण्यासाठी तो अजूनही आवश्यक आहे.

एकही पद्धत सर्व बाबी हाताळत नाही. प्रत्यक्ष-वेळेतील एजंट प्रत्यक्ष वापरासाठी उपलब्ध करताना तिन्ही पद्धती एकत्र वापराव्या लागतात. तरीही, मजकूराधारित कृत्रिम बुद्धिमत्तेच्या तुलनेत प्रत्यक्ष-वेळेतील ध्वनीमूल्यमापनाची साधने अपरिपक्व आहेत.

प्रत्यक्ष-वेळेतील ध्वनीमुळे उत्पादनाचे स्वरूप बदलते. वापरकर्त्यांच्या अनुभवावर शब्दांइतकाच वेळसाधन, व्यत्यय, शांतता आणि संवाद पूर्ववत होण्याचा परिणाम होतो.

याचा अर्थ मॉडेल हा प्रणालीचा केवळ एक भाग आहे. प्रत्यक्ष वापरातील प्रत्यक्ष-वेळेच्या ध्वनीप्रणालीला ध्वनी-केंद्रित सत्रस्तर, बोलणे आणि रीझनिंग यांमधील स्पष्ट विभागणी आणि थेट सत्राभोवती घटनाधारित नियंत्रण आवश्यक असते. सुरक्षा-नियंत्रणे विलंबाचा मुख्य अडथळा आहेत, पण कल्पक पद्धतींनी प्रत्यक्ष-वेळेतील बहुतांश अनुभव टिकवता येतो.

या संचातील सर्वांत कमकुवत भाग अजूनही मूल्यमापन हाच आहे. प्रत्यक्ष-वेळेतील ध्वनीचा अनुभव चांगला बनवणाऱ्या वेळसाधन, स्वर, व्यत्यय हाताळणी आणि संभाषणाचा ओघ या गुणांची चाचणी करण्याची निश्चित पद्धत अद्याप उपलब्ध नाही. ती उपलब्ध होईपर्यंत या तंत्रज्ञानावर काम करणाऱ्या संघांना स्वयंचलित चाचण्या, एजंट-ते-एजंट चाचण्या आणि प्रत्यक्ष आढावा एकत्र वापरावा लागेल.