Իրական ժամանակի ձայնային հաղորդակցությունը մարդկանց տալիս է ԱԲ-ով աշխատող հավելվածների հետ փոխազդելու հիմնովին նոր եղանակ։ Տեքստ մուտքագրելու կամ ընտրացանկերով անցնելու փոխարեն օգտատերերը բնականորեն խոսում են և ստանում իրական ժամանակի տեմպով ու հուզական համատեքստով պատասխաններ։
Իրական ժամանակի հիանալի ձայնային փորձառություն ստեղծելու հիմքում կենդանի փոխազդեցության համակարգումն է։ Հենց այստեղ է սկսվում պրոդուկտի իրական մշակումը։ Իրական ժամանակի փորձառությունն ակնթարթային և բնական է, իսկ այդ որակները պահպանող հավելվածի ստեղծումն առանձին ինժեներական մարտահրավեր է։
Մոդելը համակարգի ընդամենը մի մասն է։ Արտադրական հավելվածներին անհրաժեշտ են ձայնի համար ի սկզբանե նախատեսված ենթակառուցվածք, զրույցի ընթացքի ու խորքային դատողության հստակ տարանջատում և աշխատաշրջանն ընթացքի մեջ կառավարող իրադարձահեն վերահսկում։
Մնացած դժվարությունների մեծ մասը կապված է պաշտպանիչ սահմանափակումների և գնահատման հետ։ Անվտանգության ստուգումները պետք է համընթաց լինեն կենդանի ձայնին, իսկ խոսակցության անցողիկ հատկանիշները՝ ժամանակը, տոնը և ընթացքը, դժվար է գնահատել ավանդական ռազմավարություններով։
Այսօրվա ձայնային ԱԲ հավելվածների մեծ մասը դեռ նույն կերպ է աշխատում․ խոսքը մուտք է գործում, տեքստը՝ դուրս գալիս, մոդելը մտածում է, իսկ սինթեզված ձայնը բարձրաձայնում է պատասխանը։ Այն աշխատում է։ Բայց փոխազդեցությունը հենց այնպիսին է զգացվում, ինչպիսին կա՝ գործընթացաշար, ոչ թե զրույց։
Իրական ժամանակի ձայնը փոխում է դա։ Օգտատերերը բնականորեն խոսում են և ստանում տեմպ, տոն ու հուզական համատեքստ փոխանցող պատասխաններ։ Այս փորձառությունն ավելի արագ ու սահուն է, քան խոսքից տեքստ շղթայված գործընթացները, և ավելի շատ նման է մարդու հետ զրույցի, քան համակարգի կառավարման։
Մենք տեսել ենք, որ սա ստեղծում է պրոդուկտային հնարավորություններ, որոնց շղթայված ճարտարապետությունները դժվարությամբ են աջակցում։ Իրական ժամանակի ձայնային ագենտները կարող են սպասարկել հաճախորդներին այնպիսի դեպքերում, որոնք այլապես կպահանջեին երկար ու սահմանափակող IVR ընտրացանկեր և փոխանցումներ բաժինների միջև։ Դրանք կարող են մարզել, օգնել նոր օգտատերերին, տարբեր միջոցներով ապահովել մատչելիություն և ավելին։ Իրական ժամանակի ձայն արժե ստեղծել ամենուր, որտեղ բանավոր զրույցն առավելություն ունի տեքստային միջերեսների նկատմամբ։
Ձայնային հավելվածների մեծ մասն օգտագործում է այսպես կոչված «շղթայված մոտեցումը»՝ խոսքից տեքստ փոխակերպելու, լեզուն մշակելու և տեքստից խոսք ստեղծելու առանձին մոդելների գործընթացաշար։ Այս համակարգերը լավ են աշխատում և բազմաթիվ հնարավորություններ են ստեղծում, սակայն ձայնը միայն գործընթացի եզրերում է։ Առանձին քայլերը պարտադրված կառուցվածք և հապաղում են ավելացնում, ինչի հետևանքով փոխազդեցությունն ավելի քիչ բնական է թվում, քան իրական զրույցը։
Իրական ժամանակի ձայնն այլ մոտեցում է կիրառում։ Լսելու, մտածելու և խոսելու համար առանձին մոդելներ օգտագործելու փոխարեն մեկ մոդելն ի սկզբանե կատարում է երեքն էլ՝ միաժամանակ հասկանալով ու ստեղծելով թե՛ ձայն, թե՛ տեքստային վերծանումներ։ Մուտքն ու ելքը շարունակական են, ուստի համակարգը կարող է բնական ժամանակային ռիթմով և հուզականորեն արձագանքել՝ պահպանելով կենդանի զրույցի իրատեսական ընթացքը։ Արդյունքում ժամանակը, տոնը և ընդհատումների մշակումը դառնում են պրոդուկտի առանցքային մաս։
Իրական ժամանակի փորձառությունը գրավիչ է իր ակնթարթայնությամբ, իսկ դժվար է այն պատճառով, որ ոչինչ իր հերթին չի սպասում։ Դրան աջակցելու համար արագ ու ճշգրիտ ձայնի ստեղծումը բավարար չէ։ Դժվարը մնացած ամեն ինչն է։ Մոդելն աշխատում է կենդանի աշխատաշրջանում, ուստի դրա շուրջ ամեն ինչ՝ վիճակը, անվտանգությունը, համակարգումն ու կառավարումը, պետք է զրույցին զուգահեռ գործի նույն կենդանի տեմպով։
Շղթայված ձայնային հավելվածում հերթափոխային զրույցներն ապահովում են հարցուպատասխանի հստակ կառուցվածք։ Օգտատերը խոսում է, համակարգը պատասխանում է, ապա սկսվում է հաջորդ քայլը։ Իրական ժամանակի ձայնը նման կառուցվածք չի տալիս։ Երկու կողմերը կարող են միաժամանակ խոսել, կամ երկուսն էլ կարող են լռել։ Օգտատերը կարող է ընդհատել պատասխանը կամ լրացուցիչ հարց տալ, քանի դեռ համակարգը չի ավարտել խոսքը։ Ընդհատումները դադարում են եզակի դեպքեր լինելուց և դառնում փոխազդեցության հիմնական ձև։
Հենց այս ձևի պատճառով են իրական ժամանակի հավելվածները հիմնականում համակարգման խնդիր, և մոդելը շրջապատող համակարգը նույնքան կարևոր է, որքան հենց մոդելը։
Նման համակարգը մեծ մասշտաբով գործարկելու համար այն պետք է հատուկ նախագծել կենդանի փոխազդեցության նպատակով։ Արտադրական միջավայր հասնող համակարգերում մշտապես հանդիպում են դրա երեք բաղադրիչները։
Իրական ժամանակի ձայնային աշխատաշրջանները պետք է կառավարեն ձայնի հոսքային փոխանցումը, խոսքի հերթափոխը, ընդհատումները, կապի կենսափուլը և ագենտի աշխատանքը։ Կախված հավելվածի տեղակայման վայրից՝ կարող է անհրաժեշտ լինել նաև հեռախոսակապի աջակցություն։ Սրանք փորձառության հիմնարար բաղադրիչներն են և առանցքային նշանակություն ունեն հավելվածի մասշտաբավորման համար։
Առաջին պահանջը ձայնի համար ի սկզբանե նախատեսված աշխատաշրջանի շերտն է։ Իրական ժամանակի հաղորդակցության (RTC) շրջանակները հավելվածին տրամադրում են միջավայր՝ մասնակիցներին կառավարելու, ձայն հեռարձակելու և հեռախոսակապի միջավայրում ագենտներ գործարկելու համար։ Մեր փորձով հատկապես Livekit-ն է օգտակար եղել՝ տրամադրելով փոքր հապաղմամբ WebRTC փաթեթ՝ բարձրորակ աղմուկամեկուսացմամբ և տատանումների նվազեցմամբ։ Այս շերտն ինքնուրույն ներդնելը հազվադեպ է արդարացնում հավելյալ բարդությունը։
Իրական ժամանակի ձայնի բազմաագենտ ճարտարապետության հիմքում պարտականությունների տարանջատումն է։
Իրական ժամանակի ձայնային մոդելները շատ արդյունավետ են խոսակցական ձայնի հոսքային փոխանցման համար, բայց օպտիմիզացված չեն ավելի խորքային դատողության համար։ Այնպիսի առաջադրանքները, ինչպիսիք են գործիքների կանչը, տվյալների որոնումը կամ կառուցվածքային որոշումների ընդունումը, ավելի արդյունավետ է կատարել այլ մոդելով։
Օգտակար լուծում է պատասխանող–մտածող ճարտարապետությունը։
Պատասխանողը իրական ժամանակի ձայնային ագենտն է։ Այն պատասխանատու է կենդանի փոխազդեցությունը պահպանելու համար՝ լսում ու խոսում է, մշակում ընդհատումները և պահպանում զրույցի սահուն ընթացքը։ Դրա նախագծման առաջնահերթություններն են արագ արձագանքը, հստակությունը և հուզական շարունակականությունը։
Մտածողը առանձին ագենտ է, որն աշխատում է դատողության ունակ մոդելով։ Այն աշխատում է հիմնական հոսքից դուրս և կատարում գործիքների օգտագործման, տվյալների որոնման ու պլանավորման առաջադրանքներ։ Պատասխանողը կարող է անհրաժեշտության դեպքում դիմել դրան և արդյունքները ներառել զրույցում։
Որոշ դեպքերում մտածողը կարող է անմիջապես կատարել դատողությունը։ Այլ դեպքերում այն կարող է համակարգել մասնագիտացված ագենտների խումբը։ Հիմնական գաղափարն այն է, որ այս աշխատանքը կատարի դատողության առաջադրանքներին ավելի համապատասխան մոդելը։
Առավելությունը պարզ է․ պատասխանողը մնում է արագ, զրույցին կենտրոնացած ու բնական, իսկ մտածողը կատարում է ավելի շատ ժամանակ, համատեքստ կամ կառուցվածք պահանջող աշխատանքը։
Ապագա առաջադեմ մոդելների զարգացումը կարող է այս մոտեցումն ավելորդ դարձնել, սակայն առայժմ, մեր փորձով, այս լուծումը մշտապես գերազանցում է մեկ ագենտով մոտեցումները։
Իրական ժամանակի ձայնային համակարգերը բնականորեն ստեղծում են իրադարձությունների շարունակական հոսք։
Օգտատերերը սկսում են խոսել, դադար են տալիս և ընդհատում։ Վերծանումները թարմացվում են աստիճանաբար։ Պատասխանները ստեղծվում և հոսքային եղանակով փոխանցվում են։ Արտաքին արդյունքներ են ստացվում։ Աշխատաշրջանի պայմանները փոփոխվում են։ Այս ամենը կարելի է գրանցել, հոսքային եղանակով փոխանցել ու պահել որպես առանցքային իրադարձություններ, որոնք ձևավորել են զրույցի տվյալ պահի վիճակը։ Առանց դրանց կորցնում ենք ճշգրիտ և նպատակային միջամտությունների հնարավորությունը։
Իրադարձահեն մոտեցումն այս ամենը կառավարելու հստակ եղանակ է տալիս։ Համակարգը գրանցում է իրադարձությունները կատարման պահին, թարմացնում աշխատաշրջանի վիճակը և գործարկում համապատասխան հետագա գործողությունները։
Թեթև մշակիչներն ապահովում են իրական ժամանակի ուղու արագ արձագանքը, իսկ ավելի բարդ առաջադրանքները՝ վիճակի ավտոմատների թարմացումը, չափանիշների գրանցումը, զգայուն տեղեկությունների հեռացումը, շտեմարանների թարմացումն ու աշխատաշրջանից ելքը, գործարկվում են որպես ասինխրոն ֆոնային առաջադրանքներ։
Գործառույթների ավելացմանը զուգընթաց այս ֆոնային առաջադրանքների թիվը կարող է արագ աճել։ Պրոդուկտի նույնիսկ փոքր փոփոխությունները կարող են իրադարձությունների նոր հոսքեր և կախվածություններ առաջացնել։ Զուգահեռ աշխատանքի լավ կառուցված ճարտարապետությունը կարևոր է, որպեսզի զարգացող համակարգը մնա հասկանալի և հուսալի։
Այս իրադարձահեն մոտեցումը լուծում է նաև պրոդուկտի կարևոր խնդիր՝ բուն զրույցի ձևավորումը։ Իրական ժամանակի ձայնային համակարգը ոչ միայն պատասխաններ է ստեղծում, այլև կառավարում է տեմպը, մշակում լռությունն ու ընդհատումները և որոշում, թե ինչպես ու երբ պետք է ավարտվի աշխատաշրջանը։ Այս վարքագծերը պրոդուկտային փորձառության մաս են և պետք է հստակ նախագծվեն։
Երբ աշխատաշրջանի վիճակը փոխվում է՝ ըստ խոսքի հերթերի թվի, անցած ժամանակի կամ օգտատիրոջ վարքագծի, համակարգը կարող է նպատակային ցուցումներ փոխանցել պատասխանողին։ Աշխատաշրջանի սահմանաչափին մոտենալիս այն կարող է ագենտին հուշել՝ օգնել օգտատիրոջն ամփոփել զրույցը, իսկ փոխազդեցության դադարի դեպքում՝ պարզաբանում առաջարկել։ Այս միջամտությունները թեթև են, բայց փորձառությունը դարձնում են նպատակային և ամբողջական։
Լավ նախագծված համակարգը հստակ պատկերացում ունի աշխատաշրջանի վիճակի մասին՝ ով է խոսում, ինչպես է ընթանում զրույցը և ինչ պայմաններ են կատարվել։ Իրադարձությունների հոսքով շարունակաբար թարմացվող այս վիճակը հնարավորություն է տալիս ճիշտ պահին տրամադրել ճիշտ ուղղորդումը։
Օգտատերերի համար նախատեսված ԱԲ-ում պաշտպանիչ սահմանափակումները պարտադիր են։ Դրանք ապահովում են անվտանգությունը, համապատասխանությունը, չարաշահումների կանխումը և հուսալիությունը։ Հերթափոխային համակարգում դրանք գործարկելու հստակ պահեր կան՝ օգտատիրոջ խոսքից հետո կամ պատասխանը տրամադրելուց առաջ։
Իրական ժամանակի ձայնային հաղորդակցությունը վերացնում է այդ հարմար ստուգման կետերի մեծ մասը։ Օգտատիրոջ մուտքային տվյալները հասնում են անընդհատ։ Ելքային ձայնը կարող է արդեն հեռարձակվել։ Ամբողջական տեքստային վերծանումները հաճախ ձայնից ուշ են ստացվում։ Եթե համակարգը ստուգումից առաջ սպասի հաղորդագրությունների ավարտին, զրույցն այլևս իրական ժամանակում ընթացող չի թվա։
Ուստի բնական փոխազդեցությունը պահպանելու համար պաշտպանիչ սահմանափակումները պետք է գործեն զրույցին զուգահեռ։ Մոտեցումներից մեկը ձայնը բուֆեր փոխանցելն է՝ միաժամանակ և ասինխրոն գնահատելով հասանելի դարձող վերծանման հատվածները։ Այդպես անվտանգության ստուգումները կարող են կատարվել գրեթե իրական ժամանակում՝ առանց փոխազդեցությունն արգելափակելու։
Երբ պաշտպանիչ սահմանափակումը գործարկվում է, համակարգը կարող է համատեքստին համապատասխան արձագանքել՝ փոխելով զրույցի ուղղությունը կամ վարքագիծը, իսկ անհրաժեշտության դեպքում՝ ավարտելով աշխատաշրջանը։ Այդպես պաշտպանիչ սահմանափակումները գործում են իրական ժամանակում՝ չվատթարացնելով օգտատիրոջ փորձառությունը։
Իրական ժամանակի խոսակցական համակարգի գնահատման ամենադժվար կողմն այն է, որ կարևորագույն որոշ հատկանիշներ՝ ժամանակը, ընդհատումները, զրույցի ընթացքն ու տոնը, հնարավոր չէ գնահատել միայն վերծանումների վրա հիմնված փորձարկումներով։
Գնահատման սովորական գործընթացները համակարգին տրամադրում են իրատեսական սցենարներ, դիտարկում արդյունքները և միավորներ տալիս դրանց։ Տեքստային կամ շղթայված ձայնային համակարգերի դեպքում սա պարզ է՝ ուղարկել տեքստ և ստուգել ստացված տեքստը։ Իրական ժամանակում մուտքը կենդանի ձայնն է, իսկ ամենակարևոր խոսակցական դինամիկան դրսևորվում է ժամանակի մեջ՝ ինչպես է ագենտը մշակում համընկնող խոսքը, որքան արագ է արձագանքում և ինչպես է վերականգնում զրույցն ընդհատումից հետո։
Ձեռքով փորձարկումը՝ ագենտի հետ անմիջապես խոսելը, ներառում է այս հատկանիշները, սակայն մասշտաբավորելի չէ։ Վերծանումների վրա հիմնված ավտոմատացումը մասշտաբավորվում է, բայց կորցնում է այն ազդանշանը, որով իրական ժամանակի լավ փորձառությունը տարբերվում է վատից։
Ոչ մի մեթոդ ինքնին բավարար չէ։ Գործնական լուծումը մեթոդների համակցումն է․
Ագենտից ագենտ գնահատումներ․ իրական ժամանակի երկրորդ ագենտը, որին հանձնարարված է ներկայանալ որպես որոշակի տիպի օգտատեր, զրուցում է փորձարկվող համակարգի հետ։ Երրորդ LLM-ը, հանդես գալով որպես դատավոր, գնահատում է փոխազդեցությունը։ Այս մեթոդը մեծ ծավալով փորձարկում է ձայնային ողջ ուղին՝ ներառյալ ժամանակն ու ընդհատումների մշակումը։
Ոչ ֆունկցիոնալ չափանիշներ․ մինչև առաջին ձայնը տևող ժամանակը և վերծանման հուզական երանգի վերլուծությունը խոսակցության որակի քանակական փոխարինող ցուցանիշներ են։
Ձեռքով որակական ստուգում․ դեռևս անհրաժեշտ է ավտոմատ չափանիշների բաց թողած խնդիրները հայտնաբերելու համար, հատկապես տոնի և բնականության առումով։
Առանձին վերցրած՝ ոչ մի մեթոդ չի ընդգրկում ամեն ինչ։ Իրական ժամանակի ագենտներն արտադրական միջավայրում ներդնելու համար անհրաժեշտ է համադրել բոլոր երեք մեթոդները։ Նույնիսկ այդ դեպքում իրական ժամանակի ձայնի գնահատման գործիքները տեքստային ԱԲ-ի համեմատ դեռ զարգացած չեն։
Իրական ժամանակի ձայնային հաղորդակցությունը փոխում է պրոդուկտի բնույթը։ Օգտատերերի փորձառությունը ձևավորում են ոչ միայն բառերը, այլև ժամանակը, ընդհատումները, լռությունն ու վերականգնումը։
Սա նշանակում է, որ մոդելը համակարգի ընդամենը մի մասն է։ Արտադրական իրական ժամանակի ձայնային համակարգին անհրաժեշտ են ձայնի համար ի սկզբանե նախատեսված աշխատաշրջանի շերտ, խոսքի ու դատողության հստակ տարանջատում և կենդանի աշխատաշրջանի իրադարձահեն կառավարում։ Պաշտպանիչ սահմանափակումները շարունակում են մնալ հապաղման հիմնական պատճառը, սակայն ստեղծագործ մոտեցումները կարող են զգալիորեն պահպանել իրական ժամանակի փորձառությունը։
Համակարգի ամենաթույլ մասը դեռևս գնահատումն է։ Դեռևս չկա հաստատված եղանակ՝ փորձարկելու իրական ժամանակի ձայնային փորձառությունն արդյունավետ դարձնող հատկանիշները՝ ժամանակը, տոնը, ընդհատումների մշակումը և զրույցի սահուն ընթացքը։ Մինչև նման եղանակի ստեղծումը, այս տեխնոլոգիայով աշխատող թիմերը պետք է համադրեն ավտոմատ փորձարկումները, ագենտից ագենտ փորձարկումներն ու ձեռքով ստուգումը։