Бодит цагийн дуу хоолой нь AI-д суурилсан аппликейшнтай харилцах цоо шинэ аргыг хүмүүст олгодог. Хэрэглэгч бичих эсвэл цэсээр дамжихын оронд энгийнээр ярьж, бодит цагийн хэмнэл, сэтгэл хөдлөлийн өнгө аяс бүхий хариу авна.
Бодит цагийн дуу хоолойн сайн туршлагыг бүтээнэ гэдэг нь шууд харилцааг уялдуулан зохицуулахыг хэлнэ. Бүтээгдэхүүний жинхэнэ ажил эндээс эхэлдэг. Бодит цагийн туршлага шуурхай, амьд мэт байдаг бөгөөд үүнийг тогтвортой хадгалах аппликейшн бүтээх нь инженерчлэлийн онцгой сорилт юм.
Загвар нь системийн зөвхөн нэг хэсэг. Бүтээгдэхүүний аппликейшнд дуу хоолойд зориулсан дэд бүтэц, харилцан ярианы урсгал ба гүнзгий сэтгэн бодох үйл явцын тодорхой зааг, өрнөж буй холболтыг удирдах үйл явдалд суурилсан хяналт хэрэгтэй.
Үлдсэн бэрхшээлийн ихэнх нь хамгаалалтын хязгаарлалт болон үнэлгээнд оршдог. Аюулгүй байдлын шалгалт шууд аудионы хурдаас хоцрох ёсгүй. Харин хугацааны тохиргоо, өнгө аяс, ярианы урсгал зэрэг агшин зуурын чанарыг уламжлалт үнэлгээний аргаар хэмжихэд хэцүү.
Өнөөдөр дуу хоолой дэмждэг AI-ын ихэнх аппликейшн ижил зарчмаар ажилладаг: яриа орж ирээд бичвэр болж, загвар бодож боловсруулаад, нийлэгжүүлсэн дуу хоолой хариуг уншина. Энэ нь ажилладаг. Гэхдээ харилцаа нь яриа бус, дамжлага гэдэг нь илт мэдрэгддэг.
Бодит цагийн дуу хоолой үүнийг өөрчилдөг. Хэрэглэгчид энгийнээр ярьж, хэмнэл, өнгө аяс, сэтгэл хөдлөлийн нөхцөлийг илэрхийлсэн хариу авдаг. Энэ туршлага нь хэлхээт ярианаас бичвэрт хөрвүүлэх дамжлагаас илүү хурдан, чөлөөтэй бөгөөд систем ажиллуулахаас илүү хүнтэй ярилцахтай төстэй.
Ингэснээр дамжлага хэлбэрийн архитектураар хэрэгжүүлэхэд бэрх бүтээгдэхүүний шинэ боломжууд нээгдэж байгааг бид харсан. Бодит цагийн дуу хоолойн агентууд урт, хязгаарлагдмал IVR цэс болон хэлтэс хооронд шилжүүлэх шаардлагатай байсан хэрэглэгчийн үйлчилгээний харилцааг зохицуулж чадна. Тэд зааварлаж сургах, шинэ хэрэглэгчийг чиглүүлэх, төрөл бүрийн сувгаар хүртээмжийг дэмжих зэрэг олон үүрэг гүйцэтгэж чадна. Ярианы харилцаа бичвэрт суурилсан интерфейсээс давуу бүх нөхцөлд бодит цагийн дуу хоолойг хөгжүүлэх нь үр өгөөжтэй.
Дуу хоолой дэмждэг ихэнх аппликейшн яриаг бичвэр болгох, хэл боловсруулах, бичвэрийг яриа болгох тусдаа загваруудын дамжлагаас бүрдэх "хэлхээт арга"-ыг ашигладаг. Эдгээр систем сайн ажиллаж, олон төрлийн боломж нээдэг ч аудио нь зөвхөн дамжлагын хоёр захад байна. Тусдаа алхмууд албадмал бүтэц болон хоцролт нэмдэг тул харилцаа нь жинхэнэ ярианаас хиймэл санагдана.
Бодит цагийн дуу хоолой өөр арга хэрэглэдэг. Сонсох, бодох, ярих үйлдэлд тусдаа загвар ашиглахын оронд нэг загвар гурвууланг нь төрөлх байдлаар гүйцэтгэж, аудио болон хөрвүүлсэн бичвэрийг нэгэн зэрэг ойлгож, үүсгэнэ. Оролт, гаралт тасралтгүй үргэлжилдэг тул систем байгалийн хэмнэлээр, сэтгэл хөдлөлийг илэрхийлсэн хариу өгч, амьд харилцан ярианы бодит хэмнэлийг хадгална. Үүний үр дүнд хугацааны тохиргоо, өнгө аяс, яриа таслах үеийн зохицуулалт бүтээгдэхүүний гол хэсэг болдог.
Бодит цагийн туршлага шуурхай мэдрэгддэгээрээ сонирхол татдаг ч хэн ч ээлжээ хүлээдэггүй учраас хэрэгжүүлэхэд хэцүү. Үүнийг дэмжихэд хурдан, зөв аудио үүсгэхээс илүү зүйл хэрэгтэй. Хэцүү нь бусад бүх зүйл. Загвар шууд холболтын дотор ажилладаг тул түүнийг хүрээлэх төлөв, аюулгүй байдал, зохион байгуулалт, хяналт бүгд харилцан яриатай зэрэгцэн ижил хурдаар ажиллах ёстой.
Хэлхээт дуу хоолойн аппликейшнд ээлжид суурилсан харилцан яриа тодорхой асуулт-хариултын бүтэц бүрдүүлдэг. Хэрэглэгч ярьж, систем хариулаад дараагийн алхам эхэлнэ. Бодит цагийн дуу хоолойд ийм бүтэц байхгүй. Хоёр тал зэрэг ярьж болно, эсвэл хэн нь ч ярихгүй чимээгүй байж болно. Хэрэглэгч хариултын дундуур таслах эсвэл систем ярьж дуусаагүй байхад нэмэлт асуулт тавьж болно. Яриа таслах нь ховор тохиолдол бус, харилцааны үндсэн хэв маяг болно.
Ийм хэв маягийн улмаас бодит цагийн аппликейшн нь үндсэндээ зохицуулалтын асуудал болдог бөгөөд загварыг хүрээлэх систем нь загварын өөрийнх нь адил чухал юм.
Ийм системийг өргөн хүрээнд дэмжихийн тулд шууд харилцаанд тусгайлан зориулж загварчлах шаардлагатай. Бүтээгдэхүүнд амжилттай нэвтэрсэн системүүдэд гурван бүрэлдэхүүн тогтмол ажиглагддаг.
Бодит цагийн дуу хоолойн холболтууд аудио дамжуулалт, ээлжлэн ярих, яриа таслах, холболтын амьдралын мөчлөг, агентын ажиллагааг зохицуулах ёстой. Аппликейшныг хаана байршуулснаас шалтгаалан телефон холбооны дэмжлэг ч шаардагдаж болно. Эдгээр нь туршлагын суурь хэсгүүд бөгөөд аппликейшныг өргөн хүрээнд ажиллуулахад гол үүрэгтэй.
Эхний шаардлага нь дуу хоолойд зориулсан холболтын давхарга юм. Бодит цагийн харилцааны (RTC) фреймворкууд нь аппликейшнд оролцогчдыг удирдах, аудио дамжуулах, телефон холбооны орчинд агент ажиллуулах боломж олгодог. Бидний туршлагаар ялангуяа Livekit үр дүнтэй байсан. Энэ нь өндөр чанарын шуугиан дарах, хэлбэлзэл бууруулах боломжтой, хоцролт багатай WebRTC технологийн бүрдлийг шууд ашиглахад бэлэн олгодог. Нэмэгдэх төвөгшлийг нь бодвол энэ давхаргыг өөрсдөө хэрэгжүүлэх нь бараг хэзээ ч ашигтай байдаггүй.
Бодит цагийн дуу хоолойн олон агенттай архитектурын гол зарчим нь үүрэг хариуцлагыг тусгаарлах явдал юм.
Бодит цагийн дуу хоолойн загварууд харилцан ярианы аудио дамжуулахдаа маш үр дүнтэй ч гүнзгий сэтгэн бодоход оновчлоогүй. Хэрэгсэл дуудах, мэдээлэл хайж авах, бүтэцтэй шийдвэр гаргах зэрэг ажлыг өөр загвараар гүйцэтгэх нь илүү үр дүнтэй.
Үр дүнтэй нэг хэв маяг нь хариулагч–сэтгэгч архитектур юм.
Хариулагч нь бодит цагийн дуу хоолойн агент. Тэрээр сонсох, ярих, яриа таслах үеийг зохицуулах, харилцан ярианы урсгалыг хадгалах замаар шууд харилцааг үргэлжлүүлэх үүрэгтэй. Түүний загвар нь шуурхай хариулах, ойлгомжтой байх, сэтгэл хөдлөлийн залгамж чанарыг хадгалахад чиглэнэ.
Сэтгэгч нь сэтгэн бодох чадвартай загвараар ажилладаг тусдаа агент юм. Тэрээр үндсэн урсгалаас гадуур ажиллаж, хэрэгсэл ашиглах, мэдээлэл хайж авах, төлөвлөх зэрэг ажлыг гүйцэтгэнэ. Хариулагч шаардлагатай үед түүнд хандаж, үр дүнг харилцан ярианд буцаан нэгтгэж чадна.
Зарим тохиолдолд сэтгэгч сэтгэн бодох ажлыг шууд гүйцэтгэж болно. Бусад тохиолдолд тэрээр мэргэшсэн хэд хэдэн агентыг зохицуулагчийн үүрэг гүйцэтгэж болно. Гол санаа нь энэ ажлыг сэтгэн бодох даалгаварт илүү тохирсон загвараар гүйцэтгүүлэх явдал юм.
Үр ашиг нь энгийн: хариулагч хурдан, ярианы хэв маягтай, төвлөрсөн хэвээр байх зуур сэтгэгч илүү их хугацаа, нөхцөл мэдээлэл эсвэл бүтэц шаардсан ажлыг хариуцна.
Ирээдүйн хил хязгаар загваруудын хөгжил энэ аргыг шаардлагагүй болгож мэднэ. Харин одоогоор энэ хэв маяг нэг агенттай аргуудаас тогтмол илүү үр дүнтэй байгааг бид тогтоосон.
Бодит цагийн дуу хоолойн системүүд угаасаа үйл явдлын тасралтгүй урсгал үүсгэдэг.
Хэрэглэгчид ярьж эхлэх, түр зогсох, яриа таслах үйлдэл хийнэ. Хөрвүүлсэн бичвэр үе шаттай шинэчлэгдэнэ. Хариунууд үүсэж, тасралтгүй дамжина. Гадаад үр дүнгүүд ирнэ. Холболтын доторх нөхцөл байдал өөрчлөгдөнө. Эдгээрийг бүгдийг нь тухайн үеийн харилцан ярианы төлөвийг бий болгосон гол үйл явдлууд болгон бүртгэж, дамжуулж, хадгалж болно. Эдгээргүйгээр нарийн, зорилтот оролцоо хийх боломжоо алдана.
Үйл явдалд суурилсан арга үүнийг удирдах тодорхой шийдэл өгдөг. Систем үйл явдлыг өрнөх үед нь бүртгэж, холболтын төлөвийг шинэчлэн, тохирох дараагийн үйлдлийг эхлүүлнэ.
Хөнгөн боловсруулагчид бодит цагийн замын шуурхай ажиллагааг хадгална. Харин төлөвийн машин шинэчлэх, хэмжүүр бүртгэх, эмзэг мэдээлэл арилгах, өгөгдлийн сан шинэчлэх, холболтоос гарах зэрэг төвөгтэй ажлыг асинхрон суурь даалгавар болгон эхлүүлдэг.
Шинэ боломж нэмэгдэхийн хэрээр эдгээр суурь даалгаврын тоо хурдан өсөж болно. Бүтээгдэхүүний өчүүхэн өөрчлөлт ч үйл явдлын шинэ урсгал, хамаарал бий болгож болно. Систем хөгжихийн хэрээр ойлгомжтой, найдвартай байдлыг нь хадгалахын тулд энэхүү зэрэгцээ ажиллагааг сайтар зохион байгуулсан архитектур чухал.
Үйл явдалд суурилсан энэ арга нь бүтээгдэхүүний өөр нэг чухал асуудал болох харилцан яриаг өөрийг нь чиглүүлэхэд мөн тусална. Бодит цагийн аудио систем зөвхөн хариу үүсгэдэггүй; ярианы хэмнэлийг удирдаж, чимээгүй үе болон яриа таслах байдлыг зохицуулан, холболтыг хэзээ, хэрхэн дуусгахыг шийддэг. Эдгээр үйлдэл нь бүтээгдэхүүний туршлагын нэг хэсэг тул зориуд төлөвлөн загварчлах нь үр дүнтэй.
Ярианы ээлжийн тоо, өнгөрсөн хугацаа эсвэл хэрэглэгчийн зан төлөвөөс хамааран холболтын төлөв өөрчлөгдөхөд систем хариулагчид зориулсан зорилтот чиглэл оруулж болно. Холболтын хязгаарт ойртоход хэрэглэгчид яриагаа дуусгахад туслахыг агентад сануулах эсвэл харилцаа гацвал тайлбар өгөхийг санал болгож болно. Эдгээр оролцоо хөнгөн боловч туршлагыг зорилготой, уялдаатай болгодог.
Сайн загварчилсан систем холболтын төлөвийг тодорхой харуулдаг: хэн ярьж байгаа, харилцан яриа хэрхэн өрнөж байгаа, ямар нөхцөл биелсэн зэрэг. Үйл явдлын урсгалаар тасралтгүй шинэчлэгдэх энэ төлөв нь зөв чиглэлийг зөв цагт өгөх боломж бүрдүүлнэ.
Хэрэглэгчтэй шууд харилцдаг AI-ын системд хамгаалалтын хязгаарлалт зайлшгүй хэрэгтэй. Эдгээр нь аюулгүй байдал, шаардлагын нийцэл, зүй бус хэрэглээ, найдвартай байдлыг зохицуулдаг. Ээлжид суурилсан системд тэдгээрийг ажиллуулах тодорхой үе бий: хэрэглэгч ярьсны дараа эсвэл хариуг хүргэхээс өмнө.
Бодит цагийн дуу хоолой ийм тухтай хяналтын цэгүүдийн ихэнхийг үгүй болгодог. Хэрэглэгчийн оролт тасралтгүй ирнэ. Аудио гаралт аль хэдийн дамжиж байж болно. Бүрэн хөрвүүлсэн бичвэр ихэвчлэн дуунаасаа хоцордог. Систем шалгахаасаа өмнө мессеж бүрэн ирэхийг хүлээвэл харилцан яриа бодит цагийн мэт санагдахаа болино.
Тиймээс амьд мэт харилцааг хадгалахын тулд хамгаалалтын хяналт харилцан яриатай зэрэгцэн ажиллах хэрэгтэй. Нэг арга нь аудиог буферт тасралтгүй оруулахын зэрэгцээ бэлэн болсон хөрвүүлсэн бичвэрийн хэсгүүдийг асинхроноор үнэлэх явдал юм. Ингэснээр аюулгүй байдлын шалгалтыг харилцааг саатуулахгүйгээр бодит цагт ойр хурдаар гүйцэтгэж болно.
Хамгаалалтын хязгаарлалт идэвхжихэд систем яриаг өөр чиглэлд хөтлөх, үйлдлээ тохируулах эсвэл шаардлагатай бол холболтыг дуусгах зэргээр нөхцөлд нь тохируулан хариу өгч чадна. Ингэснээр хамгаалалтын хязгаарлалтууд хэрэглэгчийн туршлагыг муутгалгүй бодит цагт ажиллана.
Бодит цагийн харилцан ярианы системийг үнэлэхэд хамгийн хэцүү нь зарим чухал чанарыг — хугацааны тохиргоо, яриа таслах байдал, ярианы урсгал, өнгө аясыг — зөвхөн хөрвүүлсэн бичвэрээр шалгаж болдоггүйд оршино.
Стандарт үнэлгээний дамжлага бодитой хувилбаруудыг системд оруулж, гаралтыг ажиглан оноо өгдөг. Бичвэрт суурилсан эсвэл хэлхээт аудио системд энэ нь энгийн: бичвэр оруулаад, гарсан бичвэрийг шалгана. Бодит цагийн системд оролт нь шууд аудио бөгөөд хамгийн чухал харилцааны шинжүүд цаг хугацааны хэмжээсэд оршдог: агент давхацсан яриаг хэрхэн зохицуулдаг, хэр хурдан хариулдаг, тасалдсаны дараа хэрхэн үргэлжлүүлдэг зэрэг.
Гар аргаар шалгах буюу агенттай шууд ярих нь эдгээр чанарыг илрүүлдэг ч өргөн хүрээнд хэрэгжүүлэх боломжгүй. Хөрвүүлсэн бичвэрт суурилсан автоматжуулалтыг өргөн хүрээнд ашиглаж болох ч бодит цагийн сайн, муу туршлагыг ялгах дохиог үгүй болгодог.
Нэг арга дангаараа хангалтгүй. Практик шийдэл нь дараах аргуудыг хослуулах явдал:
Агент хоорондын үнэлгээ: тодорхой төрлийн хэрэглэгчийн дүрд орох заавар авсан хоёр дахь бодит цагийн агент шалгаж буй системтэй харилцан ярилцана. Шүүгчийн үүрэгтэй гурав дахь Том хэлний загвар (LLM) харилцаанд оноо өгнө. Ингэснээр хугацааны тохиргоо болон яриа таслах үеийн зохицуулалтыг багтаасан аудионы бүх замыг олноор шалгана.
Функционал бус хэмжүүрүүд: анхны аудио гарах хүртэлх хугацаа болон хөрвүүлсэн бичвэрийн сэтгэл хөдлөлийн шинжилгээ нь харилцан ярианы чанарыг тоон үзүүлэлтээр төлөөлнө.
Гар аргаар хийх чанарын үнэлгээ: автомат хэмжүүрийн илрүүлж чаддаггүй, ялангуяа өнгө аяс болон ярианы эв дүйтэй холбоотой асуудлыг олоход зайлшгүй хэрэгтэй хэвээр.
Бүхнийг хамардаг ганц арга байхгүй. Бодит цагийн агентуудыг бүтээгдэхүүнд нэвтрүүлэхийн тулд энэ гурван аргыг давхарлан ашиглах шаардлагатай. Гэсэн ч бодит цагийн аудио үнэлгээний хэрэгслүүд бичвэрт суурилсан AI-ынхаас хөгжлөөр дутуу хэвээр байна.
Бодит цагийн дуу хоолой бүтээгдэхүүний мөн чанарыг өөрчилдөг. Хэрэглэгчид үгсээс гадна хугацааны тохиргоо, яриа таслах байдал, чимээгүй үе, яриаг сэргээх байдлыг адил хэмжээнд мэдэрдэг.
Тиймээс загвар нь системийн зөвхөн нэг хэсэг юм. Бүтээгдэхүүний бодит цагийн дуу хоолойд дуу хоолойд зориулсан холболтын давхарга, ярих ба сэтгэн бодох үйл явцын тодорхой зааг, шууд холболтыг тойрсон үйл явдалд суурилсан удирдлага хэрэгтэй. Хамгаалалтын хязгаарлалт хоцролтын гол саад хэвээр ч бүтээлч аргуудаар бодит цагийн туршлагын ихэнхийг хадгалж болно.
Энэ технологийн бүрдлийн хамгийн сул хэсэг нь үнэлгээ хэвээр байна. Бодит цагийн дуу хоолойг таатай болгодог хугацааны тохиргоо, өнгө аяс, яриа таслах үеийн зохицуулалт, харилцан ярианы урсгалыг шалгах тогтсон арга хараахан алга. Тийм арга бий болтол энэ технологиор бүтээгдэхүүн хөгжүүлж буй багууд автомат шалгалт, агент хоорондын туршилт, гар үнэлгээг хослуулах шаардлагатай.