Sauti ya wakati halisi huwapa watu njia tofauti kabisa ya kutumia programu zinazoendeshwa na AI. Badala ya kuandika au kupitia menyu, watumiaji huzungumza kawaida na kupokea majibu yenye kasi ya wakati halisi na muktadha wa kihisia.
Kuunda hali bora ya sauti ya wakati halisi kunahusu kuratibu mwingiliano mubashara. Hapa ndipo kazi halisi ya bidhaa huanzia. Hali ya wakati halisi ni ya papo hapo na inafanana na mazungumzo ya kawaida; kuunda programu inayodumisha hali hiyo ni changamoto ya kipekee ya uhandisi.
Muundo ni sehemu moja tu ya mfumo. Programu za uzalishaji zinahitaji miundombinu iliyoundwa mahsusi kwa sauti, utenganishaji wazi wa mtiririko wa mazungumzo na uwazaji wa kina, pamoja na udhibiti unaoendeshwa na matukio ili kusimamia kipindi kinavyoendelea.
Vizuizi vya usalama na tathmini ndizo zilizo na changamoto nyingi zilizosalia. Ukaguzi wa usalama unahitaji kwenda sambamba na sauti mubashara, huku sifa za muda mfupi za mazungumzo kama vile muda, toni na mtiririko zikiwa ngumu kutathmini kwa mikakati ya kawaida.
Programu nyingi za AI zinazotumia sauti leo bado hufanya kazi kwa njia ileile: usemi huingia, maandishi hutoka, muundo hufikiri, kisha sauti iliyosanisiwa husoma jibu. Inafanya kazi. Lakini mwingiliano huhisi kama ulivyo: mchakato wa hatua kadhaa, si mazungumzo.
Sauti ya wakati halisi hubadilisha hali hiyo. Watumiaji huzungumza kawaida na kupokea majibu yenye kasi, toni na muktadha wa kihisia. Hali hii ni ya haraka na laini zaidi kuliko michakato iliyounganishwa ya kubadilisha usemi kuwa maandishi; inafanana zaidi na kuzungumza na mtu kuliko kuendesha mfumo.
Tumeona hii ikifungua fursa za bidhaa ambazo usanifu wa michakato ya hatua kadhaa hushindwa kushughulikia. Mawakala wa sauti ya wakati halisi wanaweza kushughulikia huduma kwa wateja ambazo vinginevyo zingehitaji menyu ndefu na zenye vikwazo za IVR pamoja na uhamisho kati ya idara. Wanaweza kufundisha, kuwaelekeza watumiaji wapya, kusaidia ufikivu katika njia mbalimbali na kufanya mengine mengi. Popote ambapo mazungumzo ya sauti yana faida kuliko violesura vya maandishi, inafaa kuunda sauti ya wakati halisi.
Programu nyingi zinazotumia sauti hutumia kinachoitwa “mbinu iliyounganishwa”: mchakato wa miundo tofauti ya kubadilisha usemi kuwa maandishi, kuchakata lugha na kubadilisha maandishi kuwa usemi. Mifumo hii hufanya kazi vizuri na kufungua fursa nyingi, lakini sauti hupatikana tu mwanzoni na mwishoni mwa mchakato. Hatua hizi tofauti huongeza muundo wa lazima na ucheleweshaji, na kufanya mwingiliano usihisi wa kawaida kama mazungumzo halisi.
Sauti ya wakati halisi hutumia mbinu tofauti. Badala ya kutegemea miundo tofauti ya kusikiliza, kufikiri na kuzungumza, muundo mmoja hushughulikia yote matatu kiasili, ukielewa na kuzalisha sauti na nakala kwa wakati mmoja. Ingizo na tokeo hutokea mfululizo, hivyo mfumo unaweza kujibu kwa muda wa kawaida na kwa hisia zinazodumisha mdundo halisi wa mazungumzo mubashara. Kwa hivyo, muda, toni na ushughulikiaji wa kukatizwa huwa sehemu kuu ya bidhaa.
Hali ya wakati halisi huvutia kwa sababu ni ya papo hapo; changamoto yake ni kwamba hakuna kinachosubiri zamu. Kuiwezesha kunahitaji zaidi ya kuzalisha sauti haraka na kwa usahihi. Changamoto ni mambo mengine yote. Muundo hufanya kazi ndani ya kipindi mubashara; kila kitu kinachouzunguka—hali, usalama, uratibu na udhibiti—kinahitaji kufanya kazi sambamba na mazungumzo kwa kasi hiyo ya mubashara.
Katika programu ya sauti iliyounganishwa kwa hatua, mazungumzo ya zamu hutoa muundo wazi wa kupokezana. Mtumiaji huzungumza, mfumo hujibu, kisha hatua inayofuata huanza. Sauti ya wakati halisi haitoi muundo huo. Pande zote mbili zinaweza kuzungumza kwa wakati mmoja, au zote zikae kimya. Mtumiaji anaweza kukatiza jibu likiendelea au kuuliza swali la kufuatilia kabla mfumo haujamaliza kuzungumza. Kukatizwa huacha kuwa hali ya nadra na kuwa mtindo mkuu wa mwingiliano.
Mtindo huu ndio unaofanya programu za wakati halisi kuwa changamoto ya uratibu, na ndio sababu mfumo unaozunguka muundo ni muhimu sawa na muundo wenyewe.
Kuwezesha mfumo wa aina hii kwa kiwango kikubwa kunahitaji usanifu mahususi kwa mwingiliano mubashara. Kuna vipengele vitatu vinavyoonekana mara kwa mara katika mifumo inayofikia uzalishaji.
Vipindi vya sauti ya wakati halisi vinahitaji kushughulikia utiririshaji wa sauti, kupokezana zamu, kukatizwa, mzunguko wa muunganisho na utekelezaji wa wakala. Kulingana na mahali programu ilipotumwa, huenda usaidizi wa simu ukahitajika pia. Hivi ni vipengele vya msingi vya hali ya matumizi na ni muhimu katika kupanua programu.
Sharti la kwanza ni safu ya vipindi iliyoundwa mahsusi kwa sauti. Mifumo ya Mawasiliano ya Wakati Halisi (RTC) huipa programu sehemu ya kusimamia washiriki, kutiririsha sauti na kuendesha mawakala katika mazingira ya simu. Kwa uzoefu wetu, hasa Livekit imekuwa muhimu kwa kutoa safu ya WebRTC yenye ucheleweshaji mdogo, uondoaji wa kelele wa ubora wa juu na upunguzaji wa mtikisiko wa mtandao bila usanidi wa ziada. Mara chache manufaa ya kutekeleza safu hii mwenyewe huzidi ugumu unaoongezeka.
Kimsingi, usanifu wa mawakala wengi kwa sauti ya wakati halisi unahusu kutenganisha majukumu.
Miundo ya sauti ya wakati halisi ina ufanisi mkubwa katika kutiririsha sauti ya mazungumzo, lakini haijaboreshwa kwa uwazaji wa kina. Kazi kama kuita zana, urejeshaji wa taarifa au kufanya maamuzi kwa utaratibu hunufaika zikitekelezwa na muundo tofauti.
Mtindo unaofaa ni usanifu wa mjibu–mfikiriaji.
Mjibu ndiye wakala wa sauti ya wakati halisi. Anawajibika kudumisha mwingiliano mubashara: kusikiliza, kuzungumza, kushughulikia kukatizwa na kudumisha mtiririko wa mazungumzo. Usanifu wake hutanguliza kasi ya kujibu, uwazi na mwendelezo wa kihisia.
Mfikiriaji ni wakala tofauti anayeendeshwa na muundo wenye uwezo wa uwazaji. Hufanya kazi nje ya mkondo mkuu na kushughulikia kazi kama matumizi ya zana, urejeshaji wa taarifa na upangaji. Mjibu anaweza kumwita inapohitajika na kurejesha matokeo kwenye mazungumzo.
Wakati mwingine, mfikiriaji anaweza kushughulikia uwazaji moja kwa moja. Katika hali nyingine, anaweza kuratibu kundi la mawakala waliobobea. Wazo kuu ni kwamba kazi hii hufanywa na muundo unaofaa zaidi kwa kazi za uwazaji.
Faida yake ni rahisi: mjibu hubaki mwepesi, mwenye mtindo wa mazungumzo na makini, huku mfikiriaji akishughulikia kazi inayohitaji muda, muktadha au muundo zaidi.
Huenda maendeleo ya baadaye katika miundo ya kiwango cha juu zaidi yakafanya mbinu hii isiwe ya lazima, lakini kwa sasa tumegundua mtindo huu huzidi kwa uthabiti mbinu za wakala mmoja.
Mifumo ya sauti ya wakati halisi kwa asili huzalisha mkondo endelevu wa matukio.
Watumiaji huanza kuzungumza, husita na hukatiza. Nakala husasishwa hatua kwa hatua. Majibu huzalishwa na kutiririshwa. Matokeo kutoka nje huwasili. Hali ndani ya kipindi hubadilika. Yote haya yanaweza kunaswa, kutiririshwa na kuhifadhiwa kama matukio muhimu yaliyounda hali mahususi ya sasa ya mazungumzo. Bila matukio haya, tunapoteza uwezo wa kufanya marekebisho ya kina na yanayolengwa.
Mbinu inayoendeshwa na matukio hutoa njia wazi ya kusimamia hili. Mfumo hunasa matukio yanapotokea, husasisha hali ya kipindi na kuanzisha hatua zinazofaa za ufuatiliaji.
Vishughulikiaji vyepesi hudumisha kasi ya mfumo wa wakati halisi, huku kazi nzito zaidi—kama kusasisha mashine za hali, kurekodi vipimo, kuondoa taarifa nyeti, kusasisha hifadhidata na kuondoka kwenye kipindi—zikianzishwa kama kazi za chinichini zisizosubiri matokeo papo hapo.
Vipengele vinapoongezwa, idadi ya kazi hizi za chinichini inaweza kuongezeka haraka. Hata mabadiliko madogo ya bidhaa yanaweza kuanzisha mitiririko mipya ya matukio na utegemezi. Usanifu uliopangwa vizuri kwa utekelezaji huu wa wakati mmoja ni muhimu ili mfumo uendelee kueleweka na kutegemewa unapobadilika.
Mbinu hii inayoendeshwa na matukio pia huwezesha jambo muhimu la bidhaa: kuunda mwendo wa mazungumzo yenyewe. Mfumo wa sauti wa wakati halisi hufanya zaidi ya kuzalisha majibu; husimamia kasi, hushughulikia ukimya na kukatizwa, na kuamua jinsi na wakati wa kumaliza kipindi. Tabia hizi ni sehemu ya hali ya matumizi ya bidhaa na hunufaika kwa kusanifiwa waziwazi.
Hali ya kipindi inapobadilika kulingana na idadi ya zamu, muda uliopita au tabia ya mtumiaji, mfumo unaweza kumpa mjibu mwongozo unaolengwa. Unaweza kumwelekeza wakala amsaidie mtumiaji kuhitimisha anapokaribia kikomo cha kipindi, au atoe ufafanuzi mwingiliano unapokwama. Hatua hizi ni nyepesi, lakini hufanya hali ya matumizi ihisi imekusudiwa na yenye mshikamano.
Mfumo uliosanifiwa vizuri hudumisha mwonekano wazi wa hali ya kipindi: anayezungumza, jinsi mazungumzo yanavyoendelea na masharti yaliyotimizwa. Hali hii, inayosasishwa mfululizo na mkondo wa matukio, huwezesha mwongozo unaofaa kutolewa kwa wakati unaofaa.
Vizuizi vya usalama ni vya lazima katika AI inayotumiwa na watumiaji. Husimamia usalama, uzingatiaji wa masharti, matumizi mabaya na utegemezi. Katika mfumo wa zamu, kuna sehemu dhahiri za kuviendesha: baada ya mtumiaji kuzungumza au kabla ya jibu kutolewa.
Sauti ya wakati halisi huondoa sehemu nyingi za ukaguzi zilizokuwa rahisi kutumia. Ingizo la mtumiaji huwasili mfululizo. Huenda utoaji wa sauti tayari unaendelea kutiririshwa. Nakala zilizokamilika mara nyingi huchelewa kuliko sauti. Mfumo ukisubiri ujumbe ukamilike kabla ya kuukagua, mazungumzo huacha kuonekana kuwa ya wakati halisi.
Badala yake, vizuizi vya usalama vinahitaji kufanya kazi sambamba na mazungumzo ili kudumisha mwingiliano unaofanana na wa kawaida. Mbinu moja ni kutiririsha sauti kwenye bafa huku vipande vya nakala vikitathminiwa kwa wakati tofauti vinapopatikana. Hii huruhusu ukaguzi wa usalama kufanyika kwa kasi inayokaribia wakati halisi bila kuzuia mwingiliano.
Kizuizi cha usalama kinapoanzishwa, mfumo unaweza kujibu kulingana na muktadha kwa kuelekeza mazungumzo kwingine, kurekebisha tabia au kumaliza kipindi inapofaa. Hii huhakikisha vizuizi vya usalama vinafanya kazi wakati halisi bila kuharibu hali ya matumizi.
Changamoto kubwa zaidi ya kutathmini mfumo wa mazungumzo wa wakati halisi ni kwamba baadhi ya sifa muhimu zaidi—muda, kukatizwa, mtiririko na toni—haziwezi kupimwa kwa majaribio yanayotumia nakala pekee.
Mifumo ya kawaida ya tathmini huingiza hali halisi kwenye mfumo, huchunguza matokeo na kuyapa alama. Kwa mifumo ya maandishi au sauti iliyounganishwa kwa hatua, hili ni rahisi: tuma maandishi, kisha ukague maandishi yanayotoka. Katika wakati halisi, ingizo ni sauti mubashara, na mienendo muhimu zaidi ya mazungumzo hutegemea muda: jinsi wakala anavyoshughulikia watu kuzungumza kwa wakati mmoja, kasi ya kujibu na jinsi anavyoendelea baada ya kukatizwa.
Majaribio ya moja kwa moja—kuzungumza moja kwa moja na wakala—hupima sifa hizi, lakini hayawezi kutekelezwa kwa kiwango kikubwa. Uendeshaji otomatiki unaotumia nakala unaweza kupanuliwa, lakini huondoa ishara inayotofautisha hali nzuri na mbaya ya wakati halisi.
Hakuna mbinu moja inayotosha. Suluhisho la vitendo ni kutumia safu ya mbinu:
Tathmini za wakala kwa wakala: wakala wa pili wa wakati halisi, aliyeagizwa kuigiza aina maalum ya mtumiaji, huzungumza na mfumo unaojaribiwa. LLM ya tatu inayotumika kama mwamuzi huupa mwingiliano alama. Hii hujaribu mchakato mzima wa sauti kwa wingi, ikiwemo muda na ushughulikiaji wa kukatizwa.
Vipimo visivyo vya utendaji: muda hadi sauti ya kwanza na uchanganuzi wa hisia katika nakala hutoa viashiria vya kiasi vya ubora wa mazungumzo.
Ukaguzi wa moja kwa moja wa ubora: bado ni muhimu ili kubaini matatizo yanayokoswa na vipimo vya kiotomatiki, hasa kuhusu toni na uasilia.
Hakuna mbinu moja inayoshughulikia kila kitu. Kupeleka mawakala wa wakati halisi katika uzalishaji kunahitaji kutumia mbinu zote tatu kwa pamoja. Hata hivyo, zana za kutathmini sauti ya wakati halisi bado hazijakomaa zikilinganishwa na AI ya maandishi.
Sauti ya wakati halisi hubadilisha muundo wa bidhaa. Watumiaji huhisi muda, kukatizwa, ukimya na urejeshaji sawa na wanavyopokea maneno.
Hii inamaanisha muundo ni sehemu moja tu ya mfumo. Sauti ya wakati halisi katika uzalishaji inahitaji safu ya vipindi iliyoundwa mahsusi kwa sauti, mgawanyo wazi kati ya kuzungumza na uwazaji, pamoja na udhibiti unaoendeshwa na matukio katika kipindi mubashara. Vizuizi vya usalama bado ndivyo chanzo kikuu cha ucheleweshaji, lakini mbinu bunifu zinaweza kudumisha sehemu kubwa ya hali ya wakati halisi.
Tathmini bado ndiyo sehemu dhaifu zaidi ya safu hii. Bado hakuna njia iliyokubaliwa ya kujaribu sifa zinazofanya sauti ya wakati halisi ihisi vizuri: muda, toni, ushughulikiaji wa kukatizwa na mtiririko wa mazungumzo. Hadi njia hiyo ipatikane, timu zinazotumia teknolojia hii zitahitaji kuchanganya majaribio ya kiotomatiki, majaribio ya wakala kwa wakala na ukaguzi wa moja kwa moja.