Reāllaika balss saziņa sniedz cilvēkiem pilnīgi jaunu veidu, kā mijiedarboties ar MI lietotnēm. Tā vietā, lai rakstītu vai pārvietotos izvēlnēs, lietotāji runā dabiski un saņem atbildes reāllaika tempā ar emocionālo kontekstu.
Lieliska reāllaika balss pieredze balstās uz aktīvas mijiedarbības koordinēšanu. Tieši šeit sākas īstais produkta izstrādes darbs. Reāllaika pieredze ir tūlītēja un dabiska; izveidot lietotni, kas to spēj uzturēt, ir īpašs inženiertehnisks izaicinājums.
Modelis ir tikai viena sistēmas daļa. Produkcijas lietotnēm vajadzīga balsij pielāgota infrastruktūra, skaidrs sarunas plūduma un dziļākas spriestspējas nodalījums, kā arī notikumu vadīta sesijas pārvaldība tās gaitā.
Liela daļa atlikušo grūtību saistīta ar aizsargmehānismiem un izvērtēšanu. Drošības pārbaudēm jāspēj sekot līdzi dzīvajam audio, bet tādas gaistošas sarunas īpašības kā laika izvēle, tonis un plūdums ir grūti novērtējamas ar tradicionālām metodēm.
Lielākā daļa mūsdienu MI balss lietotņu joprojām darbojas vienādi: sistēma saņem runu, pārvērš to tekstā, modelis domā, un sintezēta balss nolasa atbildi. Tas darbojas. Taču mijiedarbība arī šķiet tāda, kāda tā ir: konveijers, nevis saruna.
Reāllaika balss to maina. Lietotāji runā dabiski un saņem atbildes ar atbilstošu tempu, toni un emocionālo kontekstu. Pieredze ir ātrāka un plūstošāka nekā secīgi savienotos runas pārveides tekstā konveijeros — tā vairāk līdzinās sarunai ar cilvēku, nevis sistēmas vadīšanai.
Esam redzējuši, ka tas paver produktu iespējas, ar kurām konveijeru arhitektūrām ir grūti tikt galā. Reāllaika balss aģenti var apkalpot klientus situācijās, kur citādi būtu vajadzīgas garas, ierobežojošas IVR izvēlnes un zvanu pāradresēšana starp nodaļām. Tie var apmācīt, palīdzēt sākt darbu, uzlabot piekļūstamību dažādos saziņas kanālos un paveikt vēl daudz ko citu. Reāllaika balsi ir vērts ieviest visur, kur mutiska saruna ir pārāka par teksta saskarni.
Lielākā daļa balss lietotņu izmanto tā dēvēto “secīgi savienoto pieeju”: atsevišķu modeļu konveijeru runas pārveidei tekstā, valodas apstrādei un teksta pārvēršanai runā. Šīs sistēmas darbojas labi un paver plašas iespējas, taču audio ir tikai konveijera sākumā un beigās. Atsevišķie posmi rada stingru struktūru un latentumu, tādēļ mijiedarbība šķiet mazāk dabiska nekā īsta saruna.
Reāllaika balss izmanto citu pieeju. Tā vietā, lai klausīšanās, domāšanas un runāšanas vajadzībām izmantotu atsevišķus modeļus, viens modelis sākotnēji atbalsta visas trīs funkcijas, vienlaikus saprotot un ģenerējot gan audio, gan transkriptus. Ievade un izvade notiek nepārtraukti, ļaujot sistēmai atbildēt dabiskā tempā un emocionāli, saglabājot dzīvas sarunas īsto ritmu. Tādējādi laika izvēle, tonis un pārtraukumu apstrāde kļūst par produkta pamatelementiem.
Reāllaika pieredze ir pievilcīga, jo šķiet tūlītēja, bet sarežģīta, jo nekas negaida savu kārtu. Tās nodrošināšanai nepietiek tikai ar ātru un precīzu audio ģenerēšanu. Grūtības rada viss pārējais. Modelis darbojas aktīvā sesijā, tāpēc visam ap to — stāvoklim, drošībai, orķestrēšanai un vadībai — jādarbojas paralēli sarunai un tikpat ātri.
Secīgi savienotā balss lietotnē saruna pa kārtām nodrošina skaidru turp un atpakaļ struktūru. Lietotājs runā, sistēma atbild, un sākas nākamais posms. Reāllaika balss šādu struktūru nepiedāvā. Abas puses var runāt vienlaikus, vai arī nerunā neviena un iestājas klusums. Lietotājs var pārtraukt atbildi tās vidū vai uzdot papildjautājumu, pirms sistēma beigusi runāt. Pārtraukumi vairs nav izņēmuma gadījumi, bet gan viens no galvenajiem mijiedarbības veidiem.
Šī īpatnība nozīmē, ka reāllaika lietotņu pamatā ir koordinēšanas uzdevums un sistēma ap modeli ir tikpat svarīga kā pats modelis.
Lai šādu sistēmu varētu plaši izmantot, tā īpaši jāpielāgo aktīvai mijiedarbībai. Tam ir trīs daļas, kas atkārtoti sastopamas līdz produkcijas videi nonākušās sistēmās.
Reāllaika balss sesijām jānodrošina audio straumēšana, runāšana pa kārtām, pārtraukumi, savienojuma dzīves cikls un aģenta izpilde. Atkarībā no lietotnes izvietošanas vietas var būt vajadzīgs arī telefonijas atbalsts. Tie ir pieredzes pamatelementi un būtiski lietotnes mērogošanai.
Pirmā prasība ir balsij pielāgots sesiju slānis. Reāllaika sakaru (RTC) ietvari nodrošina lietotnei vidi, kur pārvaldīt dalībniekus, straumēt audio un darbināt aģentus telefonijas vidē. Mūsu pieredzē īpaši noderīgs ir Livekit, kas piedāvā zema latentuma WebRTC tehnoloģiju kopumu ar kvalitatīvu trokšņu slāpēšanu un pārraides svārstību mazināšanu jau standartkomplektācijā. Šo slāni reti ir vērts izstrādāt pašiem, jo tas rada papildu sarežģītību.
Vairāku aģentu reāllaika balss arhitektūras pamatā ir pienākumu nodalīšana.
Reāllaika balss modeļi ļoti efektīvi straumē sarunas audio, taču nav optimizēti dziļākai spriestspējai. Tādus uzdevumus kā rīku izsaukšana, informācijas izguve vai strukturēta lēmumu pieņemšana labāk veic cits modelis.
Noderīgs risinājums ir atbildētāja–domātāja arhitektūra.
Atbildētājs ir reāllaika balss aģents. Tas uztur aktīvo mijiedarbību: klausās, runā, apstrādā pārtraukumus un saglabā sarunas plūdumu. Tā izstrādē prioritāte ir ātra reakcija, skaidrība un emocionālā nepārtrauktība.
Domātājs ir atsevišķs aģents, ko darbina modelis ar spriestspējas iespējām. Tas darbojas ārpus galvenās saziņas plūsmas un veic tādus uzdevumus kā rīku izmantošana, informācijas izguve un plānošana. Atbildētājs var to izsaukt pēc vajadzības un iekļaut rezultātus sarunā.
Dažkārt domātājs spriestspējas uzdevumus veic tieši. Citos gadījumos tas var orķestrēt specializētu aģentu kopumu. Galvenā doma ir šo darbu uzticēt modelim, kas ir piemērotāks spriestspējas uzdevumiem.
Ieguvums ir vienkāršs: atbildētājs saglabā ātrumu, sarunas dabiskumu un fokusu, bet domātājs veic darbu, kam vajadzīgs vairāk laika, konteksta vai struktūras.
Robežšķirtnes modeļu turpmākā attīstība šo pieeju var padarīt nevajadzīgu, taču pašlaik esam konstatējuši, ka tā pastāvīgi pārspēj viena aģenta risinājumus.
Reāllaika balss sistēmas dabiski rada nepārtrauktu notikumu plūsmu.
Lietotāji sāk runāt, ietur pauzes un pārtrauc. Transkripti tiek pakāpeniski atjaunināti. Atbildes tiek ģenerētas un straumētas. Pienāk ārējo sistēmu rezultāti. Sesijas apstākļi mainās. To visu var tvert, straumēt un glabāt kā galvenos notikumus, kas ir radījuši konkrēto sarunas pašreizējo stāvokli. Bez tiem mēs zaudējam iespēju veikt precīzus un mērķētus pasākumus.
Notikumu vadīta pieeja nodrošina skaidru veidu, kā to pārvaldīt. Sistēma tver notikumus to rašanās brīdī, atjaunina sesijas stāvokli un aktivizē atbilstošās turpmākās darbības.
Viegli apstrādātāji uztur ātru reāllaika plūsmas reakciju, bet sarežģītāki uzdevumi — piemēram, stāvokļu mašīnu atjaunināšana, rādītāju reģistrēšana, sensitīvas informācijas noņemšana, datubāzu atjaunināšana un sesijas beigšana — tiek aktivizēti kā asinhroni fona uzdevumi.
Pievienojot funkcijas, šo fona uzdevumu skaits var strauji pieaugt. Pat nelielas produkta izmaiņas var radīt jaunas notikumu plūsmas un atkarības. Labi strukturēta paralēlās darbības arhitektūra ir būtiska, lai sistēma attīstoties paliktu saprotama un uzticama.
Šī notikumu vadītā pieeja palīdz risināt arī būtisku produkta jautājumu: pašas sarunas veidošanu. Reāllaika audio sistēma ne tikai ģenerē atbildes, bet arī pārvalda tempu, klusumu un pārtraukumus, kā arī nosaka, kā un kad beigt sesiju. Šī rīcība ir daļa no produkta pieredzes, tāpēc tā jāizstrādā apzināti.
Sesijas stāvoklim mainoties atkarībā no runas kārtu skaita, pagājušā laika vai lietotāja rīcības, sistēma var sniegt atbildētājam mērķētus norādījumus. Tā var mudināt aģentu palīdzēt lietotājam noslēgt sarunu, tuvojoties sesijas ierobežojumam, vai sniegt paskaidrojumu, ja mijiedarbība apstājas. Šie pasākumi ir vienkārši, taču padara pieredzi pārdomātu un vienotu.
Labi izstrādāta sistēma uztur skaidru priekšstatu par sesijas stāvokli: kurš runā, kā virzās saruna un kuri nosacījumi ir izpildīti. Šis stāvoklis, ko nepārtraukti atjaunina notikumu plūsma, ļauj īstajā brīdī sniegt pareizos norādījumus.
Lietotājiem paredzētā MI sistēmā aizsargmehānismi ir obligāti. Tie pārvalda drošību, atbilstību, ļaunprātīgu izmantošanu un uzticamību. Sistēmā, kur saruna notiek pa kārtām, ir skaidri brīži, kad tos izmantot: pēc lietotāja teiktā vai pirms atbildes sniegšanas.
Reāllaika balss saziņā lielākā daļa šo ērto pārbaudes punktu pazūd. Lietotāja ievade pienāk nepārtraukti. Audio izvade, iespējams, jau tiek straumēta. Gatavie transkripti bieži atpaliek no skaņas. Ja sistēma pirms pārbaudes gaida pilnus ziņojumus, saruna vairs nešķiet notiekam reāllaikā.
Tādēļ aizsargmehānismiem jādarbojas paralēli sarunai, lai saglabātu dabisku mijiedarbību. Viena pieeja ir straumēt audio buferī, vienlaikus asinhroni izvērtējot transkripta fragmentus, tiklīdz tie kļūst pieejami. Tas ļauj drošības pārbaudes veikt gandrīz reāllaikā, nebloķējot mijiedarbību.
Kad nostrādā aizsargmehānisms, sistēma var reaģēt atbilstoši kontekstam: novirzīt sarunu, pielāgot rīcību vai vajadzības gadījumā beigt sesiju. Tādējādi aizsargmehānismi darbojas reāllaikā, nepasliktinot lietotāja pieredzi.
Reāllaika sarunu sistēmas izvērtēšanā visgrūtākais ir tas, ka dažas būtiskākās īpašības — laika izvēle, pārtraukumi, sarunas plūdums un tonis — nav novērtējamas tikai pēc transkripta.
Standarta izvērtēšanas konveijeri sistēmai iesniedz reālistiskus scenārijus, novēro izvadi un piešķir vērtējumu. Teksta vai secīgi savienotās audio sistēmās tas ir vienkārši: nosūta tekstu un pārbauda saņemto tekstu. Reāllaikā ievade ir dzīvs audio, un svarīgākā sarunas dinamika izpaužas laikā: kā aģents tiek galā ar runas pārklāšanos, cik ātri atbild un kā turpina pēc pārtraukuma.
Manuāla testēšana — tieša saruna ar aģentu — ļauj novērtēt šīs īpašības, taču nav mērogojama. Uz transkriptiem balstītu automatizāciju var mērogot, taču tā zaudē signālus, kas labu reāllaika pieredzi atšķir no sliktas.
Ar vienu metodi nepietiek. Praksē vajadzīgs vairāku metožu kopums:
Aģentu savstarpējā izvērtēšana: otrs reāllaika aģents, kuram uzdots iejusties konkrēta lietotāja lomā, sarunājas ar testējamo sistēmu. Mijiedarbību novērtē trešais LVM kā vērtētājs. Tas ļauj lielā apjomā testēt visu audio ceļu, tostarp laika izvēli un pārtraukumu apstrādi.
Nefunkcionālie rādītāji: laiks līdz pirmajam audio un transkripta noskaņojuma analīze sniedz kvantitatīvus sarunas kvalitātes aizstājējrādītājus.
Manuāla kvalitatīvā pārbaude: joprojām ir būtiska, lai atklātu automatizēto rādītāju nepamanītās problēmas, īpaši saistībā ar toni un dabiskumu.
Neviena metode neaptver visu. Reāllaika aģentu ieviešanai produkcijas vidē jāapvieno visas trīs metodes, un arī tad reāllaika audio izvērtēšanas rīki vēl ir nenobrieduši salīdzinājumā ar teksta MI rīkiem.
Reāllaika balss saziņa maina produkta būtību. Lietotāja pieredzi veido ne vien vārdi, bet tikpat lielā mērā arī laika izvēle, pārtraukumi, klusums un sarunas atsākšana.
Tas nozīmē, ka modelis ir tikai viena sistēmas daļa. Produkcijas reāllaika balss sistēmai vajadzīgs balsij pielāgots sesiju slānis, skaidrs runāšanas un spriestspējas nodalījums, kā arī notikumu vadīta aktīvās sesijas pārvaldība. Aizsargmehānismi joprojām rada lielāko latentumu, taču radošas pieejas ļauj lielā mērā saglabāt reāllaika pieredzi.
Vājākais šī risinājumu kopuma posms joprojām ir izvērtēšana. Vēl nav vispārpieņemtas metodes, kā testēt īpašības, kas nodrošina labu reāllaika balss pieredzi: laika izvēli, toni, pārtraukumu apstrādi un sarunas plūdumu. Kamēr šādas metodes nav, tehnoloģijas izstrādātājiem būs jāapvieno automatizēti testi, aģentu savstarpējās pārbaudes un manuāla pārskatīšana.