Glasovna komunikacija v realnem času omogoča povsem drugačen način interakcije z aplikacijami, ki jih poganja umetna inteligenca. Namesto tipkanja ali krmarjenja po menijih uporabniki govorijo naravno ter prejemajo odgovore s časovnim ritmom in čustvenim kontekstom pogovora v živo.
Pri ustvarjanju odlične glasovne izkušnje v realnem času gre za usklajevanje interakcije v živo. Tu se začne pravo delo pri razvoju izdelka. Izkušnja v realnem času je neposredna in pristna, razvoj aplikacije, ki jo lahko ohranja, pa je poseben inženirski izziv.
Model je le en del sistema. Produkcijske aplikacije potrebujejo infrastrukturo, zasnovano za govor, jasno ločitev poteka pogovora od globljega sklepanja in dogodkovno vodeno upravljanje seje med njenim potekom.
Velik del preostalih težav je povezan z varovalnimi mehanizmi in vrednotenjem. Varnostna preverjanja morajo slediti zvoku v živo, minljive pogovorne lastnosti, kot so časovno usklajevanje, ton in potek pogovora, pa je s tradicionalnimi strategijami vrednotenja težko oceniti.
Večina današnjih glasovno podprtih aplikacij umetne inteligence še vedno deluje enako: govor se pretvori v besedilo, model razmisli, sintetizirani glas pa prebere odgovor. Deluje. Toda interakcija tudi daje tak občutek: je procesni niz, ne pogovor.
Glasovna komunikacija v realnem času to spremeni. Uporabniki govorijo naravno in prejemajo odgovore z ustreznim ritmom, tonom ter čustvenim kontekstom. Izkušnja je hitrejša in bolj tekoča kot pri verižno povezanih postopkih pretvorbe govora v besedilo ter je bližje pogovoru z osebo kot upravljanju sistema.
Opazili smo, da to odpira možnosti za izdelke, pri katerih imajo cevovodne arhitekture težave. Glasovni agenti v realnem času lahko obravnavajo stike s podporo strankam, za katere bi bili sicer potrebni dolgi in omejujoči meniji interaktivnega glasovnega odzivnika ter prevezave med oddelki. Lahko svetujejo, uvajajo uporabnike, izboljšujejo dostopnost v različnih medijih in še veliko več. Kjer koli ima govorjeni pogovor prednost pred besedilnimi vmesniki, je vredno razvijati glasovno komunikacijo v realnem času.
Večina glasovno podprtih aplikacij uporablja tako imenovani »verižno povezani pristop«: cevovod ločenih modelov za pretvorbo govora v besedilo, obdelavo jezika in pretvorbo besedila v govor. Ti sistemi dobro delujejo in ponujajo številne možnosti, vendar je zvok prisoten le na robovih procesa. Posamezni koraki uvajajo togo strukturo in zakasnitev, zato je interakcija manj naravna kot pravi pogovor.
Glasovna komunikacija v realnem času uporablja drugačen pristop. Namesto ločenih modelov za poslušanje, razmišljanje in govorjenje en sam model izvorno opravlja vse tri naloge ter hkrati razume in ustvarja zvok in prepise. Vhod in izhod potekata neprekinjeno, zato se lahko sistem odziva z naravnim časovnim ritmom in čustveno obarvanimi odgovori, ki ohranjajo pristni ritem pogovora v živo. Zato časovno usklajevanje, ton in obravnava prekinitev postanejo osrednji deli izdelka.
Izkušnja v realnem času je privlačna zaradi svoje neposrednosti, zahtevna pa zato, ker nič ne čaka, da pride na vrsto. Za njeno podporo ni dovolj le hitro in natančno ustvarjanje zvoka. Težaven je ves preostali del. Model deluje v seji v živo, zato mora vse okoli njega – stanje, varnost, usklajevanje in nadzor – delovati ob pogovoru z enakim ritmom v živo.
Pri verižno povezani glasovni aplikaciji pogovori, ki temeljijo na govornih potezah, zagotavljajo jasno izmenično strukturo. Uporabnik govori, sistem se odzove in začne se naslednji korak. Glasovna komunikacija v realnem času takšne strukture ne zagotavlja. Obe strani lahko govorita hkrati, lahko pa ne govori nobena in nastane tišina. Uporabnik lahko prekine odgovor ali postavi dodatno vprašanje, še preden sistem neha govoriti. Prekinitve niso več robni primeri, temveč postanejo osrednji vzorec interakcije.
Zaradi tega vzorca so aplikacije v realnem času predvsem problem usklajevanja, sistem okoli modela pa je enako pomemben kot sam model.
Za obsežno podporo takšnemu sistemu je potrebna zasnova posebej za interakcijo v živo. Sestavljajo jo trije deli, ki se vedno znova pojavljajo v sistemih, uvedenih v produkcijo.
Glasovne seje v realnem času morajo podpirati pretakanje zvoka, izmenjavo govornih potez, prekinitve, življenjski cikel povezave in izvajanje agentov. Glede na okolje uvedbe aplikacije bo morda potrebna tudi podpora za telefonijo. To so temeljni deli izkušnje in ključni elementi za razširjanje aplikacije.
Prva zahteva je sejna plast, zasnovana za govor. Ogrodja za komunikacijo v realnem času (RTC) aplikaciji omogočajo upravljanje udeležencev, pretakanje zvoka in izvajanje agentov v telefonskem okolju. Po naših izkušnjah je še posebej uporaben Livekit, saj ponuja sklad WebRTC z majhno zakasnitvijo ter že vgrajenima kakovostnim odpravljanjem šuma in zmanjševanjem trepetanja. Zaradi dodatne zapletenosti se to plast le redko splača izdelati samostojno.
Večagentska arhitektura za glasovno komunikacijo v realnem času v temelju ločuje odgovornosti.
Glasovni modeli v realnem času so zelo učinkoviti pri pretakanju pogovornega zvoka, niso pa optimizirani za globlje sklepanje. Naloge, kot so klicanje orodij, pridobivanje podatkov ali strukturirano odločanje, je bolje izvajati z drugim modelom.
Uporaben vzorec je arhitektura odzivnik–premišljevalnik.
Odzivnik je glasovni agent v realnem času. Skrbi za ohranjanje interakcije v živo: posluša, govori, obravnava prekinitve in ohranja potek pogovora. Njegova zasnova daje prednost odzivnosti, jasnosti in čustveni kontinuiteti.
Premišljevalnik je ločen agent, ki ga poganja model z zmožnostjo sklepanja. Deluje zunaj glavnega toka in opravlja naloge, kot so uporaba orodij, pridobivanje podatkov in načrtovanje. Odzivnik ga lahko po potrebi pokliče in rezultate vključi nazaj v pogovor.
V nekaterih primerih lahko premišljevalnik sklepanje opravi neposredno. V drugih lahko usklajuje skupino specializiranih agentov. Ključna zamisel je, da to delo opravi model, ki je primernejši za naloge sklepanja.
Prednost je preprosta: odzivnik lahko ostane hiter, pogovoren in osredotočen, medtem ko premišljevalnik opravlja delo, ki zahteva več časa, konteksta ali strukture.
Prihodnji razvoj prelomnih modelov bo ta pristop morda odpravil, vendar za zdaj po naših ugotovitvah ta vzorec dosledno prekaša pristope z enim agentom.
Glasovni sistemi v realnem času naravno ustvarjajo neprekinjen tok dogodkov.
Uporabniki začnejo govoriti, naredijo premor in prekinejo sogovornika. Prepisi se dopolnjujejo postopoma. Odgovori se ustvarjajo in pretakajo. Prispejo zunanji rezultati. Razmere znotraj seje se spreminjajo. Vse to je mogoče zajeti, pretakati in shraniti kot ključne dogodke, ki so ustvarili trenutno stanje pogovora. Brez njih izgubimo možnost natančnih in ciljno usmerjenih posegov.
Dogodkovno vodeni pristop omogoča jasno upravljanje tega procesa. Sistem zajema dogodke sproti, posodablja stanje seje in sproža ustrezna nadaljnja dejanja.
Lahki obdelovalniki ohranjajo odzivnost poti v realnem času, zahtevnejša opravila – kot so posodabljanje končnih avtomatov, beleženje metrik, odstranjevanje občutljivih podatkov, posodabljanje podatkovnih zbirk in zaključevanje seje – pa se sprožijo kot asinhrona opravila v ozadju.
Z dodajanjem funkcij lahko število teh opravil v ozadju hitro naraste. Že majhne spremembe izdelka lahko uvedejo nove tokove dogodkov in odvisnosti. Dobro strukturirana arhitektura za to sočasnost je pomembna, da sistem med razvojem ostane razumljiv in zanesljiv.
Ta dogodkovno vodeni pristop podpira tudi ključno skrb pri razvoju izdelka: oblikovanje samega pogovora. Zvočni sistem v realnem času ne ustvarja le odgovorov, temveč tudi uravnava ritem, obravnava tišino in prekinitve ter odloča, kako in kdaj naj se seja konča. Ta vedenja so del izkušnje z izdelkom, zato jih je smiselno izrecno zasnovati.
Ko se stanje seje spreminja glede na število govornih potez, pretečeni čas ali vedenje uporabnika, lahko sistem odzivniku posreduje ciljno usmerjena navodila. Agenta lahko pozove, naj uporabniku pomaga končati pogovor ob približevanju časovni omejitvi seje, ali naj pojasni stvari, če interakcija zastane. Ti posegi so lahki, vendar dajejo izkušnji občutek premišljenosti in povezanosti.
Dobro zasnovan sistem ohranja jasen pregled nad stanjem seje: kdo govori, kako pogovor napreduje in kateri pogoji so izpolnjeni. To stanje, ki ga tok dogodkov nenehno posodablja, omogoča prava navodila ob pravem času.
Varovalni mehanizmi pri uporabniško usmerjeni umetni inteligenci niso izbirni. Skrbijo za varnost, skladnost, preprečevanje zlorab in zanesljivost. V sistemu, ki temelji na izmenjavi govornih potez, so trenutki za njihovo izvajanje jasni: ko uporabnik neha govoriti ali preden je odgovor posredovan.
Glasovna komunikacija v realnem času odpravi večino teh priročnih kontrolnih točk. Uporabnikov vnos prihaja neprekinjeno. Zvočni izhod se lahko že pretaka. Dokončani prepisi pogosto zaostajajo za zvokom. Če sistem pred preverjanjem čaka na celotna sporočila, pogovor ne deluje več kot komunikacija v realnem času.
Varovalni mehanizmi morajo zato delovati vzporedno s pogovorom, da interakcija ostane pristna. Eden od pristopov je pretakanje zvoka v medpomnilnik ob hkratnem asinhronem vrednotenju razpoložljivih delov prepisa. Tako lahko varnostna preverjanja potekajo skoraj v realnem času, ne da bi ovirala interakcijo.
Ko se sproži varovalni mehanizem, se lahko sistem odzove glede na kontekst: preusmeri pogovor, prilagodi vedenje ali po potrebi konča sejo. Tako varovalni mehanizmi delujejo v realnem času, ne da bi poslabšali uporabniško izkušnjo.
Najtežji del vrednotenja pogovornega sistema v realnem času je, da nekaterih najpomembnejših lastnosti – časovnega usklajevanja, prekinitev, poteka in tona – ni mogoče zajeti s preizkusi, ki temeljijo le na prepisih.
Standardni postopki vrednotenja sistemu posredujejo realistične scenarije, opazujejo rezultate in jih ocenijo. Pri besedilnih ali verižno povezanih zvočnih sistemih je to preprosto: pošljemo besedilo in preverimo prejeto besedilo. Pri delovanju v realnem času je vhod zvok v živo, najpomembnejša pogovorna dinamika pa se odvija v časovni razsežnosti: kako agent obravnava prekrivajoči se govor, kako hitro se odzove in kako nadaljuje po prekinitvi.
Ročno preizkušanje, pri katerem govorimo neposredno z agentom, zajame te lastnosti, vendar ga ni mogoče učinkovito razširiti. Avtomatizacija na podlagi prepisov je razširljiva, vendar odstrani signal, po katerem se dobra izkušnja v realnem času razlikuje od slabe.
Nobena posamezna metoda ne zadostuje. Praktična rešitev je kombinacija več ravni:
Vrednotenja med agenti: drugi agent v realnem času, ki dobi navodilo, naj prevzame določeno uporabniško persono, se pogovarja s sistemom, ki ga preizkušamo. Tretji veliki jezikovni model v vlogi sodnika oceni interakcijo. Tako je mogoče v velikem obsegu preizkusiti celotno zvočno pot, vključno s časovnim usklajevanjem in obravnavo prekinitev.
Nefunkcionalne metrike: čas do prvega zvoka in analiza razpoloženja v prepisu sta kvantitativna približka kakovosti pogovora.
Ročni kvalitativni pregled: še vedno je nujen za odkrivanje težav, ki jih avtomatizirane metrike spregledajo, zlasti pri tonu in naravnosti.
Nobena posamezna metoda ne zajame vsega. Za uvedbo agentov v realnem času v produkcijo je treba združiti vse tri ravni, pa vendar so orodja za vrednotenje zvoka v realnem času v primerjavi z besedilno umetno inteligenco še vedno nezrela.
Glasovna komunikacija v realnem času spreminja zasnovo izdelka. Na uporabniško izkušnjo poleg besed enako močno vplivajo časovno usklajevanje, prekinitve, tišina in nadaljevanje pogovora.
To pomeni, da je model le del sistema. Produkcijska glasovna komunikacija v realnem času potrebuje sejno plast, zasnovano za govor, jasno ločitev govorjenja od sklepanja in dogodkovno vodeno upravljanje seje v živo. Varovalni mehanizmi ostajajo ozko grlo pri zakasnitvi, vendar lahko z ustvarjalnimi pristopi ohranimo velik del izkušnje v realnem času.
Najšibkejši del celotnega sklopa je še vedno vrednotenje. Še vedno ni uveljavljenega načina za preizkušanje lastnosti, ki ustvarjajo dobro glasovno izkušnjo v realnem času: časovnega usklajevanja, tona, obravnave prekinitev in poteka pogovora. Dokler tak način ne bo na voljo, bodo morale ekipe, ki razvijajo s to tehnologijo, združevati avtomatizirane preizkuse, pogovore med agenti in ročne preglede.