Raddvirkni í rauntíma býður fólki upp á gerólíka leið til að eiga samskipti við forrit sem knúin eru af gervigreind. Í stað þess að vélrita eða fletta í valmyndum talar fólk eðlilega og fær svör með rauntímahrynjandi og tilfinningalegu samhengi.
Góð rauntímaupplifun raddar snýst um að samræma lifandi samskipti. Þar hefst hin eiginlega vöruþróun. Rauntímaupplifunin er tafarlaus og eðlileg; sérstök verkfræðileg áskorun felst í að byggja forrit sem viðheldur henni.
Líkanið er aðeins einn hluti kerfisins. Forrit í rekstri þurfa innviði sem eru hannaðir fyrir rödd, skýran aðskilnað milli samtalsflæðis og dýpri rökhugsunar og atburðadrifna stjórnun lotunnar meðan hún stendur yfir.
Varnarráðstafanir og mat valda enn stórum hluta erfiðleikanna. Öryggisathuganir þurfa að halda í við lifandi hljóð og erfitt er að meta hverfula eiginleika samtala, svo sem tímasetningu, raddblæ og flæði, með hefðbundnum matsaðferðum.
Flest raddvirk gervigreindarforrit starfa enn á sama hátt: tal fer inn, texti kemur út, líkan hugsar og tilbúin rödd les svarið upp. Það virkar. En samskiptin bera þess merki: þetta er vinnsluleið, ekki samtal.
Raddvirkni í rauntíma breytir því. Notendur tala eðlilega og fá svör sem miðla hrynjandi, raddblæ og tilfinningalegu samhengi. Upplifunin er hraðari og liprari en í samtengdum tal-í-texta-vinnsluleiðum og líkist frekar samtali við manneskju en notkun kerfis.
Við höfum séð þetta opna möguleika í vöruhönnun sem vinnsluleiðararkitektúr ræður illa við. Rauntímafulltrúar með rödd geta annast þjónustusamtöl sem annars krefðust langra og takmarkandi símsvörunarvalmynda og flutnings milli deilda. Þeir geta veitt leiðsögn, tekið á móti nýjum notendum, bætt aðgengi þvert á miðla og margt fleira. Alls staðar þar sem talað samtal hefur kosti umfram textaviðmót er ástæða til að byggja raddlausn í rauntíma.
Flest raddvirk forrit nota svokallaða „samtengda aðferð“: vinnsluleið aðskildra líkana fyrir tal í texta, málvinnslu og texta í tal. Þessi kerfi virka vel og skapa fjölbreytt tækifæri, en hljóðið er aðeins á jöðrum vinnslunnar. Aðskildu skrefin skapa þvingaða uppbyggingu og biðtíma, svo samskiptin virka óeðlilegri en raunverulegt samtal.
Raddvirkni í rauntíma notar aðra nálgun. Í stað aðskildra líkana fyrir hlustun, hugsun og tal sér eitt líkan innbyggt um allt þrennt og skilur og býr samtímis til bæði hljóð og afrit. Inntak og úttak fara fram stöðugt, svo kerfið getur svarað með eðlilegum tímasetningum og tilfinningaríkum viðbrögðum sem viðhalda raunverulegum takti lifandi samtals. Þannig verða tímasetning, raddblær og viðbrögð við truflunum lykilþættir vörunnar.
Rauntímaupplifunin heillar vegna þess að hún er tafarlaus; hún er erfið vegna þess að ekkert bíður eftir að röðin komi að því. Til að styðja hana þarf meira en hraða og nákvæma hljóðmyndun. Allt hitt er erfiði hlutinn. Líkanið starfar í lifandi lotu og allt umhverfis það—staða, öryggi, samræming og stjórnun—þarf að vinna samhliða samtalinu á sama rauntímahraða.
Í samtengdu raddforriti skapa lotubundin samtöl skýra fram-og-til-baka uppbyggingu. Notandinn talar, kerfið svarar og næsta skref hefst. Raddvirkni í rauntíma býður ekki upp á þessa uppbyggingu. Báðir aðilar geta talað samtímis eða hvorugur talar og þögn ríkir. Notandi getur gripið fram í fyrir miðju svari eða spurt framhaldsspurningar áður en kerfið lýkur máli sínu. Truflanir hætta að vera jaðartilvik og verða að grunnmynstri samskiptanna.
Þetta mynstur gerir rauntímaforrit fyrst og fremst að samræmingarverkefni og veldur því að kerfið umhverfis líkanið skiptir jafnmiklu máli og líkanið sjálft.
Til að reka slíkt kerfi í stórum stíl þarf að hanna sérstaklega fyrir lifandi samskipti. Þar koma þrír þættir ítrekað fyrir í kerfum sem komast í rekstur.
Raddlotur í rauntíma þurfa að sjá um hljóðstreymi, lotuskipti, truflanir, líftíma tenginga og keyrslu fulltrúa. Einnig kann að þurfa stuðning við símtækni, eftir því hvar forritið er tekið í notkun. Þetta eru grunnþættir upplifunarinnar og lykilatriði þegar forritið er stækkað.
Fyrsta krafan er lotulag sem er hannað fyrir rödd. Rauntímasamskiptaramma (RTC) má nota til að hafa umsjón með þátttakendum, streyma hljóði og keyra fulltrúa í símtækniumhverfi. Reynsla okkar af Livekit hefur verið sérstaklega góð. Það býður upp á WebRTC-tæknistafla með stuttum biðtíma, vandaðri hljóðdeyfingu og innbyggðri sveiflujöfnun. Sjaldnast borgar sig að innleiða þetta lag sjálfur, enda eykur það flækjustigið.
Arkitektúr margra fulltrúa fyrir raddvirkni í rauntíma snýst fyrst og fremst um skýra verkaskiptingu.
Rauntímaraddlíkön skila mjög góðu streymi samtalshljóðs en eru ekki fínstillt fyrir dýpri rök. Betra er að láta annað líkan annast verkefni á borð við verkfæraköll, upplýsingaleit og skipulega ákvarðanatöku.
Gagnlegt mynstur er arkitektúr svaranda og hugsuðar.
Svarandinn er rauntímafulltrúinn með rödd. Hann viðheldur lifandi samskiptum: hlustar, talar, bregst við truflunum og varðveitir samtalsflæðið. Hönnun hans leggur áherslu á skjót viðbrögð, skýrleika og samfelldan tilfinningalegan tón.
Hugsuðurinn er aðskilinn fulltrúi, knúinn líkani sem ræður vel við rök. Hann starfar utan aðalrásarinnar og annast meðal annars verkfæranotkun, upplýsingaleit og áætlanagerð. Svarandinn getur leitað til hans eftir þörfum og fléttað niðurstöðurnar aftur inn í samtalið.
Í sumum tilvikum getur hugsuðurinn séð beint um rökin. Í öðrum getur hann samræmt hóp sérhæfðra fulltrúa. Meginhugmyndin er að líkan sem hentar betur fyrir rök annist þessa vinnu.
Ávinningurinn er einfaldur: svarandinn helst hraður, samtalsmiðaður og einbeittur en hugsuðurinn annast vinnu sem krefst meiri tíma, samhengis eða skipulags.
Framtíðarþróun líkana sem eru framarlega í tækninni kann að gera þessa nálgun óþarfa, en enn sem komið er hefur þetta mynstur reynst stöðugt betra en lausnir með einum fulltrúa.
Rauntímaraddkerfi mynda eðli málsins samkvæmt stöðugt streymi atburða.
Notendur byrja að tala, gera hlé og grípa fram í. Afrit uppfærast smám saman. Svör eru mynduð og þeim streymt. Ytri niðurstöður berast. Aðstæður innan lotunnar breytast. Hægt er að fanga, streyma og geyma allt þetta sem lykilatburði sem hafa mótað núverandi stöðu samtalsins. Án þeirra glötum við möguleikanum á nákvæmum og markvissum inngripum.
Atburðadrifin nálgun veitir skýra leið til að halda utan um þetta. Kerfið fangar atburði þegar þeir verða, uppfærir stöðu lotunnar og virkjar viðeigandi framhaldsaðgerðir.
Léttir meðhöndlarar halda rauntímaleiðinni viðbragðsfljóttri en umfangsmeiri verk—svo sem að uppfæra stöðuvélar, skrá mæligildi, fjarlægja viðkvæmar upplýsingar, uppfæra gagnagrunna og ljúka lotu—eru ræst sem ósamstillt bakgrunnsverk.
Þessum bakgrunnsverkum getur fjölgað hratt þegar eiginleikum er bætt við. Jafnvel smávægilegar breytingar á vörunni geta skapað ný atburðaflæði og tengsl. Vel skipulagður arkitektúr fyrir þessa samhliða vinnslu er mikilvægur svo kerfið haldist skiljanlegt og áreiðanlegt í þróun.
Þessi atburðadrifna nálgun styður einnig mikilvægt atriði í vöruhönnun: að móta samtalið sjálft. Rauntímahljóðkerfi myndar ekki aðeins svör; það stýrir hrynjandi, bregst við þögnum og truflunum og ákveður hvernig og hvenær lotunni skuli ljúka. Þessi hegðun er hluti af vöruupplifuninni og skýr hönnun hennar skilar ávinningi.
Þegar staða lotunnar breytist eftir fjölda lotuskipta, liðnum tíma eða hegðun notandans getur kerfið sent svarandanum markvissar leiðbeiningar. Það gæti gefið fulltrúanum kvaðningu um að hjálpa notanda að ljúka samtalinu þegar lotumörk nálgast eða veitt skýringar ef samskiptin stöðvast. Þessi inngrip eru einföld en gera upplifunina markvissa og heildstæða.
Vel hannað kerfi hefur skýra yfirsýn yfir stöðu lotunnar: hver talar, hvernig samtalið þróast og hvaða skilyrði hafa verið uppfyllt. Þessi staða, sem atburðastraumurinn uppfærir stöðugt, gerir kleift að veita réttar leiðbeiningar á réttum tíma.
Varnarráðstafanir eru nauðsynlegar í gervigreind sem snýr að notendum. Þær tryggja öryggi, reglufylgni, varnir gegn misnotkun og áreiðanleika. Í lotubundnu kerfi er augljóst hvenær á að beita þeim: eftir að notandi hefur talað eða áður en svar er sent.
Raddvirkni í rauntíma útilokar flesta þessa hentugu eftirlitspunkta. Inntak notandans berst stöðugt. Hljóðúttakið kann þegar að vera í streymi. Fullbúin afritun dregst oft aftur úr hljóðinu. Ef kerfið bíður eftir heilum skilaboðum áður en það yfirfer þau hættir samtalið að virka eins og það fari fram í rauntíma.
Þess í stað þurfa varnirnar að starfa samhliða samtalinu svo samskiptin haldist eðlileg. Ein leið er að streyma hljóði í biðminni og meta samtímis afritsbrot um leið og þau verða tiltæk. Þannig geta öryggisathuganir farið fram nánast í rauntíma án þess að stöðva samskiptin.
Þegar varnarráðstöfun virkjast getur kerfið brugðist við í samhengi með því að beina samtalinu annað, breyta hegðun eða ljúka lotunni eftir því sem við á. Þannig virka varnirnar í rauntíma án þess að skerða upplifun notandans.
Erfiðast við að meta samtalskerfi í rauntíma er að suma mikilvægustu eiginleikana—tímasetningu, truflanir, flæði og raddblæ—er ekki hægt að fanga með prófunum sem byggjast eingöngu á afritum.
Hefðbundin matsferli mata kerfið á raunhæfum sviðsmyndum, fylgjast með úttakinu og gefa því einkunn. Þetta er einfalt fyrir textakerfi eða samtengd hljóðkerfi: senda inn texta og yfirfara textann sem kemur út. Í rauntíma er inntakið lifandi hljóð og mikilvægustu eiginleikar samtalsins ráðast af tíma: hvernig fulltrúinn bregst við þegar fólk talar samtímis, hversu hratt hann svarar og hvernig hann nær sér eftir truflun.
Handvirkar prófanir—þar sem talað er beint við fulltrúann—fanga þessa eiginleika en henta illa í stórum stíl. Sjálfvirkni byggð á afritum hentar í stórum stíl en útilokar vísbendingarnar sem greina góða rauntímaupplifun frá slæmri.
Engin ein aðferð nægir. Í reynd þarf nokkur lög:
Mat fulltrúa á fulltrúa: annar rauntímafulltrúi, sem fær fyrirmæli um að leika tiltekna gerð notanda, ræðir við kerfið sem verið er að prófa. Þriðja LLM-líkanið gegnir hlutverki dómara og gefur samskiptunum einkunn. Þannig er öll hljóðleiðin prófuð í miklu magni, þar á meðal tímasetningar og viðbrögð við truflunum.
Óvirkar mælingar: tími fram að fyrsta hljóði og viðhorfsgreining afrita veita tölulegar staðgöngumælingar á gæðum samtals.
Handvirkt eigindlegt mat: er enn nauðsynlegt til að finna vandamál sem sjálfvirkar mælingar missa af, einkum varðandi raddblæ og eðlileika.
Engin ein aðferð nær yfir allt. Til að setja rauntímafulltrúa í rekstur þarf að nota allar þrjár aðferðirnar saman. Jafnvel þá eru verkfæri til mats á rauntímahljóði skammt á veg komin miðað við textatengda gervigreind.
Raddvirkni í rauntíma breytir eðli vörunnar. Tímasetningar, truflanir, þagnir og viðbrögð móta upplifun notenda ekki síður en orðin.
Líkanið er því aðeins einn hluti kerfisins. Raddlausn í rauntíma og rekstri þarf lotulag sem er hannað fyrir rödd, skýran aðskilnað milli tals og rökhugsunar og atburðadrifna stjórnun lifandi lotunnar. Varnarráðstafanir eru enn helsti flöskuhálsinn hvað biðtíma varðar, en skapandi aðferðir geta varðveitt stóran hluta rauntímaupplifunarinnar.
Mat er enn veikasti hluti tæknistaflans. Enn er engin viðurkennd leið til að prófa þá eiginleika sem skapa góða rauntímaupplifun raddar: tímasetningu, raddblæ, viðbrögð við truflunum og samtalsflæði. Þangað til þurfa teymi sem vinna með tæknina að sameina sjálfvirkar prófanir, keyrslur milli fulltrúa og handvirkt mat.