Гласовна комуникација у реалном времену пружа људима суштински другачији начин интеракције са апликацијама заснованим на вештачкој интелигенцији. Уместо куцања или кретања кроз меније, корисници говоре природно и добијају одговоре с темпом реалног времена и емоционалним контекстом.
Стварање одличног гласовног искуства у реалном времену подразумева координацију интеракције уживо. Ту почиње прави рад на производу. Искуство у реалном времену је непосредно и природно; израда апликације која то може да одржи представља посебан инжењерски изазов.
Модел је само један део система. Продукционим апликацијама потребни су инфраструктура прилагођена гласу, јасно раздвајање тока разговора од дубљег резоновања и управљање засновано на догађајима како би се сесијом управљало док траје.
Заштитне мере и евалуација носе велики део преосталих потешкоћа. Безбедносне провере морају да прате звук уживо, док је пролазне особине разговора, попут темпа, тона и тока, тешко проценити традиционалним стратегијама евалуације.
Већина данашњих гласовних апликација вештачке интелигенције и даље ради исто: говор улази, текст излази, модел размишља, а синтетизовани глас чита одговор. То функционише. Али интеракција и делује онако како је изграђена: као процес, а не као разговор.
Гласовна комуникација у реалном времену то мења. Корисници говоре природно и добијају одговоре који преносе темпо, тон и емоционални контекст. Искуство је брже и течније него код ланчаних процеса претварања говора у текст и више личи на разговор с особом него на управљање системом.
Видели смо да то отвара могућности за производе с којима се ланчане архитектуре тешко носе. Гласовни агенти у реалном времену могу да воде разговоре с корисничком подршком за које би иначе били потребни дуги, ограничавајући IVR менији и пребацивање између одељења. Могу да обучавају, уводе кориснике, побољшавају приступачност у различитим медијима и још много тога. Где год је говорни разговор погоднији од текстуалног интерфејса, вреди развијати гласовну комуникацију у реалном времену.
Већина гласовних апликација користи такозвани „ланчани приступ“: процес са засебним моделима за претварање говора у текст, обраду језика и претварање текста у говор. Ти системи добро функционишу и отварају бројне могућности, али је звук присутан само на крајевима процеса. Одвојени кораци намећу структуру и кашњење, па интеракција делује мање природно од стварног разговора.
Гласовна комуникација у реалном времену користи другачији приступ. Уместо ослањања на засебне моделе за слушање, размишљање и говор, један модел природно обавља све три функције, истовремено разумевајући и генеришући и звук и транскрипте. Улаз и излаз теку непрекидно, па систем може да одговара природним темпом и емотивно, задржавајући реалистичан ритам разговора уживо. Зато темпо, тон и обрада прекида постају централни део производа.
Искуство у реалном времену привлачно је зато што делује непосредно, а тешко зато што ништа не чека свој ред. За његову подршку није довољно брзо и прецизно генерисање звука. Тежак део је све остало. Модел ради у оквиру активне сесије; све око њега — стање, безбедност, оркестрација и контрола — мора да ради упоредо с разговором, истим темпом уживо.
У ланчаној гласовној апликацији разговори засновани на сменама пружају јасну структуру наизменичне комуникације. Корисник говори, систем одговара, а затим почиње следећи корак. Гласовна комуникација у реалном времену не пружа ту структуру. Обе стране могу да говоре истовремено, а може наступити и тишина када нико не говори. Корисник може да прекине систем усред одговора или постави додатно питање пре него што систем заврши. Прекиди престају да буду рубни случајеви и постају основни образац интеракције.
Управо због тог обрасца апликације у реалном времену у основи представљају проблем координације, а систем око модела важан је колико и сам модел.
Подршка оваквом систему у великом обиму захтева дизајн посебно прилагођен интеракцији уживо, који обухвата три елемента што се редовно јављају у системима који стигну до продукције.
Гласовне сесије у реалном времену морају да подржавају стримовање звука, смењивање говорника, прекиде, животни циклус везе и извршавање агента. У зависности од тога где је апликација примењена, можда ће бити потребна и подршка за телефонију. То су темељни делови искуства и пресудни су за скалирање апликације.
Први услов је слој сесије прилагођен гласу. Оквири за комуникацију у реалном времену (RTC) пружају апликацији окружење за управљање учесницима, стримовање звука и покретање агената у телефонском окружењу. Према нашем искуству, нарочито је користан Livekit, који одмах пружа WebRTC технолошки скуп с малим кашњењем, квалитетним уклањањем шума и ублажавањем варијација кашњења. Самостална имплементација овог слоја ретко оправдава додатну сложеност.
Архитектура с више агената за гласовну комуникацију у реалном времену у основи служи раздвајању одговорности.
Гласовни модели у реалном времену веома су ефикасни за стримовање звука разговора, али нису оптимизовани за дубље резоновање. Задатке попут позивања алата, проналажења информација или структурисаног одлучивања боље обавља други модел.
Користан образац је архитектура одговарача и мислиоца.
Одговарач је гласовни агент у реалном времену. Он одржава интеракцију уживо: слуша, говори, обрађује прекиде и чува ток разговора. Његов дизајн даје предност брзом одзиву, јасноћи и емоционалном континуитету.
Мислилац је засебан агент који покреће модел способан за резоновање. Ради ван главног тока и обавља задатке као што су употреба алата, проналажење информација и планирање. Одговарач може да га позове по потреби и укључи резултате у разговор.
У неким случајевима мислилац може директно да обавља резоновање. У другим може да делује као оркестратор скупа специјализованих агената. Кључна идеја је да тај посао обавља модел који је погоднији за задатке резоновања.
Предност је једноставна: одговарач остаје брз, усредсређен и прилагођен разговору, док мислилац обавља послове који захтевају више времена, контекста или структуре.
Будући развој граничних модела можда ће овај приступ учинити непотребним, али засад доследно запажамо да овај образац надмашује приступе са само једним агентом.
Гласовни системи у реалном времену природно стварају непрекидан ток догађаја.
Корисници почињу да говоре, застају и прекидају. Транскрипти се ажурирају постепено. Одговори се генеришу и стримују. Пристижу спољни резултати. Услови унутар сесије се мењају. Све то може да се забележи, стримује и сачува као кључни догађаји који су довели до конкретног тренутног стања разговора. Без њих губимо могућност прецизних и циљаних интервенција.
Приступ заснован на догађајима пружа јасан начин за управљање тиме. Систем бележи догађаје док настају, ажурира стање сесије и покреће одговарајуће наредне радње.
Једноставни обрађивачи одржавају брз одзив путање у реалном времену, док се сложенији послови — попут ажурирања аутомата стања, бележења метрика, уклањања осетљивих информација, ажурирања база података и напуштања сесије — покрећу као асинхрони задаци у позадини.
С додавањем функција, број тих позадинских задатака може брзо да порасте. Чак и мале измене производа могу да уведу нове токове догађаја и зависности. Добро структурисана архитектура за овај конкурентни рад важна је како би систем остао разумљив и поуздан док се развија.
Овај приступ заснован на догађајима подржава и један од кључних аспеката производа: обликовање самог разговора. Аудио-систем у реалном времену не генерише само одговоре; он управља темпом, тишином и прекидима и одлучује како и када сесија треба да се заврши. Та понашања су део искуства производа и треба их изричито осмислити.
Како се стање сесије мења на основу броја смена, протеклог времена или понашања корисника, систем може да пружи циљане смернице одговарачу. Може да упути агента да помогне кориснику да приведе разговор крају када се приближи ограничењу сесије или да понуди појашњење ако интеракција застaне. Те интервенције су једноставне, али чине да искуство делује промишљено и целовито.
Добро осмишљен систем одржава јасан увид у стање сесије: ко говори, како разговор напредује и који су услови испуњени. То стање, које се непрекидно ажурира током догађаја, омогућава праве смернице у правом тренутку.
Заштитне мере нису опционе у системима вештачке интелигенције намењеним корисницима. Оне управљају безбедношћу, усклађеношћу, злоупотребом и поузданошћу. У систему заснованом на сменама постоје очигледни тренуци за њихово покретање: након што корисник нешто каже или пре испоруке одговора.
Гласовна комуникација у реалном времену уклања већину тих погодних контролних тачака. Кориснички унос пристиже непрекидно. Излазни звук се можда већ стримује. Завршени транскрипти често касне за звуком. Ако систем чека целе поруке пре него што их провери, разговор више не делује као да се одвија у реалном времену.
Уместо тога, заштитне мере морају да делују упоредо с разговором како би интеракција остала природна. Један приступ је да се звук стримује у бафер док се фрагменти транскрипта асинхроно процењују чим постану доступни, што омогућава безбедносне провере готово у реалном времену без блокирања интеракције.
Када се активира заштитна мера, систем може да одговори у складу с контекстом тако што ће преусмерити разговор, прилагодити понашање или, када је прикладно, окончати сесију. Тако заштитне мере раде у реалном времену без нарушавања корисничког искуства.
Најтежи део евалуације система за разговор у реалном времену јесте то што се неке од најважнијих особина — темпо, прекиди, ток и тон — не могу обухватити тестирањем заснованим само на транскрипту.
Стандардни процеси евалуације уносе реалистичне сценарије у систем, посматрају излазе и оцењују их. Код текстуалних или ланчаних аудио-система то је једноставно: пошаљете текст и проверите добијени текст. У реалном времену улаз је звук уживо, а најважнија динамика разговора постоји у временској димензији: како агент обрађује истовремени говор, колико брзо одговара и како се опоравља од прекида.
Ручно тестирање — директан разговор са агентом — обухвата те особине, али није скалабилно. Аутоматизација заснована на транскрипту јесте скалабилна, али уклања сигнал који разликује добро искуство у реалном времену од лошег.
Ниједна метода сама по себи није довољна. Практично решење је комбинација приступа:
Евалуације између агената: други агент у реалном времену, коме је наложено да преузме одређену корисничку персону, разговара са системом који се тестира. Трећи велики језички модел (LLM), у улози судије, оцењује интеракцију. Тако се у великом обиму тестира целокупна аудио-путања, укључујући темпо и обраду прекида.
Нефункционалне метрике: време до првог звука и анализа сентимента транскрипта пружају квантитативне показатеље квалитета разговора.
Ручни квалитативни преглед: и даље је неопходан за откривање проблема које аутоматизоване метрике пропусте, нарочито у погледу тона и природности.
Ниједна метода не покрива све. Пуштање агената у реалном времену у продукцију захтева примену сва три приступа, а чак су и тада алати за евалуацију звука у реалном времену незрели у поређењу с текстуалном вештачком интелигенцијом.
Гласовна комуникација у реалном времену мења сам облик производа. Корисници доживљавају темпо, прекиде, тишину и опоравак подједнако као и саме речи.
То значи да је модел само један део система. За продукциону гласовну комуникацију у реалном времену потребни су слој сесије прилагођен гласу, јасно раздвајање говора од резоновања и управљање активном сесијом засновано на догађајима. Заштитне мере остају уско грло када је реч о кашњењу, али креативни приступи могу да очувају велики део искуства у реалном времену.
Евалуација је и даље најслабији део технолошког скупа. Још не постоји утврђен начин тестирања особина због којих гласовна комуникација у реалном времену делује добро: темпа, тона, обраде прекида и тока разговора. Док се такав начин не појави, тимови који користе ову технологију мораће да комбинују аутоматизоване тестове, интеракције између агената и ручне прегледе.