Гласовната комуникација во реално време им нуди на луѓето суштински поинаков начин на интеракција со апликации засновани на ВИ. Наместо да пишуваат или да се движат низ менија, корисниците зборуваат природно и добиваат одговори со темпо во реално време и емоционален контекст.
Создавањето одлично гласовно искуство во реално време се сведува на координирање интеракција во живо. Тука почнува вистинската работа на производот. Искуството во реално време е непосредно и природно; создавањето апликација што ќе го одржува претставува посебен инженерски предизвик.
Моделот е само еден дел од системот. На продукциските апликации им се потребни инфраструктура изворно создадена за глас, јасна поделба меѓу текот на разговорот и подлабокото расудување и контрола заснована на настани за управување со сесијата додека трае.
Најголемиот дел од преостанатите тешкотии е во заштитните механизми и евалуацијата. Безбедносните проверки мора да го следат темпото на аудиото во живо, а минливите својства на разговорот, како темпирањето, тонот и текот, тешко се проценуваат со традиционални стратегии за евалуација.
Повеќето денешни апликации со гласовна ВИ сè уште работат на ист начин: влегува говор, излегува текст, модел размислува, а синтетизиран глас го чита одговорот. Функционира. Но интеракцијата и се чувствува како она што е: процес, а не разговор.
Гласовната комуникација во реално време го менува тоа. Корисниците зборуваат природно и добиваат одговори што пренесуваат темпо, тон и емоционален контекст. Искуството е побрзо и потечно од верижните процеси за претворање говор во текст и повеќе наликува на разговор со човек отколку на ракување со систем.
Видовме дека ова овозможува примени со кои процесните архитектури тешко се справуваат. Гласовните агенти во реално време може да водат разговори со корисничката поддршка за кои инаку би биле потребни долги, ограничувачки IVR-менија и префрлање меѓу оддели. Може да обучуваат, да воведуваат нови корисници, да ја подобруваат пристапноста низ различни медиуми и многу повеќе. Секаде каде што говорниот разговор има предност пред текстуалните интерфејси, вреди да се создава гласовно искуство во реално време.
Повеќето апликации со гласовна поддршка го користат таканаречениот „верижен пристап“: процес од одделни модели за претворање говор во текст, јазична обработка и претворање текст во говор. Овие системи работат добро и отвораат широк спектар можности, но аудиото се наоѓа само на краевите од процесот. Одделните чекори наметнуваат структура и доцнење, па интеракцијата делува помалку природно од вистински разговор.
Гласовната комуникација во реално време користи поинаков пристап. Наместо да се потпира на одделни модели за слушање, размислување и зборување, еден модел природно ги извршува сите три функции, истовремено разбирајќи и создавајќи аудио и транскрипти. Влезот и излезот се одвиваат непрекинато, па системот може да одговара со природно темпо и со емоционално изразени одговори што го задржуваат реалистичниот ритам на разговор во живо. Како резултат, темпирањето, тонот и справувањето со прекини стануваат централен дел од производот.
Искуството во реално време е привлечно затоа што е непосредно, но е тешко затоа што ништо не го чека својот ред. За негова поддршка не е доволно само брзо и прецизно создавање аудио. Тешкиот дел е сè друго. Моделот работи во сесија во живо; сè околу него — состојбата, безбедноста, оркестрацијата и контролата — мора да работи паралелно со разговорот, со истото темпо во живо.
Во верижна гласовна апликација, разговорите со наизменични реплики обезбедуваат јасна структура на размена. Корисникот зборува, системот одговара, па почнува следниот чекор. Гласовната комуникација во реално време ја нема таа структура. Двете страни може да зборуваат истовремено или ниту една да не зборува, па да настане тишина. Корисникот може да го прекине одговорот или да постави дополнително прашање пред системот да заврши со зборувањето. Прекините престануваат да бидат гранични случаи и стануваат основен образец на интеракција.
Токму поради овој образец, апликациите во реално време суштински претставуваат проблем на координација, а системот околу моделот е подеднакво важен како и самиот модел.
Поддршката на ваков систем во голем обем бара дизајн наменет за интеракција во живо. Тој се состои од три дела што постојано се среќаваат кај системите што стигнуваат до продукција.
Гласовните сесии во реално време мора да поддржуваат пренос на аудио, наизменично зборување, прекини, животен циклус на врската и извршување на агентот. Зависно од тоа каде е распоредена апликацијата, може да биде потребна и телефонска поддршка. Ова се темелни делови на искуството и се клучни за скалирање на апликацијата.
Првиот услов е слој за сесии изворно создаден за глас. Рамките за комуникација во реално време (RTC) ѝ овозможуваат на апликацијата да управува со учесниците, да пренесува аудио и да извршува агенти во телефонско опкружување. Според нашето искуство, особено корисен е Livekit, кој нуди WebRTC-систем со мало доцнење, висококвалитетно поништување на шумот и вградено намалување на варијациите во доцнењето. Дополнителната сложеност ретко го оправдува самостојното имплементирање на овој слој.
Архитектурата со повеќе агенти за гласовна комуникација во реално време во суштина се заснова на поделба на одговорностите.
Гласовните модели во реално време се многу ефикасни за пренос на разговорно аудио, но не се оптимизирани за подлабоко расудување. Задачите како повикување алатки, пронаоѓање информации или структурирано донесување одлуки е подобро да ги извршува друг модел.
Корисен образец е архитектурата со одговарач и мислител.
Одговарачот е гласовниот агент во реално време. Тој е одговорен за одржување на интеракцијата во живо: слушање, зборување, справување со прекини и зачувување на текот на разговорот. Неговиот дизајн им дава приоритет на брзото реагирање, јасноста и емоционалниот континуитет.
Мислителот е посебен агент, придвижуван од модел способен за расудување. Тој работи надвор од главниот тек и извршува задачи како користење алатки, пронаоѓање информации и планирање. Одговарачот може да го повика кога е потребно и да ги вклучи резултатите во разговорот.
Во некои случаи, мислителот може директно да го извршува расудувањето. Во други случаи, може да служи како оркестратор на група специјализирани агенти. Клучната идеја е оваа работа да ја извршува модел што е посоодветен за задачи на расудување.
Придобивката е едноставна: одговарачот останува брз, разговорен и фокусиран, додека мислителот ја извршува работата за која се потребни повеќе време, контекст или структура.
Идниот развој на гранични модели може да го направи овој пристап непотребен, но засега утврдивме дека овој образец постојано ги надминува пристапите со еден агент.
Гласовните системи во реално време природно создаваат непрекинат тек на настани.
Корисниците почнуваат да зборуваат, прават пауза и прекинуваат. Транскриптите се ажурираат постепено. Одговорите се создаваат и пренесуваат. Пристигнуваат надворешни резултати. Условите во сесијата се менуваат. Сите тие може да се забележат, пренесат и зачуваат како клучни настани што ја создале конкретната тековна состојба на разговорот. Без нив ја губиме можноста за прецизни и насочени интервенции.
Пристапот заснован на настани нуди јасен начин за управување со ова. Системот ги забележува настаните додека се случуваат, ја ажурира состојбата на сесијата и ги активира соодветните последователни дејства.
Лесните обработувачи ја одржуваат патеката во реално време брза, додека посложените задачи — како ажурирање на машините на состојби, евидентирање метрики, отстранување чувствителни информации, ажурирање бази на податоци и напуштање сесија — се активираат како асинхрони задачи во заднина.
Со додавањето функции, бројот на овие задачи во заднина може брзо да порасне. Дури и мали промени во производот може да воведат нови текови на настани и зависности. Добро структурираната архитектура за оваа конкурентност е важна за системот да остане разбирлив и сигурен додека се развива.
Овој пристап заснован на настани поддржува и едно клучно прашање за производот: обликувањето на самиот разговор. Аудиосистемот во реално време не создава само одговори; тој управува со темпото, се справува со тишината и прекините и одлучува како и кога треба да заврши сесијата. Овие однесувања се дел од искуството со производот и треба да се осмислат намерно.
Како што состојбата на сесијата се менува според бројот на реплики, изминатото време или однесувањето на корисникот, системот може да му испраќа насочени упатства на одговарачот. Може да го насочи агентот да му помогне на корисникот да го приврши разговорот кога се приближува ограничувањето на сесијата или да понуди појаснување ако интеракцијата запре. Овие интервенции се едноставни, но прават искуството да делува осмислено и кохерентно.
Добро дизајнираниот систем одржува јасна слика за состојбата на сесијата: кој зборува, како напредува разговорот и кои услови се исполнети. Оваа состојба, која непрекинато се ажурира преку текот на настани, овозможува вистинските насоки да се дадат во вистинскиот момент.
Заштитните механизми се неопходни кај ВИ наменета за корисници. Тие управуваат со безбедноста, усогласеноста, злоупотребата и сигурноста. Во систем со наизменични реплики има очигледни моменти кога може да се активираат: откако корисникот ќе зборува или пред да се испорача одговорот.
Гласовната комуникација во реално време ги отстранува повеќето од тие погодни контролни точки. Влезот од корисникот пристигнува непрекинато. Аудиоизлезот можеби веќе се пренесува. Завршените транскрипти често доцнат зад звукот. Ако системот чека пораките да завршат пред да ги провери, разговорот повеќе не делува како да се одвива во реално време.
Наместо тоа, заштитните механизми треба да дејствуваат паралелно со разговорот за интеракцијата да остане природна. Еден пристап е аудиото да се пренесува во бафер, додека фрагментите од транскриптот асинхроно се проценуваат штом станат достапни. Така безбедносните проверки може да се извршуваат речиси во реално време без блокирање на интеракцијата.
Кога ќе се активира заштитен механизам, системот може да одговори во контекст така што ќе го пренасочи разговорот, ќе го приспособи однесувањето или, кога е соодветно, ќе ја заврши сесијата. Така заштитните механизми функционираат во реално време без да го нарушат корисничкото искуство.
Најтешкиот дел од евалуацијата на разговорен систем во реално време е тоа што некои од најважните својства — темпирањето, прекините, текот и тонот — не може да се опфатат само со тестирање транскрипти.
Стандардните процеси за евалуација внесуваат реалистични сценарија во системот, ги набљудуваат резултатите и ги оценуваат. Кај текстуалните или верижните аудиосистеми ова е едноставно: испратете текст и проверете го добиениот текст. Во реално време влезот е аудио во живо, а најважната динамика на разговорот се одвива во временската димензија: како агентот се справува со истовремен говор, колку брзо одговара и како продолжува по прекин.
Рачното тестирање — директен разговор со агентот — ги опфаќа овие својства, но не е скалабилно. Автоматизацијата врз основа на транскрипти е скалабилна, но го отстранува сигналот што го разликува доброто од лошото искуство во реално време.
Ниту еден метод не е доволен. Практичното решение е комбинација од слоеви:
Евалуации од агент до агент: втор агент во реално време, упатен да глуми конкретен тип корисник, разговара со системот што се тестира. Трет голем јазичен модел (LLM), во улога на судија, ја оценува интеракцијата. Ова овозможува обемно тестирање на целата аудиопатека, вклучувајќи ги темпирањето и справувањето со прекини.
Нефункционални метрики: времето до првото аудио и анализата на сентиментот во транскриптот служат како квантитативни показатели за квалитетот на разговорот.
Рачна квалитативна проверка: и понатаму е неопходна за откривање проблеми што автоматизираните метрики ги пропуштаат, особено во однос на тонот и природноста.
Ниту еден метод не опфаќа сè. Воведувањето агенти во реално време во продукција бара комбинирање на сите три пристапи, но и тогаш алатките за евалуација на аудио во реално време остануваат недоволно развиени во споредба со оние за текстуална ВИ.
Гласовната комуникација во реално време ја менува природата на производот. Корисниците ги доживуваат темпирањето, прекините, тишината и продолжувањето исто колку и зборовите.
Тоа значи дека моделот е само еден дел од системот. За продукциска гласовна комуникација во реално време се потребни слој за сесии изворно создаден за глас, јасна поделба меѓу говорењето и расудувањето и контрола заснована на настани околу сесијата во живо. Заштитните механизми остануваат тесното грло за доцнењето, но креативните пристапи може да зачуваат голем дел од искуството во реално време.
Евалуацијата сè уште е најслабиот дел од системот. Сè уште нема утврден начин за тестирање на својствата што ја прават гласовната комуникација во реално време пријатна: темпирањето, тонот, справувањето со прекини и текот на разговорот. Додека не се појави таков начин, тимовите што ја користат технологијата ќе мора да комбинираат автоматизирани тестови, интеракции меѓу агенти и рачни проверки.