Komunikimi zanor në kohë reale u ofron njerëzve një mënyrë thelbësisht të ndryshme për të ndërvepruar me aplikacionet e fuqizuara nga IA-ja. Në vend që të shkruajnë ose të lundrojnë nëpër meny, përdoruesit flasin natyrshëm dhe marrin përgjigje me ritëm në kohë reale dhe kontekst emocional.
Krijimi i një përvoje të shkëlqyer zanore në kohë reale ka të bëjë me bashkërendimin e një ndërveprimi të drejtpërdrejtë. Këtu nis puna e vërtetë për produktin. Përvoja në kohë reale është e menjëhershme dhe e gjallë; krijimi i një aplikacioni që e ruan këtë përvojë përbën një sfidë të veçantë inxhinierike.
Modeli është vetëm një pjesë e sistemit. Aplikacionet në prodhim kanë nevojë për infrastrukturë të krijuar posaçërisht për zërin, ndarje të qartë mes rrjedhës së bisedës dhe arsyetimit më të thellë, si dhe kontroll të drejtuar nga ngjarjet për të menaxhuar sesionin gjatë zhvillimit.
Masat mbrojtëse dhe vlerësimi përbëjnë një pjesë të madhe të vështirësive të mbetura. Kontrollet e sigurisë duhet të ndjekin ritmin e audios së drejtpërdrejtë, ndërsa cilësitë kalimtare të bisedës, si koha, toni dhe rrjedha, janë të vështira për t’u matur me strategjitë tradicionale të vlerësimit.
Shumica e aplikacioneve të sotme të IA-së me funksione zanore ende funksionojnë në të njëjtën mënyrë: futet të folurit, del teksti, një model e përpunon dhe një zë i sintetizuar e lexon përgjigjen. Funksionon. Por ndërveprimi ndihet pikërisht siç është: një zinxhir procesesh, jo një bisedë.
Komunikimi zanor në kohë reale e ndryshon këtë. Përdoruesit flasin natyrshëm dhe marrin përgjigje që përcjellin ritëm, ton dhe kontekst emocional. Përvoja është më e shpejtë dhe më e rrjedhshme se proceset zinxhir të shndërrimit të të folurit në tekst; ajo i ngjan më shumë një bisede me një person sesa përdorimit të një sistemi.
Kemi parë se kjo krijon mundësi produkti që arkitekturat zinxhir e kanë të vështirë t’i mbështesin. Agjentët zanorë në kohë reale mund të menaxhojnë ndërveprime me shërbimin ndaj klientit, të cilat ndryshe do të kërkonin meny IVR të gjata e kufizuese dhe transferime mes departamenteve. Ata mund të trajnojnë, të ndihmojnë me integrimin fillestar, të përmirësojnë qasshmërinë në media të ndryshme e shumë më tepër. Kudo ku biseda e folur ka përparësi ndaj ndërfaqeve me tekst, ia vlen të ndërtohet për komunikim zanor në kohë reale.
Shumica e aplikacioneve me funksione zanore përdorin atë që njihet si "qasja zinxhir": një proces me modele të veçanta për shndërrimin e të folurit në tekst, përpunimin e gjuhës dhe shndërrimin e tekstit në të folur. Këto sisteme funksionojnë mirë dhe krijojnë një gamë të gjerë mundësish, por audioja mbetet vetëm në skajet e procesit. Hapat e veçuar imponojnë strukturë dhe shtojnë vonesë, duke krijuar një ndërveprim që duket më pak i natyrshëm se një bisedë e vërtetë.
Komunikimi zanor në kohë reale përdor një qasje tjetër. Në vend që të mbështetet te modele të veçanta për dëgjimin, të menduarit dhe të folurit, një model i vetëm i trajton të tria në mënyrë të integruar, duke kuptuar dhe gjeneruar njëkohësisht si audion, ashtu edhe transkriptimet. Hyrja dhe dalja ndodhin vazhdimisht, duke i mundësuar sistemit të përgjigjet me një tempizëm natyral dhe me reagime shprehëse, duke ruajtur ritmin realist të një bisede të drejtpërdrejtë. Si rezultat, koha e reagimit, toni dhe trajtimi i ndërprerjeve bëhen pjesë qendrore e produktit.
Përvoja në kohë reale tërheq sepse është e menjëhershme; është e vështirë sepse asgjë nuk pret radhën. Për ta mbështetur nuk mjafton gjenerimi i shpejtë dhe i saktë i audios. Pjesa e vështirë është gjithçka tjetër. Modeli vepron brenda një sesion të drejtpërdrejtë; gjithçka përreth tij (gjendja, siguria, orkestrimi dhe kontrolli) duhet të ecë paralelisht me bisedën, me të njëjtin ritëm të drejtpërdrejtë.
Në një aplikacion zanor të bazuar në një zinxhir procesesh, bisedat me radhë krijojnë një strukturë të qartë vajtje-ardhjeje. Përdoruesi flet, sistemi përgjigjet dhe nis hapi tjetër. Komunikimi zanor në kohë reale nuk e ofron këtë strukturë. Të dyja palët mund të flasin njëkohësisht ose të mos flasë asnjëra dhe të ketë heshtje. Përdoruesi mund ta ndërpresë sistemin në mes të përgjigjes ose të bëjë një pyetje vijuese përpara se sistemi të ketë përfunduar së foluri. Ndërprerjet nuk janë më raste anësore, por bëhen një model thelbësor ndërveprimi.
Pikërisht ky model i bën aplikacionet në kohë reale para së gjithash një problem bashkërendimi dhe shpjegon pse sistemi rreth modelit ka po aq rëndësi sa vetë modeli.
Mbështetja e këtij lloj sistemi në shkallë kërkon projektim posaçërisht për ndërveprim të drejtpërdrejtë. Kjo përfshin tri pjesë që shfaqen vazhdimisht në sistemet që arrijnë në prodhim.
Sesionet zanore në kohë reale duhet të menaxhojnë transmetimin e audios, ndërrimin e radhës, ndërprerjet, ciklin jetësor të lidhjes dhe ekzekutimin e agjentit. Në varësi të vendit ku vihet në përdorim aplikacioni, mund të nevojitet edhe mbështetje për telefoninë. Këto janë pjesë themelore të përvojës dhe thelbësore për shkallëzimin e aplikacionit.
Kërkesa e parë është një shtresë sesioni i krijuar posaçërisht për zërin. Kornizat e komunikimit në kohë reale (RTC) i ofrojnë aplikacionit një mjedis ku mund të menaxhojë pjesëmarrësit, të transmetojë audio dhe të ekzekutojë agjentë në një mjedis telefonie. Nga përvoja jonë, veçanërisht Livekit ka qenë i dobishëm, duke ofruar një arkitekturë WebRTC me latencë të ulët, reduktim cilësor të zhurmës dhe zbutje të luhatjeve që në konfigurimin fillestar. Kompleksiteti shtesë i zbatimit të kësaj shtrese vetë rrallëherë ia vlen.
Një arkitekturë me shumë agjentë për komunikimin zanor në kohë reale bazohet në thelb te ndarja e përgjegjësive.
Modelet zanore në kohë reale janë shumë efikase për transmetimin e audios bisedore, por nuk janë optimizuar për arsyetim më të thellë. Detyra si thirrja e mjeteve, rikthimi i informacionit ose vendimmarrja e strukturuar kryhen më mirë nga një model tjetër.
Një model i dobishëm është arkitektura përgjigjës–arsyetues.
Përgjigjësi është agjenti zanor në kohë reale. Ai është përgjegjës për ruajtjen e ndërveprimit të drejtpërdrejtë: dëgjon, flet, trajton ndërprerjet dhe ruan rrjedhën e bisedës. Dizajni i tij i jep përparësi reagimit të shpejtë, qartësisë dhe vazhdimësisë emocionale.
Arsyetuesi është një agjent më vete, i fuqizuar nga një model i aftë për arsyetim. Ai vepron jashtë rrjedhës kryesore dhe kryen detyra si përdorimi i mjeteve, rikthimi i informacionit dhe planifikimi. Përgjigjësi mund ta thërrasë kur nevojitet dhe t’i përfshijë rezultatet përsëri në bisedë.
Në disa raste, arsyetuesi mund të merret vetë me arsyetimin. Në raste të tjera, ai mund të shërbejë si orkestrues për një grup agjentësh të specializuar. Ideja kryesore është që këtë punë ta kryejë një model më i përshtatshëm për detyrat e arsyetimit.
Përfitimi është i thjeshtë: përgjigjësi mbetet i shpejtë, bisedor dhe i përqendruar, ndërsa arsyetuesi kryen punën që kërkon më shumë kohë, kontekst ose strukturë.
Zhvillimet e ardhshme të modeleve avangardë mund ta bëjnë të panevojshme këtë qasje, por tani për tani kemi konstatuar se ky model funksionimi i tejkalon vazhdimisht qasjet me një agjent të vetëm.
Sistemet zanore në kohë reale prodhojnë natyrshëm një rrjedhë të vazhdueshme ngjarjesh.
Përdoruesit fillojnë të flasin, ndalojnë dhe ndërpresin. Transkriptimet përditësohen gradualisht. Përgjigjet gjenerohen dhe transmetohen. Mbërrijnë rezultate të jashtme. Kushtet brenda sesionit ndryshojnë. Të gjitha këto mund të regjistrohen, transmetohen dhe ruhen si ngjarje kyçe që kanë krijuar gjendjen aktuale specifike të bisedës. Pa to, humbasim aftësinë për të bërë ndërhyrje të hollësishme dhe të synuara.
Një qasje e drejtuar nga ngjarjet ofron një mënyrë të qartë për ta menaxhuar këtë. Sistemi i kap ngjarjet sapo ndodhin, përditëson gjendjen e sesionit dhe aktivizon veprimet e duhura vijuese.
Trajtuesit e lehtë e mbajnë reaguese rrjedhën në kohë reale, ndërsa detyrat më të ndërlikuara — si përditësimi i makinave të gjendjes, regjistrimi i metrikave, heqja e informacionit sensitiv, përditësimi i bazave të të dhënave dhe dalja nga sesioni — aktivizohen si detyra asinkrone në sfond.
Me shtimin e funksioneve, numri i këtyre detyrave në sfond mund të rritet shpejt. Edhe ndryshimet e vogla në produkt mund të krijojnë rrjedha dhe varësi të reja ngjarjesh. Një arkitekturë e strukturuar mirë për këtë ekzekutim njëkohësisht është e rëndësishme që sistemi të mbetet i kuptueshëm dhe i besueshëm ndërsa zhvillohet.
Kjo qasje e drejtuar nga ngjarjet mbështet edhe një aspekt thelbësor të produktit: formësimin e vetë bisedës. Një sistem audio në kohë reale bën më shumë sesa gjenerimi i përgjigjeve; ai menaxhon ritmin, trajton heshtjen dhe ndërprerjet, si dhe vendos si dhe kur duhet të përfundojë një sesion. Këto sjellje janë pjesë e përvojës së produktit dhe përfitojnë nga një dizajn i qëllimshëm.
Ndërsa gjendja e sesionit ndryshon sipas numrit të radhëve, kohës së kaluar ose sjelljes së përdoruesit, sistemi mund t’i japë përgjigjësit udhëzime të synuara. Ai mund t’i japë agjentit një kërkesë që ta ndihmojë përdoruesin ta mbyllë bisedën kur i afrohet kufirit të sesionit ose të japë sqarime nëse ndërveprimi ngec. Këto ndërhyrje janë të lehta, por e bëjnë përvojën të duket e qëllimshme dhe koherente.
Një sistem i projektuar mirë ruan një pamje të qartë të gjendjes së sesionit: kush po flet, si po përparon biseda dhe cilat kushte janë plotësuar. Kjo gjendje, e përditësuar vazhdimisht nga rrjedha e ngjarjeve, mundëson udhëzimin e duhur në kohën e duhur.
Masat mbrojtëse janë të domosdoshme në sistemet e IA-së që ndërveprojnë me përdoruesit. Ato menaxhojnë sigurinë, pajtueshmërinë, keqpërdorimin dhe besueshmërinë. Në një sistem të bazuar në turne, ka momente të qarta për t’i zbatuar: pasi përdoruesi ka folur ose përpara se të jepet përgjigjja.
Komunikimi zanor në kohë reale i eliminon shumicën e këtyre pikave të përshtatshme të kontrollit. Të dhënat hyrëse të përdoruesit mbërrijnë vazhdimisht. Dalja audio mund të jetë tashmë duke u transmetuar. Transkriptimet e përfunduara shpesh vijnë me latencë në audio. Nëse sistemi pret mesazhet e plota para se t’i kontrollojë, biseda nuk duket më sikur zhvillohet në kohë reale.
Përkundrazi, masat mbrojtëse duhet të veprojnë paralelisht me bisedën për të ruajtur natyrshmërinë e ndërveprimit. Një qasje është transmetimi i audios në një ndërmemorie, ndërsa fragmentet e transkriptimit vlerësohen në mënyrë asinkrone sapo bëhen të disponueshme. Kështu, kontrollet e sigurisë kryhen pothuajse në kohë reale pa bllokuar ndërveprimin.
Kur aktivizohet një masë mbrojtëse, sistemi mund të përgjigjet sipas kontekstit duke ridrejtuar bisedën, duke përshtatur sjelljen ose, kur duhet, duke përfunduar sesionin. Kjo siguron që masat mbrojtëse të funksionojnë në kohë reale pa cenuar përvojën e përdoruesit.
Pjesa më e vështirë e vlerësimit të një sistemi bisedor në kohë reale është se disa nga cilësitë më të rëndësishme (koha, ndërprerjet, rrjedhshmëria dhe toni) nuk maten dot vetëm duke testuar transkriptimet.
Proceset standarde të vlerësimit i japin sistemit skenarë realistë, vëzhgojnë rezultatet dhe i vlerësojnë ato me pikë. Për sistemet me tekst ose zinxhir audio, kjo është e thjeshtë: dërgohet teksti dhe kontrollohet në dalje. Në kohë reale, hyrja është audio e drejtpërdrejtë dhe dinamikat më të rëndësishme të bisedës shfaqen në dimensionin kohor: si e trajton agjenti të folurin e njëkohshëm, sa shpejt përgjigjet dhe si rimëkëmbet pas një ndërprerjeje.
Testimi manual (të folurit drejtpërdrejt me agjentin) i pasqyron këto cilësi, por nuk mund të shkallëzohet. Automatizimi i bazuar në transkriptime mund të shkallëzohet, por humbet sinjalin që dallon në kohë reale një përvojë të mirë nga një e keqe.
Asnjë metodë e vetme nuk mjafton. Zgjidhja praktike është ndërthurja e disa stivave:
Vlerësimet agjent me agjent: një agjent i dytë në kohë reale, i udhëzuar të mishërojë një profil të caktuar përdoruesi, bisedon me sistemin që po testohet. Një LLM i tretë, që shërben si gjykues, vlerëson ndërveprimin me pikë. Kjo mundëson testimin në shkallë të të gjithë rrugës së audios, përfshirë kohën dhe trajtimin e ndërprerjeve.
Metrikat jofunksionale: koha deri tek audioja e parë dhe analiza e ndjesisë së transkriptimit shërbejnë si tregues sasiorë të cilësisë së bisedës.
Shqyrtimi cilësor manual: mbetet thelbësor për të zbuluar problemet që metrikat e automatizuara nuk i kapin, veçanërisht lidhur me tonin dhe natyrshmërinë.
Asnjë metodë e vetme nuk mbulon gjithçka. Vendosja në prodhim e agjentëve në kohë reale kërkon ndërthurjen e të tria metodave. Edhe atëherë, mjetet për vlerësimin e audios në kohë reale mbeten të papjekura krahasuar me ato për IA-në e bazuar në tekst.
Komunikimi zanor në kohë reale ndryshon vetë natyrën e produktit. Përdoruesit përjetojnë kohën, ndërprerjen, heshtjen dhe rimëkëmbjen po aq sa edhe fjalët.
Kjo do të thotë se modeli është vetëm një pjesë e sistemit. Për komunikim zanor në kohë reale në prodhim nevojiten një shtresë sesioni i krijuar posaçërisht për zërin, një ndarje e qartë mes të folurit dhe arsyetimit, si dhe kontroll i drejtuar nga ngjarjet rreth sesionit të drejtpërdrejtë. Masat mbrojtëse mbeten pengesa kryesore për vonesën, por qasjet krijuese mund të ruajnë një pjesë të madhe të përvojës në kohë reale.
Pjesa më e dobët e arkitekturës mbetet vlerësimi. Ende nuk ka një mënyrë të konsoliduar për të testuar cilësitë që e bëjnë të këndshëm komunikimin zanor në kohë reale: koha, toni, trajtimi i ndërprerjeve dhe rrjedha e bisedës. Derisa të krijohet një e tillë, ekipet që punojnë me këtë teknologji do të duhet të ndërthurin testet e automatizuara, ekzekutimet agjent me agjent dhe shqyrtimin manual.