Il-vuċi f’ħin reali tagħti lin-nies mod fundamentalment differenti kif jinteraġixxu ma’ applikazzjonijiet imħaddma bl-IA. Minflok jittajpjaw jew jinnavigaw menus, l-utenti jitkellmu b’mod naturali u jirċievu tweġibiet bil-pass tal-ħin reali u b’kuntest emozzjonali.
Biex tinħoloq esperjenza eċċellenti tal-vuċi f’ħin reali trid tiġi kkoordinata interazzjoni diretta. Hawnhekk jibda x-xogħol veru fuq il-prodott. L-esperjenza f’ħin reali hi immedjata u realistika; il-bini ta’ applikazzjoni li ssostniha hu sfida distinta tal-inġinerija.
Il-mudell hu biss parti waħda mis-sistema. L-applikazzjonijiet fil-produzzjoni jeħtieġu infrastruttura ddisinjata apposta għall-vuċi, separazzjoni ċara bejn il-fluss tal-konverżazzjoni u r-raġunament aktar profond, u kontroll immexxi mill-avvenimenti biex is-sessjoni tiġi mmaniġġjata waqt li tkun għaddejja.
Ħafna mid-diffikultajiet li fadal jinsabu fil-mekkaniżmi ta’ protezzjoni u fl-evalwazzjoni. Il-kontrolli tas-sikurezza jridu jlaħħqu mal-awdjo dirett, filwaqt li kwalitajiet temporanji tal-konverżazzjoni bħall-waqt, it-ton u l-fluss huma diffiċli biex jiġu vvalutati bi strateġiji tradizzjonali.
Illum, ħafna mill-applikazzjonijiet tal-IA bil-vuċi għadhom jaħdmu bl-istess mod: jidħol id-diskors, joħroġ it-test, mudell jaħseb u vuċi sintetizzata taqra t-tweġiba. Jaħdem. Iżda l-interazzjoni tinħass għal dak li hi: proċess f’katina, mhux konverżazzjoni.
Il-vuċi f’ħin reali tbiddel dan. L-utenti jitkellmu b’mod naturali u jirċievu tweġibiet li jwasslu l-pass, it-ton u l-kuntest emozzjonali. L-esperjenza hi aktar mgħaġġla u fluwida minn proċessi f’katina li jaqilbu d-diskors f’test, u tixbah aktar konverżazzjoni ma’ persuna milli t-tħaddim ta’ sistema.
Rajna dan jiftaħ possibbiltajiet għall-prodott li l-arkitetturi f’katina jsibuha diffiċli biex joffru. Aġenti tal-vuċi f’ħin reali jistgħu jieħdu ħsieb interazzjonijiet tas-servizz tal-konsumatur li inkella jkunu jeħtieġu menus IVR twal u restrittivi u trasferimenti bejn dipartimenti. Jistgħu jagħtu taħriġ u gwida inizjali, jassistu fl-aċċessibbiltà bejn mezzi differenti, u aktar. Kull fejn konverżazzjoni bil-fomm għandha vantaġġ fuq interfaċċi bbażati fuq it-test, ta’ min jinbena prodott bil-vuċi f’ħin reali.
Ħafna mill-applikazzjonijiet bil-vuċi jużaw l-hekk imsejjaħ “approċċ f’katina”: proċess ta’ mudelli separati għat-taqlib tad-diskors f’test, l-ipproċessar tal-lingwa u t-taqlib tat-test f’diskors. Dawn is-sistemi jaħdmu tajjeb u jiftħu firxa wiesgħa ta’ opportunitajiet, iżda l-awdjo jinsab biss fit-truf tal-proċess. Il-passi separati jżidu struttura obbligatorja u latenza, u joħolqu interazzjoni li tinħass inqas naturali minn konverżazzjoni vera.
Il-vuċi f’ħin reali tuża approċċ differenti. Minflok jiddependi fuq mudelli distinti għas-smigħ, il-ħsieb u t-taħdit, mudell wieħed jieħu ħsieb it-tlieta b’mod nattiv, filwaqt li jifhem u jiġġenera kemm awdjo kif ukoll traskrizzjonijiet simultanjament. L-input u l-output iseħħu kontinwament, biex is-sistema tkun tista’ twieġeb f’ħin naturali u b’emozzjoni, u żżomm ir-ritmu realistiku ta’ konverżazzjoni diretta. B’riżultat ta’ dan, il-waqt, it-ton u l-ġestjoni tal-interruzzjonijiet isiru parti ċentrali tal-prodott.
L-esperjenza f’ħin reali hi attraenti għax tinħass immedjata; hi diffiċli għax xejn ma jistenna l-waqt tiegħu. Biex tiġi appoġġata, mhuwiex biżżejjed li l-awdjo jiġi ġġenerat malajr u bi preċiżjoni. Il-parti diffiċli hi kull ħaġa oħra. Il-mudell jaħdem f’sessjoni diretta; dak kollu ta’ madwaru—l-istat, is-sikurezza, l-orkestrazzjoni u l-kontroll—irid jaħdem flimkien mal-konverżazzjoni bl-istess pass dirett.
F’applikazzjoni tal-vuċi f’katina, konverżazzjonijiet b’dawriet jagħtuk struttura ċara ta’ skambju. L-utent jitkellem, is-sistema twieġeb u jibda l-pass li jmiss. Il-vuċi f’ħin reali ma tagħtikx din l-istruttura. Iż-żewġ naħat jistgħu jitkellmu fl-istess ħin, jew ħadd minnhom ma jitkellem u jkun hemm is-skiet. Utent jista’ jinterrompi f’nofs tweġiba jew jagħmel mistoqsija oħra qabel ma s-sistema tkun spiċċat titkellem. L-interruzzjonijiet ma jibqgħux każijiet rari u jsiru mudell ewlieni tal-interazzjoni.
Hu dan il-mudell li jagħmel l-applikazzjonijiet f’ħin reali problema ta’ koordinazzjoni, u li jagħmel is-sistema ta’ madwar il-mudell importanti daqs il-mudell innifsu.
Biex sistema bħal din tiġi appoġġata fuq skala kbira, trid tkun iddisinjata apposta għall-interazzjoni diretta. Dan jinvolvi tliet aspetti li naraw ripetutament fis-sistemi li jaslu sal-produzzjoni.
Is-sessjonijiet tal-vuċi f’ħin reali jridu jimmaniġġjaw l-istrimjar tal-awdjo, it-teħid tad-dawriet, l-interruzzjonijiet, iċ-ċiklu tal-konnessjoni u l-eżekuzzjoni tal-aġent. Skont fejn titħaddem l-applikazzjoni, jista’ jkun meħtieġ ukoll appoġġ għat-telefonija. Dawn huma elementi fundamentali tal-esperjenza u essenzjali biex l-applikazzjoni tiġi skalata.
L-ewwel rekwiżit hu saff tas-sessjoni ddisinjat apposta għall-vuċi. Oqfsa tal-Komunikazzjoni f’Ħin Reali (RTC) jagħtu lill-applikazzjoni ambjent fejn timmaniġġja l-parteċipanti, tistrimja l-awdjo u tħaddem aġenti f’ambjent tat-telefonija. Fl-esperjenza tagħna, Livekit kien partikolarment utli, billi jipprovdi WebRTC b’latenza baxxa, kanċellazzjoni tal-istorbju ta’ kwalità għolja u tnaqqis tal-varjazzjonijiet fid-dewmien, kollha lesti għall-użu. Rari jkun jiswa l-kumplessità miżjuda li timplimenta dan is-saff int stess.
Arkitettura b’diversi aġenti għall-vuċi f’ħin reali hi fundamentalment ibbażata fuq is-separazzjoni tar-responsabbiltajiet.
Il-mudelli tal-vuċi f’ħin reali huma effettivi ħafna fl-istrimjar ta’ awdjo ta’ konverżazzjoni, iżda mhumiex ottimizzati għal raġunament aktar profond. Kompiti bħas-sejħiet ta’ għodod, l-irkupru tal-informazzjoni jew it-teħid strutturat ta’ deċiżjonijiet isiru aħjar minn mudell differenti.
Mudell utli hu l-arkitettura ta’ rispondent u ħassieb.
Ir-rispondent hu l-aġent tal-vuċi f’ħin reali. Hu responsabbli biex iżomm l-interazzjoni diretta għaddejja: jisma’, jitkellem, jittratta l-interruzzjonijiet u jżomm il-fluss tal-konverżazzjoni. Id-disinn tiegħu jagħti prijorità lir-rispons rapidu, liċ-ċarezza u lill-kontinwità emozzjonali.
Il-ħassieb hu aġent separat, imħaddem minn mudell kapaċi jagħmel raġunament. Jaħdem barra mill-kanal ewlieni u jieħu ħsieb kompiti bħall-użu tal-għodod, l-irkupru tal-informazzjoni u l-ippjanar. Ir-rispondent jista’ jsejjaħlu meta jkun meħtieġ u jintegra r-riżultati lura fil-konverżazzjoni.
F’xi każijiet, il-ħassieb jista’ jagħmel ir-raġunament direttament. F’każijiet oħra, jista’ jaġixxi bħala orkestratur għal grupp ta’ aġenti speċjalizzati. L-idea ewlenija hi li dan ix-xogħol isir minn mudell aktar adattat għall-kompiti ta’ raġunament.
Il-vantaġġ hu sempliċi: ir-rispondent jibqa’ mgħaġġel, naturali u ffukat, filwaqt li l-ħassieb jieħu ħsieb ix-xogħol li jeħtieġ aktar ħin, kuntest jew struttura.
Żviluppi futuri fil-mudelli l-aktar avvanzati jistgħu jagħmlu dan l-approċċ żejjed, iżda għalissa sibna li dan il-mudell jaħdem b’mod konsistenti aħjar minn approċċi b’aġent wieħed.
Is-sistemi tal-vuċi f’ħin reali naturalment jipproduċu fluss kontinwu ta’ avvenimenti.
L-utenti jibdew jitkellmu, jieqfu ftit u jinterrompu. It-traskrizzjonijiet jiġu aġġornati ftit ftit. It-tweġibiet jiġu ġġenerati u strimjati. Jaslu riżultati esterni. Il-kundizzjonijiet fis-sessjoni jinbidlu. Dawn kollha jistgħu jinqabdu, jiġu strimjati u jinħażnu bħala avvenimenti ewlenin li ħolqu l-istat attwali speċifiku tal-konverżazzjoni. Mingħajrhom, nitilfu l-kapaċità li nagħmlu interventi preċiżi u mmirati.
Approċċ immexxi mill-avvenimenti jipprovdi mod ċar kif dan jiġi mmaniġġjat. Is-sistema taqbad l-avvenimenti hekk kif iseħħu, taġġorna l-istat tas-sessjoni u tattiva l-azzjonijiet ta’ segwitu xierqa.
Proċessi ħfief iżommu l-mogħdija f’ħin reali reattiva, filwaqt li kompiti aktar impenjattivi—bħall-aġġornament tal-magni tal-istat, ir-reġistrazzjoni tal-metriċi, it-tneħħija ta’ informazzjoni sensittiva, l-aġġornament tal-bażijiet tad-data u l-ħruġ minn sessjoni—jiġu attivati bħala kompiti fl-isfond mhux sinkroniċi.
Hekk kif jiżdiedu l-karatteristiċi, l-għadd ta’ dawn il-kompiti fl-isfond jista’ jikber malajr. Anke bidliet żgħar fil-prodott jistgħu jintroduċu flussi ġodda ta’ avvenimenti u dipendenzi. Arkitettura strutturata tajjeb għal din il-konkorrenza hi importanti biex is-sistema tibqa’ tinftiehem u tkun affidabbli hekk kif tevolvi.
Dan l-approċċ immexxi mill-avvenimenti jappoġġa wkoll aspett kruċjali tal-prodott: it-tiswir tal-konverżazzjoni nnifisha. Sistema tal-awdjo f’ħin reali tagħmel aktar milli tiġġenera tweġibiet; timmaniġġja l-pass, tittratta s-skiet u l-interruzzjonijiet, u tiddeċiedi kif u meta għandha tintemm sessjoni. Dawn l-imġibiet huma parti mill-esperjenza tal-prodott u jibbenefikaw minn disinn espliċitu.
Hekk kif l-istat tas-sessjoni jinbidel skont l-għadd ta’ dawriet, il-ħin li għadda jew l-imġiba tal-utent, is-sistema tista’ tagħti gwida mmirata lir-rispondent. Tista’ tagħti prompt lill-aġent biex jgħin lill-utent jagħlaq il-konverżazzjoni hekk kif joqrob lejn il-limitu tas-sessjoni, jew jipprovdi kjarifika jekk l-interazzjoni teħel. Dawn l-interventi huma ħfief, iżda jagħmlu l-esperjenza tinħass maħsuba u koerenti.
Sistema mfassla tajjeb iżżomm stampa ċara tal-istat tas-sessjoni: min qed jitkellem, kif qed tavvanza l-konverżazzjoni u liema kundizzjonijiet ġew issodisfati. Dan l-istat, aġġornat kontinwament mill-fluss tal-avvenimenti, jippermetti li tingħata l-gwida t-tajba fil-waqt it-tajjeb.
Il-mekkaniżmi ta’ protezzjoni mhumiex fakultattivi fl-IA għall-utenti. Dawn jimmaniġġjaw is-sikurezza, il-konformità, l-użu ħażin u l-affidabbiltà. F’sistema bbażata fuq dawriet, hemm mumenti ċari meta jistgħu jitħaddmu: wara li jitkellem l-utent jew qabel ma tingħata tweġiba.
Il-vuċi f’ħin reali telimina ħafna minn dawn il-punti konvenjenti ta’ kontroll. L-input tal-utent jasal kontinwament. L-output tal-awdjo jista’ jkun diġà qed jiġi strimjat. It-traskrizzjonijiet kompluti spiss jaslu wara l-ħoss. Jekk is-sistema tistenna messaġġi kompluti qabel tivverifikahom, il-konverżazzjoni ma tibqax tinħass li qed isseħħ f’ħin reali.
Minflok, il-mekkaniżmi ta’ protezzjoni jridu jaħdmu flimkien mal-konverżazzjoni biex l-interazzjoni tibqa’ realistika. Approċċ wieħed hu li l-awdjo jiġi strimjat f’buffer filwaqt li frammenti tat-traskrizzjoni jiġu evalwati b’mod mhux sinkroniku hekk kif isiru disponibbli. B’hekk, il-kontrolli tas-sikurezza jaħdmu kważi f’ħin reali mingħajr ma jimblukkaw l-interazzjoni.
Meta jiġi attivat mekkaniżmu ta’ protezzjoni, is-sistema tista’ twieġeb skont il-kuntest billi tidderieġi l-konverżazzjoni band’oħra, taġġusta l-imġiba jew, fejn xieraq, ittemm is-sessjoni. Dan jiżgura li l-mekkaniżmi ta’ protezzjoni jaħdmu f’ħin reali mingħajr ma jdgħajfu l-esperjenza tal-utent.
L-aktar parti diffiċli fl-evalwazzjoni ta’ sistema ta’ konverżazzjoni f’ħin reali hi li wħud mill-aktar kwalitajiet importanti—il-waqt, l-interruzzjonijiet, il-fluss u t-ton—ma jistgħux jitkejlu b’testijiet ibbażati biss fuq traskrizzjonijiet.
Proċessi standard ta’ evalwazzjoni jdaħħlu xenarji realistiċi fis-sistema, josservaw l-output u jagħtuh punteġġ. Għal sistemi bbażati fuq it-test jew fuq awdjo f’katina, dan hu sempliċi: ibgħat it-test u ċċekkja t-test li joħroġ. F’ħin reali, l-input hu awdjo dirett u d-dinamika tal-konverżazzjoni li l-aktar tgħodd tinsab fid-dimensjoni taż-żmien: kif l-aġent jittratta diskors li jikkoinċidi, kemm iwieġeb malajr u kif jirkupra minn interruzzjoni.
L-ittestjar manwali—jiġifieri li titkellem direttament mal-aġent—jaqbad dawn il-kwalitajiet, iżda ma jistax jiġi skalat. L-awtomazzjoni bbażata fuq traskrizzjonijiet tista’ tiġi skalata, iżda tneħħi s-sinjal li jiddistingwi esperjenza tajba f’ħin reali minn waħda ħażina.
L-ebda metodu waħdu mhu biżżejjed. Is-soluzzjoni prattika hi taħlita ta’ metodi:
Evalwazzjonijiet bejn aġent u ieħor: aġent ieħor f’ħin reali, mogħti struzzjonijiet biex jadotta persuna speċifika ta’ utent, jitkellem mas-sistema li qed tiġi ttestjata. LLM terz, li jaġixxi ta’ ġudikant, jagħti punteġġ lill-interazzjoni. Dan jittestja l-mogħdija sħiħa tal-awdjo fuq skala kbira, inklużi l-waqt u l-ġestjoni tal-interruzzjonijiet.
Metriċi mhux funzjonali: il-ħin sal-ewwel awdjo u l-analiżi tas-sentiment fit-traskrizzjoni jipprovdu indikaturi kwantitattivi tal-kwalità tal-konverżazzjoni.
Rieżami kwalitattiv manwali: għadu essenzjali biex jinqabdu problemi li l-metriċi awtomatizzati ma jsibux, speċjalment fit-ton u n-naturalezza.
L-ebda metodu waħdu ma jkopri kollox. Biex aġenti f’ħin reali jitħaddmu fil-produzzjoni jridu jingħaqdu t-tliet metodi. Anke hekk, l-għodod għall-evalwazzjoni tal-awdjo f’ħin reali għadhom lura meta mqabbla ma’ dawk għall-IA bbażata fuq it-test.
Il-vuċi f’ħin reali tibdel in-natura tal-prodott. L-utenti jesperjenzaw il-waqt, l-interruzzjonijiet, is-skiet u l-irkupru daqs kemm jesperjenzaw il-kliem.
Dan ifisser li l-mudell hu biss parti mis-sistema. Vuċi f’ħin reali fil-produzzjoni teħtieġ saff tas-sessjoni ddisinjat apposta għall-vuċi, separazzjoni ċara bejn it-taħdit u r-raġunament, u kontroll immexxi mill-avvenimenti madwar is-sessjoni diretta. Il-mekkaniżmi ta’ protezzjoni jibqgħu l-konġestjoni ewlenija fil-latenza, iżda approċċi kreattivi jistgħu jżommu ħafna mill-esperjenza f’ħin reali.
L-evalwazzjoni għadha l-aktar parti dgħajfa tas-sistema. Għad m’hemmx mod stabbilit kif jiġu ttestjati l-kwalitajiet li jagħmlu l-vuċi f’ħin reali pjaċevoli: il-waqt, it-ton, il-ġestjoni tal-interruzzjonijiet u l-fluss tal-konverżazzjoni. Sakemm jiġi żviluppat metodu bħal dan, it-timijiet li jużaw din it-teknoloġija jridu jgħaqqdu testijiet awtomatizzati, provi bejn aġenti u rieżami manwali.