La veu en temps real ofereix una manera radicalment diferent d'interactuar amb les aplicacions basades en IA. En lloc d'escriure o navegar per menús, els usuaris parlen amb naturalitat i reben respostes amb un ritme en temps real i context emocional.
Crear una gran experiència de veu en temps real consisteix a coordinar una interacció en directe. Aquí és on comença la veritable feina de producte. L'experiència en temps real és immediata i natural; crear una aplicació capaç de mantenir-la planteja un repte d'enginyeria específic.
El model només és una part del sistema. Les aplicacions en producció necessiten una infraestructura nativa de veu, una separació clara entre el flux de la conversa i el raonament més profund, i un control basat en esdeveniments per gestionar la sessió mentre es desenvolupa.
Bona part de les dificultats pendents es concentren en els mecanismes de protecció i l'avaluació. Els controls de seguretat han de seguir el ritme de l'àudio en directe, i les qualitats efímeres de la conversa, com el ritme, el to i la fluïdesa, són difícils d'avaluar amb estratègies tradicionals.
Avui, la majoria de les aplicacions d'IA amb veu encara funcionen de la mateixa manera: entra la parla, en surt text, un model pensa i una veu sintetitzada llegeix la resposta. Funciona. Però la interacció transmet exactament què és: un procés, no pas una conversa.
La veu en temps real ho canvia. Els usuaris parlen amb naturalitat i reben respostes que transmeten ritme, to i context emocional. L'experiència és més ràpida i fluida que amb els processos encadenats de conversió de veu a text: s'assembla més a parlar amb una persona que a operar un sistema.
Hem vist que això obre possibilitats de producte que les arquitectures encadenades difícilment poden abordar. Els agents de veu en temps real poden gestionar interaccions d'atenció al client que, d'altra manera, requeririen menús de resposta de veu interactiva llargs i restrictius i transferències entre departaments. Poden orientar, facilitar la incorporació, millorar l'accessibilitat en diversos mitjans i molt més. Sempre que la conversa oral ofereixi avantatges respecte de les interfícies de text, val la pena crear solucions de veu en temps real.
La majoria de les aplicacions amb veu utilitzen l'anomenat "enfocament encadenat": un procés format per models independents per convertir la veu en text, processar el llenguatge i convertir el text en veu. Aquests sistemes funcionen bé i obren un ampli ventall d'oportunitats, però l'àudio només apareix als extrems. Les etapes separades imposen estructura i latència, i generen una interacció menys natural que una conversa real.
La veu en temps real adopta un enfocament diferent. En lloc de dependre de models diferents per escoltar, pensar i parlar, un sol model s'encarrega de les tres funcions de manera nativa, entenent i generant simultàniament tant àudio com transcripcions. L'entrada i la sortida es produeixen contínuament, cosa que permet al sistema respondre amb un ritme natural i amb emotivitat, tot mantenint la cadència realista d'una conversa en directe. Com a resultat, el ritme, el to i la gestió de les interrupcions esdevenen elements centrals del producte.
L'experiència en temps real és atractiva perquè sembla immediata; és difícil perquè res no espera el seu torn. Per fer-la possible no n'hi ha prou amb generar àudio ràpid i precís. La dificultat rau en tota la resta. El model funciona dins d'una sessió en directe; tot allò que l'envolta —l'estat, la seguretat, l'orquestració i el control— ha d'avançar en paral·lel amb la conversa i al mateix ritme.
En una aplicació de veu encadenada, les converses per torns ofereixen una estructura clara d'anada i tornada. L'usuari parla, el sistema respon i comença el pas següent. La veu en temps real no ofereix aquesta estructura. Totes dues parts poden parlar alhora, o bé cap de les dues parla i es produeix un silenci. Un usuari pot interrompre a mitja resposta o fer una altra pregunta abans que el sistema hagi acabat de parlar. Les interrupcions deixen de ser casos excepcionals i es converteixen en un patró bàsic d'interacció.
Aquest patró converteix les aplicacions en temps real, fonamentalment, en un problema de coordinació, i explica per què el sistema que envolta el model és tan important com el model mateix.
Per fer possible aquest tipus de sistema a gran escala, cal dissenyar-lo específicament per a la interacció en directe. Això implica tres components que apareixen repetidament en els sistemes que arriben a producció.
Les sessions de veu en temps real han de gestionar la transmissió d'àudio, els torns de paraula, les interrupcions, el cicle de vida de la connexió i l'execució d'agents. Segons on es desplegui l'aplicació, també pot ser necessari oferir compatibilitat amb telefonia. Són components fonamentals de l'experiència i essencials per escalar l'aplicació.
El primer requisit és una capa de sessió nativa de veu. Els entorns de comunicació en temps real (RTC) proporcionen a l'aplicació un espai on gestionar els participants, transmetre àudio i executar agents en un entorn de telefonia. Segons la nostra experiència, Livekit ha estat especialment útil, ja que ofereix de sèrie una pila WebRTC de baixa latència amb cancel·lació de soroll d'alta qualitat i reducció de la fluctuació. Poques vegades compensa implementar aquesta capa pel vostre compte i assumir-ne la complexitat addicional.
Una arquitectura multiagent per a veu en temps real es basa, fonamentalment, en la separació de responsabilitats.
Els models de veu en temps real són molt eficaços per transmetre àudio conversacional, però no estan optimitzats per al raonament profund. Per a tasques com cridar eines, recuperar informació o prendre decisions estructurades, resulta beneficiós utilitzar un model diferent.
Un patró útil és l'arquitectura de contestador i pensador.
El contestador és l'agent de veu en temps real. S'encarrega de mantenir la interacció en directe: escolta, parla, gestiona les interrupcions i preserva la fluïdesa de la conversa. El seu disseny prioritza la capacitat de resposta, la claredat i la continuïtat emocional.
El pensador és un agent independent, basat en un model amb capacitat de raonament. Opera fora del flux principal i s'encarrega de tasques com l'ús d'eines, la recuperació d'informació i la planificació. El contestador hi pot recórrer quan calgui i incorporar els resultats a la conversa.
En alguns casos, el pensador pot encarregar-se directament del raonament. En d'altres, pot actuar com a orquestrador d'un conjunt d'agents especialitzats. La idea clau és que aquesta feina la faci un model més adequat per a les tasques de raonament.
El benefici és senzill: el contestador pot continuar sent ràpid, conversacional i centrat, mentre el pensador s'ocupa de les tasques que requereixen més temps, context o estructura.
Els futurs avenços en models d'avantguarda podrien fer innecessari aquest enfocament, però, ara per ara, hem constatat que aquest patró supera sistemàticament els enfocaments basats en un sol agent.
Els sistemes de veu en temps real generen de manera natural un flux continu d'esdeveniments.
Els usuaris comencen a parlar, fan pauses i interrompen. Les transcripcions s'actualitzen gradualment. Les respostes es generen i es transmeten. Arriben resultats externs. Les condicions de la sessió evolucionen. Tot això es pot capturar, transmetre i emmagatzemar com a esdeveniments clau que han donat lloc a l'estat actual concret de la conversa. Sense aquests esdeveniments, perdem la capacitat de fer intervencions específiques i detallades.
Un enfocament basat en esdeveniments ofereix una manera clara de gestionar-ho. El sistema captura els esdeveniments a mesura que es produeixen, actualitza l'estat de la sessió i activa les accions de seguiment adequades.
Els gestors lleugers mantenen àgil el flux en temps real, mentre les tasques més complexes —com actualitzar màquines d'estats, registrar mètriques, eliminar informació sensible, actualitzar bases de dades i sortir d'una sessió— s'activen com a tasques asíncrones en segon pla.
A mesura que s'afegeixen funcions, el nombre d'aquestes tasques en segon pla pot créixer ràpidament. Fins i tot petits canvis en el producte poden introduir nous fluxos d'esdeveniments i dependències. Una arquitectura ben estructurada per gestionar aquesta concurrència és important per mantenir el sistema comprensible i fiable a mesura que evoluciona.
Aquest enfocament basat en esdeveniments també ajuda a abordar un aspecte essencial del producte: donar forma a la conversa. Un sistema d'àudio en temps real fa més que generar respostes: gestiona el ritme, els silencis i les interrupcions, i decideix com i quan ha de concloure una sessió. Aquests comportaments formen part de l'experiència de producte i convé dissenyar-los explícitament.
A mesura que l'estat de la sessió evoluciona segons el nombre de torns, el temps transcorregut o el comportament de l'usuari, el sistema pot proporcionar indicacions específiques al contestador. Pot indicar a l'agent que ajudi l'usuari a concloure quan s'acosti al límit de la sessió, o bé aportar un aclariment si la interacció s'encalla. Aquestes intervencions són lleugeres, però fan que l'experiència sembli intencionada i coherent.
Un sistema ben dissenyat manté una visió clara de l'estat de la sessió: qui parla, com avança la conversa i quines condicions s'han complert. Aquest estat, que el flux d'esdeveniments actualitza contínuament, permet oferir la indicació adequada en el moment oportú.
Els mecanismes de protecció són imprescindibles en la IA orientada als usuaris. Gestionen la seguretat, el compliment normatiu, els usos indeguts i la fiabilitat. En un sistema per torns, hi ha moments evidents per executar-los: després que l'usuari hagi parlat o abans de lliurar una resposta.
La veu en temps real elimina la majoria d'aquests còmodes punts de control. L'entrada de l'usuari arriba contínuament. És possible que l'àudio de sortida ja s'estigui transmetent. Les transcripcions completes sovint arriben més tard que el so. Si el sistema espera a tenir els missatges complets abans de comprovar-los, la conversa deixa de semblar en temps real.
Per tant, els mecanismes de protecció han de funcionar en paral·lel amb la conversa per preservar una interacció natural. Una opció és transmetre l'àudio a una memòria intermèdia mentre s'avaluen de manera asíncrona els fragments de transcripció a mesura que estan disponibles. Així, els controls de seguretat poden funcionar gairebé en temps real sense bloquejar la interacció.
Quan s'activa un mecanisme de protecció, el sistema pot respondre segons el context redirigint la conversa, ajustant el comportament o finalitzant la sessió, si escau. Això permet que els mecanismes de protecció funcionin en temps real sense perjudicar l'experiència d'usuari.
La principal dificultat d'avaluar un sistema conversacional en temps real és que algunes de les qualitats més importants —el ritme, les interrupcions, la fluïdesa i el to— no es poden captar amb proves basades només en transcripcions.
Els processos d'avaluació estàndard introdueixen situacions realistes al sistema, n'observen els resultats i els puntuen. En sistemes de text o d'àudio encadenat, és senzill: s'hi introdueix text i se'n comprova el text resultant. En temps real, l'entrada és àudio en directe, i les dinàmiques conversacionals més importants es troben en la dimensió temporal: com gestiona l'agent la parla simultània, amb quina rapidesa respon i com es recupera d'una interrupció.
Les proves manuals —parlar directament amb l'agent— capten aquestes qualitats, però no són escalables. L'automatització basada en transcripcions és escalable, però elimina el senyal que diferencia una bona experiència en temps real d'una de dolenta.
No n'hi ha prou amb un sol mètode. La solució pràctica és combinar diverses capes:
Avaluacions d'agent a agent: un segon agent en temps real, al qual s'indica que adopti un perfil d'usuari concret, conversa amb el sistema que s'està provant. Un tercer LLM, que actua com a jutge, puntua la interacció. Això permet provar a gran escala tot el recorregut de l'àudio, inclosos el ritme i la gestió de les interrupcions.
Mètriques no funcionals: el temps fins al primer àudio i l'anàlisi de sentiment de les transcripcions aporten indicadors quantitatius indirectes de la qualitat de la conversa.
Revisió qualitativa manual: continua sent essencial per detectar problemes que les mètriques automatitzades passen per alt, especialment pel que fa al to i la naturalitat.
Cap mètode no ho cobreix tot. Desplegar agents en temps real en producció exigeix combinar les tres capes. Fins i tot així, les eines per avaluar l'àudio en temps real encara són poc madures en comparació amb les de la IA basada en text.
La veu en temps real transforma el producte. Els usuaris perceben tant el ritme, les interrupcions, els silencis i la recuperació com les paraules.
Això vol dir que el model només és una part del sistema. La veu en temps real en producció necessita una capa de sessió nativa de veu, una separació clara entre la parla i el raonament, i un control basat en esdeveniments al voltant de la sessió en directe. Els mecanismes de protecció continuen sent el coll d'ampolla de la latència, però les solucions creatives poden preservar bona part de l'experiència en temps real.
L'avaluació continua sent la part més feble del conjunt tecnològic. Encara no hi ha un mètode consolidat per provar les qualitats que fan satisfactòria la veu en temps real: el ritme, el to, la gestió de les interrupcions i la fluïdesa de la conversa. Fins que no n'hi hagi un, els equips que treballin amb aquesta tecnologia hauran de combinar proves automatitzades, execucions d'agent a agent i revisions manuals.