A voz em tempo real proporciona uma forma fundamentalmente diferente de interagir com aplicações baseadas em IA. Em vez de escreverem ou navegarem por menus, os utilizadores falam naturalmente e recebem respostas com ritmo em tempo real e contexto emocional.
Criar uma excelente experiência de voz em tempo real implica coordenar uma interação em direto. É aqui que começa o verdadeiro trabalho de produto. A experiência em tempo real é imediata e natural; criar uma aplicação capaz de a manter constitui um desafio de engenharia específico.
O modelo é apenas uma parte do sistema. As aplicações em produção precisam de infraestrutura nativa para voz, de uma separação clara entre o fluxo da conversa e o raciocínio mais profundo e de controlo orientado por eventos para gerir a sessão à medida que decorre.
Os mecanismos de proteção e a avaliação concentram grande parte das dificuldades que subsistem. As verificações de segurança têm de acompanhar o áudio em direto, e qualidades efémeras da conversa, como a temporização, o tom e a fluidez, são difíceis de avaliar com estratégias tradicionais.
Atualmente, a maioria das aplicações de IA com voz ainda funciona da mesma forma: recebe fala, produz texto, um modelo raciocina e uma voz sintetizada lê a resposta. Funciona. Mas a interação parece aquilo que é: um processo sequencial, não uma conversa.
A voz em tempo real muda esta realidade. Os utilizadores falam naturalmente e recebem respostas que transmitem ritmo, tom e contexto emocional. A experiência é mais rápida e fluida do que nos processos encadeados de conversão de voz em texto, aproximando-se mais de falar com uma pessoa do que de operar um sistema.
Temos visto esta tecnologia criar possibilidades de produto com as quais as arquiteturas sequenciais têm dificuldade em lidar. Os agentes de voz em tempo real podem gerir interações de apoio ao cliente que, de outro modo, exigiriam menus IVR longos e restritivos e transferências entre departamentos. Podem orientar, facilitar a integração, apoiar a acessibilidade em vários meios e muito mais. Sempre que a conversa falada for vantajosa face às interfaces de texto, vale a pena desenvolver soluções de voz em tempo real.
A maioria das aplicações com voz usa a chamada «abordagem encadeada»: um processo com modelos distintos para conversão de voz em texto, processamento de linguagem e conversão de texto em voz. Estes sistemas funcionam bem e criam muitas oportunidades, mas o áudio existe apenas nas extremidades do processo. As etapas distintas impõem estrutura e acrescentam latência, criando uma interação menos natural do que uma conversa real.
A voz em tempo real adota uma abordagem diferente. Em vez de depender de modelos distintos para ouvir, raciocinar e falar, um único modelo trata nativamente das três tarefas, compreendendo e gerando áudio e transcrições em simultâneo. A entrada e a saída decorrem continuamente, permitindo ao sistema responder com uma temporização natural e expressividade emocional que mantêm o ritmo realista de uma conversa em direto. Consequentemente, a temporização, o tom e a gestão de interrupções tornam-se elementos centrais do produto.
A experiência em tempo real é atrativa por ser imediata; é difícil porque nada espera pela sua vez. Para a suportar, não basta gerar áudio com rapidez e precisão. A dificuldade está em tudo o resto. O modelo funciona dentro de uma sessão em direto; tudo o que o rodeia — estado, segurança, orquestração e controlo — tem de acompanhar a conversa ao mesmo ritmo.
Numa aplicação de voz encadeada, as conversas baseadas em turnos proporcionam uma estrutura clara de alternância. O utilizador fala, o sistema responde e começa a etapa seguinte. A voz em tempo real não proporciona essa estrutura. Ambas as partes podem falar ao mesmo tempo ou pode haver silêncio, sem ninguém falar. Um utilizador pode interromper a meio de uma resposta ou fazer outra pergunta antes de o sistema acabar de falar. As interrupções deixam de ser casos extremos e passam a constituir um padrão central de interação.
É este padrão que torna as aplicações em tempo real, acima de tudo, um problema de coordenação e faz com que o sistema envolvente seja tão importante como o próprio modelo.
Suportar este tipo de sistema em grande escala exige uma conceção específica para a interação em direto, assente em três componentes recorrentes nos sistemas que chegam à produção.
As sessões de voz em tempo real têm de gerir a transmissão de áudio, a alternância de turnos, as interrupções, o ciclo de vida da ligação e a execução do agente. Consoante o local onde a aplicação for implementada, também poderá ser necessário suportar telefonia. Estes são elementos fundamentais da experiência e essenciais para escalar a aplicação.
O primeiro requisito é uma camada de sessão nativa para voz. As estruturas de comunicação em tempo real (RTC) proporcionam à aplicação um local onde gerir participantes, transmitir áudio e executar agentes num ambiente de telefonia. Na nossa experiência, o Livekit tem sido particularmente útil, disponibilizando de origem uma solução WebRTC de baixa latência, com cancelamento de ruído de alta qualidade e redução de variações no atraso. Raramente compensa implementar esta camada internamente, devido à complexidade acrescida.
Uma arquitetura multiagente para voz em tempo real assenta, no essencial, na separação de responsabilidades.
Os modelos de voz em tempo real são muito eficazes na transmissão de áudio de conversação, mas não estão otimizados para raciocínio mais profundo. Tarefas como chamar ferramentas, obter informações ou tomar decisões estruturadas beneficiam da execução por outro modelo.
Um padrão útil é a arquitetura respondente–pensador.
O respondente é o agente de voz em tempo real. É responsável por manter a interação em direto: ouvir, falar, gerir interrupções e preservar a fluidez da conversa. A sua conceção dá prioridade à capacidade de resposta, à clareza e à continuidade emocional.
O pensador é um agente distinto, sustentado por um modelo capaz de raciocínio. Funciona num canal separado e trata de tarefas como a utilização de ferramentas, a obtenção de informações e o planeamento. O respondente pode recorrer a ele quando necessário e integrar os resultados na conversa.
Em alguns casos, o pensador pode tratar diretamente do raciocínio. Noutros, pode atuar como orquestrador de um conjunto de agentes especializados. A ideia principal é confiar este trabalho a um modelo mais adequado a tarefas de raciocínio.
A vantagem é simples: o respondente mantém-se rápido, natural e focado na conversa, enquanto o pensador trata do trabalho que exige mais tempo, contexto ou estrutura.
A evolução futura dos modelos de fronteira poderá tornar esta abordagem desnecessária, mas, por agora, temos verificado que este padrão supera consistentemente as abordagens baseadas num único agente.
Os sistemas de voz em tempo real produzem naturalmente um fluxo contínuo de eventos.
Os utilizadores começam a falar, fazem pausas e interrompem. As transcrições são atualizadas de forma incremental. As respostas são geradas e transmitidas. Chegam resultados externos. As condições da sessão evoluem. Todos estes elementos podem ser captados, transmitidos e armazenados como eventos essenciais que deram origem ao estado atual específico da conversa. Sem eles, perdemos a capacidade de realizar intervenções granulares e direcionadas.
Uma abordagem orientada por eventos proporciona uma forma clara de gerir tudo isto. O sistema capta os eventos à medida que ocorrem, atualiza o estado da sessão e desencadeia as ações subsequentes adequadas.
Processadores leves mantêm o percurso em tempo real responsivo, enquanto tarefas mais complexas — como atualizar máquinas de estados, registar métricas, remover informações sensíveis, atualizar bases de dados e terminar uma sessão — são desencadeadas como tarefas assíncronas em segundo plano.
À medida que se acrescentam funcionalidades, o número destas tarefas em segundo plano pode crescer rapidamente. Mesmo pequenas alterações ao produto podem introduzir novos fluxos de eventos e dependências. Uma arquitetura bem estruturada para gerir esta concorrência é importante para manter o sistema compreensível e fiável à medida que evolui.
Esta abordagem orientada por eventos também responde a uma preocupação crucial do produto: moldar a própria conversa. Um sistema de áudio em tempo real faz mais do que gerar respostas: gere o ritmo, lida com silêncios e interrupções e decide como e quando uma sessão deve terminar. Estes comportamentos fazem parte da experiência do produto e beneficiam de uma conceção explícita.
À medida que o estado da sessão evolui em função do número de turnos, do tempo decorrido ou do comportamento do utilizador, o sistema pode fornecer orientações específicas ao respondente. Pode indicar ao agente que ajude o utilizador a concluir quando se aproxima o limite da sessão ou que esclareça a situação se a interação estagnar. Estas intervenções são simples, mas fazem com que a experiência pareça intencional e coesa.
Um sistema bem concebido mantém uma visão clara do estado da sessão: quem está a falar, como a conversa está a evoluir e que condições foram cumpridas. Este estado, continuamente atualizado pelo fluxo de eventos, permite dar a orientação certa no momento certo.
Os mecanismos de proteção são indispensáveis na IA destinada aos utilizadores. Gerem a segurança, a conformidade, a utilização indevida e a fiabilidade. Num sistema baseado em turnos, há momentos óbvios para os executar: depois de o utilizador falar ou antes de entregar uma resposta.
A voz em tempo real elimina a maioria destes convenientes pontos de controlo. Os dados do utilizador chegam continuamente. O áudio de saída pode já estar a ser transmitido. As transcrições concluídas ficam muitas vezes atrasadas em relação ao som. Se o sistema esperar por mensagens completas antes de as verificar, a conversa deixa de parecer em tempo real.
Em vez disso, os mecanismos de proteção têm de funcionar em paralelo com a conversa para preservar uma interação natural. Uma abordagem consiste em transmitir o áudio para uma memória intermédia enquanto se avaliam assincronamente os fragmentos da transcrição à medida que ficam disponíveis, permitindo executar verificações de segurança quase em tempo real sem bloquear a interação.
Quando um mecanismo de proteção é acionado, o sistema pode responder em contexto, redirecionando a conversa, ajustando o comportamento ou terminando a sessão, conforme adequado. Assim, os mecanismos de proteção funcionam em tempo real sem prejudicar a experiência do utilizador.
A parte mais difícil de avaliar um sistema de conversação em tempo real é que algumas das qualidades mais importantes — temporização, interrupções, fluidez e tom — não podem ser captadas por testes baseados apenas em transcrições.
Os processos de avaliação habituais introduzem cenários realistas no sistema, observam os resultados e atribuem-lhes uma classificação. Nos sistemas baseados em texto ou em áudio encadeado, isto é simples: envia-se texto e verifica-se o texto devolvido. Em tempo real, a entrada é áudio em direto e as dinâmicas de conversação mais importantes existem na dimensão temporal: como o agente lida com falas sobrepostas, com que rapidez responde e como recupera de uma interrupção.
Os testes manuais — falar diretamente com o agente — captam estas qualidades, mas não são escaláveis. A automatização baseada em transcrições é escalável, mas elimina o sinal que distingue uma boa experiência em tempo real de uma má.
Nenhum método é suficiente por si só. A solução prática é combinar várias camadas:
Avaliações entre agentes: um segundo agente em tempo real, instruído para assumir uma persona de utilizador específica, conversa com o sistema em teste. Um terceiro LLM, usado como avaliador, classifica a interação. Isto permite testar em escala todo o percurso do áudio, incluindo a temporização e a gestão de interrupções.
Métricas não funcionais: o tempo até ao primeiro áudio e a análise de sentimentos das transcrições fornecem indicadores quantitativos da qualidade da conversa.
Análise qualitativa manual: continua a ser essencial para detetar problemas ignorados pelas métricas automatizadas, sobretudo no tom e na naturalidade.
Nenhum método abrange tudo. Colocar agentes em tempo real em produção exige combinar estas três camadas. Mesmo assim, as ferramentas de avaliação de áudio em tempo real continuam pouco maduras em comparação com as da IA baseada em texto.
A voz em tempo real altera a natureza do produto. Os utilizadores sentem tanto a temporização, as interrupções, o silêncio e a recuperação como as próprias palavras.
Isto significa que o modelo é apenas uma parte do sistema. A voz em tempo real em produção exige uma camada de sessão nativa para voz, uma separação clara entre a fala e o raciocínio e um controlo orientado por eventos em torno da sessão em direto. Os mecanismos de proteção continuam a ser o principal obstáculo à redução da latência, mas abordagens criativas podem preservar grande parte da experiência em tempo real.
A avaliação continua a ser a parte mais fraca do conjunto tecnológico. Ainda não há uma forma consolidada de testar as qualidades que tornam agradável a voz em tempo real: temporização, tom, gestão de interrupções e fluidez da conversa. Até existir, as equipas que desenvolvem esta tecnologia terão de combinar testes automatizados, execuções entre agentes e análise manual.