Além do texto: RAG realmente multimodal e de ponta a ponta

Nos últimos dois anos, “RAG” (Geração Aumentada por Recuperação) tornou-se quase exclusivamente sinônimo de texto. O procedimento padrão é simples: pegar documentos, extrair o texto, dividi-lo em partes e indexá-lo.

Mas o mundo empresarial não funciona com arquivos de texto simples. Ele depende de PDFs complexos, apresentações com gráficos densos, desenhos CAD, faturas digitalizadas e, cada vez mais, enormes arquivos de vídeos.

O padrão do setor — usar OCR ou LLMs de visão para “descrever” uma imagem em texto antes de gerar seu embedding — cria um enorme gargalo. O processo é lento, caro e inevitavelmente perde o rico contexto espacial e visual dos dados originais. Se sua IA descreve uma imagem complexa apenas como “uma planta”, você perde a capacidade de buscar a válvula específica ou o esquema elétrico contido nela.

Hoje, estamos lançando uma família de modelos de embedding multimodais de última geração, desenvolvidos sobre a arquitetura ColPali para resolver esse problema por meio da recuperação visual de ponta a ponta.

Criar um recuperador multimodal realmente eficaz não é tão simples quanto usar um Modelo de Visão e Linguagem (VLM) pronto e pedir que ele faça buscas. Para superar os desafios que historicamente limitaram o RAG multimodal e criar o ColQwen3, empregamos estratégias de mesclagem e treinamento de modelos.

Em vez de ajustar um modelo-base do zero, desenvolvemos um método para transferir o conhecimento de tarefas de recuperação de um modelo de embedding textual existente. Um VLM padrão sabe descrever imagens, mas não necessariamente sabe classificá-las semanticamente em relação a uma consulta.

Para preencher essa lacuna, usamos estratégias ajustadas de ponderação na mesclagem. Em nossos experimentos, descobrimos que a capacidade de recuperação do Qwen3-Embedding no espaço latente textual podia ser transferida diretamente para o espaço multimodal, generalizando-se para a recuperação de imagens e vídeos mesmo sem treinamento imediato. Aproveitando essa inicialização eficaz como um ponto de partida sólido, realizamos o ajuste fino do modelo para otimizar ainda mais o desempenho e garantir robustez. Isso melhora o desempenho final de recuperação em comparação com o ajuste fino a partir do modelo-base Qwen3-VL.

Após transferir as capacidades de embedding, concentramos nossos esforços no alinhamento. Realizamos buscas criteriosas de hiperparâmetros e estudos de ablação, incluindo o número ideal de épocas, o tamanho do lote, a taxa de aprendizado, o rank da LoRA e a combinação de conjuntos de dados, para maximizar o desempenho de recuperação.

Como conjuntos de dados de ajuste fino, escolhemos VDR, conjunto de treinamento do ColPali, visrag_syn, e visrag_ind. Usamos amostragem UniMax no ajuste fino. Como aplicamos a mesclagem de modelos e o modelo-base resultante já herda parte da capacidade de recuperação multimodal, constatamos que aumentar o número de conjuntos de dados reduziria ligeiramente o desempenho. Por isso, não ampliamos essa quantidade.

Estes são os hiperparâmetros selecionados para o ajuste fino:

Historicamente, modelos que usam embeddings em nível de token no estilo “ColBERT”, como o ColPali, ofereciam desempenho incrível, mas a um custo de armazenamento proibitivo. A indexação de cada token visual criava enormes bancos de dados vetoriais, caros demais para a escala empresarial.

• A estratégia de otimização: enfrentamos o desafio do armazenamento equilibrando cuidadosamente o tamanho dos embeddings, para preservar o máximo desempenho sem deixar os custos de armazenamento dispararem. Para manter a precisão de ponta com essa estrutura eficiente, definimos cuidadosamente a dimensionalidade em 320, obtendo o melhor equilíbrio entre desempenho de recuperação e custo de armazenamento.

• • Referência: uma abordagem padrão, como a NVIDIA Nemo-3B, requer aproximadamente 10.3 TB para armazenar os embeddings de 1 milhão de imagens (1.802 tokens com 3.072 dimensões).

  • ColQwen3: armazena o mesmo 1 milhão de imagens em apenas 0.82 TB (máximo de 1.280 tokens com 320 dimensões).

O ColQwen3 alcança precisão de ponta na recuperação sem estourar o orçamento da infraestrutura em nuvem.

Validamos nossa abordagem no conjunto de benchmarks ViDoRe. Os resultados confirmam que o ColQwen3 estabelece novos padrões nos benchmarks mais recentes, V3 e V2, tanto em inglês quanto multilíngues, mantendo um desempenho de ponta nas tarefas legadas da V1.

O ColQwen3-8B lidera na recuperação em inglês e multilíngue.

nDCG@5 em inglês

nDCG@5 multilíngue

Desempenho elevado e consistente em ESG, Economia e DocVQA.

Para demonstrar a forte capacidade de generalização do ColQwen3 para a recuperação de vídeos, avaliamos os modelos no benchmark CareBench em tarefas de texto para vídeo (Recuperação Geral).

Nesta avaliação, usamos uma abordagem de codificação de vídeo bruto: nossos modelos codificaram diretamente os arquivos de vídeo, sem anotações textuais adicionais nem entradas de metadados. Isso destaca a capacidade do modelo de realizar recuperações com base exclusivamente na semântica visual.

Uma das transformações mais profundas possibilitadas pelo ColQwen3 é a capacidade de tratar vídeos como documentos. Em muitas empresas, os vídeos são “dados obscuros”. Eles ficam em armazenamento frio, totalmente inacessíveis por busca, a menos que alguém marque manualmente cada arquivo.

O ColQwen3 muda isso ao permitir a recuperação quadro a quadro em clipes segmentados.

Todos os dias, empresas gravam milhares de horas de reuniões internas em vídeo e, em geral, essas gravações acabam esquecidas.

• O fluxo de trabalho: ao segmentar automaticamente gravações longas de reuniões em clipes menores e lógicos e indexá-los com o ColQwen3, você cria uma “memória corporativa” pesquisável.

• A consulta: um gerente de projeto pode pedir: “Show me the clip where the engineering lead explained the latency issue with the API.”

• O resultado: em vez de retornar um arquivo de vídeo de 60 minutos, o sistema recupera o trecho exato de 45 segundos em que aquele diagrama específico foi exibido e discutido, mesmo que os participantes não tenham dito explicitamente a palavra “latência” naquele exato segundo.

A adoção de embeddings multimodais nativos viabiliza fluxos de trabalho totalmente novos em diversos setores. Comparamos amplamente este modelo com alguns dos ambientes de dados empresariais mais complexos.

Testamos o ColQwen3 diante dos desafios de dados enfrentados por consultorias urbanas, que gerenciam enormes acervos de planos diretores, mapas de zoneamento e elevações arquitetônicas complexas.

• O desafio: nesses ambientes, os pipelines tradicionais de RAG têm dificuldades. As ferramentas de OCR costumam descrever plantas complexas apenas como “esquema”, ignorando detalhes essenciais sobre fluxo de tráfego, áreas verdes ou recuos de edificações.

• O desempenho: nossos benchmarks internos demonstram que o ColQwen3 elimina efetivamente a necessidade do caro pré-processamento por OCR e geração de legendas. Em testes com desenhos arquitetônicos de alta densidade, o modelo recuperou documentos com base em marcadores visuais específicos, como acessos para pedestres ou limites distintos de zoneamento, superando significativamente as referências baseadas apenas em texto e prometendo uma redução drástica nos custos de ingestão de conhecimento.

Profissionais de bancos de investimento e analistas passam milhares de horas examinando relatórios anuais e apresentações para investidores.

• O fluxo de trabalho: um analista pode pedir: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• A mudança: em vez de depender da correspondência de palavras-chave, o modelo recupera o slide exato com base na presença visual da representação específica dos dados, permitindo que o sistema RAG responda às perguntas com alta precisão.

Empresas de manufatura possuem vastos acervos de manuais técnicos e diagramas de tubulação e instrumentação (P&IDs).

• O fluxo de trabalho: um engenheiro de campo que conserta uma turbina pode fotografar uma peça ou pedir: “Show me the wiring diagram for the hydraulic pump assembly.”

• A mudança: o ColQwen3 identifica a representação visual do diagrama elétrico e recupera a página correta, o que pode reduzir em horas o tempo de inatividade.

A descoberta jurídica envolve a análise de milhões de páginas digitalizadas, nas quais a “agulha no palheiro” costuma ser um marcador visual.

• O fluxo de trabalho: um responsável pela conformidade pode buscar “Documents signed by the CFO” ou “Contracts containing the official ‘Confidential’ stamp.”

• A mudança: o modelo distingue uma minuta de um documento finalizado pela presença visual de assinaturas ou carimbos, algo que o OCR puro frequentemente não detecta.

O ColQwen3 tem pesos abertos (Apache 2.0) e já está disponível no Hugging Face. Ele foi projetado como uma atualização fácil de integrar a pipelines modernos de RAG e inclui o código de inferência necessário para processar texto, imagens e vídeos imediatamente.

Para empresas prontas para ir além da busca de texto simples e explorar a inteligência contida em seus ativos visuais, este é o novo padrão.

Próximo passo: explore o cartão do modelo e teste a demonstração ao vivo no Hugging Face: /-colqwen3-embed-8b e /-colqwen3-embed-4b