Vượt ra ngoài văn bản: khai mở RAG đa phương thức đầu cuối thực sự

Trong hai năm qua, “RAG” (tạo sinh tăng cường truy xuất) gần như chỉ đồng nghĩa với văn bản. Quy trình tiêu chuẩn rất đơn giản: lấy tài liệu, trích xuất văn bản, chia thành từng đoạn rồi lập chỉ mục.

Nhưng thế giới doanh nghiệp không vận hành bằng các tệp văn bản thuần túy. Nó dựa vào các tệp PDF phức tạp, bộ slide chứa biểu đồ dày đặc, bản vẽ CAD, hóa đơn quét và ngày càng nhiều kho video khổng lồ.

Tiêu chuẩn hiện nay của ngành là dùng OCR hoặc LLM thị giác để “tạo chú thích” chuyển hình ảnh thành văn bản trước khi embedding, nhưng đây lại là một nút thắt lớn. Quy trình này chậm, tốn kém và chắc chắn làm mất bối cảnh không gian cùng hình ảnh phong phú của dữ liệu gốc. Nếu AI chỉ mô tả một hình ảnh phức tạp là “bản thiết kế”, bạn sẽ không còn khả năng tìm kiếm van hoặc sơ đồ đi dây cụ thể bên trong.

Hôm nay, chúng tôi ra mắt một dòng mô hình embedding đa phương thức tiên tiến nhất, được phát triển trên kiến trúc ColPali nhằm giải quyết vấn đề này bằng cách hỗ trợ truy xuất hình ảnh đầu cuối.

Xây dựng một hệ thống truy xuất đa phương thức thực sự hiệu quả không đơn giản là lấy một Mô hình Thị giác-Ngôn ngữ (VLM) có sẵn rồi yêu cầu nó tìm kiếm. Để giải quyết những thách thức vốn kìm hãm RAG đa phương thức và tạo ra ColQwen3, chúng tôi đã áp dụng các chiến lược hợp nhất và huấn luyện mô hình.

Thay vì tinh chỉnh một mô hình cơ sở từ đầu, chúng tôi xây dựng phương pháp chuyển giao kiến thức về tác vụ truy xuất từ một mô hình embedding văn bản hiện có. VLM tiêu chuẩn biết cách mô tả hình ảnh nhưng không nhất thiết biết cách xếp hạng chúng theo ngữ nghĩa so với một truy vấn.

Để thu hẹp khoảng cách này, chúng tôi sử dụng các chiến lược trọng số hợp nhất đã hiệu chỉnh. Qua thử nghiệm, chúng tôi nhận thấy khả năng truy xuất của Qwen3-Embedding trong không gian tiềm ẩn văn bản có thể được chuyển trực tiếp sang không gian đa phương thức, khái quát hóa cho cả truy xuất hình ảnh và video ngay cả khi chưa được huấn luyện thêm. Tận dụng phép khởi tạo hiệu quả này làm điểm xuất phát vững chắc, chúng tôi tiếp tục tinh chỉnh mô hình để tối ưu hóa hiệu suất và bảo đảm độ ổn định. Cách này cải thiện hiệu suất truy xuất cuối cùng so với việc tinh chỉnh từ mô hình cơ sở Qwen3-VL.

Sau khi chuyển giao khả năng embedding, chúng tôi tập trung vào việc căn chỉnh. Chúng tôi tiến hành tìm kiếm siêu tham số và nghiên cứu loại bỏ kỹ lưỡng, bao gồm số epoch tối ưu, kích thước batch, tốc độ học, hạng LoRA và tổ hợp tập dữ liệu nhằm tối đa hóa hiệu suất truy xuất.

Về dữ liệu tinh chỉnh, chúng tôi chọn VDR, tập huấn luyện ColPali, visrag_syn, và visrag_ind. Chúng tôi sử dụng phương pháp lấy mẫu UniMax để tinh chỉnh. Vì chúng tôi áp dụng hợp nhất mô hình và mô hình cơ sở sau hợp nhất đã kế thừa một phần khả năng truy xuất đa phương thức, việc tăng thêm tập dữ liệu thực tế lại làm hiệu suất giảm nhẹ; do đó, chúng tôi không mở rộng thêm dữ liệu.

Dưới đây là các siêu tham số chúng tôi chọn để tinh chỉnh:

Trước đây, các mô hình dùng embedding cấp token “kiểu ColBERT” (như ColPali) mang lại hiệu suất vượt trội nhưng có chi phí lưu trữ quá cao. Việc lập chỉ mục cho mọi token hình ảnh tạo ra những cơ sở dữ liệu vector khổng lồ, quá tốn kém để triển khai ở quy mô doanh nghiệp.

• Chiến lược tối ưu hóa: Chúng tôi giải quyết bài toán lưu trữ bằng cách cân bằng kỹ kích thước embedding để duy trì hiệu suất tối đa mà không khiến chi phí lưu trữ tăng vọt. Để duy trì độ chính xác SOTA trong dung lượng gọn nhẹ này, chúng tôi chọn kích thước chiều là 320 nhằm cân bằng tối ưu giữa hiệu suất truy xuất và chi phí lưu trữ.

• • Phương pháp cơ sở: Một phương pháp tiêu chuẩn (như NVIDIA Nemo-3B) cần khoảng 10,3 TB để lưu embedding của 1 triệu hình ảnh (1.802 token @ 3.072 chiều).

  • ColQwen3: Chỉ cần 0,82 TB để lưu cùng 1 triệu hình ảnh đó (tối đa 1.280 token @ 320 chiều).

ColQwen3 đạt độ chính xác truy xuất SOTA mà không làm ngân sách hạ tầng đám mây tăng vọt.

Chúng tôi đã kiểm chứng phương pháp trên bộ tiêu chuẩn ViDoRe. Kết quả xác nhận ColQwen3 thiết lập chuẩn mực mới trên các bộ tiêu chuẩn V3 và V2 mới nhất (cả tiếng Anh lẫn đa ngôn ngữ), đồng thời duy trì hiệu suất hàng đầu trên các tác vụ V1 cũ.

ColQwen3-8B dẫn đầu về truy xuất tiếng Anh và đa ngôn ngữ.

nDCG@5 tiếng Anh

nDCG@5 đa ngôn ngữ

Hiệu suất cao ổn định trên ESG, Kinh tế học và DocVQA.

Để chứng minh khả năng khái quát hóa mạnh mẽ của ColQwen3 trong truy xuất video, chúng tôi đã đánh giá các mô hình trên bộ tiêu chuẩn CareBench dành cho tác vụ truy xuất từ văn bản sang video (Truy xuất tổng quát).

Trong đánh giá này, chúng tôi sử dụng phương pháp mã hóa video thô: các mô hình mã hóa trực tiếp tệp video mà không cần chú thích văn bản hay siêu dữ liệu bổ sung. Điều này cho thấy khả năng truy xuất của mô hình hoàn toàn dựa trên ngữ nghĩa hình ảnh.

Một trong những thay đổi sâu sắc nhất mà ColQwen3 mang lại là khả năng xử lý video giống như tài liệu. Tại nhiều doanh nghiệp, video là “dữ liệu tối”. Chúng nằm trong kho lưu trữ lạnh và hoàn toàn không thể tìm kiếm, trừ khi con người gắn thẻ thủ công cho từng tệp.

ColQwen3 thay đổi điều này bằng cách cho phép truy xuất theo từng khung hình trong các đoạn video đã phân tách.

Mỗi ngày, các doanh nghiệp ghi lại hàng nghìn giờ họp nội bộ qua video và những bản ghi này thường chìm vào quên lãng.

• Quy trình: Bằng cách tự động chia các bản ghi cuộc họp dài thành những đoạn ngắn, hợp lý rồi lập chỉ mục bằng ColQwen3, bạn có thể tạo ra một “bộ nhớ doanh nghiệp” có thể tìm kiếm.

• Truy vấn: Người quản lý dự án có thể yêu cầu: “Show me the clip where the engineering lead explained the latency issue with the API.”

• Kết quả: Thay vì trả về một tệp video dài 60 phút, hệ thống truy xuất chính xác đoạn 45 giây có sơ đồ đó được chia sẻ trên màn hình và thảo luận, ngay cả khi người nói không trực tiếp nhắc đến từ “độ trễ” tại đúng thời điểm ấy.

Việc chuyển sang embedding đa phương thức nguyên bản mở ra những quy trình làm việc hoàn toàn mới trong nhiều ngành. Chúng tôi đã đánh giá toàn diện mô hình này trên một số môi trường dữ liệu doanh nghiệp phức tạp nhất.

Chúng tôi thử nghiệm ColQwen3 với những thách thức dữ liệu mà các công ty tư vấn đô thị phải đối mặt khi quản lý kho khổng lồ gồm quy hoạch tổng thể, bản đồ phân khu và bản vẽ mặt đứng kiến trúc phức tạp.

• Thách thức: Trong những môi trường này, các quy trình RAG truyền thống gặp nhiều khó khăn. Các công cụ OCR thường chỉ mô tả những mặt bằng phức tạp là “sơ đồ”, bỏ sót các chi tiết quan trọng về luồng giao thông, khu vực cây xanh hoặc khoảng lùi công trình.

• Hiệu suất: Các đánh giá nội bộ cho thấy ColQwen3 loại bỏ hiệu quả nhu cầu tiền xử lý OCR/tạo chú thích tốn kém. Trong các thử nghiệm với bản vẽ kiến trúc mật độ cao, mô hình đã truy xuất thành công tài liệu dựa trên những dấu hiệu hình ảnh cụ thể như điểm tiếp cận dành cho người đi bộ hoặc ranh giới phân khu rõ rệt, vượt xa các phương pháp cơ sở chỉ dùng văn bản và hứa hẹn giảm mạnh chi phí tiếp nhận tri thức.

Các chuyên viên ngân hàng đầu tư và nhà phân tích dành hàng nghìn giờ để rà soát báo cáo thường niên và bộ slide dành cho nhà đầu tư.

• Quy trình: Một nhà phân tích có thể yêu cầu: “Find the breakdown of APAC revenue vs. EMEA revenue from the 2024 slide decks.”

• Thay đổi: Thay vì dựa vào kết quả khớp từ khóa, mô hình truy xuất chính xác slide dựa trên sự hiện diện trực quan của biểu đồ dữ liệu cụ thể, giúp hệ thống RAG trả lời câu hỏi với độ chính xác cao.

Các công ty sản xuất sở hữu kho tài liệu hướng dẫn kỹ thuật và sơ đồ đường ống cùng thiết bị đo (P&ID) khổng lồ.

• Quy trình: Một kỹ sư hiện trường đang sửa tua-bin có thể chụp ảnh một bộ phận hoặc yêu cầu: “Show me the wiring diagram for the hydraulic pump assembly.”

• Thay đổi: ColQwen3 nhận diện hình ảnh trực quan của sơ đồ đi dây và truy xuất đúng trang, qua đó có thể rút ngắn thời gian ngừng hoạt động nhiều giờ.

Quá trình điều tra pháp lý đòi hỏi xem xét hàng triệu trang quét, trong đó chi tiết cần tìm thường là một dấu hiệu hình ảnh.

• Quy trình: Một chuyên viên tuân thủ có thể tìm kiếm “Documents signed by the CFO” hoặc “Contracts containing the official ‘Confidential’ stamp.”

• Thay đổi: Mô hình phân biệt bản nháp với tài liệu hoàn chỉnh dựa trên sự hiện diện trực quan của chữ ký hoặc con dấu, điều mà OCR thuần túy thường bỏ sót.

ColQwen3 có trọng số mở (Apache 2.0) và hiện đã có trên Hugging Face. Chúng tôi thiết kế ColQwen3 như một bản nâng cấp có thể tích hợp ngay vào các quy trình RAG hiện đại, cung cấp mã suy luận cần thiết để xử lý tức thì văn bản, hình ảnh và video.

Đối với các doanh nghiệp sẵn sàng vượt ra ngoài tìm kiếm văn bản đơn giản và khai mở tri thức đang bị khóa trong tài sản hình ảnh, đây chính là tiêu chuẩn mới.

Bước tiếp theo: Khám phá thẻ mô hình và dùng thử bản demo trực tiếp trên Hugging Face: /-colqwen3-embed-8b và /-colqwen3-embed-4b