Ovis-Embedding：推動通用多模態嵌入邊界的嶄新技術
為何重要
此技術證實了統一多模態訓練能有效簡化多模態檢索系統的維護工作，並透過低秩推論最佳化邊緣部署潛力。對開發者而言，這代表未來在整合多種輸入資料型態時，將逐漸從依賴多個專用模型轉向使用更高效的統一模型。
Ovis-Embedding 是一套融合文本、圖片、影片與音訊的通用多模態 Embedding 家族，旨在透過共享 backbone 解決模態碎片化問題。
- 建構涵蓋文本、影像、影片、音訊及交織資料的高品質多模態語料庫，並運用同源資料取樣技術。
- 採用預訓練 Qwen-omni 模型作為 backbone 進行微調，並透過低秩初始化對比訓練最佳化效能。
- 採用焦點損失、Embedding Distillation 與低秩特徵分解技術，提升學習與推論效率。
- 在 MMEB-v3、MMEB-v2、MVEB、MAEB、RTEB 等多項 Benchmark 上取得 SOTA 表現。