UEmbed：統一稀疏與密集多模態嵌入的解碼器架構
為何重要
UEmbed 打破了 LSR 需要雙向編碼器或輔助模組的傳統限制，證實瞭解碼器架構同樣能勝任稀疏檢索，為 RAG 架構的整合與最佳化提供了新範例。對於開發者而言，這意味著未來可望降低多檢索策略的維護成本，並透過單一模組實現文本與多模態的高效搜尋。
傳統 LSR 多受限於雙向編碼器架構，導致其於多模態檢索的應用為一挑戰。研究團隊提出 UEmbed，作為單一模組在解碼器架構下同時生成稀疏與密集向量，旨在簡化 RAG（檢索增強生成）的檢索策略。
- UEmbed 透過附加指定數量的特殊 token 並將詞彙表劃分為 N 個不相交子集，在單次因果前向傳遞中合成稀疏向量。
- 模型發布規格包含 2 Billion、4B、與 9B 三種引數等級。
- 在 MMEB-v2 基準測試上，UEmbed-9B 的密集與稀疏分別達到 71.8 與 71.0，且表現優於公版資料訓練的模型如 RzenEmbed。