視覺檔案檢索的生成式晚期互動嵌入
為何重要
這項研究解決了 RAG（檢索增強生成）應用中視覺資料索引昂貴的痛點。若能以低成本重建高移除率的向量索引，將直接提升企業級檔案檢索服務的經濟性與可擴充套件性，是向量資料庫最佳化的重要實驗室證據。
為瞭解決「晚期互動檢索」(Late-interaction retrieval) 在視覺檔案搜尋領域的高儲存成本問題，研究團隊提出 GLIE，透過永續學習少量向量來重建完整嵌入空間。
- 在 ViDoRe v1 資料集上，GLIE 僅使用每頁 4 個學習向量，即可保留未壓縮系統近 80% 的 nDCG@5 精準度，超越同量測下的最佳後處理方法（70%）。
- 該方法採用修正常規聚類中心至單位球表面的免訓練校正，在 415K 引數的網路於千頁訓練資料上僅需不到 3 分鐘 GPU 時間即可完成。
- 實驗證實視覺向量聚集在低維流形空間，使得從少量基底重建全量向量成為可能，且其在另一個編碼器與 ViDoRe v2 上同樣有效。