理解環境感知資訊檢索的行為
為何重要
這項研究證實了通用 Prompt 無法勝任所有檢索情境,意味著未來 RAG 產品必須根據後端檢索器的特性進行針對性微調或架構調整。對於開發者而言,這提供了一條實作「檢索器環境感知系統」(Retriever-aware RAG)的具體路徑,可望突破當前 RAG 效能提升的瓶頸。從產業觀點來看,這印證了 RAG 生態中的最佳化工具將從單一模型能力比拼,轉向後端檢索器的差異化整合。
RAG(檢索增強生成)系統雖擅長處理複雜查詢,但現有研究忽略了不同檢索器須搭配截然不同的查詢撰寫策略才能獲得最佳成效。
本文發表了首度針對透過強化學習(RL)讓 LLM 僅適應特定檢索器的系統性分析。
- 不同檢索器表現出獨特且互斥的最佳化查詢風格(例如描述性與問句式),導致在一個檢索器上訓練出的策略在另一個上將失效。
- 研究發現,結合檢索器特定的人類指導以及擴大模型規模,能進一步提升整體表現。
- 為了提升多步驟檢索軌跡中的訓練穩定性,作者引入了基於分支的 rollout 技術。