知識幾何解耦:應用於流式推薦的可重新整理預訓練遷移方法
為何重要
KGD 解決了推薦系統中最棘手的「活水」問題:在維持預訓練模型隨時間更新時,如何確保執行特定任務(如搜尋點選率)的效能不倒退。這項技術展示了「解耦架構」商用化時,能直接轉化為明確的商業績效(毛利提升),為開發者提供了一個具體的模型架構重構範式。
工業推薦系統在行為分佈飄移的情況下,難以在重新整理預訓練模型與維持下游任務效能間取得平衡。本研究提出 Knowledge-Geometry Decoupling (KGD) 解決方案。
- 引入 Behavioral Multi-Token Prediction (BMTP) 機制,只以具合作或語義關聯的未來專案作為監督,過濾掉不相關會話的雜訊。
- 將預訓練知識與任務幾何拆分到不同引數集:可重新整理的 Encoder 負責行為知識,讀取模式的 Task Learner 透過 Anchored Calibration Residual (ACR) 寫入任務幾何。
- 已在 Shopee 全面部署,在 90 天的生產串流測試中持續領先基線,並將首頁搜尋的使用者個體 GMV 增加約 1.75%,廣告收入增加 1.53%。