ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

知識幾何解耦:應用於流式推薦的可重新整理預訓練遷移方法

模型 1 個來源 · 1 天前
為何重要

KGD 解決了推薦系統中最棘手的「活水」問題:在維持預訓練模型隨時間更新時,如何確保執行特定任務(如搜尋點選率)的效能不倒退。這項技術展示了「解耦架構」商用化時,能直接轉化為明確的商業績效(毛利提升),為開發者提供了一個具體的模型架構重構範式。

工業推薦系統在行為分佈飄移的情況下,難以在重新整理預訓練模型與維持下游任務效能間取得平衡。本研究提出 Knowledge-Geometry Decoupling (KGD) 解決方案。

  • 引入 Behavioral Multi-Token Prediction (BMTP) 機制,只以具合作或語義關聯的未來專案作為監督,過濾掉不相關會話的雜訊。
  • 將預訓練知識與任務幾何拆分到不同引數集:可重新整理的 Encoder 負責行為知識,讀取模式的 Task Learner 透過 Anchored Calibration Residual (ACR) 寫入任務幾何。
  • 已在 Shopee 全面部署,在 90 天的生產串流測試中持續領先基線,並將首頁搜尋的使用者個體 GMV 增加約 1.75%,廣告收入增加 1.53%。
ShopeeKnowledge-Geometry DecouplingStreaming RecommendationBMTPPretrain-then-transfer

來源 · 1 篇報導

首發 Hugging Face Daily Papers huggingface.co 04:00