Split-LLM 訓練的隱私漏洞：回傳梯度揭穿了偽裝樣本的破綻
為何重要
這篇研究直接戳破目前主流分散式訓練（如 Split Learning 或 Federated Learning）中「正向通道隱私通過即安全」的迷思。許多架構重點在於保護前向的啟用值，卻忽略了後向傳播的梯度可能同樣具備高資訊熵。對開發者而言，這意味著在處理高敏感度資料（如醫療、金融）時，單靠架構分離不足以免除 Liability，強制性的 Gradient Noise Injection 機制將從選配變成必備卻昂貴的防禦手段。
研究人員在 Split-LLM 架構中發現一種隱未被驗證的通道，僅憑後端回傳的梯度就能逆向推匯出真實訓練資料。TLN (Trusted Local Node) 與 UCN (Untrusted Cloud Node) 雖順利通過正向通道隱私檢驗，但梯度回傳卻暴露了資料真偽，且現有的防範機制（如加噪 Clipping）成本高昂並不足夠。
- TLN 傳送啟用值至 UCN 後，僅回傳 TLN 持有的私有損失梯度，導致 UCN 被迫依據零梯度辨識真實資料與 Decoys（偽裝資料）。
- 在九次實驗中，UCN 皆在 4,096 個序列中精準識別出所有真實樣本，透過觀察梯度零值的模式完成逆向工程。
- 經由此梯度洩漏衍生的攻擊，使 Token 還原準確率比基準方案高出 +0.65 到 +1.50 個百分點。
- 若要封閉此洩漏，需極大程度地對梯度 Row 進行 Precision Clipping 和 Adding Noise，導致 Cross-entropy 損失上升約 0.01 nats。