「接力跑」盤活全國算力,PD分離終於破局:延遲砍半、成本直降近40%!
為何重要
PDD 架構成功突破了從「集中式孤島」走向「分散式全網」的工程門檻,證明瞭只需少量中繼節點即可遮蔽網路延遲的可行性。 對於 LMOps 基礎設施供應商而言,這意味著可以利用低成本分佈在各地的同構或異構算力資源,來支撐高階模型的推理需求,大幅降低並行分的成本。 這項技術路徑明確了未來模型即服務(MaaS)應具備的「極簡區域性異構 + 靈活遠端分離」特徵,是 AI 基建實現低成本章魚式擴充套件的關鍵一步。
- 無問芯穹於 2026 WAIC 發表新一代跨叢集異構推理架構 PDD(Prefill-RelayDecode-MainDecode),將廣域網 KV Cache 傳輸問題轉化為本地位址空間問題。
- 採用「擴充解碼交接」機制,讓 RLD 僅傳輸輕量的 Token ID,由遠端 MD 端利用 GPU 輕負載特性原地重算 KV Cache,解決了乙太網路傳輸的延遲瓶頸。
- 在 DeepSeek-V4-pro 等真實工作負載下,PDD 構架有效吞吐提升 27.8%,並在滿足嚴苛的 TTFT 約束(P90<10s)下,使總成本下降 3.5%-7.1%,收益成本比(BCR)提升 37.5%。