新儲存技術有望讓 GPU 本地記憶體擴增至數 TB 等級
為何重要
這項技術若成功，將強力推進超大引數模型邊界的突破，使單一加速器能容納多兆引數的混合專家（MoE）模型，大幅減少對昂貴的高頻寬晶片間互連（如 NVLink）的依賴，並最佳化推理成本。 對產業而言，這觸發了從「追求最高記憶體頻寬」到「平衡容量與存取效率」的架構轉變，儲存大廠有望搶佔 AI 硬體生態系中的關鍵位置，但也面臨類似 Optane 的市場標準化整合挑戰。
為解決 GPU 高頻寬記憶體（HBM）容量不足的瓶頸，燦達（Sandisk）與 SK Hynix 正開發「高頻寬快閃」（HBF）技術，試圖結合 SSD 的巨大容量與 HBM 的驚人速度。
燦達的第一代 HBF 模組預計單一 16 層堆疊就能達到 1.6 TB/s 讀取頻寬及 512 GB 容量，容量約為現行 HBM4 的 14 倍以上，且未來世代預計可突破 2 TB/s，最終達到 3.2 TB/s。
該技術主要應用於 AI 推論中的「解碼」階段以存放模型權重，因 NAND 寫入耐久度較低，故通常搭配 HBM 使用。首批樣品預計今年底出貨，首批基於 HBF 的 AI 裝置預計明年問世，並透過 Open Compute Project 推動標準化。