降低 HBM ECC 控制器開銷以支援 AI 推論 (RPI 與 IBM)
為何重要
隨著 AI 模型規模擴大，HBM 的單價與錯誤率成為系統穩定性的瓶頸，傳統 ECC 機制往往帶來過高的 controller 成本與頻寬損耗。該研究探索了基於工作特性（如讀多寫少的推論階段）進行非對稱保護的可能性，這對於提升 AI 加速器的價效比與延長運作時序具有重要意義。
Rensselaer Polytechnic Institute (RPI) 與 IBM T.J. Watson Research Center 發表技術論文，提出針對 AI 推論情境的 HBM（高頻寬記憶體）錯誤校正架構 NEW REACH，旨在解決高成本記憶體所需的強力保護與控制器開銷之間的權衡問題。
- REACH 模型名稱為「Controller-Managed Long-Span ECC for HBM AI Inference」，利用控制器微架構大幅降低 ECC 開銷。
- 設計利用了大型語言模型（LLM）推論流程中的順序讀取特性來進行跨度聚合，並透過稀疏寫入限制校驗位更新流。
- 論文中指出，REACH 會採用既有的內碼處理常見錯誤，並預留長外碼用於已知的擦除資料修復，預印本已於 2026 年 9 月發布。