AI 資料中心超越單一 GPU：異質硬體與推論管線分割
為何重要
這顯示 AI 後端供應鏈的核心正從「硬體製造」延伸至「系統整合與協調軟體」，傳統單一核心的 GPU 強權優勢將趨於緩和，迫使各廠投入加速器、NPU 與記憶體子系統的設計，同時也催生軟體層的新商業模式。 對開發者而言，未來必須處理跨硬體平臺的聯通性與整體性挑戰；對投資人來說，值得關注在軟體排程、Model Context Protocol（MCP）以及異質叢集管理上的創業機會。
- 專家指出 AI 資料中心正在轉向「異質化」架構，不再僅依賴單一硬體解決所有問題。
- 阿里巴巴建立了一萬張顯示卡的運算叢集視為一種因缺乏最新 Nvidia 晶片而開發的工作繞道方案。
- 推論過程被切割為 prefill（提示理解）、decode（回應生成）與工具執行三個階段，分別由不同硬體負責。
- 軟體挑戰日益重要，業界出現 NeoCloud 概念，如 DigitalOcean 推出五層推論架構以整合 AMD 與 Nvidia 等不同硬體。
- 顯示卡雖仍擅長矩陣運算，但在推論階段因負載特性不同，業界已開始使用加速器或自訂 ASIC 等更正確的硬體。