電力與協同運算成為新挑戰：AI 叢集架構正從訓練向推論轉型
為何重要
這篇文章揭示了 AI 基礎設施設計優先順序的根本性變化：從追求原始算力轉向算力與電力的平衡。開發者與供應商必須重新審視「CPU+GPU 協同排程」的策略，單一 GPU 廠商（如 Nvidia）的擴散之路（如 Grace Hopper/Vera Rubin 架構）證明瞭這是打破生態壁壘的關鍵。對硬體廠商而言，儲存頻寬與節能架構將比峰值效能更具商業價值。
隨著 GPU 可用性不再是最大障礙，電力供應成為 AI 運算所需的瓶頸，迫使資料中心尋求軟體最佳化取代單純硬體堆疊。推論工作負載預計佔未來 AI 活動的 80% 以上，系統架構正從純 GPU 運算轉向 CPU 與 GPU 協同排程，以應付不同工作負載（如代理編排任務與推理）的需求。
- 推論工作主要延遲敏感且為批次型，訓練則為即時型，這使得 CPU 在執行非矩陣運算的基礎任務時具有優勢，能減少 GPU 的空閒電力消耗。
- 強調「專屬硬體拓撲」而非僅依賴通用網路，對於處理易受單一伺服器瓶頸限制的 HPC AI 與高可用性的金融低延遲系統更具效益。
- 軟體中介層正利用 AI 來監控歷史工作負載並識別個別 GPU 的「電力效能檔案」，以此自動化導引工作負載至適當機器，解決電力容量不足無法全速運作的問題