Amazon 打擊工程師 EC2 'CPU 浪費'，AI 智慧體推升資料中心 CPU 需求
為何重要
AI 智慧體工作負載的興起改變了資料中心基礎設計邏輯，從單純仰賴 GPU 推論轉向需要大量 CPU 進行工具呼叫與協調。原先定位為 GPU 看門狗的 CPU，現在成為智慧體運作的核心元件，這將計算需求從純 Accelerator 擴散至通用 CPU 供應商（AMD、Intel、AWS Graviton），促使市場重新審視算力供需失衡的長期影響。
為了確保具備足夠 CPU 容量供應客戶，AWS 最近動員工程師減少 EC2 執行個體的資源浪費，導致過去數年都能快速取得的執行個體，現在工程師需要等待數天甚至更久才能獲得配置。
- 這反映了傳統資料中心中 8:1 或 4:1 的 GPU 與 CPU 比例正朝接近平等發展，因為 CPU 現在必須支援更複雜的動作。
- 一個程式設計用 AI 智慧體在 Azure（原文馬誤？但據上下文應指 AWS，若原文確為 AWS 則依 AWS）單月耗費 180 萬美元的 token 成本，超過了開發預算 860%。
- 此次 EC2 CPU 短缺主要發生在 Spot instances 領域，而預訂的合約容量則未受影響。