AMD 收購 Taalas,瞄準「模型客製矽晶」加速推論效能
為何重要
這起併購標誌著 AI 硬體供應鏈正從「通用加速」走向「特定權重最佳化」的硬體特定化路徑。對開發者而言,這代表特定工作負載下可望獲得數十倍的速度優勢,但需承擔模型變更時必須重新製卡的高昂成本;對產業而言,這預示著通用 GPU 生態與封裝特定模型的專用硬體生態可能分道揚鑣,同時也展示了 AMD 透過收購快速補齊全棧解決方案的積極態度。
AMD 週四宣佈收購加拿大多倫多 AI startup Taalas,目標透過將模型權重直接燒錄於矽晶上的硬體技術,與 Nvidia 在 AI 推論市場競逐,該技術被預期可提供高達數個數量級的效能提升。
- 原型晶片效能: Taalas 於 2 月發布的首款 TSMC 6nm 研發代號 HC1 晶片,在 Meta Llama 3.1 8B 模型測試中達到每秒 16,960 tokens 的輸出速度,相較於同期 NVIDIA GPU 快 48 倍。
- 獨特架構: 晶片不依賴 HBM 結構,而是利用 mask-ROM 將模型權重刻入矽晶,並搭配 SRAM 存取 KV cache 與微調 Adapter。
- 成本與擴充套件: Taalas 強調其技術成本僅約訓練一個前沿模型的 1/100,且預計明年夏季推出的第二代 200 億引數晶片可透過並行機制支援 1 兆引數模型。
- 整合策略: AMD 計畫將其 Helios 機架平臺與 Taalas 技術整合,初期可能先用 Instinct 處理 Prompt,後期逐步遷移至 Taalas 進行生成。