ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

AMD 收購 Taalas,瞄準「模型客製矽晶」加速推論效能

硬體 1 個來源 · 1 天前
為何重要

這起併購標誌著 AI 硬體供應鏈正從「通用加速」走向「特定權重最佳化」的硬體特定化路徑。對開發者而言,這代表特定工作負載下可望獲得數十倍的速度優勢,但需承擔模型變更時必須重新製卡的高昂成本;對產業而言,這預示著通用 GPU 生態與封裝特定模型的專用硬體生態可能分道揚鑣,同時也展示了 AMD 透過收購快速補齊全棧解決方案的積極態度。

AMD 週四宣佈收購加拿大多倫多 AI startup Taalas,目標透過將模型權重直接燒錄於矽晶上的硬體技術,與 Nvidia 在 AI 推論市場競逐,該技術被預期可提供高達數個數量級的效能提升。

  • 原型晶片效能: Taalas 於 2 月發布的首款 TSMC 6nm 研發代號 HC1 晶片,在 Meta Llama 3.1 8B 模型測試中達到每秒 16,960 tokens 的輸出速度,相較於同期 NVIDIA GPU 快 48 倍。
  • 獨特架構: 晶片不依賴 HBM 結構,而是利用 mask-ROM 將模型權重刻入矽晶,並搭配 SRAM 存取 KV cache 與微調 Adapter。
  • 成本與擴充套件: Taalas 強調其技術成本僅約訓練一個前沿模型的 1/100,且預計明年夏季推出的第二代 200 億引數晶片可透過並行機制支援 1 兆引數模型。
  • 整合策略: AMD 計畫將其 Helios 機架平臺與 Taalas 技術整合,初期可能先用 Instinct 處理 Prompt,後期逐步遷移至 Taalas 進行生成。
AMDTaalasInferenceNvidiaModel-Specific IC

來源 · 1 篇報導

首發 The Register theregister.com 04:05