透過兩臺 Dell Pro Max GB10 打造本地 AI 叢集：利用 Nvidia Grace Blackwell 擴充套件算力體驗
為何重要
這項本地群集測試展示了 Nano-Data Center（櫃級）部署的超輕量級 AI 方案，對於希望在不受管控環境中執行 LLM 的企業與技術決策者，提供了一個相對低功耗、高整合度的微型叢集選項，改變了「大型模型部署必須依賴大型 GPU 伺服器」的刻板印象。
本文探討瞭如何利用戴爾 Pro Max 系統中的 Nvidia GB10 SoC，搭配 200Gbps ConnectX 7 網路卡建構一個具備 256GB 統一記憶體的本地 AI 叢集，以解決大型語言模型 (LLM) 部署的資源瓶頸。
- 成本與配置：Dell Pro Max GB10 單機（含 4TB SSD）釋出時售價約 $6,332，組成群集後總記憶體達 256GB，其成本或效能表現低於傳統需 4 張 48GB/72GB GPU 的散熱與線路伺服器。
- 硬體規格：採用「10x Arm Cortex-X925 + 10x Arm Cortex-A725」架構，具備 6144 CUDA 核心、128GB LPDDR5X 記憶體、Wi-Fi 7 與 USB-C 280W 電源供應器。
- 群集效能與設定：NVIDIA 僅支援 RoCE 協議進行叢集，受限於 PCIe 5.0 x4 雙隊形，需嚴格設定韌體同步與 NCCL 引數才能達成約 25GB/s 的預期網路頻寬。