ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

NVIDIA DSX MaxLPS 如何透過政策導向的供電分享最大化 AI 工廠效率

硬體 1 個來源 · 45 分鐘前
為何重要

DSX MaxLPS 解決了資料中心「買電困難」的本質問題,將封死的電力契約限制轉化為可排程的運算容量。對開發者而言,這意味著在不改變架構的情況下享有更高的推理密度;對產業而言,這強化了 NVIDIA 軟硬體整合的護城河,證明其不再是單純硬體供應鏈,更是能最佳化全鏈路效能的系統整合者。然而,此技術將工程權衡帶入資料營運層級,要求操作者微調排程以對抗 P99 尾部延遲的劣化。

NVIDIA 推出的 DSX MaxLPS 技術透過政策主導的電力分配機制,允許在維持運作界限下動態排程資源,將原本視為閒置的電力浪費轉化為實際算力。研究案例顯示,在維持固定電源預算的前提下,DSX MaxLPS 能讓 GPU 數量顯著增加,並維持工作負載的運作效能,但仍需注意 P99 尾部延遲的潛在波動。

  • 在 264.4 kW 的相同核准電源預算下,GPU 數量由基準 140 顆增加至 192 顆。
  • 綜合吞吐量大幅提升 49.2%,綜合每瓦特吞吐量從 4.10 提升至 6.12 tokens/s/W。
  • 低延遲與高吞吐量工作負載的單一執行層級吞吐量維持不變,但 P99 首字元時間增加 17%(約 15.7 秒基準)。
NVIDIADSX MaxLPSGB300 NVL72Power ManagementInference EfficiencyKimi K2.5

來源 · 1 篇報導

首發 NVIDIA Technical Blog developer.nvidia.com 09:00