ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

NVIDIA 家用級秘密武器:Confidential Computing 在 Blackwell 上重擊 98% 效能門檻

硬體 1 個來源 · 7/3
為何重要

這項技術直接解決了企業級 AI 部署中「安全即效能」的核心悖論,為受監管產業(如金融、醫療)採用 Blackwell 平臺掃除了最主要的非技術性障礙。透過提供具體資料證明加密不會顯著拖累推理速度,NVIDIA 將 Zero Trust 架構轉化為 Blackwell 硬體的標準附加值,進而強化其資料中心伺服器的競爭力。

NVIDIA 搭載 Confidential Computing (CC) 機制的 Blackwell GPU,讓企業在生產環境中保護敏感資料與模型權重時,幾乎不犧牲推理效能。透過與 FlashInfer 與 SGLang 的協同最佳化,這項技術在多種並發與批次設定下,表現僅略低於非加密環境。

  • 效能損耗極低:在 HGX B300 搭配 Qwen 3.5-397B-A17B-FP8 進行基準測試,CC 模式的基準效能達到未啟用安全機制的 98%,吞吐量與單 Token 延遲增加通常低於 8%。
  • 硬體端保護:Blackwell GPU 擁有製造時封裝的 fused private signing keys,且 HGX B200/B300 支援最多 8 卡的 NVLink 加密,結合 NVIDIA NRAS 確保推論過程中的機密性。
  • 軟體棧最佳化:FlashInfer 修正了 CC 模式下的計時器問題,SGLang 則利用 piecewise CUDA graph 降低 Kernel 啟動開銷,緩解加密頻寬限制對延遲的影響。
NVIDIABlackwellConfidential ComputingHGX B300AI Security

來源 · 1 篇報導

首發 NVIDIA Technical Blog developer.nvidia.com 05:25