NVIDIA PAIR 虛擬推論路由器擴充本地網路運算能力
為何重要
PAIR 提供了一個軟體層次的解決方案，讓 Prosumer 能夠不更動現有 Agent 框架架構，就利用家中多臺裝置的 GPU 進行分散式推論，解決了多 Agent 執行時的 GPU 併發瓶頸。 這項技術在軟體上強化了 NVIDIA GPU 鏟子的「生態圈函式」，增加了現有硬體裝置的產出利用率，對於尚未構建正式資料中心的個人與開發者來說，是建構本地化 AI 資源的關鍵溢價工具。 從產業競爭角度看，此類能讓使用者低成本擴充本地算力的解決方案，將持續擠壓雲端推理模型單次呼叫的成本優勢。
NVIDIA 發布 Personal AI Router (PAIR)，這是一個虛擬推論路由器，用於分散部署在本地網路中多 Agent 運算節點的獨立推論請求，以解決單一裝置的瓶頸。
- 該工具與 Ollama 和 LM Studio 原生相容，支援透過 mDNS 偵測與 MTLS 加密進行安全配對，並依節點是否具備適當模型來動態排程。
- 硬體支援範圍包含 NVIDIA GeForce RTX 20 Series 及更新顯示卡、RTX PRO 工作站、DGX Spark 與 Apple M4+ 矽片。
- 在 Hermes Desktop 與 Ollama 的五個 subagent 測試中，使用 RTX Spark Laptop、DGX Spark 與 RTX 5090 的三裝置叢集以 8 分 48 秒完成，而單一 Laptop 則需 18 分鐘。