NVIDIA

名為 TokenSpeed 的 GitHub 開源專案主打速度極快的 LLM 推理引擎功能，主要使用的程式語言為 Python。該專案旨在提升模型執行效率，目前正針對 DeepSeek、Kimi、Minimax 等多種模型進行最佳化。

NVIDIA 在 GitHub 發布了 dgx-spark-playbooks 開源專案。該專案收錄一系列 Jupyter Notebook，旨在提供在具備 Blackwell 架構的 DGX Spark 裝置上部署 AI/ML 工作負載的詳細設定步驟。

GitHub 開源專案 atlas 是一個純 Rust 推理引擎。該專案約有 503 stars，支援 CUDA、dgx、dgx-spark、gb10 等硬體平臺，主打 LLM 推理，並支援 mamba、nvfp4 等技術，具備 OpenAI API 相容性。

社群專案 spark-arena/sparkrun 已於 GitHub 開源，提供工具讓開發者能在 NVIDIA DGX Spark 系統上輕鬆部署與管理 LLM 推理工作負載。該專案主要以 Python 撰寫，並針對 Llama.cpp、SGLang 和 vLLM 等框架進行最佳化。

GitHub 開源專案 memra 推出從 scratch 開發的 LLM 推理引擎，主要使用 Rust 撰寫，並針對 Blackwell（RTX 5090）、Hopper（H100）等新一代 GPU 架構的特定編譯器緊湊 (SM) 版本進行自定義 CUDA kernels 最佳化。 - 支援登錄檔中的特定 GPU 架構：RTX 5090 (sm_120a)、H100 (sm_90a)，鎖定未來主要消費與伺服器級晶片。 - 採用從開發層級的 GPU kernels 與 Rust 堆疊，通用指標包含 291 顆星及 llama-cpp 等相關主題。

GitHub 開源專案 AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash 提供了針對 DGX Spark 與 Blackwell 硬體的 Qwen3.6-27B 模型最佳化方案。該專案實作了零消費量（Zero-allocation）的無損失內容移除，並支援 NVFP4 硬體量化，檔案分別為 BF16 的 51 GB 與 NVFP4 的 26 GB，同時附帶 Docker Compose 設定與快速啟動指南。

- 專為 RTX 5090 顯示卡設計，深度對接 Blackwell 架構（sm_120a）。 - 採用 Rust 與 CUDA 從零打造，支援 NVFP4 與 MoE（混合專家）模型格式。 - 引入 MTP speculative decoding 提升解碼效率。 - 目前已在 GitHub 開源，獲 257 顆星星，關注主題涵蓋 gguf 與 llm-inference。

開發者 albond 於 GitHub 發布名為 DGX_Spark_Qwen3.5-122B-A10B-AR-INT4 的開源專案，針對 NVIDIA DGX Spark 硬體平臺進行深度效能調校。專案修改了模型量化與執行引數，成功將量大模型 Qwen3.5-122B-A10B 的推理速度從 28.3 tok/s 提升至 51 tok/s (+80%)。其技術細節涉及無損量化、自動正規化以及在 GPU 上執行 MTP (Multi-Token Prediction) 等技術。

GitHub 開源專案 natolambert/dgx-spark-setup 提供了一份詳細的設定手冊，教導開發者如何在具備 GB10 Blackwell GPU 的 NVIDIA DGX Spark 裝置上進行機器學習訓練，並支援 CUDA 13 與 aarch64 架構。