NVIDIA

名為 TokenSpeed 的 GitHub 開源專案主打速度極快的 LLM 推理引擎功能，主要使用的程式語言為 Python。該專案旨在提升模型執行效率，目前正針對 DeepSeek、Kimi、Minimax 等多種模型進行最佳化。

NVIDIA 在 GitHub 發布了 dgx-spark-playbooks 開源專案。該專案收錄一系列 Jupyter Notebook，旨在提供在具備 Blackwell 架構的 DGX Spark 裝置上部署 AI/ML 工作負載的詳細設定步驟。

GitHub 開源專案 atlas 是一個純 Rust 推理引擎。該專案約有 503 stars，支援 CUDA、dgx、dgx-spark、gb10 等硬體平臺，主打 LLM 推理，並支援 mamba、nvfp4 等技術，具備 OpenAI API 相容性。

開發者 tonyd2wild 在 GitHub 上分享 DeepSeek V4 Flash 視覺模型的執行最佳化配方，專門針對 NVIDIA DGX Spark 2x 配置進行調整。該計畫著重於在特定硬體架構上利用 NVFP4 格式實作高效的 1M Key-Value (KV) 快取。 - 專案名稱為 `tonyd2wild/DeepSeek-v4-Flash-Vison-Exp-DSpark-1M-NVFP4-KV-2x-DGX-Spark`。 - 目標硬體為兩臺 DGX Spark，目標是將 DeepSeek V4 模型最佳化並利用 1M NVFP4 KV 快取。 - 技術實作方向包含 DeepSeek V4 Flash Vision 實驗性功能，並主要使用 Python 撰寫。 - 目前該專案獲得 457 星標。

DataWhale 推出 **zero-to-sglang** 開源教學專案，提供系統化學習路徑以掌握 SGLang 推理引擎，協助開發者構建高效能 LLM 應用。 - **專案名稱**：`datawhalechina/zero-to-sglang`。 - **涵蓋內容**：從推理基礎與環境搭建，到模型部署、結構化生成、服務開發及效能最佳化的完整流程。 - **社群資料**：目前獲得 341 stars。 - **核心議題**：涵蓋 `datawhale`, `inference-engine`, `infra`, `kv-cache`, `llm`, `llm-inference`, `sglang` 等技術主題。

社群專案 spark-arena/sparkrun 已於 GitHub 開源，提供工具讓開發者能在 NVIDIA DGX Spark 系統上輕鬆部署與管理 LLM 推理工作負載。該專案主要以 Python 撰寫，並針對 Llama.cpp、SGLang 和 vLLM 等框架進行最佳化。

GitHub 開源專案 memra 推出從 scratch 開發的 LLM 推理引擎，主要使用 Rust 撰寫，並針對 Blackwell（RTX 5090）、Hopper（H100）等新一代 GPU 架構的特定編譯器緊湊 (SM) 版本進行自定義 CUDA kernels 最佳化。 - 支援登錄檔中的特定 GPU 架構：RTX 5090 (sm_120a)、H100 (sm_90a)，鎖定未來主要消費與伺服器級晶片。 - 採用從開發層級的 GPU kernels 與 Rust 堆疊，通用指標包含 291 顆星及 llama-cpp 等相關主題。

GitHub 開源專案 AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash 提供了針對 DGX Spark 與 Blackwell 硬體的 Qwen3.6-27B 模型最佳化方案。該專案實作了零消費量（Zero-allocation）的無損失內容移除，並支援 NVFP4 硬體量化，檔案分別為 BF16 的 51 GB 與 NVFP4 的 26 GB，同時附帶 Docker Compose 設定與快速啟動指南。

- 專為 RTX 5090 顯示卡設計，深度對接 Blackwell 架構（sm_120a）。 - 採用 Rust 與 CUDA 從零打造，支援 NVFP4 與 MoE（混合專家）模型格式。 - 引入 MTP speculative decoding 提升解碼效率。 - 目前已在 GitHub 開源，獲 257 顆星星，關注主題涵蓋 gguf 與 llm-inference。