Swiftlet 開源庫讓 Qwen MoE 模型在 Mac 與 iPhone 上輕執行
為何重要
這項技術突破打破了行動裝置執行高容量語言模型的效能天花板，證實了透過高效略過硬體 I/O（如利用頁面快取直通或流水線化載入）可以在邊緣裝置上實現接近大型語言模型的推理能力。對開發者而言，這意味著未來建構端側 AI Agent 的門檻降低，對隱私友善且無需伺服器連線的應用具體可行；對產業而言，若此類硬體最佳化泛用至其他架構，將重演「手機執行 ChatGPT」式的生態變革。
Swiftlet 是一套使用 Swift 與 Metal 構建的執行時，專為在 Apple Silicon 裝置上部署 Qwen3 系列混合 MoE 模型設計，透過僅保留負載核心於記憶體並即時從儲存體載入稀疏專家權重來最佳化效能。以下為技術細節與關鍵規格：
- 80B 模型可在 Mac 上執行，僅佔用約 4.3 GB RAM（容器大小約 42 GB）。
- 35B 模型能在 iPhone 17 上原生執行，僅需約 2.5 GB RAM，速度約 1 token/s。
- 每個 Token 運算中僅約 3B 引數處於活動狀態，並採用 Gated DeltaNet 線性注意力機制。
- 已驗證各層正確性，且 Metal 核心執行完整轉換，支援 iOS 17+。