InstinctFlash 推出高效率機器人模型服務框架,支援 Jetson Thor 與 RTX 4090/5090
為何重要
- 展示了機器人應用正從純雲端走向邊緣裝置(Edge/Hololink)的必要性,此類框架是實現機器人「本地推論」的基石。 - 對於開發者而言,提供了標準化的路徑來部署不同硬體(Jetson/RTX)上的機器人模型,降低了生態系整合的複雜度。 - 隨著即時運算需求提升,透過 Quantization(如 FP8)在低功耗裝置上達到 30+ 倍加速,將大幅改變機器人的效能評估標準。
- InstinctFlash 是一個面向機器人的高效能「Runtime」框架,支援 Jetson Thor 及工作站顯示卡(RTX 4090/5090),整合八個機器人模型家族的執行環境。
- 在 Jetson Thor 測試中,LingBot-VA 模型達到最高 33.78 倍的加速,且量化至 FP8 後在 2V/4A 等低功耗設定下同樣維持任務表現。
- 支援透 msgpack-over-websocket 連線現有的
pi0/openpi生態系,並允許透過單一指令自動為微調檢查點建立最佳化計畫與宣告。 - 核心層無需依賴 PyTorch 或 GPU 即可檢查點並規劃,執行階段則為每個模型家族使用獨立的固定環境,並支援 NUMERIC 與 BEHAVIORAL 準確度層級。