Show HN: HART OS – 開源 AI 作業系統,主打在裝置端與去中心化網路執行前緣模型
為何重要
HART OS 重新定義了「OS for AI」的架構邏輯,將推理從應用程式的負擔轉為系統級服務,挑戰現有的集中式雲端推理公用程式。透過點對點招募與無中介商設計,它為聯邦式 AI 運算提供了具體實作方案,對重視隱私與分散式系統的開發者與邊緣運算生態具有重要參考價值。
HART OS 是一個開源的自龐大資料中心追求裸機執行能力的作業系統,旨在透過去中心化網路將大模型帶到邊緣裝置與 embodied AI。該系統引入「Model Bus」架構,將推論服務為系統底層,並在多種裝置間協調以節省頻寬與成本。
- 架構分為核心引擎(監聽 port
:6777,相容 OpenAI 協議)與完整 OS,支援本機、區域網路與雲端節點。 - 安裝環境依賴 Python 3.10 或 3.11(因封裝
faiss-cpu==1.7.4僅支援至 cp311),需求requirements.txt約束 235 個套件,啟動需數 GB 磁碟空間。 - 內建自動演進機制,可有限度地在本地裝置進行自我改進與許可權調整,具備可終止的開關。