28.9M 引數模型跑在 $10 ESP32-S3 上，採用 Google Per-Layer Embeddings 技術
為何重要
這項成就打破了「執行大型深度學習模型必須仰賴海量視訊記憶體」的迷思，展示了透過巧妙的架構設計與資料分層存取（Layered Storage），甚至能將複雜的神經網路運作於能效比極高的微控制器上。對產業而言，這不僅是硬體層面的極限挑戰，更為嵌入式 AI 的商業化提供了技術藍圖；若此技術大幅降低邊緣裝置的算力需求，將重寫現有邊緣運算的產品定義，未來通用型運算裝置可能在處理小型模型時獲得更顯著的效能提升。
烏克蘭開發者 Slava S 隔空在 GitHub 發布名為 ESP32-AI 的專案，成功在單價不到 $10 的 ESP32-S3 微控制器上部署語言模型。
- 硬體配置僅有 512KB SRAM，開發者將 25-million-parameter 的 Embedding Table 進行 4-bit 編碼（檔案大小 14.9 MB），存入 16MB Flash 中運作，省下 SRAM 給推理核心。
- 該模型預訓練於 TinyStories 資料集，受限於架構與訓練資料，目前僅能生成短篇簡單的虛構故事，並不具備問答或程式撰寫能力。
- 此專案證明瞭 Google 的 Per-Layer Embeddings 構架適合縮放至極度資源受限的邊緣裝置，並可能驗證高頻寬記憶體作為 AI 分層儲存的可行性。