PrismML 發表專為 smart glasses 設計的微型 LLM，搭載 Qualcomm 平臺
為何重要
這將微型 LLM 的落地場景從手機擴充套件至消耗有限的穿戴式裝置，解決了 AR 眼鏡在算力和電力上的限制。對開發者來說，這代表 edge AI 的新標榜：在不依賴私有雲端 API 的前提下，即可透過硬體原生整合實現特定功能。若能突破硬體應用，模型開發商將能在消費電子供應鏈中找到新的商業模式與議價空間。
AI 實驗室 PrismML（由 Caltech 研究者創立）在 Qualcomm 的 Snapdragon Summit 上展示了專為 smart glasses 設計的微型語言模型。
- 展示的 1-bit Bonsai LLM 可執行在 Qualcomm AR1 Gen 1 Platform 的 smart glasses 上。
- PrismML 宣稱能將大型模型尺寸縮減 4 倍，同時維持標準 benchmark 的表現。
- 智慧眼鏡版本的模型為 20 億引數（2B）的視覺與語言雙模態調校版本。