PrismML 發布 Bonsai 2 27B：壓縮 Alibaba Qwen 模型至 5.9GB，本地推理效能達 98%。
為何重要
該技術顯著降低了生成式 AI 的部署門檻，將運算權力與隱私從雲端向裝置端遷移。這種「邊緣運算 AI」的趨勢可能改變資本配置邏輯，迫使硬體廠商與雲端業者重新評估其業務價值，從單純追求算力規模轉向最佳化本地即時互動與隱私保護能力。
軟體新創 PrismML 背靠 Caltech 技術團隊與 2,225 萬美元種子輪資金，致力於將高解析度推理 LLM 壓縮到 PC 或手機端執行，挑戰大模型必須依賴雲端運算的觀念，並強調在極致壓縮下仍能保留高水準的推理能力。