ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

Thinking Machines Lab 推出 Inkling-Small,一款具備 276B 總引數與 12B 活用量引數的開放權重模型,聲稱效能媲美 Inkling

模型 1 個來源 · 6 天前
為何重要

Inkling-Small 的發聲再次驗證了 MoE(混合專家)架構在平衡部署成本與模型效能上的優勢,為尋求頂級基礎模型能力的開發者提供了一個更具可及性的開源選項。這也顯示出 Thinking Machines Lab 正試圖透過規模不一的模型發布,建立更完整的開源生態系。

Thinking Machines Lab 發布了 Inkling-Small,這是一款經過最佳化、具備龐大能力但實際計算量較小的開放權重模型。該模型採用混合專家架構,在擁有大量引數總規模的同時,僅在特定時間啟動部分權重,以達成與 Inkling 相當的效能表現。

  • 內含 276B 總引數,每次推理過程中僅啟用 12B 活用量引數。
  • 官方宣告其效能表現達到 Inkling 的品質水準。
  • 提供於 Hugging Face 與 Model card 供開發者測試。
Thinking Machines LabInkling-SmallOpen-weightMoEInkling

來源 · 1 篇報導

首發 Techmeme techmeme.com 02:00