Neural Spectral Capacity：從網路規範測量與設計架構
為何重要
這項研究提供了一個量化網路架構潛力的「無訓練」評估標準（NSC），解決了傳統指標無法區分深度、寬度或 FFN 分配差異導致的誤判。 透過 CPU 上秒級的 NSC-DP 解法，大幅縮短了架構選擇與模型剪枝的週期，對於後端開發與算力成本控制有實質助益。 該技術挑戰了現有的黑盒搜尋代理，在七個模型系族上展現了穩健的排序能力（FlexiBERT $ au=0.505$），代表純數學理論指標勝過經驗法則的可能性。
現代 Transformer 設計與壓縮皆可歸納為預算下的容量配置，現行指標僅考量引數量與運算量，忽略了架構差異對表現的實質影響。
- 研究提出 Neural Spectral Capacity (NSC)，係基於權重矩陣奇異值譜的封閉形式標量，僅需架構規範即可計算，無須模型例項或資料梯度。
- NSC-DP 動態規劃解法可在 CPU 秒級內回傳資源限制下 NSC 最大的架構，並在 WikiText-103 任務中短時間發現實力超越人類設計的 Transformer-XL 架構。
- 實驗顯示 NSC 能將 LLaMA-7B 精簡至最佳 5.7B 效能模型，適用於八項常識推理任務，速度大幅領先最強無訓練代理基準約 5900 倍。