重新思考混合架構中高效注意力的角色

研究分析了結合「完整考量」與高效經注意力模組的混合架構。發現長距離檢索主要由「完整考量」負責，而高效注意力影響最佳化軌跡，並導致大 SWA 視窗可能延遲檢索頭運作。論文建議將 NoPE 僅套用在「完整考量」層，以在幾無影響短上下文情況下提升長上下文效能。