解析：2019 至 2025 年，預訓練算力效率的提升主要歸功於資料最佳化，而非模型改進 (Dwarkesh Podcast)
為何重要
這項分析挑戰了「單純堆砌算力或擴大引數規模」即能獲致顯著進步的直觀印象，重新定義了效率張力的來源。對於技術決策者而言，這意味著未來的競爭關鍵將包含資料工程與治理，而不僅是模型架構的創新，投資者應更關注資料管道與清洗技術的價值，而非只看模型引數規模的暴力擴張。
分析顯示預訓練階段的算力效率提升，主要源自資料品質與數量的改善，而非模型引數或架構的進展。
- 分析涵蓋時間範圍為 2019 年至 2025 年。
- 將這六年的預訓練進步拆解為「資料」與「模型」兩大要素來探討貢獻度。
- 核心結論是資料因素的改善對推動效率進步的影響大於模型本身。