視覺生成中文字條件的縮放定律研究
為何重要
這項研究釐清了影響視覺生成品質的深層數學關係，指出提升 prompt 的結構化程度是最佳化模型表現的關鍵路徑，這意味著開發者能以較低成本透過工程最佳化達到接近大模型的生成效果。 對產業來說，這打破了模型規模決定生產力的絕對論，提供了一個讓開源模型在特定任務上逼近閉源巨頭的技術實證，可能重塑現行視覺生成領域的技術壁壘與商業競爭力。
研究發現擴散模型的收斂損失並非簡單隨自然語言 token 數量增減，而是會根據提示詞中結構化語言的複雜度呈現顯著的變化趨勢。
- 研究團隊引入白盒語義度量 (GPG) 與黑盒屬性度量 (ED) 指標，發現收斂擴散損失會隨結構化語言量呈線性下降並遵循冪律變化。
- 透過建構帶有圖片語義與幾何註解的結構化提示詞，並運用監督微調、冷啟動及驗證門控策略，顯著改善了模型的 diffusability 與 promptability。
- 結果系統在包含組合性、推理與世界知識的多項基準測試中，皆優於所有評估過的開放權重模型，並在大多數測試中與最強的封閉權重模型持平或超越。