Agora:將 Git 作為集體 AutoResearch 的共享記憶體
為何重要
這項研究證明瞭「共享研究狀態」能顯著提升多代理系統的探索效率,有效抵抗業界常見的「單一文化」並行訓練效應。對開發者而言,Git 回歸提供了更符合工程師習慣、可追溯且防禦單一失效的 Agent 實驗架構;對產業而言,該模式證明瞭分散式算力可透過可共享的狀態記憶體,在低算力算力成本下 scaled discovery。
Agora 提出將 Git 當作自動研究流中 AI 代理的共享記憶體,解決多個 AutoResearch Agent 陷入重複搜尋而非發現的問題。該系統在 12 天內運行了 13 個語言模型代理,以完全去中心化的方式解決了權重量化與維度不匹配的難題。
- 面對無訓練資料且維度不一的 119.6M 引數 Attention-SSM 混合模型,代理群體在未設定任務的情況下產生了 1,703 組貢獻。
- 最佳化後的目標評估值從 3.39 bits per byte(BPC)降至 1.899 BPC,僅比 GPT-2 124M 訓練模型遺失 38% 的資訊(縮小差距 62%)。
- 最終解法包含壓縮統計資訊並利用稀疏編輯調整 Attention、Feed-forward 與 State-space 模組,其 145 組祖先提交與 165 筆成功獨立重現記錄建立了高度的複製性。