分數無法單獨證明發現:用於審計 AI 研究代理人的發現認證協定 (Discovery Certification Protocol, DCP)
為何重要
該研究建立了一個客觀、封閉且可重現的審計框架,首次將「發現」從模糊的歸因轉化為可量化的證據。這對於高價值研究領域的智慧財產權保護與可信度驗證具有里程碑意義,為 AI Agent 進入科學研發流程鋪平了信任之路。
為瞭解決單憑測試分數無法證明 AI 研究代理人真正完成新發現的漏洞,研究團隊提出了發現認證協定 (DCP)。該協定將主張轉化為封閉式評估的可執行回溯與測試。DCP 包含 Gate 1(驗證被封鎖評估中的有用改善)、Gate 2(比對獲知註冊起始資訊與網頁內容但隱藏目標研究歷史的代理),以及 Optional Gate 3(量化真實反饋效果相對於中性政策的平均值)。
- DCP Core 要求足夠的控管、零觀察到回溯,以及單一新註冊實驗中回溯的有限樣本界線。
- 實驗包含 SQLite 最佳化和虛擬催化劑控制在不同模型下的完整協定執行。
- 在 96 個實驗中均未產生回溯,上限為 0.0468;配對研究產生 30 次真實回溯與零中性回溯,並通過 60 對空值研究。