AI agents 能夠執行開放式 AI 研究嗎？兩個案例研究的早期證據
為何重要
- 這項研究實證了當前 AI agents 的侷限性：它們具備執行繁重工程任務的能力，但在科學研究的深層創造力與解決未知問題的路徑規劃上仍遠遠落後於人類。 - 這對企業研發端意義重大，意味著在構建自動化工具時，Agent 目前更多扮演「工程助手」的角色，而非能完全替代人類科學家進行抽象研究。 - 對投資人而言，這降低了過度樂觀預期今日就能實現「自動科學家」的風險，提醒應更審慎評估相關商業化技術的成熟度。
- 目前關於 AI 自動化研究進展的預測缺乏有效驗證，因為現有評估多針對狹窄任務而非開放式探索。
- 研究者提出「影子評估（Shadow Evaluations）」方法，讓前沿 AI agents 在 6 天內解決未發表的 NeurIPS 2026 論文核心問題，並由原作者嚴格評分。
- 實驗結果顯示，agents 在未獲人工協助下完成了所有工程工作，但未取得任何實質進展；兩位原作者均正式拒絕了這兩篇論文。
- 研究歸納出五大常見失敗模式，包括無法正確判斷發表門檻、對設計缺陷缺乏創意回應，以及面對死衚衕時無效回溯。