前 OpenAI 與 Anthropic 研究員以此辭職,警告自動最佳化 AI 對人類滅絕的威脅
為何重要
這起頂尖 AI 研究員離職風波揭示了大模型廠商商業競賽與安全擔憂間的內部緊張關係。對開發者而言,這意味著基於遞迴自我最佳化的「超級智慧」將是 2026 年起最迫切的管理難題;對投資人而言,這顯示了政策法規(如歐美立法禁限)與公司治理風險將成為評估值的重要變數。
Jacob Coxon 在社媒發文指出 OpenAI 與 Anthropic 正「拿人命在賭」,直指公司加速推動可自我變最佳化的超級智慧,恐導致人類喪失掌控。這起辭職事件反映出頂尖 AI 廠商內部對商業競賽與安全隱憂的激烈衝突。
- Coxon 聲稱 OpenAI 與 Anthropic 內部許多高層在私底下相信到本世紀末這項技術「有殺死所有人」的機率。
- 其同事 Evan Hubinger 承認 Anthropic 目前缺乏解決超級智慧對齊問題的方案,且沒有明確的路徑可循。
- 美國參議員 Bernie Sanders 與眾議員 Greg Casar 已提出《禁止人工超級智慧法案》,英國亦通過類似安全法案,監管風潮日益嚴峻。