Anthropic 研究員示警 AI 人類滅絕風險逾 10%
為何重要
此宣告揭示頂尖 AI 公司內部對控制未來 AI 超級智慧的技術信心的動搖，特別是缺乏對對齊問題（alignment）的計畫，打破了這類公司常維持的正面安全壁壘。 - 對投資人而言，這強化了 AI 行業面臨嚴格監管與勞工抗議（爭取更慢的發展速度）的高風險前景。 - 市場需密切關注 Anthropic 及類似公司如何在聲稱負責任的同時，應對實現 AI 自我改進的潛在不可控性。
Anthropic 首席安全研究員 Evan Hubinger 發文警告，鑑於 AI 的快速進展，他認為未來十年 AI 系統造成人類滅絕的機率超過 10%。他儘管認為現有模型的風險很低，但擔憂技術將自我改進至威脅人類存續。
- 發文於 X（Twitter），觀看次數逾 1,000 萬次，並直言 Anthropic 目前尚無解決對齊問題來管理超級智慧的明確計畫。
- Anthropic 未向英國 AI 安全研究所（AISI）提交最新模型，報導稱這引起外界對安全的擔憂。
- 在其研究院發布的安全報告中，公司對高度具能力 AI 能造成災難性傷害的評估信心降低，並提到『早期加速跡象』。