Cloudflare 推出新設定「Allow Search, Disallow Training」，解決 AI 訓練與搜尋曝光的權衡問題
為何重要
這項改變為依賴搜尋流量與顯示廣告的網站站主解決了長期的 SEO 資料使用困境，迫使 Google、Microsoft 等巨頭必須區分搜尋索引與 AI 訓練爬蟲。對開發者而言，這代表 AI Agent 時代的基礎設施正在從單純的封鎖擴充套件至精細的「模型/訓練/代理」許可權管理；對產業而言，Cloudflare 帶頭建立的「Accountable」機制正在定義 AI 廠商與網站的合規新常態。
Cloudflare 發布名為「Disallow AI Training」的新設定，透過 robots.txt 公開偏好。啟用後，混合式爬蟲仍可索引網站以維持搜尋排名，但將被阻擋用於 AI 模型訓練。Apple、Google 和 Microsoft 已承諾/透過 Cloudflare 的認證機制（Accountable 標記）遵守此設定向。9 月 15 日起，「Block AI Bots」將被更細緻的「Search / Training / Agent」三層控制取代，並棄用 Managed Robots.txt。