Cloudflare 推出 Bot Preference Sync,自動同步 AI 流量偏好至 robots.txt
為何重要
此功能自動化並同步了 robots.txt 的宣告與邊緣執行規則,有助於出版商精準掌控 AI 摘要引用與內容訓練權,避免機器人繞過限制。隨著 Cloudflare 對機器人透明度的追蹤日益嚴格,未來內容供應商與 AI 模型提供商之間的合規性協商將更透明化。
- 功能將於 7 月 1 日 上線,開放給 Free 到 Elite 級別的所有客戶使用。
- 網站主可設定 Search、Agent 和 Training 三類流量的偏好(允許、僅在含廣告頁面阻擋或全域阻擋),Cloudflare 會自動將設定寫入 robots.txt 並在邊緣強制執行。
- 為落實統一的 Transparency,不符合標準的混合用途機器人將不獲豁免,即便 robots.txt 設定為將其從訓練中排除。