透過 Accept 標頭將純 Markdown 提供給 AI Agents
為何重要
這反映了 Web 基礎架構正從「人類瀏覽者」向「機器讀取者」轉型的過程。對於 RAG 和 Agent 開發者而言，提供標準化的媒介型別能顯著提升資料抽取的準確度與速度，減少因 HTML 結構骯髒造成的幹擾；長遠來看，能夠友善提供結構化資料的網站將在 AI 生態系中具備更高的資產價值與優先順序。
為了降低 AI Agents 抓取網頁時對上下文資源的消耗，該方案建議開發人員透過 HTTP 內容協商標頭（Accept: text/markdown），讓網站在收到特定請求時直接返回原始 Markdown 內容，而非完整的 HTML 頁面。
- 效能最佳化：Markdown 版本移除了導航列、樣式、指令碼及佈局標記，避免廣告或模態視窗幹擾 RAG 模型的文本嵌入。
- 成本減少：縮短資料傳輸量、解析負擔以及送入模型上下文視窗前的資料處理時間。
- 實作支援：提供 Nginx、Caddy、WordPress、Cloudflare Workers、Next.js、Rails 等多種平臺的自動化配置與快速開始指南。