ai.doge.tg 繁體 AI 情報 最新 專案 搜尋 Telegram ↗

Claude-thermos:防止 Claude Code prompt cache 過期的本地工具

工具 1 個來源 · 13 天前
為何重要

這對重度使用 Claude 模型進行複雜任務的開發者至關重要,特別是依賴 subagent 機制的場景。它揭示了即使是主流模型,細微的 cache 限制也會導致顯著的隱形成本,凸顯了外部工具在完善大廠產品體驗中的重要角色,也印證了 token 最佳化在高頻率、長時間執行場景下的商業價值。

Claude Code 的 prompt cache 預設 TTL 為 5 分鐘,當主代理等待子代理時會導致 cache 過期,產生昂貴的重新編碼成本。claude-thermos 透過本地反向 proxy 攔截流量,自動傳送暖化請求來重新整理主代理的 cache prefix,避免代價高昂的重寫。

  • 當 subagent 執行超過 5 分鐘時,main agent 的 cache prefix 會過期,這大約佔 22% 的總帳單金額(基於約 185 個本地會話的測量)。
  • 重新編碼一次過期的 collapse 會使使用者支付 1.25x 的寫入費用(重寫約 200K 到 500K 個 tokens),而非正常的 0.1x 讀取代價。
  • 該工具直接呼叫 API 傳送暖化請求(max_tokens: 1),並追蹤 net_savings 指標,使用者可依輸入單價換算為實際節省金額。
ClaudeClaude CodePrompt CacheOpen SourceProxyCost Optimization

來源 · 1 篇報導

首發 Hacker News Front Page github.com 01:06