Claude-thermos:防止 Claude Code prompt cache 過期的本地工具
為何重要
這對重度使用 Claude 模型進行複雜任務的開發者至關重要,特別是依賴 subagent 機制的場景。它揭示了即使是主流模型,細微的 cache 限制也會導致顯著的隱形成本,凸顯了外部工具在完善大廠產品體驗中的重要角色,也印證了 token 最佳化在高頻率、長時間執行場景下的商業價值。
Claude Code 的 prompt cache 預設 TTL 為 5 分鐘,當主代理等待子代理時會導致 cache 過期,產生昂貴的重新編碼成本。claude-thermos 透過本地反向 proxy 攔截流量,自動傳送暖化請求來重新整理主代理的 cache prefix,避免代價高昂的重寫。
- 當 subagent 執行超過 5 分鐘時,main agent 的 cache prefix 會過期,這大約佔 22% 的總帳單金額(基於約 185 個本地會話的測量)。
- 重新編碼一次過期的 collapse 會使使用者支付 1.25x 的寫入費用(重寫約 200K 到 500K 個 tokens),而非正常的 0.1x 讀取代價。
- 該工具直接呼叫 API 傳送暖化請求(
max_tokens: 1),並追蹤net_savings指標,使用者可依輸入單價換算為實際節省金額。