Cactus Hybrid：透過 68k 引數探針層讓 Gemma 4 建立自我評估路由機制
為何重要
這項技術展示了從單純依賴 Token 數量估算分數的傳統方式，轉向利用機制解讀從模型隱藏狀態中提取「自我意識」路徑的可行方案，對正在推動「裝置端 + 雲端聯動」架構的開發者有重要參考價值。它證明瞭在不顯著增加成本與延遲的前提下，透過先進的路由策略（Hybrid Routing）能有效解決 Edge AI 準確率不足的痛點，是最佳化生態系產品可用性與成本效率的一種關鍵實作模式。
Cactus 團隊發布名為 Cactus Hybrid 的工具，透過在 Gemma 4 上增加一個 68k 引數的探針層（LayerNorm、低秩投影、注意力池化），讀取隱藏狀態來預測模型輸出正確性，實現不走全部雲端大模型的低成本混合推理。
- 路由策略：開發者可利用探針的 0~1 分數，在模型確信度高時保留裝置端推理，分數低時轉接至 Gemini 3.1 Flash-Lite；最終僅有 15-35% 的查詢量需轉至雲端，即可在多項基準測試中持平 Gemini 3.1 Flash-Lite 的表現。
- 技術指標：在包含文字、影像與語音的 12 個測試集上，探針的 AUROC 平均達到 0.814，遠優於 Token 混雜度（Entropy）的 0.549；即便在未接觸過音訊資料的情況下，單一探針在音訊基準上的分數仍達 0.79-0.88。
- 開源生態：發布 MIT 授權的程式碼，支援 Transformers、MLX、Llama.cpp 等框架，並提供 llama.cpp 的原始碼補丁系列；計畫支援 Ollama、vLLM 與 SGLang。