我把 Jev 變成了一個（很爛）的聊天機器人
為何重要
這是一個實驗性的文字生成工具，展示瞭如何強制 LLM 扮演決策引擎來執行如二分搜尋（Binary Search）等複雜演算法。雖然結果品質被形容為「很爛」且成本高昂，但它深入探討了對預測分佈的精細控制方法，對於理解模型在 token-by-token 層級的行為模式與 prompt engineering 具有參考價值。
這個專案 jevchat 透過迭代詢問使用者提供的 API（Jev）預測接下來要出現的符號，來逐步構建文字回應。實作上提供了 choice（全域詢問）與 bisect（二分搜尋）兩種取樣策略。圖形介面支援即時顯示符號生成速率與前幾高分符號分佈，並提供 /alphabet、/temp 等指令。該專案使用 158 個離線測試（含 httpx.MockTransport）來驗證生成邏輯。