AI 程式設計的真誠評估：從 Claude 到 hallucinations 的親身體驗
為何重要
這篇文章切中要害地反映了一個關鍵產業趨勢：對於開發者與企業而言，LLM 的實際商業價值正逐漸從單純的程式碼生成轉向「資訊檢索與整合」，特別是利用現有資料庫來解決企業內部的「最後一公里」知識搜尋痛點。這意味著 AI 創業公司的破局點可能不再僅僅是更好的模型，而是基於該模型的高品質搜尋中介層或 RAG 架構。投資人應關注那些能利用 LLM 為特定垂直領域（如內部文件、技術論壇）提供精準檢索服務的團隊。
作者在使用 Claude 和友商 LLM 三個月後指出，這些工具本質上仍是處理自然語言的大型神經網路，而非真正意義上的應用程式設計靈丹妙藥，其「代理工作流程」僅是不斷增加間接層的搜尋與執行機制。文章特別強調 LLM 在自然語言搜尋與企業內部知識庫檢索上的實用性，能夠自動將問題轉換為多組同義詞查詢並摘要結果，解決傳統搜尋功能缺乏 synonym metadata 的盲點。同時，作者也警告不可忽視 LLM 難以避免的 statisitical generation（統計生成）特性導致的 hallucinations（幻覺）。
- 作者將 LLM 的應用定性為「aws cause can be solved by adding another layer of indirection」（可透過增加另一層間接方式解決軟體問題），反駁其過度神化的行銷定位。
- 在處理企業內部資訊時，LLM 遠比許多十年前的搜尋技術優異，能夠有效挖掘 Slack 歷史紀錄或 Wiki 中的長尾知識。
- 作者確認 hallucinations 是 LLM token 生成基於統計而非邏輯的固有缺陷，除非生動步提及反向驗證原始資料來源。