案例14｜Hallucination＋RAG：加入 Enterprise Data 仍不能完全消除錯誤

一、案例定位

理解原書對 hallucination mitigation 的實際邊界。

二、學習目標

區分降低 hallucination 與完全消除 hallucination。
理解 RAG 對 source traceability 的價值。

三、案例情境

原書以錯誤產品價格、insurance policy／warranty information 為例，指出企業應把 relevant enterprise data 整合進 LLM context；RAG 特別有助於讓使用者追溯 source，但 fine-tuning、prompt engineering、contextual data 都無法完全消除 hallucinations。

四、開始資料

控制	原書作用／限制
Enterprise Context	提供較適當的 business data
RAG	提高 source visibility／traceability
Fine-tuning	改善 domain fit，但不能完全消除 hallucination
Prompt Engineering	改善 task framing，但不能完全消除 hallucination
Post-processing／Validation	企業仍需額外控制

五、Excel／AI 分析方法

建立 answer audit log：Question、Answer、Source Found?、Verified?、Error Type、Severity、Action。

六、計算結果

教材情境若 500 個回答中 15 個被確認有 factual error，observed error rate=3%。

七、結果分析與管理解讀

即使 source traceability 很好，也不等於答案自動正確；source retrieval 與 answer synthesis 都需要驗證。

八、AI 提問詞

只根據 audit log 計算 error rate，並區分 No Source、Wrong Retrieval、Unsupported Generation；不得把有 citation 自動標成 Correct。

九、思考／情境變動

**題目：**若改善後只有 5 個 factual errors，observed rate？

**參考解答：**1%。