一、案例定位

原書指出 text LLM 有 BLEU、ROUGE、METEOR 等技術指標，但企業更難處理的是 false、fake、misleading、biased content。

二、學習目標

• 區分 technical metric 與 business／safety quality。
• 建立 human fact-checking 與 guardrail 指標。

三、案例情境

一個模型的 conventional text metrics 表現不錯，但仍可能生成不存在的事實或具偏誤內容。原書認為 fact-checkers——包含 image、audio、video——很可能仍然需要。

四、開始資料

五、Excel／AI 分析方法

建立 sampled-output review sheet：verified correct、hallucinated、misleading、biased、needs review。計算 error rate 與 severity-weighted incidents。

六、計算結果

若教材抽查 500 個 outputs，其中 20 個 factual errors，raw factual-error rate=20÷500=4%。

七、結果分析與管理解讀

即使 96% 沒被判定為 factual error，剩餘 4% 若發生在法律、金融、醫療等高風險情境，仍可能不可接受。

八、AI 提問詞

依人工已驗證標籤計算 factual-error rate 與各 severity 層級；不要自行判定未驗證 output 為正確。

九、思考／情境變動

**題目：**若 20 個錯誤中 5 個為 high severity，高嚴重度錯誤占全部 outputs 多少？

參考解答：5÷500=1%。