案例12｜Table 11.3：RAG 導入前後六項 Operational KPI

一、案例定位

本案例依原書 Table 11.3 完整整理。

比較 XYZ Pharma RAG-based Chatbot 導入前後六項 KPI。

二、學習目標

保留 Before／After／Improvement／Observation 原值。
理解 Improvement 為相對變動而非一律 Percentage Point。
區分速度、Accuracy、Error／Incident、Satisfaction、Automation。

三、案例情境

原書使用 Internal Performance Logs 與 User Feedback，觀察三個月，對比 RAG Chatbot 導入前後表現。

四、開始資料

Metric	Before	After	原書 Improvement	Observation
Average customer query resolution time	8.5 min	1.8 min	78.8%	Regulatory／logistics DB 即時 retrieval 支援快速回答
Order processing accuracy	91.2%	98.4%	7.9%	Automated verification 減少 manual entry error
Inventory discrepancy rate	0.42‰	0.05‰	88%	ERP integration 改善 near-real-time stock visibility
Cold-chain compliance incidents per 1,000 orders	5.1	1.3	74.5%	IoT-linked monitoring＋AI alerts 改善 temperature control
Average patient/customer satisfaction (survey score/5)	3.8	4.6	21%	更快且可靠的回答改善 service experience
Manual intervention in query handling	63% of total queries	12%	81%	Chatbot autonomous handling 增加

五、Excel／AI 分析方法

對 Reduction Metric 可用 (Before−After)/Before；對 Increase Metric 可用 (After−Before)/Before。Order Accuracy 另可同時顯示 +7.2 percentage points（91.2%→98.4%）與原書 7.9% relative improvement，不可混淆。

六、計算結果

依原書：78.8%、7.9%、88%、74.5%、21%、81%。其中 Order Processing Accuracy 的絕對增加為 7.2 percentage points，這是由原始數值直接推得的教學補充。

七、結果分析與管理解讀

最大 Relative Reduction 出現在 Inventory Discrepancy（88%）與 Manual Intervention（81%）；但各 KPI 的單位與方向不同，不能直接把百分比大小當成商業價值排名。

八、AI 提問詞

請驗算 Table 11.3 六項 before/after relative improvement，並另外顯示 percentage-point change；若與原書 improvement 不一致，必須保留原值並標示差異。