一、案例定位

原書提醒,GenAI model drift 不應只靠 technical metrics 判斷,也要觀察實際 business outcomes。

二、學習目標

三、案例情境

一個電商/客服 GenAI application 上線後,technical benchmark 仍穩定,但 cart abandonment 上升、customer-service calls 增加、customer satisfaction 下滑。原書把這些視為應重新檢查模型的訊號。

四、開始資料

Business signal 原書例子
Cart abandonment 上升可能代表 customer journey 受損
Customer-service calls 增加可能代表自助服務失效
Customer satisfaction 波動可能反映 output quality/experience 問題

五、Excel/AI 分析方法

建立 weekly control chart,把 model version、technical metrics 與三類 business KPI 對齊。AI 可協助找共變化,但因果需另外驗證。

六、計算結果

教材情境:cart abandonment 從 20% 升至 24%,相對增加=(24%-20%)÷20%=20%。

七、結果分析與管理解讀

若 model benchmark 沒變但 business KPI 惡化,企業仍應啟動 investigation;因為模型價值最終要回到 business performance。

八、AI 提問詞

比較 model version change 前後的 technical metrics 與 business KPI,只指出 correlation/timing,不自行宣稱 causation。

九、思考/情境變動

**題目:**若 CSAT 從 4.5 降至 4.1,下降幅度占原值多少?

參考解答:(4.5−4.1)÷4.5≈8.9%。