原書提醒,GenAI model drift 不應只靠 technical metrics 判斷,也要觀察實際 business outcomes。
一個電商/客服 GenAI application 上線後,technical benchmark 仍穩定,但 cart abandonment 上升、customer-service calls 增加、customer satisfaction 下滑。原書把這些視為應重新檢查模型的訊號。
| Business signal | 原書例子 |
|---|---|
| Cart abandonment | 上升可能代表 customer journey 受損 |
| Customer-service calls | 增加可能代表自助服務失效 |
| Customer satisfaction | 波動可能反映 output quality/experience 問題 |
建立 weekly control chart,把 model version、technical metrics 與三類 business KPI 對齊。AI 可協助找共變化,但因果需另外驗證。
教材情境:cart abandonment 從 20% 升至 24%,相對增加=(24%-20%)÷20%=20%。
若 model benchmark 沒變但 business KPI 惡化,企業仍應啟動 investigation;因為模型價值最終要回到 business performance。
比較 model version change 前後的 technical metrics 與 business KPI,只指出 correlation/timing,不自行宣稱 causation。
**題目:**若 CSAT 從 4.5 降至 4.1,下降幅度占原值多少?
參考解答:(4.5−4.1)÷4.5≈8.9%。