用 Customer Churn 說明 Prediction 與 Causal Intervention 的差異。
設計 Randomized Controlled Trial(RCT)形式 A/B Test。
模型找出 High-risk Churn Customers,企業考慮配置 Account Manager;模型準不代表介入有效。
| Group | Treatment | Outcome |
|---|---|---|
| Experimental | Assigned Account Manager | Churn |
| Control | No Intervention | Churn |
Random Assignment 後比較 Churn Rate/Treatment Effect。
原書未提供樣本數或 Churn Rate,不能計算 Uplift。
High Predictive Ability 不保證 Intervention 有效,甚至可能反效果。
「根據已計算 Churn Rate 與檢定結果解釋 Intervention,不因模型 Accuracy 高就推論因果。」
題目: Treatment Churn 較高是否否定 Prediction Model?
參考解答: 不一定;Prediction 與 Treatment Effect 要分開評估。