1. 案例定位

DataRobot Model Performance 與 Interpretation Tools。

2. 學習目標

能區分 Lift、ROC/Confusion Matrix、KS/AUC、Feature Impact、Feature Effects 與 Prediction Explanations。

3. 案例情境

原書以 Titanic 模型展示整體 Performance 與個別 Prediction Interpretation。

4. 開始資料

Figures 10.18–10.26。

5. 分析方法

先看整體模型,再看 Feature Level,最後看 Individual Prediction。

6. 計算結果

依 DataRobot Output;不自行補造圖中未完整擷取數值。

7. 結果分析與管理解讀

高 Performance 仍需回答「哪些 Features 重要」以及「為何某一筆資料得到此 Prediction」。

8. AI Prompt

比較 Lift、ROC、Feature Impact 與 Prediction Explanations 各自回答的問題。

9. 思考/What-if

Feature Importance 高是否等於因果效果?

參考解答: 否;它反映模型預測中的重要性,不直接證明因果。

10. 資料說明