整合 Figures 7.11–7.14,從整體 Classification Performance 延伸至 Diagnostics。
理解 Lift、ROC、Residual 與 Influence Plot 各自回答的問題。
Titanic Model 已建立後,不能只看 Fit Summary,還需檢查 Misclassification、Lift、ROC、Residuals 與 Influential Cases。
| 診斷 | 原書重點 |
|---|---|
| Lift | 比較使用模型與不使用模型 |
| ROC | True Positive 與 False Positive Trade-off |
| Residual Guideline | Standardized value >3 或 <−3 值得關注 |
| Titanic Residual | 有值 >4 與 <−4 |
| Influence Plot | Likelihood displacement、CBAR、Deviance change、Pearson change |
以 ROC 觀察分類 Trade-off,以 Residuals 檢查 Pattern/Outliers,以 Influence Plot 檢查移除 Observation 是否會大幅改變 Parameter Estimates。
本案例的數值門檻與觀察來自原書;Figures 的完整曲線座標未以文字提供,因此不自行補值。
原書明確警告:不能因 Outlier 不方便就刪除,否則可能 Overfit 並降低 Unseen Data Performance。
請根據我提供的 ROC、Residual 與 Influence 輸出,指出值得人工檢查的 Observation,但不要自行決定刪除資料。
Residual 超過 ±3 是否應自動刪除?
參考解答: 不應。原書只視為 Cause for Concern,應先判斷是否真正 Outlier 及其影響。