以 Figures 8.11–8.15、Table 8.5 比較 Growth Strategies,並比較 Decision Tree 與 Logistic Regression。
能解讀 Growth Parameters 對 Tree Performance 的影響,並理解 Model Comparison 應以多項 Metrics 與 Unseen Data 為依據。
Basic Strategy 為每次最多 2 Branches、最多 6 Levels;Advanced Strategy 為每次最多 4 Branches、最多 6 Levels;Custom 可手動調整 Growth Parameters。
| 比較項目 | Decision Tree | Logistic Regression |
|---|---|---|
| Accuracy | 80.63% | 78.87% |
| F1 | 74.08% | 71.53% |
| Advanced Strategy | 較少 False Negatives,但 False Positives 較差 | — |
比較 Misclassification、Lift、KS Statistic 等 Outputs;再檢視是否因 Growth Settings 或 Interaction Terms 改變結果,最後以 Unseen Test Data 檢驗 Overfitting。
原書指出 Decision Tree 在 Accuracy 與 F1 略高;Figure 8.15 的整體 Model Comparison 顯示兩模型 Performance 非常相近,Decision Tree 在 Misclassification、Lift、KS 稍好。
原書並未因此宣告 Decision Tree 為絕對較佳模型;作者強調兩者很難取捨,最終測試是它們在 Unseen Data 上的表現。
根據 Accuracy、F1、Misclassification、Lift、KS 與 Unseen Test Performance,建立 Decision Tree 與 Logistic Regression 的比較說明;不得只依單一 Metric 宣告最佳模型。
為什麼 Training Data 上稍高的 Accuracy 不能直接決定採用哪個模型?
參考解答: 因可能存在 Overfitting;原書要求以 Unseen Data Performance 作最終檢驗。