原書 Figures 6.13–6.15,以較大型 Houseprice Dataset 示範 Theory-based 與 Data-based Variable Selection。
理解 Stepwise Thinking、p-value Threshold、Parsimony 與 Overfitting 的 Trade-off。
Houseprice Dataset 有 65 Variables。原書示範在 SAS VA 將 Variable Selection Criterion 設為 p < 0.01。
| 模型設定/結果 | 原書數值 |
|---|---|
| Dataset Variables | 65 |
| Variable Selection | p < 0.01 |
| Selected Predictors | 19(11 continuous、8 categorical) |
| Selected Model R² | 87.54% |
| All-variable Model R² | 89.70% |
Theory-based:依既有研究/理論選 Predictor。Data-based:Forward/Backward Stepwise。原書主張實務上需結合兩者。
以 p < 0.01 選擇後,65 Variables 縮減為 19 Predictors,R² = 87.54%;全部 Variables 模型 R² = 89.70%。
把全部 Variables 丟入模型只多解釋少量 Variation,卻犧牲 Parsimony,並可能提高 Overfitting 風險。Patterns 若沒有合理意義,也可能只是 Dataset Artifacts。
比較 19-Predictor Model(R² 87.54%)與 All-variable Model(R² 89.70%),從 Parsimony、Interpretability、Overfitting 與 Unseen Data 四面向說明管理取捨;不要自行宣告哪個模型在新資料一定更好。
問題: 為什麼原書示範 p < 0.01 而非傳統 p < 0.05?
參考解答: 原書指出大型 Dataset 中許多 Relationships 容易達 Significant,因此採較嚴格門檻以降低納入 Spurious Variables 的風險。