第 13 章 law of parsimony 案例:模型整體看起來不差,但其中一個 predictor 不顯著,因此應刪除弱變數後重跑模型。
原書提供一個 n=20 的 regression output,predictors 包含 hours 與 prep exams。需要判斷模型是否 statistically viable,以及是否應精簡變數。
| 項目 | 原書來源值 |
|---|---|
| Sample size | 20 |
| Adjusted R² | 0.703 |
| Overall Significance F | < 0.05 |
| Hours p-value | < 0.05 |
| Prep exams p-value | > 0.05 |
先確認模型整體 F-test 顯著,再逐一檢查 predictor p-values。依原書流程,若要清理模型,應一次刪除一個弱 x,再重新跑 regression,而不是一次刪掉多個變數。
| 判斷項目 | 結論 |
|---|---|
| Adjusted R² | 0.703,原書稱為 strong |
| Overall model | Significance F<0.05,整體顯著 |
| Hours | 顯著,保留 |
| Prep exams | 不顯著,建議移除 |
| 下一步 | 刪除 Prep Exams 後重跑模型 |
這個案例顯示 adjusted R² 與 overall F-test 只能說明整體模型具有解釋力,不能保證每一個 predictor 都有獨立貢獻。Prep Exams 的 p-value>0.05,因此依原書的 parsimony 原則應移除後重新估計,讓模型更精簡、較容易解讀與收集資料。
請根據 n=20、Adjusted R²=0.703、Significance F<0.05、Hours p<0.05、Prep Exams p>0.05,判斷哪些變數應保留,並說明為什麼不能因為 adjusted R² 看起來不錯就保留所有 predictors。
**問題:**如果 Prep Exams 雖 p>0.05,但有很強的理論必要性,是否一定要刪除?