實務分析 3.1 以大學新生流失預測完整呈現資料前處理、類別不平衡、分類與敏感度分析。
理解原始資料整併、衍生變數、資料平衡、交叉驗證與模型評估為何會共同影響預測品質。
研究使用美國中西部一所綜合型公立大學資料,目標不只理解學生流失原因,也希望辨識可能在二年級前離校的學生。
| 原書資料 | 數值/內容 |
|---|---|
| 平均在校人數 | 23,000 名學生 |
| 州內學生 | 約 80% |
| 非白人學生比例 | 約 19% |
| 校務資料期間 | 5 年 |
| 一年級學生 | 16,000 人以上 |
| 原始類別比例示意 | 80% 未流失/20% 流失 |
| 驗證方式 | 10 折交叉驗證 |
資料蒐集/合併/清理/平衡/轉換 → 建立人工神經網路(Artificial Neural Network, ANN)、決策樹、支援向量機(Support Vector Machine, SVM)、羅吉斯迴歸 → 整合式模型 → 10 折交叉驗證 → 敏感度分析。原書另建立 Earned/Registered 與 YearsAfterHighSchool 等衍生變數。
原始不平衡資料中,SVM 整體預測率為 87.23%,決策樹為 87.16%。在平衡資料與整合式模型實驗後,資訊融合整合式模型的整體預測率為 82.10%;原書總結指出,在適當資料與變數下,可約以 80% 準確率預測大一學生流失。
只看整體準確率可能掩蓋少數類別預測不佳。原書指出,平衡資料對辨識可能流失的學生更有幫助,因此資料準備與類別代表性本身就是模型治理的一部分。
根據案例比較原始不平衡資料與平衡資料。說明為何整體準確率較高不必然代表流失辨識較好,並區分原書結果與你的解釋。
問題:若管理者只選擇整體準確率最高的模型,可能忽略什麼?
參考解答:可能忽略少數類別/流失類別的辨識能力;本案例正顯示類別不平衡會使整體準確率看似良好,但關鍵類別預測較弱。