1. 案例定位

實務分析 3.1 以大學新生流失預測完整呈現資料前處理、類別不平衡、分類與敏感度分析。

2. 學習目標

理解原始資料整併、衍生變數、資料平衡、交叉驗證與模型評估為何會共同影響預測品質。

3. 案例情境

研究使用美國中西部一所綜合型公立大學資料,目標不只理解學生流失原因,也希望辨識可能在二年級前離校的學生。

4. 開始資料

原書資料 數值/內容
平均在校人數 23,000 名學生
州內學生 約 80%
非白人學生比例 約 19%
校務資料期間 5 年
一年級學生 16,000 人以上
原始類別比例示意 80% 未流失/20% 流失
驗證方式 10 折交叉驗證

5. 分析方法

資料蒐集/合併/清理/平衡/轉換 → 建立人工神經網路(Artificial Neural Network, ANN)、決策樹、支援向量機(Support Vector Machine, SVM)、羅吉斯迴歸 → 整合式模型 → 10 折交叉驗證 → 敏感度分析。原書另建立 Earned/Registered 與 YearsAfterHighSchool 等衍生變數。

6. 計算結果

原始不平衡資料中,SVM 整體預測率為 87.23%,決策樹為 87.16%。在平衡資料與整合式模型實驗後,資訊融合整合式模型的整體預測率為 82.10%;原書總結指出,在適當資料與變數下,可約以 80% 準確率預測大一學生流失。

7. 結果分析與管理解讀

只看整體準確率可能掩蓋少數類別預測不佳。原書指出,平衡資料對辨識可能流失的學生更有幫助,因此資料準備與類別代表性本身就是模型治理的一部分。

8. 人工智慧提問詞

根據案例比較原始不平衡資料與平衡資料。說明為何整體準確率較高不必然代表流失辨識較好,並區分原書結果與你的解釋。

9. 思考/假設情境

問題:若管理者只選擇整體準確率最高的模型,可能忽略什麼?

參考解答:可能忽略少數類別/流失類別的辨識能力;本案例正顯示類別不平衡會使整體準確率看似良好,但關鍵類別預測較弱。

10. 資料說明