實務分析 3.3 以美國大學體育協會(National Collegiate Athletic Association, NCAA)大學美式足球盃賽說明從資料取得、跨產業資料探勘標準流程(Cross-Industry Standard Process for Data Mining, CRISP-DM)、分類/迴歸到模型比較的完整預測研究。
理解分類與迴歸輸出的差異、分層 k 折交叉驗證的用途,以及模型結果不能任意外推的限制。
研究者使用大學美式足球盃賽歷史資料,嘗試預測勝/負與分差,並比較多種預測技術。
| 原書資料 | 內容 |
|---|---|
| 歷史期間 | 8 個賽季 |
| 盃賽場次 | 244 |
| 方法論 | CRISP-DM,6 步驟流程 |
| 分類輸出 | 勝負(WinLoss) |
| 迴歸輸出 | 分差(ScoreDiff) |
| 模型評估 | 分層 10 折交叉驗證 |
| 比較技術 | 人工神經網路、決策樹、支援向量機 |
資料取得/前處理 → CRISP-DM → 建立分類與迴歸模型 → 分層 10 折交叉驗證 → 比較預測準確率。
原書研究結果指出,分類型模型對比賽結果的預測優於以迴歸結果轉成分類的模型;原書同時明確提醒,此結果只適用於該應用領域與使用的資料,不應超出研究範圍一般化。
同一個商業問題可以被定義成不同輸出:直接預測勝/負,或先預測分差再轉成分類。問題如何定義會影響模型與評估方式。
比較直接預測勝負與先預測分差再判定勝負的分析流程,說明兩者輸出、評估與管理解讀差異;保留原書對結果一般化的限制。
問題:為什麼不能因本研究分類模型表現較好,就宣稱所有運動預測都應使用分類方法?
參考解答:原書明確指出結果與特定應用領域、資料與研究設計相關,不應超出其範圍一般化。