方法/圖表案例,整合圖 5.8–5.11 與表 5.1。
理解分類模型的訓練、測試與效能評估。
建立分類模型後,若只看訓練資料表現,可能高估模型對新資料的泛化能力。
| 方法 | 用途 |
|---|---|
| 混淆矩陣 | 整理二元分類結果 |
| 隨機資料切分 | 分離訓練資料與測試資料 |
| k 折交叉驗證 | 反覆切分資料以評估泛化能力 |
| 接收者操作特徵曲線(Receiver Operating Characteristic, ROC) | 比較分類效能 |
使用混淆矩陣、準確率相關指標、隨機資料切分、k 折交叉驗證與接收者操作特徵曲線評估模型。
本案例沒有指定一組完整觀察筆數,因此不自行生成混淆矩陣數值。
評估設計是建模的一部分;測試資料必須與訓練過程適當分離,才能較合理評估泛化能力。
解釋混淆矩陣、保留測試、k 折交叉驗證與接收者操作特徵曲線各回答什麼問題;沒有數值時不得自行算準確率。
問題: 為何不能只用訓練資料準確率選模型?
參考解答: 因為 訓練資料表現不能充分代表未見資料的表現,需用測試/交叉驗證評估。