1. 案例定位

方法/圖表案例,整合圖 5.8–5.11 與表 5.1。

2. 學習目標

理解分類模型的訓練、測試與效能評估。

3. 案例情境

建立分類模型後,若只看訓練資料表現,可能高估模型對新資料的泛化能力。

4. 開始資料

方法 用途
混淆矩陣 整理二元分類結果
隨機資料切分 分離訓練資料與測試資料
k 折交叉驗證 反覆切分資料以評估泛化能力
接收者操作特徵曲線(Receiver Operating Characteristic, ROC) 比較分類效能

5. 分析方法

使用混淆矩陣、準確率相關指標、隨機資料切分、k 折交叉驗證與接收者操作特徵曲線評估模型。

6. 計算結果

本案例沒有指定一組完整觀察筆數,因此不自行生成混淆矩陣數值。

7. 結果分析與管理解讀

評估設計是建模的一部分;測試資料必須與訓練過程適當分離,才能較合理評估泛化能力。

8. 人工智慧提問詞

解釋混淆矩陣、保留測試、k 折交叉驗證與接收者操作特徵曲線各回答什麼問題;沒有數值時不得自行算準確率。

9. 思考/假設情境

問題: 為何不能只用訓練資料準確率選模型?

參考解答: 因為 訓練資料表現不能充分代表未見資料的表現,需用測試/交叉驗證評估。

10. 資料說明