第 9.4 節 Weka 範例,以 Iris 資料建立 J48 決策樹並進行分層交叉驗證。
讀懂混淆矩陣、準確率、Kappa 與模型建置時間。
Weka Explorer 提供前處理、分類、分群、關聯、屬性選擇與視覺化。原書圖 9.40 示範 Iris 三類分類的決策樹。
| 原書資訊 | 數值 |
|---|---|
| 總樣本 | 150 |
| 交叉驗證 | 10 折分層 |
| 正確分類 | 144 |
| 錯誤分類 | 6 |
| Kappa | 0.94 |
| 平均絕對誤差 | 0.035 |
| 均方根誤差 | 0.1586 |
| 建模時間 | 0.01 秒 |
以 J48 決策樹做三類分類,使用 10 折交叉驗證;再讀取類別別的真正率、假正率、精確率、召回率與混淆矩陣。
| 實際類別 | 預測 setosa | 預測 versicolor | 預測 virginica |
|---|---|---|---|
| Iris-setosa | 49 | 1 | 0 |
| Iris-versicolor | 0 | 47 | 3 |
| Iris-virginica | 0 | 2 | 48 |
144÷150=96% 準確率,與原書輸出一致。
整體準確率很高,但錯誤主要發生在 versicolor 與 virginica 之間;混淆矩陣比單一準確率更能指出模型在哪些類別容易混淆。
根據混淆矩陣指出錯誤集中在哪兩類,並計算整體準確率;不得改寫原書 150、144、6 等數值。
問題: 若只看 96% 準確率,會漏掉什麼?
參考解答: 會漏掉 6 筆錯誤的類別分布;其中主要是 versicolor 與 virginica 的互相誤判。