實務分析 6.2。以軍事基地犯罪相關陳述比較自動化欺瞞偵測與人類判斷。
理解訊息特徵探勘、特徵擷取、10 折交叉驗證與分類準確率比較。
研究團隊使用經執法人員確認真偽並移除識別資訊的關係人陳述,建立文字欺瞞偵測模型。
| 指標 | 原書數值 |
|---|---|
| 人類真偽判斷平均準確率 | 54% |
| 可用陳述 | 371 |
| 語言特徵 | 31 |
| 驗證方式 | 10 折交叉驗證 |
| 神經網路測試準確率 | 73.46% |
| 決策樹測試準確率 | 71.60% |
| 羅吉斯迴歸測試準確率 | 65.28% |
先轉錄陳述,再抽取與內容相對獨立的語言特徵,經特徵選擇後以三種分類方法比較,並使用 10 折交叉驗證。
| 比較 | 差距 |
|---|---|
| 神經網路 − 人類基準 | 73.46% − 54% = 19.46 個百分點 |
| 決策樹 − 人類基準 | 71.60% − 54% = 17.60 個百分點 |
| 羅吉斯迴歸 − 人類基準 | 65.28% − 54% = 11.28 個百分點 |
| 神經網路 − 羅吉斯迴歸 | 73.46% − 65.28% = 8.18 個百分點 |
案例顯示自動化文字線索可在這個資料集上超過所引用的人類平均基準,但 73.46% 仍不是完美判斷;對執法、人力資源、詐欺篩檢等高風險用途,應視為決策支援,而非把模型輸出當成事實。
比較三個模型與 54% 人類基準,只使用表中數字;明確以百分點表示差距,並說明不能把預測當成真偽定論。
問題: 若只看最高準確率,神經網路相對決策樹高多少?
參考解答: 73.46% − 71.60% = 1.86 個百分點。是否值得增加模型複雜度,仍需結合 導入成本、可解釋性與錯誤後果。