1. 案例定位

實務分析 6.2。以軍事基地犯罪相關陳述比較自動化欺瞞偵測與人類判斷。

2. 學習目標

理解訊息特徵探勘、特徵擷取、10 折交叉驗證與分類準確率比較。

3. 案例情境

研究團隊使用經執法人員確認真偽並移除識別資訊的關係人陳述,建立文字欺瞞偵測模型。

4. 開始資料

指標 原書數值
人類真偽判斷平均準確率 54%
可用陳述 371
語言特徵 31
驗證方式 10 折交叉驗證
神經網路測試準確率 73.46%
決策樹測試準確率 71.60%
羅吉斯迴歸測試準確率 65.28%

5. 分析方法

先轉錄陳述,再抽取與內容相對獨立的語言特徵,經特徵選擇後以三種分類方法比較,並使用 10 折交叉驗證。

6. 計算結果

比較 差距
神經網路 − 人類基準 73.46% − 54% = 19.46 個百分點
決策樹 − 人類基準 71.60% − 54% = 17.60 個百分點
羅吉斯迴歸 − 人類基準 65.28% − 54% = 11.28 個百分點
神經網路 − 羅吉斯迴歸 73.46% − 65.28% = 8.18 個百分點

7. 結果分析與管理解讀

案例顯示自動化文字線索可在這個資料集上超過所引用的人類平均基準,但 73.46% 仍不是完美判斷;對執法、人力資源、詐欺篩檢等高風險用途,應視為決策支援,而非把模型輸出當成事實。

8. 人工智慧提問詞

比較三個模型與 54% 人類基準,只使用表中數字;明確以百分點表示差距,並說明不能把預測當成真偽定論。

9. 思考/假設情境

問題: 若只看最高準確率,神經網路相對決策樹高多少?

參考解答: 73.46% − 71.60% = 1.86 個百分點。是否值得增加模型複雜度,仍需結合 導入成本、可解釋性與錯誤後果。

10. 資料說明