技術洞察 7.2+實務分析 7.2。把機器學習可解釋性架構與交通事故傷害嚴重度研究整合成可操作案例。
理解黑箱症候群、全域/局部可解釋性、逐一移除敏感度分析、局部可解釋模型無關解釋(Local Interpretable Model-Agnostic Explanations, LIME)、Shapley 加法解釋(Shapley Additive Explanations, SHAP),以及變數重要性的管理用途。
對安全氣囊啟動、貸款處理、交通安全等高責任場景,只有預測不足;需要解釋哪些輸入對輸出有影響。
| 原書項目 | 內容/數值 |
|---|---|
| 美國國家公路交通安全管理局(National Highway Traffic Safety Administration, NHTSA)年事故量(案例引用) | 超過 600 萬件 |
| NHTSA 年死亡人數(案例引用) | 超過 40,000 人 |
| 研究資料 | 30,358 筆警方通報事故紀錄 |
| 目標結構 | 5 個傷害嚴重度類別 |
| ANN 配置 | 8 個二元模型 |
| 全域方法 | 決策樹檢視、隨機森林切分、數值擾動、逐一移除 |
| 局部方法 | LIME、SHAP 替代模型方法 |
研究先為不同傷害嚴重度建立預測模型,再對已訓練 ANN 做敏感度分析。逐一移除的一般方法是先建立包含所有變數的基準,再一次移除一個輸入、重訓/重測,觀察預測表現下降程度。
原書此案例未提供各二元 ANN 的準確率表,因此不自行生成模型分數。研究報告的 質化發現包括:安全帶使用對高嚴重度最重要、對低嚴重度較不重要;性別對低嚴重度有顯著性但對高嚴重度不顯著;年齡隨嚴重度增加而更重要。
變數重要性依目標嚴重度而改變,說明「最重要變數」不是脫離情境的固定答案。可解釋性應與預測任務、錯誤成本與利害關係人權益一起設計。
只根據 30,358 筆紀錄、5 個類別、8 個二元 ANN 與原書敏感度發現,說明全域/局部可解釋性;沒有準確率表時不得生成準確率。
問題: 為何一個在低傷害等級重要的變數,不一定在 死亡模型 也重要?
參考解答: 原書案例顯示不同 severity targets 的 predictors 重要性會改變,因此應分目標評估,而不能把單一整體排名套用到所有結果。