把 Outlier 當成需要診斷的觀察值,而不是預設應刪除的資料。
能區分 Data Error 與 Legitimate Extreme Observation 的管理意義。
Dataset 中出現遠離大部分觀察值的紀錄。它可能是輸入錯誤,也可能代表真正重要的極端事件。
原書 Chapter 3 將 Outliers 列為需要理解的 Dataset Attributes;未提供「超過某門檻必刪」的通用規則。
Excel 用描述統計、排序與圖表定位異常值;AI 協助提出查核問題,例如來源、單位、時間、Business Plausibility。
本章未提供通用 Outlier Cut-off 的單一數值結果。
刪除真正的極端事件可能抹掉最重要的 Business Signal;保留錯誤資料則可能扭曲模型,因此需要查核。
「根據以下異常值清單,產生資料查核問題;不要自行判定異常值一定錯誤,也不要自行刪除。」
題目: 一筆交易金額是平均值的 20 倍,應直接刪除嗎?
參考解答: 不應。先查明是否為合法大額交易、單位錯誤、重複紀錄或輸入問題,再決定處理方式。