第 11.6 節負責任人工智慧案例。以 Amazon 曾嘗試建立履歷篩選工具卻因對女性求職者產生歧視而取消,說明歷史資料偏差如何進入模型。
理解訓練資料代表性、代理變數、偏見測試與上線前倫理治理的重要性。
原書引用 Reuters 2018 年報導:Amazon 開發人工智慧履歷篩選與候選人排序工具,但內部人員發現它對女性申請人不利,最後取消此工具。
| 原書項目 | 內容 |
|---|---|
| 案例來源年份 | 2018 年 Reuters 報導 |
| 模型任務 | 篩選履歷並找出較佳候選人 |
| 訓練資料問題 | 歷史送件者多為男性 |
| 原書描述的偏差 | 模型學會降低含有「women’s」字樣之履歷評價 |
| 結果 | Amazon 取消該工具 |
從「歷史資料代表性 → 模型學習 → 群體結果檢查 → 倫理/公平性評估 → 是否部署」分析自動化招募流程。
原書沒有提供訓練履歷數、男女比例、歧視幅度、假陽性/假陰性或專案成本,因此不自行補值。
若歷史組織資料本身反映既有不平等,模型可能把歷史模式當成應被延續的規則。技術上能預測歷史結果,不等於倫理上適合用於未來決策。
根據原書案例,說明「資料偏差、模型偏差、公平性檢查、部署決策」之間的關係;不得自行推測 Amazon 內部開發成本或受影響求職者人數。
問題: 若移除明確性別欄位,是否就能保證模型沒有性別偏差?
參考解答: 不能。其他與性別高度相關的代理變數仍可能承載相同歷史模式,因此需要結果層面的公平性測試。