1. 案例定位

第 11.6 節負責任人工智慧案例。以 Amazon 曾嘗試建立履歷篩選工具卻因對女性求職者產生歧視而取消,說明歷史資料偏差如何進入模型。

2. 學習目標

理解訓練資料代表性、代理變數、偏見測試與上線前倫理治理的重要性。

3. 案例情境

原書引用 Reuters 2018 年報導:Amazon 開發人工智慧履歷篩選與候選人排序工具,但內部人員發現它對女性申請人不利,最後取消此工具。

4. 開始資料

原書項目 內容
案例來源年份 2018 年 Reuters 報導
模型任務 篩選履歷並找出較佳候選人
訓練資料問題 歷史送件者多為男性
原書描述的偏差 模型學會降低含有「women’s」字樣之履歷評價
結果 Amazon 取消該工具

5. 分析方法

從「歷史資料代表性 → 模型學習 → 群體結果檢查 → 倫理/公平性評估 → 是否部署」分析自動化招募流程。

6. 計算結果

原書沒有提供訓練履歷數、男女比例、歧視幅度、假陽性/假陰性或專案成本,因此不自行補值。

7. 結果分析與管理解讀

若歷史組織資料本身反映既有不平等,模型可能把歷史模式當成應被延續的規則。技術上能預測歷史結果,不等於倫理上適合用於未來決策。

8. 人工智慧提問詞

根據原書案例,說明「資料偏差、模型偏差、公平性檢查、部署決策」之間的關係;不得自行推測 Amazon 內部開發成本或受影響求職者人數。

9. 思考/假設情境

問題: 若移除明確性別欄位,是否就能保證模型沒有性別偏差?

參考解答: 不能。其他與性別高度相關的代理變數仍可能承載相同歷史模式,因此需要結果層面的公平性測試。

10. 資料說明