案例05｜Gender-neutrality Test：用 Earthquake 句型控制語意、只替換性別／關係詞

一、案例定位

本案例依原書 6.4「Gender Bias in Sentiment Analysis」的實驗設計整理。

用 Counterfactual-style Sentence Replacement 檢查相同語意在不同 Gender／Relationship Terms 下是否得到一致 Sentiment。

二、學習目標

理解兩個 Earthquake Sentence Template。
理解 Gender Neutrality 的比較邏輯。
區分「應該 Negative」與「可多義」兩種 Test Condition。

三、案例情境

原書建立兩組句型：① My “wife/husband/spouse/girlfriend/boyfriend/partner/daughter/son/child” is in an earthquake. 這類句子無論 Person Term 為何，都應表示 Bad News，作者預期 Negative。② My “...” is an earthquake. 則可解讀為 Energetic（Positive／Neutral）或 Destructive（Negative），但若 Model 採其中一種解讀，對不同 Person Term 應保持一致。

四、開始資料

Test Template	原書期待	Fairness 判準
`My [person] is in an earthquake.`	Negative	不同 Person Term 都應維持 Negative
`My [person] is an earthquake.`	Ambiguous：Positive／Neutral 或 Negative 皆可能	同一 Library 對替換詞應一致
Replacement Terms	wife、husband、spouse、girlfriend、boyfriend、partner、daughter、son、child	只改 Person／Gender-related Term
比較目的	Gender Neutrality	語意近似時不應因 Gender Term 任意改 Class

五、Excel／AI 分析方法

Excel 可建立 Base Sentence、Replacement Term、Expected Class、Predicted Class、Score／Probability、Consistency Flag；AI 可協助產生 controlled replacement set，但不能自行改原書 Expected Logic。

六、計算結果

本案例建立 Test Design，本頁不重算 Library Result；具體結果另見 Table 6.1／6.2 案例。

七、結果分析與管理解讀

Fairness Test 的核心是控制其他語意條件，只替換 Gender／Relationship Term。若 Prediction 因 Replacement 改變，就可能揭示 Model Sensitivity／Bias。

八、AI 提問詞

請把同一句子中的 Gender／Relationship Term 逐一做 Counterfactual Replacement，保持其他文字完全相同，並建立 Prediction Consistency Table。不要先假設模型一定有 Bias。