案例06｜Table 6.1：SentimentR、Azure、VADER NLTK 的 Gender-neutrality 測試

一、案例定位

本案例依原書 Table 6.1 與 6.4 整理。

比較 SentimentR、Microsoft Azure Language Sentiment、VADER NLTK 對 Earthquake Test Sentence 的輸出。

二、學習目標

理解三種工具的不同方法基礎。
掌握原書對 Gender Neutrality／Classification Error 的主要發現。
不因表格文字抽取不完整而重建不存在的 Cell Value。

三、案例情境

Table 6.1 比較 SentimentR、Azure、VADER NLTK。原書指出，應為 Negative 的測試位置在所有 Library 中都曾得到 Non-negative Class；只有 VADER NLTK 在「不同 Person Term 結果一致」這個狹義 Gender-neutrality 判準上保持一致，因為它把全部 Sentiment 都判為 Neutral。但作者同時指出這反映很低的 Neutral Precision，以及對 Positive／Negative 的很低 Recall／高 False Negative。

四、開始資料

工具	原書方法／版本	Table 6.1 可確認發現
SentimentR	R Package；Dictionary Lookup＋Valence Shifter	Score-based Class；需 Threshold；未保持完整預期分類
Azure Language	Machine Learning Sentiment；API version 2023-10-15	Probability／Class Output；測試中出現 Non-negative Error
VADER NLTK	Sentiment Lexicon；Compound＋Category Scores	所有測試判 Neutral；Person Term 間一致，但 Detection Precision／Recall 很差
Expected Negative Positions	原書指出 columns 2、4、6	所有 Library 均曾估成 Non-negative
Exact Cell Values	來源文字抽取無法可靠保留完整 Table Layout	不自行重建／猜測個別格值

五、Excel／AI 分析方法

Excel 可依 Tool × Sentence × Replacement Term 建 Matrix，計算 Consistency／Expected-class Error；AI 可協助解讀，但來源 Cell 無法可靠讀取時應標記 Missing／Ambiguous。

六、計算結果

可可靠確認：VADER 在 Replacement Consistency 上最一致，但全部 Neutral 並不代表品質最佳；Expected-negative Test 在各 Library 中都有 Non-negative Prediction。原表個別 Cell Value 不完整重建。

七、結果分析與管理解讀

Fairness 與 Accuracy 必須同時看。模型若「每個人都判一樣」可以在 Neutrality 指標上表現一致，但若全部判錯，就不能稱為高品質 Fair Model。

八、AI 提問詞

請同時評估 Gender Consistency 與 Expected-class Accuracy。若模型對所有 Counterfactual 都輸出同一類，請另檢查是否只是因為大量 False Negative／False Neutral；不要只用 Consistency 宣稱公平。