案例06｜文字參考比對：精確率、召回率與語序各看什麼

一、案例定位

本案例涉及人工智慧（Artificial Intelligence, AI）與生成式人工智慧（Generative Artificial Intelligence, GenAI）。理解三種傳統文字生成評估指標及其限制。

本案例依原書第 6 章的框架、範例或情境重組，並非原書正式案例研究。

二、學習目標

區分精確導向與召回導向。
理解詞幹、同義詞與語序的作用。
辨識開放式任務中的限制。

三、案例情境

雙語評估替代指標（Bilingual Evaluation Understudy, BLEU）比較生成文字與參考文字的 n 元語法重疊，主要偏向精確率；摘要評估召回導向指標（Recall-Oriented Understudy for Gisting Evaluation, ROUGE）包含 ROUGE-N、ROUGE-L 與 ROUGE-S，著重內容涵蓋；明確語序翻譯評估指標（Metric for Evaluation of Translation with Explicit Ordering, METEOR）加入詞幹、同義詞及語序，並提高召回權重。

四、開始資料

指標	主要訊號	原書典型用途／限制
BLEU	n 元語法重疊，偏精確率	機器翻譯；表面文字相似
ROUGE	重疊、最長共同子序列、跳躍雙詞	摘要；著重涵蓋
METEOR	詞幹、同義詞、語序及精確率／召回率調和	改善 BLEU 部分限制
共同限制	依賴參考文字	可能懲罰正確但措辭不同的回答

五、Excel／AI 分析方法

在 Excel 記錄生成文字、參考文字、各指標、任務類型與人工判斷；AI 可找出高重疊但語意錯誤或低重疊但仍正確的樣本。

六、計算結果

原書沒有提供可直接計算的數據，因此不補造結果。

七、結果分析與管理解讀

參考比對適合有明確標準答案的任務，但對對話、故事與其他多答案任務可能低估品質。建立每個情境的高品質參考文字也很耗資源。

八、AI 提問詞

請依任務與參考文字比較 BLEU、ROUGE、METEOR 的適用性，並標示不能由文字重疊判定的語意問題。