案例10｜評估程式範例：從貓坐墊句到道歉信錯誤評分

一、案例定位

本案例涉及人工智慧（Artificial Intelligence, AI）與生成式人工智慧（Generative Artificial Intelligence, GenAI）。閱讀原書提供的 Python 指標實作及輸出限制。

本案例依原書第 6 章的框架、範例或情境重組，並非原書正式案例研究。

二、學習目標

辨識七組範例涵蓋的模態。
理解範例輸入、參考與分數。
找出原書範例內部文字差異。

三、案例情境

原書提供雙語評估替代指標（Bilingual Evaluation Understudy, BLEU）、摘要評估召回導向指標（Recall-Oriented Understudy for Gisting Evaluation, ROUGE）、明確語序翻譯評估指標（Metric for Evaluation of Translation with Explicit Ordering, METEOR）、DiscoScore、TIGERScore、Fréchet Inception 距離（Fréchet Inception Distance, FID）與 CodeBLEU 的 Python 範例。BLEU、ROUGE、METEOR 以「貓在墊子上」和「貓坐在墊子上」作候選與參考；CodeBLEU 範例輸出總分 0.5537、n 元語法 0.1041、加權 n 元語法 0.1109、語法 1.0、資料流 1.0。TIGERScore 道歉信範例輸出 3 個重大錯誤，各扣 4 分，總分 -12。

四、開始資料

範例	原書可見結果／用途
BLEU／ROUGE／METEOR	同一組候選與參考句；未顯示實際分數
DiscoScore	以新聞段落測篇章關係；未顯示實際分數
TIGERScore	3 個重大錯誤；每項 -4；總分 -12
FID	批次大小 64；未顯示實際分數
CodeBLEU	總分 0.5537；語法與資料流各 1.0

五、Excel／AI 分析方法

在 Excel 保存程式版本、套件、輸入、參考、參數、輸出與執行錯誤；AI 可核對文字敘述與程式輸出是否一致。

六、計算結果

原書沒有提供可直接計算的數據，因此不補造結果。

七、結果分析與管理解讀

這些片段是示範，原書未附可執行環境與版本。TIGERScore 的輸入寫「很抱歉放棄計畫」，錯誤位置卻寫「很高興放棄計畫」，兩者不一致。

八、AI 提問詞

請比對評估範例的輸入、參考、程式與輸出，列出所有不一致；不要自行更正套件或函數。