一、案例定位

本案例涉及人工智慧(Artificial Intelligence, AI)與生成式人工智慧(Generative Artificial Intelligence, GenAI)。比較超越表面重疊的文字評估方法。

本案例依原書第 6 章的框架、範例或情境重組,並非原書正式案例研究。

二、學習目標

三、案例情境

BERTScore 使用 Transformer 雙向編碼表示(Bidirectional Encoder Representations from Transformers, BERT)的脈絡嵌入與餘弦相似度計算精確率、召回率及 F1;MoverScore 以詞嵌入與地球移動距離衡量分布轉換成本;BLEURT 由人類評分微調。免參考方法包括可指出錯誤並給懲罰的 TIGERScore、依使用者偏好評估的 PERSE、評估白話摘要簡易度的 Pomme、檢查篇章連貫的 DiscoScore,以及檢查來源事實一致的 CTC-Score。

四、開始資料

方法 原書用途
BERTScore 以脈絡嵌入比較符記語意
MoverScore 以最小分布移動成本比較文件
BLEURT 學習人類評分以近似判斷
TIGERScore 指出錯誤、建議修訂並給予懲罰分數
PERSE 依使用者個人偏好評估
Pomme 評估白話摘要簡易度
DiscoScore 評估篇章連貫與邏輯流
CTC-Score 檢查輸出與來源文件的事實一致

五、Excel/AI 分析方法

在 Excel 依任務記錄是否需要參考文字、語意相似、個人偏好、簡易度、連貫或事實一致;AI 可協助選擇候選指標。

六、計算結果

原書沒有提供可直接計算的數據,因此不補造結果。

七、結果分析與管理解讀

語意相似不能取代事實查核,個人化偏好也不代表內容正確。應依任務同時選擇語意、事實與人工判斷。

八、AI 提問詞

請依文字任務需求選擇評估方法,區分語意相似、篇章品質、個人偏好與來源一致;不得把相似度當成事實正確。

九、思考/情境變動