一、案例定位

本案例依原書 9.2 Theoretical Framework 整理。

使用 Accuracy、Specificity、Completeness 評估 LLM Climate Information 的 Epistemological Adequacy。

二、學習目標

三、案例情境

作者採 Bulian et al. Framework,認為 LLM 的 Science Information 不只要「看起來合理」,還要檢查事實正確性、地理/時間相關性,以及是否完整回答 Query。

四、開始資料

Criterion 原書定義 判讀重點
Accuracy Information free from inaccuracies Objective Error/Subjective Error
Specificity 符合 Spatial+Temporal Context 是否真正對應 Southern Africa/近期情境
Completeness:Incomplete 只回答部分 Query 重大面向缺漏
Completeness:Adequate 全部面向都有回答 資訊量最低限度
Completeness:Comprehensive 全部面向+額外有用 Insight 最完整層級

五、Excel/AI 分析方法

Excel 可逐 Country 對每個 ChatGPT Output 記錄 Accuracy Evidence、Spatial/Temporal Specificity、Completeness Level;AI 可做初步分類,但 Validation 仍需文獻/權威資料。

六、計算結果

原書後續整體判讀認為 ChatGPT 對 SADC Climate Concern/Solution 展現高 Accuracy/Specificity,並達相對完整的資訊彙整;但作者沒有提供一個統一量化分數。

七、結果分析與管理解讀

LLM Evaluation 不應只問「回答得像不像」,而要把 correctness、context relevance、coverage 分開。

八、AI 提問詞

請依 Accuracy、Specificity、Completeness 三欄審核 LLM Climate Output;若無法驗證 factual claim,標記需要 external validation,不要自行判定正確。

九、思考/情境變動