本案例依原書 9.2 Theoretical Framework 整理。
使用 Accuracy、Specificity、Completeness 評估 LLM Climate Information 的 Epistemological Adequacy。
作者採 Bulian et al. Framework,認為 LLM 的 Science Information 不只要「看起來合理」,還要檢查事實正確性、地理/時間相關性,以及是否完整回答 Query。
| Criterion | 原書定義 | 判讀重點 |
|---|---|---|
| Accuracy | Information free from inaccuracies | Objective Error/Subjective Error |
| Specificity | 符合 Spatial+Temporal Context | 是否真正對應 Southern Africa/近期情境 |
| Completeness:Incomplete | 只回答部分 Query | 重大面向缺漏 |
| Completeness:Adequate | 全部面向都有回答 | 資訊量最低限度 |
| Completeness:Comprehensive | 全部面向+額外有用 Insight | 最完整層級 |
Excel 可逐 Country 對每個 ChatGPT Output 記錄 Accuracy Evidence、Spatial/Temporal Specificity、Completeness Level;AI 可做初步分類,但 Validation 仍需文獻/權威資料。
原書後續整體判讀認為 ChatGPT 對 SADC Climate Concern/Solution 展現高 Accuracy/Specificity,並達相對完整的資訊彙整;但作者沒有提供一個統一量化分數。
LLM Evaluation 不應只問「回答得像不像」,而要把 correctness、context relevance、coverage 分開。
請依 Accuracy、Specificity、Completeness 三欄審核 LLM Climate Output;若無法驗證 factual claim,標記需要 external validation,不要自行判定正確。