案例01|SADC 16 國:用 ChatGPT 3.5 整理低資源地區氣候資訊
案例02|Accuracy、Specificity、Completeness:三個 Epistemological Criteria
案例03|Prompt Design:固定角色、Top 5 與 Country-by-country 查詢
案例04|Session Reset 與 Search Date:控制 Conversation History 與時間差
案例05|Table 9.3:16 國最常見 Climate Concerns 與出現次數
案例06|Table 9.4:16 國最常見 Climate Solutions 與出現次數
案例07|Country-specific Context:Desertification、Fisheries、Tourism 與 Sustainable Transport
案例08|Table 9.5/9.6:SADC vs Southern African Development Community 的 Prompt Sensitivity
案例09|Angola Concern–Solution Mismatch:有問題不代表模型會給直接對應方案
案例10|Hallucination、Training-data Bias 與 Computational Cost:LLM Climate Research 的三類限制
案例11|Policy Support:把 ChatGPT 當作 Quick-and-dirty Tool,而非政策決策者
案例12|研究結論邊界:Acronym 雙重查詢、作者責任與 ChatGPT 未參與寫作
案例13|Fig. 9.1:SADC 16 個 Member States 地理範圍
案例14|Table 9.1:SADC 16 國 2022 GDP 與 GDP per capita
案例15|Table 9.2:SADC Youth Population 與 Climate Literacy Context
案例16|Fig. 9.2:Coastline/Lake Shore 暴露與 Coastal Climate Risk
案例17|Fig. 9.3:Supervised Fine-tuning、Reward Model 與 PPO 的 ChatGPT Workflow
本章由 Sonali Das、Hannah Brown、Kenny Kutu 撰寫,使用 ChatGPT 3.5 評估南部非洲發展共同體(Southern African Development Community, SADC)16 個 Member States 的 Climate Change Concerns 與 Solutions。研究不是單純收集 ChatGPT 回答,而是以 Accuracy、Specificity、Completeness 三個 Epistemological Criteria 檢查其資訊品質,並特別測試 SADC Acronym 與 Southern African Development Community Full Name 是否產生不同輸出。
| 核心主題 | 主要觀點/方法 | 實務用途 | 重要條件/限制/延伸 |
|---|---|---|---|
| 研究範圍 | ChatGPT 3.5;16 個 SADC Member States;Climate Concerns+Climate Solutions | 快速彙整低資源區域 Climate Information | 研究目的是 Information Collation/Evaluation,不是取代 Climate Expert |
| Regional Context | SADC 面臨 Drought、Flood、Hurricane 等 Climate Variability/Physical Risk;對應 AU Agenda 2063 | 支援跨國 Climate Discussion | Country Socioeconomic/Geographic Context 不可被區域平均掩蓋 |
| Fig. 9.1 SADC Map | 16 個 Member States;原圖明確標示 not to scale | 界定研究的 Geographic Unit | 示意地圖不能用來推算各國面積、距離或 Climate Exposure |
| Table 9.1 Economic Context | 2022 GDP:South Africa 最高、Comoros 最低;GDP per capita:Seychelles 最高、Madagascar 最低 | 說明 Resource/Capacity Context | GDP 與 GDP per capita 不是 Climate Vulnerability/Resilience 的單一替代指標;完整 16 國數值保留於案例14 |
| Table 9.2 Youth Context | 作者概括 13/16 國的 15–24 歲人口約占 15–21%;Seychelles 8.67%;DRC 49% 使用 15–29 歲定義 | 連結 Climate Literacy/Climate Anxiety 與青年人口 | 各列 Reference Year 不完全相同;DRC 年齡定義不同,不能直接與 15–24 指標同口徑排名 |
| Fig. 9.2 Coast/Lake Exposure | 5 個 Country 位於 African Coast、4 個為 Islands、2 個有 Large Inland Lakes | 理解 Coastal Erosion/SLR 為何具有 Country-specific Relevance | Figure 的 km Label 在文字層無法可靠復原,且圖為 not to scale,因此不估算公里數 |
| Fig. 9.3 ChatGPT Workflow | Supervised Fine-tuning → Human Ranking/Reward Model → PPO Policy Update | 提供 ChatGPT Training Background | 此圖為引用的 Conceptual Workflow,不是 Chapter 9 使用 SADC Data 自行訓練 ChatGPT 的實驗流程 |
| Accuracy | Science Information 應避免 Objective/Subjective Inaccuracy | 檢查 factual correctness | Detailed Answer 不等於 Accurate Answer |
| Specificity | 符合 Spatial/Temporal Context | 檢查是否真正適用特定 Country/Southern Africa 與當時情況 | Country-specific Output 仍需 Evidence Validation |
| Completeness | Incomplete → Adequate → Comprehensive | 檢查 Query 是否完整回答 | 兩張各自合理的 Concern/Solution List 仍可能彼此不完整對應 |
| Country Prompt | “You are an expert in climate change research. Identify the 5 top climate change concerns/solutions in (country)”. | Standardized Cross-country Comparison | Role Prompt 目的為聚焦 Scientific Resource;原書未量化 Role Phrase 的獨立效果 |
| Output Control | 每個 Country 固定 Top 5 | 保持各國輸出數量一致 | Aggregate Union 最後仍可產生超過 5 個 Dominant Category |
| Session Control | 每個 Prompt/Country 前 Restart ChatGPT Session | 降低 Previous Conversation History 影響 | 仍無法消除 Model Update/Temporal Context 影響 |
| Search Date | Country:13 June 2023;Regional:11 March 2024 | 保存 Research Run Provenance | Country/Regional Output 不是同一天生成 |
| Table 9.3 Dominant Concerns | Agriculture/Food Security 14/16;Biodiversity/Ecosystem Loss 13/16;Coastal Erosion/SLR 9/16;Extreme Weather 7/16;Health 6/16;Water Scarcity 為 Dominant Concern 但 Count 無法可靠抽取 | 辨識跨國共同 Climate Risk | Top-5 Country Searches 的 Union 最後列 6 個 Concern;Water Scarcity Count 不猜測 |
| Table 9.4 Dominant Solutions | Renewable Energy 16/16;Land Use/Forest 13/16;Awareness/Education 9/16;Sustainable Agriculture/Land 9/16;Water Resource Management 7/16 | 辨識常見 Adaptation/Mitigation Option | Frequency 不是 Policy Effectiveness/ROI |
| Country-specific Output | Desertification:Botswana/Namibia;Fisheries:Seychelles;Sustainable Tourism:Seychelles;Sustainable Transport:South Africa | 檢查 Context-specificity | Unique Output 仍需對照 Contemporary Evidence |
| Table 9.5 Prompt Sensitivity | SADC Concern:Water Scarcity/Drought、Agriculture Impacts、Rising Temperature/Heatwaves、Sea-level/Coastal Vulnerability、Extreme Weather |
測試 Acronym Search | SADC 未列 Biodiversity/Health;Full Name 帶回 Biodiversity,但 Health 仍未出現 |
| Table 9.6 Solutions | 作者比較 SADC 與 Full Name 的 Solution Output |
檢查 Regional Concern–Solution Alignment | 來源文字未可靠復原完整兩欄 List,因此不重建 Cell;作者表示 Regional Alignment 較好 |
| Angola Crosswalk | Water Scarcity、Coastal Erosion/SLR 等 Concern 與五個 Solution 比對 | 檢查 Concern–Solution Coverage | Coastal Erosion/SLR 無直接 Solution;Water Scarcity 未列 Sustainable Water Resource Management |
| Hallucination | LLM 可能產生 erroneous output | 建立 Claim Validation/Source Review | 原書引用 Poland Exercise 30–40% Accuracy 是外部研究,不是本研究 SADC Accuracy |
| Bias | Training-data Bias 可放大 underserved/underrepresented region 的偏誤 | 要求 Regional/Population-aware Validation | SADC 等 Low-resource Topic 更需注意 Representation Gap |
| Computational Cost | LLM 使用具有大量 Compute/Environmental Cost | 將 AI Environmental Footprint 納入討論 | 研究沒有提供自身 Query 的 Carbon Footprint 數字 |
| Overall Epistemic Result | 作者認為輸出整體具有高 Accuracy/Specificity,且相對 Complete/Insightful | 可作 Initial Climate Information Scoping | 沒有統一量化 Accuracy Score,不能自行產生百分比 |
| Policy Use | 作者稱 ChatGPT 可作 useful “quick and dirty” tool,並建議 regulated use | 支援 Collaborative Inter-governmental Discussion | 研究沒有提出具體 SADC Climate Policy,也未量化 Consultant Cost Saving |
| Final Prompt Rule | Popular Acronym 應同時查 Acronym+Full Name,再比較 Completeness | 降低 Prompt Wording Omission | 同義 Entity Name 不保證得到相同 LLM Output |
| Research Disclosure | ChatGPT 3.5 用於 Methodology,不用於 Manuscript Writing;Authors take full responsibility | 建立 LLM-assisted Research Transparency | Tool Use 不轉移 Human Accountability |