案例01|SADC 16 國:用 ChatGPT 3.5 整理低資源地區氣候資訊

案例02|Accuracy、Specificity、Completeness:三個 Epistemological Criteria

案例03|Prompt Design:固定角色、Top 5 與 Country-by-country 查詢

案例04|Session Reset 與 Search Date:控制 Conversation History 與時間差

案例05|Table 9.3:16 國最常見 Climate Concerns 與出現次數

案例06|Table 9.4:16 國最常見 Climate Solutions 與出現次數

案例07|Country-specific Context:Desertification、Fisheries、Tourism 與 Sustainable Transport

案例08|Table 9.5/9.6:SADC vs Southern African Development Community 的 Prompt Sensitivity

案例09|Angola Concern–Solution Mismatch:有問題不代表模型會給直接對應方案

案例10|Hallucination、Training-data Bias 與 Computational Cost:LLM Climate Research 的三類限制

案例11|Policy Support:把 ChatGPT 當作 Quick-and-dirty Tool,而非政策決策者

案例12|研究結論邊界:Acronym 雙重查詢、作者責任與 ChatGPT 未參與寫作

案例13|Fig. 9.1:SADC 16 個 Member States 地理範圍

案例14|Table 9.1:SADC 16 國 2022 GDP 與 GDP per capita

案例15|Table 9.2:SADC Youth Population 與 Climate Literacy Context

案例16|Fig. 9.2:Coastline/Lake Shore 暴露與 Coastal Climate Risk

案例17|Fig. 9.3:Supervised Fine-tuning、Reward Model 與 PPO 的 ChatGPT Workflow

核心表格

本章由 Sonali Das、Hannah Brown、Kenny Kutu 撰寫,使用 ChatGPT 3.5 評估南部非洲發展共同體(Southern African Development Community, SADC)16 個 Member States 的 Climate Change Concerns 與 Solutions。研究不是單純收集 ChatGPT 回答,而是以 Accuracy、Specificity、Completeness 三個 Epistemological Criteria 檢查其資訊品質,並特別測試 SADC Acronym 與 Southern African Development Community Full Name 是否產生不同輸出。

核心主題 主要觀點/方法 實務用途 重要條件/限制/延伸
研究範圍 ChatGPT 3.5;16 個 SADC Member States;Climate Concerns+Climate Solutions 快速彙整低資源區域 Climate Information 研究目的是 Information Collation/Evaluation,不是取代 Climate Expert
Regional Context SADC 面臨 Drought、Flood、Hurricane 等 Climate Variability/Physical Risk;對應 AU Agenda 2063 支援跨國 Climate Discussion Country Socioeconomic/Geographic Context 不可被區域平均掩蓋
Fig. 9.1 SADC Map 16 個 Member States;原圖明確標示 not to scale 界定研究的 Geographic Unit 示意地圖不能用來推算各國面積、距離或 Climate Exposure
Table 9.1 Economic Context 2022 GDP:South Africa 最高、Comoros 最低;GDP per capita:Seychelles 最高、Madagascar 最低 說明 Resource/Capacity Context GDP 與 GDP per capita 不是 Climate Vulnerability/Resilience 的單一替代指標;完整 16 國數值保留於案例14
Table 9.2 Youth Context 作者概括 13/16 國的 15–24 歲人口約占 15–21%;Seychelles 8.67%;DRC 49% 使用 15–29 歲定義 連結 Climate Literacy/Climate Anxiety 與青年人口 各列 Reference Year 不完全相同;DRC 年齡定義不同,不能直接與 15–24 指標同口徑排名
Fig. 9.2 Coast/Lake Exposure 5 個 Country 位於 African Coast、4 個為 Islands、2 個有 Large Inland Lakes 理解 Coastal Erosion/SLR 為何具有 Country-specific Relevance Figure 的 km Label 在文字層無法可靠復原,且圖為 not to scale,因此不估算公里數
Fig. 9.3 ChatGPT Workflow Supervised Fine-tuning → Human Ranking/Reward Model → PPO Policy Update 提供 ChatGPT Training Background 此圖為引用的 Conceptual Workflow,不是 Chapter 9 使用 SADC Data 自行訓練 ChatGPT 的實驗流程
Accuracy Science Information 應避免 Objective/Subjective Inaccuracy 檢查 factual correctness Detailed Answer 不等於 Accurate Answer
Specificity 符合 Spatial/Temporal Context 檢查是否真正適用特定 Country/Southern Africa 與當時情況 Country-specific Output 仍需 Evidence Validation
Completeness Incomplete → Adequate → Comprehensive 檢查 Query 是否完整回答 兩張各自合理的 Concern/Solution List 仍可能彼此不完整對應
Country Prompt “You are an expert in climate change research. Identify the 5 top climate change concerns/solutions in (country)”. Standardized Cross-country Comparison Role Prompt 目的為聚焦 Scientific Resource;原書未量化 Role Phrase 的獨立效果
Output Control 每個 Country 固定 Top 5 保持各國輸出數量一致 Aggregate Union 最後仍可產生超過 5 個 Dominant Category
Session Control 每個 Prompt/Country 前 Restart ChatGPT Session 降低 Previous Conversation History 影響 仍無法消除 Model Update/Temporal Context 影響
Search Date Country:13 June 2023;Regional:11 March 2024 保存 Research Run Provenance Country/Regional Output 不是同一天生成
Table 9.3 Dominant Concerns Agriculture/Food Security 14/16;Biodiversity/Ecosystem Loss 13/16;Coastal Erosion/SLR 9/16;Extreme Weather 7/16;Health 6/16;Water Scarcity 為 Dominant Concern 但 Count 無法可靠抽取 辨識跨國共同 Climate Risk Top-5 Country Searches 的 Union 最後列 6 個 Concern;Water Scarcity Count 不猜測
Table 9.4 Dominant Solutions Renewable Energy 16/16;Land Use/Forest 13/16;Awareness/Education 9/16;Sustainable Agriculture/Land 9/16;Water Resource Management 7/16 辨識常見 Adaptation/Mitigation Option Frequency 不是 Policy Effectiveness/ROI
Country-specific Output Desertification:Botswana/Namibia;Fisheries:Seychelles;Sustainable Tourism:Seychelles;Sustainable Transport:South Africa 檢查 Context-specificity Unique Output 仍需對照 Contemporary Evidence
Table 9.5 Prompt Sensitivity SADC Concern:Water Scarcity/Drought、Agriculture Impacts、Rising Temperature/Heatwaves、Sea-level/Coastal Vulnerability、Extreme Weather 測試 Acronym Search SADC 未列 Biodiversity/Health;Full Name 帶回 Biodiversity,但 Health 仍未出現
Table 9.6 Solutions 作者比較 SADC 與 Full Name 的 Solution Output 檢查 Regional Concern–Solution Alignment 來源文字未可靠復原完整兩欄 List,因此不重建 Cell;作者表示 Regional Alignment 較好
Angola Crosswalk Water Scarcity、Coastal Erosion/SLR 等 Concern 與五個 Solution 比對 檢查 Concern–Solution Coverage Coastal Erosion/SLR 無直接 Solution;Water Scarcity 未列 Sustainable Water Resource Management
Hallucination LLM 可能產生 erroneous output 建立 Claim Validation/Source Review 原書引用 Poland Exercise 30–40% Accuracy 是外部研究,不是本研究 SADC Accuracy
Bias Training-data Bias 可放大 underserved/underrepresented region 的偏誤 要求 Regional/Population-aware Validation SADC 等 Low-resource Topic 更需注意 Representation Gap
Computational Cost LLM 使用具有大量 Compute/Environmental Cost 將 AI Environmental Footprint 納入討論 研究沒有提供自身 Query 的 Carbon Footprint 數字
Overall Epistemic Result 作者認為輸出整體具有高 Accuracy/Specificity,且相對 Complete/Insightful 可作 Initial Climate Information Scoping 沒有統一量化 Accuracy Score,不能自行產生百分比
Policy Use 作者稱 ChatGPT 可作 useful “quick and dirty” tool,並建議 regulated use 支援 Collaborative Inter-governmental Discussion 研究沒有提出具體 SADC Climate Policy,也未量化 Consultant Cost Saving
Final Prompt Rule Popular Acronym 應同時查 Acronym+Full Name,再比較 Completeness 降低 Prompt Wording Omission 同義 Entity Name 不保證得到相同 LLM Output
Research Disclosure ChatGPT 3.5 用於 Methodology,不用於 Manuscript Writing;Authors take full responsibility 建立 LLM-assisted Research Transparency Tool Use 不轉移 Human Accountability