一、案例定位

本案例依原書第 5 章 Risk Management Framework 重組,並非原書正式案例研究。

整理生成式 AI 相較傳統系統特別需要處理的四類風險特徵。

二、學習目標

三、案例情境

Dr. Zhang 以 FinCorp Incident 為起點,整理四個 Connected Risk Circles:Speed and Scale of Impact、Model Unpredictability、Data Exposure Risks、Automation Risks。

四、開始資料

風險 原書說明 可能後果
Speed and Scale of Impact Decision 可瞬間 Cascade Across Systems 單一錯誤快速影響大量使用者
Model Unpredictability 可能生成看似合理但違反業務/法規的輸出 Unexpected Unauthorized Action
Data Exposure Risks Interaction 可能洩露 Training Data Patterns 或 Confidential Information Privacy/Confidentiality Risk
Automation Risks 過度依賴 AI 造成 Human Oversight Gap 系統逐步偏離 Business Objective

五、Excel/AI 分析方法

Excel 可建立 Risk Register,記錄 Risk Type、Trigger、Impact、Control、Owner、Residual Risk;AI 可協助分類風險,但不能在無量化資料時自行設定 Probability/Impact 分數。

六、計算結果

原書提供 4 類風險特徵,但沒有固定機率或風險分數。

七、結果分析與管理解讀

GenAI Risk Management 的難點在於風險不是全都來自系統故障;模型在「正常運作」時也可能做出業務上不被允許的推論。

八、AI 提問詞

請將我的 AI Risk Register 分成 Speed/Scale、Model Unpredictability、Data Exposure、Automation 四類,列出已有控制與缺口。沒有 Probability Data 時不要自行打分。

九、思考/情境變動