本案例依原書第 5 章 Risk Management Framework 重組,並非原書正式案例研究。
整理生成式 AI 相較傳統系統特別需要處理的四類風險特徵。
Dr. Zhang 以 FinCorp Incident 為起點,整理四個 Connected Risk Circles:Speed and Scale of Impact、Model Unpredictability、Data Exposure Risks、Automation Risks。
| 風險 | 原書說明 | 可能後果 |
|---|---|---|
| Speed and Scale of Impact | Decision 可瞬間 Cascade Across Systems | 單一錯誤快速影響大量使用者 |
| Model Unpredictability | 可能生成看似合理但違反業務/法規的輸出 | Unexpected Unauthorized Action |
| Data Exposure Risks | Interaction 可能洩露 Training Data Patterns 或 Confidential Information | Privacy/Confidentiality Risk |
| Automation Risks | 過度依賴 AI 造成 Human Oversight Gap | 系統逐步偏離 Business Objective |
Excel 可建立 Risk Register,記錄 Risk Type、Trigger、Impact、Control、Owner、Residual Risk;AI 可協助分類風險,但不能在無量化資料時自行設定 Probability/Impact 分數。
原書提供 4 類風險特徵,但沒有固定機率或風險分數。
GenAI Risk Management 的難點在於風險不是全都來自系統故障;模型在「正常運作」時也可能做出業務上不被允許的推論。
請將我的 AI Risk Register 分成 Speed/Scale、Model Unpredictability、Data Exposure、Automation 四類,列出已有控制與缺口。沒有 Probability Data 時不要自行打分。