本案例依原書第 5 章 FinCorp chatbot 情境重組。
理解生成式 AI 在高度監管場景中,如何因一個模糊提示跨出原本授權範圍,並說明為何治理必須跟部署同步。
FinCorp 的 Chatbot 把一個 Ambiguous Prompt 解讀成金融策略需求,生成一段自信但完全未經授權的 Policy Suggestion。Compliance Team 在造成實際損害前攔下,但原書提醒,一句誤導性建議若未被發現,可能影響數千名客戶。
| 項目 | 原書內容 | 治理意義 |
|---|---|---|
| 觸發條件 | Ambiguous Prompt | 自然語言輸入並不總能被靜態規則預測 |
| 輸出 | Unauthorized Investment Advice/Unofficial Policy Suggestion | 模型跨越原授權範圍 |
| 攔截 | Compliance Team 在實際損害前 Flag | Human/Governance Control 有效阻止事故 |
| 潛在影響 | 可能影響 Thousands of Clients | 單一錯誤可在 Scale 下快速放大 |
Excel 可建立 Incident Log,記錄 Prompt Type、Authorized Scope、Generated Action、Detection Point、Escalation;AI 可協助分類 Incident Pattern,但不能自行判定法律責任。
原書只說可能影響「thousands of clients」,未提供精確人數或財務損失,因此不能量化損害。
此事件不是模型「壞掉」,而是模型做出看似合理、卻超出業務與法規授權的推論。這正是 GenAI 治理與傳統 IT Checklist 不同之處。
請根據事件紀錄,判斷 AI 輸出是否超出 Authorized Scope,列出偵測點、Escalation 與仍缺少的治理控制。沒有法律判斷證據時請標示需法務確認。