本案例依原書第 6 章「Integrating Human Oversight and Risk Management」重組,並非原書正式案例研究。
把第 5 章 Human Oversight 原則延伸到 Agentic AI,確保自主 Plan/Act 的系統在 Critical/High-stakes Context 仍保持 Accountability。
原書指出,即使最 Sophisticated Agent 仍受益於 Human Guidance,尤其在 Critical 或 High-stakes Context。Human-in-the-loop 可讓系統維持 Accountable、Transparent,並與 Organizational Values 對齊。
| 情境 | Agent Role | Human Oversight |
|---|---|---|
| Low-risk/Routine | 可處理較多自動步驟 | 依政策設計監控 |
| Critical/High-stakes | 可分析、規劃、提出建議 | Human-in-the-loop 尤其重要 |
| Unexpected/Ambiguous | 可能動態改變 Tool/Path | 需清楚 Escalation Boundary |
| Governance Goal | Autonomy | Accountability、Transparency、Value Alignment |
Excel 可為 Workflow Step 記錄 Risk、Failure Impact、Agent Permission、Human Approval、Escalation;AI 可協助整理,但原書沒有固定 High-risk Score Threshold。
原書沒有 Human Review 百分比或 Risk Score Cutoff,因此不自行設定。
Agent 可自主決定「怎麼做」,不代表企業可以把「誰負責」一併交給 Agent。自主性愈高,Tool Permission、Escalation 與 Oversight Boundary 反而需要更清楚。
請依每個 Agent Action 的 Risk、Failure Consequence、Reversibility 與 Permission,指出需要 Human-in-the-loop 或 Escalation 的位置。沒有風險門檻資料時不要自行設定分數。