本案例涉及人工智慧(Artificial Intelligence, AI)與生成式人工智慧(Generative Artificial Intelligence, GenAI)。把傳統評估原則延伸為適合生成式系統的七項設計要求。
本案例依原書第 6 章的框架、範例或情境重組,並非原書正式案例研究。
原書先要求問題與目標清楚、評估效能與投資報酬率(Return on Investment, ROI)、利害關係人參與,以及上線前後持續監控。再加入責任倫理、使用者心智模型、校準信任、生成變異管理、不確定性與修正、人類監督治理、傷害與濫用防範七項設計原則。每項原則都應配對關鍵績效指標(Key Performance Indicator, KPI)及負責角色。
| 原則 | 指標例 | 重點角色 |
|---|---|---|
| 責任與倫理 | 統計同等性、機會均等、毒性分數 | 倫理、法遵、產品 |
| 使用者中心 | 滿意度、互動前置時間、任務成功率 | 使用者、體驗設計、內容策略 |
| 校準信任 | 使用者評分、決策準確率 | 分析師、決策者、風險 |
| 生成變異 | 信任校準指數、語意多樣性 | 內容、資料科學、編輯 |
| 不確定性與修正 | 異常偵測率、修正成功率 | 工程、分析、品質保證 |
| 人類監督 | 政策遵循率、介入率 | 專案、治理、法律 |
| 傷害與濫用 | 濫用偵測率、倫理事件率 | 安全、領導、政策 |
在 Excel 將原則、KPI、資料來源、門檻、負責角色與改善行動建立對應;AI 可檢查沒有指標或沒有責任人的原則。
原書沒有提供可直接計算的數據,因此不補造結果。
評估設計不是只有模型分數,而是把商業價值、互動方式、信任、治理與風險共同納入。
請依七項原則檢查評估計畫,列出缺少指標、資料來源或責任角色的項目;不可替組織自行指定核准人。