一、案例定位

原書稱 business metrics 是最重要的一組 monitors/controls;若 GenAI 用於 critical business processes,還需有 service-level agreement(SLA)保證 uptime。

二、學習目標

三、案例情境

企業把 GenAI 放進關鍵客服/營運流程。除了 model-quality metrics,還要監控 uptime、處理量、resolution、customer outcome 等。

四、開始資料

監控層 例子
Availability Uptime/SLA
Output Quality Accuracy/hallucination/review findings
Business Outcome Customer calls、CSAT、cart abandonment、resolution

五、Excel/AI 分析方法

SLA availability=AvailableMinutes÷TotalMinutes;並建立 incident table,把 downtime 與 business impact 串接。

六、計算結果

教材情境:30 天共 43,200 分鐘,若 downtime 43.2 分鐘,availability=99.9%。

七、結果分析與管理解讀

99.9% uptime 並不保證 output 正確;反之模型準確也不能補償系統長時間 unavailable。兩者需分開管理。

八、AI 提問詞

根據 uptime、incident、quality 與 business KPI 建立 weekly service report,分開列出 availability 與 output quality。

九、思考/情境變動

**題目:**若 downtime 為 432 分鐘,availability?

參考解答:(43,200−432)÷43,200=99.0%。