原書稱 business metrics 是最重要的一組 monitors/controls;若 GenAI 用於 critical business processes,還需有 service-level agreement(SLA)保證 uptime。
企業把 GenAI 放進關鍵客服/營運流程。除了 model-quality metrics,還要監控 uptime、處理量、resolution、customer outcome 等。
| 監控層 | 例子 |
|---|---|
| Availability | Uptime/SLA |
| Output Quality | Accuracy/hallucination/review findings |
| Business Outcome | Customer calls、CSAT、cart abandonment、resolution |
SLA availability=AvailableMinutes÷TotalMinutes;並建立 incident table,把 downtime 與 business impact 串接。
教材情境:30 天共 43,200 分鐘,若 downtime 43.2 分鐘,availability=99.9%。
99.9% uptime 並不保證 output 正確;反之模型準確也不能補償系統長時間 unavailable。兩者需分開管理。
根據 uptime、incident、quality 與 business KPI 建立 weekly service report,分開列出 availability 與 output quality。
**題目:**若 downtime 為 432 分鐘,availability?
參考解答:(43,200−432)÷43,200=99.0%。