案例01|GenAI Technology Stack:從 GPU 到 End-user App 的 12 類組件
案例02|GenAIOps Data Checklist:來源、授權、PII、Copyright、Poisoning、AI-generated Data
案例03|GenAIOps Modeling Checklist:Limitations、Risk、Benchmark、Reproducibility、Transparency、Energy
案例04|GenAIOps Deployment Checklist:部署位置、AI Disclosure、Audit Documentation
案例05|Model Performance:BLEU/ROUGE/METEOR 不足以處理 Hallucination 與 Misleading Content
案例06|Data Drift 與 AI Entropy:當 AI-generated Content 反過來污染訓練資料
案例07|Model Drift:用 Cart Abandonment、Customer-service Calls、CSAT 監控模型是否失效
案例08|Prediction Distribution:文字、影像、音訊、影片如何監控 Spurious Correlations
案例09|Resource Usage:Usage-based Pricing 如何避免 GenAI 成本失控
案例10|Business Metrics + SLA:Critical GenAI Process 不能只監控模型,要監控 Uptime 與業務結果
案例11|GenAIOps Risk Register:Bias、IP Leakage、Copyright、Data Poisoning 四類風險
案例12|Copyright Risk:New York Times 訴 Microsoft/OpenAI 與 Adobe Firefly 法律費用承諾
| 核心主題 | 主要觀點/方法 | 實務用途 | 重要條件/限制/延伸 |
|---|---|---|---|
| Generative AI Technology Stack | GenAI 系統不只是 foundation model,而是 compute、cloud、model、database、orchestration、deployment、observability、application 等多層架構 | 建立 enterprise architecture、provider map、owner 與 dependency | 只選模型而忽略 integration/monitoring/security,無法形成可營運系統 |
| GenAIOps | 把 MLOps 延伸到 foundation model/LLM 的 data、modeling、deployment 與 output monitoring | 上線前 checklist、production monitoring、audit evidence | 原書明確指出許多 GenAI monitoring 問題仍是 active research,不應假裝已有單一成熟解法 |
| Data Governance | 確認來源、生成方式、授權、copyright、confidential data、PII、poisoning、AI-generated content | Fine-tuning/adaptation 前的 data readiness review | Unknown 不能當成 Pass;資料可取得不代表可合法/安全使用 |
| Model Governance | 盤點 limitations、risks、benchmarks、reproducibility、transparency、dependency、energy/compute | Model card、provider evaluation、high-risk model selection | 高 benchmark 不足以抵銷 provenance/transparency 缺口 |
| Deployment Governance | 確認部署位置、target application 對 GenAI 的 awareness,以及 auditor/regulator documentation | Production release gate | 重大 blocker 不應被平均分數掩蓋 |
| Model Performance | BLEU、ROUGE、METEOR 等技術指標之外,需特別監控 false、fake、misleading、biased content | Output sampling、fact-checking、guardrails、human review | Guardrails 只能降低 hallucination risk,原書沒有宣稱可以完全消除 |
| Data Drift | 判斷資料分布是否改變,以及 drift 是否源自真實事件或 AI-generated content 增殖 | 決定是否 recalibrate/retrain | Text/image/audio/video drift 比純 numeric data 更難量化 |
| Model Drift | 同時監控 technical performance 與實際 business outcomes | 用 cart abandonment、customer-service calls、CSAT 等訊號發現模型失效 | Business KPI 惡化不自動證明 AI 是原因,但足以觸發 investigation |
| Prediction Distribution | 監控 multimodal outputs 是否出現異常集中或 spurious correlations | Fairness、representation、content-quality audit | 需先有人員定義可解釋 categories;不可由模型自行推測敏感屬性 |
| Resource Usage | 追蹤 usage-based pricing、compute/API consumption 與 financial controls | Budget、cost per task、unit economics | 成本增加未必等於失敗,必須與 business value 一起看 |
| Business Metrics + SLA | Critical GenAI process 除品質外,還需 availability/uptime guarantees 與 business outcome monitoring | Service report、incident management、SLA | 高 uptime 不代表 output 正確;高 accuracy 也不能補償服務不可用 |
| Implementation Risk Register | Bias、IP leakage、copyright infringement、data poisoning | Production readiness、vendor due diligence、risk ownership | 任何 high-impact uncontrolled risk 都可能是 blocker |
第 4 章把前面「GenAI 可以做什麼」轉成「企業要如何把它變成真正可部署、可監控、可治理的系統」。原書一開始就提醒:Generative AI systems are broader than the models。模型只是其中一層;企業還需要 data、compute、cloud、deployment、observability、security、governance 與持續監控。
本章沒有像第 2、3 章那樣設置正式的 Case Studies 段落。因此本頁上方 12 個案例子頁,是依原書的 implementation examples、checklists、monitoring scenarios 與具名 copyright examples 重新組成的教學案例;沒有把不存在的公司成果補成原書案例。
原書列出 12 類主要技術組件:
| 類別 | 原書角色 | 原書例子 |
|---|---|---|
| Computer Hardware | Training/inference acceleration | Nvidia GPUs、Google TPUs |
| Cloud Platforms | Develop/host GenAI applications | AWS、Microsoft Azure、GCP |
| Closed-source Foundation Models | Pre-trained models,常以 API 存取 | OpenAI GPT |
| Databases | Vector embeddings storage | Pinecone |
| Deployment | Deploy generative AI models | Clarifai |
| End-to-End Vertical Apps | 常以 proprietary models 提供 end-user function | Midjourney、Runway |
| Model Hubs | Share/host models | Hugging Face |
| End-User Applications | End-user-facing apps,不一定擁有 proprietary model | 原書未在此列單一固定例子 |
| Observability | Gain visibility into AI system operations | 原書以類別描述 |
| Orchestration | 協調 tools、systems、methodologies | LangChain |
| Open-source Foundation Models | Open-source licensed pre-trained models | 原書以類別描述 |
| Training and Fine-tuning | Train/adapt LLMs to optimize output | 原書以 tooling 類別描述 |