案例01|GenAI Technology Stack:從 GPU 到 End-user App 的 12 類組件

案例02|GenAIOps Data Checklist:來源、授權、PII、Copyright、Poisoning、AI-generated Data

案例03|GenAIOps Modeling Checklist:Limitations、Risk、Benchmark、Reproducibility、Transparency、Energy

案例04|GenAIOps Deployment Checklist:部署位置、AI Disclosure、Audit Documentation

案例05|Model Performance:BLEU/ROUGE/METEOR 不足以處理 Hallucination 與 Misleading Content

案例06|Data Drift 與 AI Entropy:當 AI-generated Content 反過來污染訓練資料

案例07|Model Drift:用 Cart Abandonment、Customer-service Calls、CSAT 監控模型是否失效

案例08|Prediction Distribution:文字、影像、音訊、影片如何監控 Spurious Correlations

案例09|Resource Usage:Usage-based Pricing 如何避免 GenAI 成本失控

案例10|Business Metrics + SLA:Critical GenAI Process 不能只監控模型,要監控 Uptime 與業務結果

案例11|GenAIOps Risk Register:Bias、IP Leakage、Copyright、Data Poisoning 四類風險

案例12|Copyright Risk:New York Times 訴 Microsoft/OpenAI 與 Adobe Firefly 法律費用承諾

核心表格

核心主題 主要觀點/方法 實務用途 重要條件/限制/延伸
Generative AI Technology Stack GenAI 系統不只是 foundation model,而是 compute、cloud、model、database、orchestration、deployment、observability、application 等多層架構 建立 enterprise architecture、provider map、owner 與 dependency 只選模型而忽略 integration/monitoring/security,無法形成可營運系統
GenAIOps 把 MLOps 延伸到 foundation model/LLM 的 data、modeling、deployment 與 output monitoring 上線前 checklist、production monitoring、audit evidence 原書明確指出許多 GenAI monitoring 問題仍是 active research,不應假裝已有單一成熟解法
Data Governance 確認來源、生成方式、授權、copyright、confidential data、PII、poisoning、AI-generated content Fine-tuning/adaptation 前的 data readiness review Unknown 不能當成 Pass;資料可取得不代表可合法/安全使用
Model Governance 盤點 limitations、risks、benchmarks、reproducibility、transparency、dependency、energy/compute Model card、provider evaluation、high-risk model selection 高 benchmark 不足以抵銷 provenance/transparency 缺口
Deployment Governance 確認部署位置、target application 對 GenAI 的 awareness,以及 auditor/regulator documentation Production release gate 重大 blocker 不應被平均分數掩蓋
Model Performance BLEU、ROUGE、METEOR 等技術指標之外,需特別監控 false、fake、misleading、biased content Output sampling、fact-checking、guardrails、human review Guardrails 只能降低 hallucination risk,原書沒有宣稱可以完全消除
Data Drift 判斷資料分布是否改變,以及 drift 是否源自真實事件或 AI-generated content 增殖 決定是否 recalibrate/retrain Text/image/audio/video drift 比純 numeric data 更難量化
Model Drift 同時監控 technical performance 與實際 business outcomes 用 cart abandonment、customer-service calls、CSAT 等訊號發現模型失效 Business KPI 惡化不自動證明 AI 是原因,但足以觸發 investigation
Prediction Distribution 監控 multimodal outputs 是否出現異常集中或 spurious correlations Fairness、representation、content-quality audit 需先有人員定義可解釋 categories;不可由模型自行推測敏感屬性
Resource Usage 追蹤 usage-based pricing、compute/API consumption 與 financial controls Budget、cost per task、unit economics 成本增加未必等於失敗,必須與 business value 一起看
Business Metrics + SLA Critical GenAI process 除品質外,還需 availability/uptime guarantees 與 business outcome monitoring Service report、incident management、SLA 高 uptime 不代表 output 正確;高 accuracy 也不能補償服務不可用
Implementation Risk Register Bias、IP leakage、copyright infringement、data poisoning Production readiness、vendor due diligence、risk ownership 任何 high-impact uncontrolled risk 都可能是 blocker

章節定位

第 4 章把前面「GenAI 可以做什麼」轉成「企業要如何把它變成真正可部署、可監控、可治理的系統」。原書一開始就提醒:Generative AI systems are broader than the models。模型只是其中一層;企業還需要 data、compute、cloud、deployment、observability、security、governance 與持續監控。

本章沒有像第 2、3 章那樣設置正式的 Case Studies 段落。因此本頁上方 12 個案例子頁,是依原書的 implementation examples、checklists、monitoring scenarios 與具名 copyright examples 重新組成的教學案例;沒有把不存在的公司成果補成原書案例。

Major Components of Gen AI Tech

原書列出 12 類主要技術組件:

類別 原書角色 原書例子
Computer Hardware Training/inference acceleration Nvidia GPUs、Google TPUs
Cloud Platforms Develop/host GenAI applications AWS、Microsoft Azure、GCP
Closed-source Foundation Models Pre-trained models,常以 API 存取 OpenAI GPT
Databases Vector embeddings storage Pinecone
Deployment Deploy generative AI models Clarifai
End-to-End Vertical Apps 常以 proprietary models 提供 end-user function Midjourney、Runway
Model Hubs Share/host models Hugging Face
End-User Applications End-user-facing apps,不一定擁有 proprietary model 原書未在此列單一固定例子
Observability Gain visibility into AI system operations 原書以類別描述
Orchestration 協調 tools、systems、methodologies LangChain
Open-source Foundation Models Open-source licensed pre-trained models 原書以類別描述
Training and Fine-tuning Train/adapt LLMs to optimize output 原書以 tooling 類別描述