原書指出,numeric prediction distributions 已有較成熟方法,但 text、image、audio、video 的 output distribution monitoring 是新問題。
某企業使用生成式 AI 大量產生內容,需要判斷 deployment target 是否出現 spurious correlations,例如某些群體被過度關聯特定語氣、影像特徵或結果。
| Output type | 原書監控挑戰 |
|---|---|
| Numeric predictions | 已有較成熟 distribution monitoring |
| Text | 內容/語義分布不易直接量化 |
| Image | 視覺特徵/representation monitoring |
| Audio | voice/tone/content distribution |
| Video | multimodal spurious correlation 更難辨識 |
先定義 human-reviewed categories,再建立 output distribution table;AI 可協助分類,但 sensitive/fairness audit 應有人員驗證。
教材情境:1,000 個 outputs 中 700 個落在單一 category,該 category share=70%。
70% 本身不一定有問題;重點是它是否與預期 population/prompt distribution 不一致,或是否形成不合理關聯。
根據已人工定義 categories 計算 output distribution,標示集中度異常;不要自行推測 protected attributes。
**題目:**若期望 share 為 50%,實際 70%,差多少個百分點?
**參考解答:**20 個百分點。