一、案例定位

原書指出,numeric prediction distributions 已有較成熟方法,但 text、image、audio、video 的 output distribution monitoring 是新問題。

二、學習目標

三、案例情境

某企業使用生成式 AI 大量產生內容,需要判斷 deployment target 是否出現 spurious correlations,例如某些群體被過度關聯特定語氣、影像特徵或結果。

四、開始資料

Output type 原書監控挑戰
Numeric predictions 已有較成熟 distribution monitoring
Text 內容/語義分布不易直接量化
Image 視覺特徵/representation monitoring
Audio voice/tone/content distribution
Video multimodal spurious correlation 更難辨識

五、Excel/AI 分析方法

先定義 human-reviewed categories,再建立 output distribution table;AI 可協助分類,但 sensitive/fairness audit 應有人員驗證。

六、計算結果

教材情境:1,000 個 outputs 中 700 個落在單一 category,該 category share=70%。

七、結果分析與管理解讀

70% 本身不一定有問題;重點是它是否與預期 population/prompt distribution 不一致,或是否形成不合理關聯。

八、AI 提問詞

根據已人工定義 categories 計算 output distribution,標示集中度異常;不要自行推測 protected attributes。

九、思考/情境變動

**題目:**若期望 share 為 50%,實際 70%,差多少個百分點?

**參考解答:**20 個百分點。