以 Microsoft Tay 說明互動式學習系統如何因惡意輸入而快速產生不當輸出。
理解安全防護、資料來源與持續監控的重要性。
原書指出 Microsoft 於 2016 年推出 Twitter 聊天機器人 Tay，讓它從使用者互動中學習；僅 16 小時後便因大量不當、種族歧視與粗俗內容而被關閉。
| 原書資訊 | 內容 |
|---|---|
| 年份 | 2016 |
| 系統 | Tay |
| 運作至關閉 | 16 小時 |
| 核心風險 | 可從惡意互動中學到並輸出不當內容 |
檢查開放互動資料、內容安全規則、監控、回復／停用機制與責任流程。
16 小時為原書直接數值；沒有更多可重算績效資料。
能持續學習不等於可以無限制吸收外部輸入；安全設計必須先於大規模公開部署。
根據 Tay 案例列出公開互動型人工智慧上線前至少需要的五項安全控制。
問題： 若模型能即時學習新內容，是否應把所有使用者輸入都直接納入學習？
參考解答： 不應；需經過安全、品質與偏差控制。