本案例處理生成式人工智慧(Generative Artificial Intelligence, GenAI)系統面對失敗模式、版本更新與低信心輸出時的韌性設計。
本案例依原書第 8 章的最佳實務、範例或情境重組,並非原書正式案例研究。
原書建議依失敗模式建立重新訓練或重新設計提示詞的流程;每次新版本都自動執行 benchmark regression;當信心低於既定門檻時,以規則式備援或路由到替代來源/模型。
| 韌性情境 | 原書做法 |
|---|---|
| 重複失敗模式 | 重新訓練或重新設計提示詞 |
| 新版本發布 | 自動 benchmark regression |
| 低於信心門檻 | 規則式備援或替代來源/模型路由 |
建立「失敗類型、版本、基準結果、信心值、是否觸發備援、替代路由」欄位;原書沒有提供門檻數字,因此不得自行設定為某個百分比。
原書沒有提供信心門檻或回歸測試的具體數值,因此不補造結果。
韌性設計的重點是在故障與版本變更時仍有受控行為,而不是假設模型永遠正常。低信心時的備援路由是把不確定性轉成可管理的流程。
請依失敗與版本紀錄,找出應重新訓練/重新設計提示詞、缺少 benchmark regression,或低信心但未觸發備援路由的情況。