本案例涉及人工智慧(Artificial Intelligence, AI)與生成式人工智慧(Generative Artificial Intelligence, GenAI)。理解非決定性輸出對評估方法的影響。
本案例依原書第 6 章的框架、範例或情境重組,並非原書正式案例研究。
原書指出,同一輸入可能在不同執行中產生不同輸出,因此評估不能只尋找唯一正解。傳統與人工撰寫參考答案比對的方法,難以完整衡量脈絡相關性、事實準確、倫理一致與意外輸出。企業需結合統計分析、定性判斷與傳統量化指標,並處理幻覺、偏誤及智慧財產權風險。
| 評估面向 | 原書定義 |
|---|---|
| 效能 | 是否依設計目標產生高品質、多樣且相關的輸出 |
| 穩健性 | 輸入變化、意外資料或對抗攻擊下仍維持表現 |
| 公平性 | 不延續或放大有害偏誤、歧視與刻板印象 |
| 可靠性 | 在指定條件與時間中穩定運作並產生預期結果 |
在 Excel 為相同輸入保留多次輸出,分別記錄量化分數、人工判斷、風險標籤與可接受範圍;AI 可彙整差異,不得把單次輸出視為穩定表現。
原書沒有提供可直接計算的數據,因此不補造結果。
生成多樣性本身不必然是缺陷,但會讓評估從「答案是否完全相同」轉為「是否落在可接受、相關、安全的範圍」。
請比較同一輸入的多次輸出,按效能、穩健、公平與可靠性分類差異;不得假設只有一個正確措辭。