本案例涉及人工智慧(Artificial Intelligence, AI)與生成式人工智慧(Generative Artificial Intelligence, GenAI)。理解三種評估元件的互補關係。
本案例依原書第 6 章的框架、範例或情境重組,並非原書正式案例研究。
人工參與(Human in the Loop, HITL)評估將人的判斷納入主觀品質與內容驗證,包含人工檢視及修正自動產生的回答。自動評估則使用預先定義的指標與工具,大量、快速且可重複地執行測試。原書主張以混合方式結合兩者,並透過基準比較既有標準與先進模型。
| 方式 | 優勢 | 限制/用途 |
|---|---|---|
| 人工評估 | 能判斷脈絡、主觀品質與細微錯誤 | 耗時、成本較高,需一致準則 |
| 自動評估 | 大量、快速、可重複 | 受指標與參考資料限制 |
| 混合評估 | 結合規模與人類判斷 | 需設計抽樣、升級與仲裁流程 |
| 基準比較 | 了解相對表現 | 基準仍需與實際任務相符 |
在 Excel 分別保存自動分數、人工評語、審查者、衝突、仲裁與最後判定;AI 可找出自動與人工不一致的樣本。
原書沒有提供可直接計算的數據,因此不補造結果。
人工評估不代表每筆都人工處理;自動評估也不等於無人監督。混合設計應把人力集中於主觀、風險高與指標衝突的項目。
請比較自動分數與人工判定,列出不一致、高風險與需仲裁的樣本;不得以自動分數覆蓋人工證據。