案例03｜評估框架七步驟：未達期待就迭代改善

一、案例定位

本案例涉及人工智慧（Artificial Intelligence, AI）與生成式人工智慧（Generative Artificial Intelligence, GenAI）。建立從目標到報告與重新評估的完整流程。

本案例依原書第 6 章的框架、範例或情境重組，並非原書正式案例研究。

二、學習目標

列出七個評估步驟。
理解資料集與協定的差別。
把結果轉成改善與再測試。

三、案例情境

原書框架先定義評估目標與範圍，再依文字、大型語言模型（Large Language Model, LLM）、檢索增強生成（Retrieval-Augmented Generation, RAG）或視覺語言任務選擇指標；建立反映真實情境、邊界案例及預期答案的資料集；設定自動與人工協定；分析結果並依任務、領域或使用者分類；向利害關係人報告；若未達期待，就調整模型、提問、資料或系統元件後重測。

四、開始資料

步驟	原書工作
1	定義目標與範圍
2	選擇符合任務與模態的指標
3	準備真實、多樣且含邊界案例的資料集
4	建立自動與人工評估協定
5	定量與定性分析結果
6	文件化並向利害關係人報告
7	未達期待時迭代改善並重新評估

五、Excel／AI 分析方法

在 Excel 建立評估執行表，記錄版本、資料集、指標、協定、結果、分群、決策與下一輪調整；AI 可產生缺口清單。

六、計算結果

原書沒有提供可直接計算的數據，因此不補造結果。

七、結果分析與管理解讀

框架的終點不是分數，而是透明決策：達標才停止，未達標則留下變更理由並再次評估。

八、AI 提問詞

請依七步驟審查評估文件，指出目標、資料、協定、分析、報告或迭代證據缺口。