一、案例定位

用原書引用的 Stanford HELM 說明「模型評估不能只看一個 accuracy 數字」。

二、學習目標

• 理解 multi-scenario／multi-metric evaluation。
• 正確解讀 mean win rate。

三、案例情境

原書寫道 HELM 當時追蹤 119 個 LLM、116 個 scenarios、110 個 metrics，其中 accuracy 有 16 個 metrics；Llama 2 (70B) 當時 mean win rate 為 94%。

四、開始資料

五、Excel／AI 分析方法

建立 benchmark matrix，不只排序單一分數；同時保留 scenario、metric、model version、date。

六、計算結果

Accuracy metrics 占 total metrics=16÷110≈14.5%。

七、結果分析與管理解讀

94% mean win rate 不是「94% factual accuracy」；它是原書對 leaderboard 指標的描述，兩者不能混為一談。

八、AI 提問詞

根據 benchmark table 區分 accuracy、robustness、fairness 等 metric，不要把 mean win rate 改寫成 factual accuracy。

九、思考／情境變動

**題目：**若 accuracy metrics 增至 20 個，占 110 個 metrics 多少？

**參考解答：**約 18.2%。