案例20｜語言模型整體評估：用多情境、多指標與透明資料比較模型

一、案例定位

本案例涉及人工智慧（Artificial Intelligence, AI）與生成式人工智慧（Generative Artificial Intelligence, GenAI）。理解 Stanford 提出的語言模型透明評估框架。

本案例依原書第 6 章的框架、範例或情境重組，並非原書正式案例研究。

二、學習目標

掌握此框架的五項原則。
區分核心與目標式評估。
理解活基準與未涵蓋範圍。

三、案例情境

語言模型整體評估（Holistic Evaluation of Language Model, HELM）由 Stanford 的基礎模型研究中心（Center for Research on Foundation Models, CRFM）提出，目標是提高模型透明度。它承認無法涵蓋所有情境，使用準確率、校準、穩健、公平、偏誤、毒性與效率等多指標，在一致情境與調整策略下比較開放、有限及封閉模型，並公開情境、提問、預測與程式碼。

四、開始資料

原則／範圍	原書說明
廣泛涵蓋與承認不完整	建立情境分類並標示尚未涵蓋區域
多指標	準確、校準、穩健、公平、偏誤、毒性、效率
標準化	使用相同情境與一致模型適配方式
透明	公開情境、提問、預測與程式碼
活基準	持續加入模型、情境與指標
核心情境	涵蓋常見語言模型用途
目標式評估	深入推理、檢索、著作權記憶與假訊息等風險

五、Excel／AI 分析方法

在 Excel 以模型、情境、適配方法與七類指標建立比較表，另設未涵蓋範圍欄；AI 可整理但不能把缺測情境當成通過。

六、計算結果

原書沒有提供可直接計算的數據，因此不補造結果。

七、結果分析與管理解讀

HELM 的價值不只是排行榜，而是讓比較條件、未涵蓋範圍與原始輸出可被檢視。活基準也代表結果會隨版本演變。

八、AI 提問詞

請依 HELM 原則審查模型比較，檢查情境、適配、指標、公開證據與未涵蓋範圍是否完整。