把「模型好不好」從單一 accuracy 問題擴展成原書的 modeling governance checklist。
企業評估 foundation model,不能只看 demo。原書要求回答 limitations、associated risks、performance benchmarks、能否 recreate、透明度、使用哪些 foundation models,以及訓練耗用多少 energy/compute。
| Modeling 問題 | 管理意義 |
|---|---|
| Limitations? | 知道模型不擅長什麼 |
| Risks? | 建立控制措施 |
| Performance benchmarks? | 可比較能力 |
| Can model be recreated? | Reproducibility/continuity |
| Transparent? | Auditability |
| Other foundation models used? | Dependency/lineage |
| Energy/compute used? | 成本與 environmental footprint |
建立 model card scorecard,不明資訊獨立列 Unknown;不要用總分掩蓋 critical fail,例如無法說明 data lineage。
若教材中的 7 項有 5 項可回答,documentation completeness=5÷7≈71.4%。
Model benchmark 只是其中一欄。若模型效能高但 provenance、reproducibility 或 resource transparency 缺失,仍可能不適合高風險場景。
依下列 provider documentation 對照 7 項 modeling checklist;未提供的資訊不要推測,標示 Unknown。
**題目:**若補齊 transparency 與 energy 兩項,completeness 變多少?
參考解答:7÷7=100%。