一、案例定位

本案例使用原書的 A/B 測試範例，評估單次推理與多次推理在準確度、返工與總成本之間的取捨。

本案例依原書第 8 章的最佳實務、範例或情境重組，並非原書正式案例研究。

二、學習目標

• 理解準確度優先時的多次推理與自我驗證。
• 同時比較品質指標與商業指標。
• 辨識原書數字中的不一致，不自行修正。

三、案例情境

原書建議準確度關鍵情境可採領域資料微調／指令微調、多次推理與自我驗證，並提高檢索增強生成（Retrieval-Augmented Generation, RAG）索引品質。範例以單次推理為 A、多人次推理為 B，搭配標記評估集比較事實準確率、F1、Exact Match，以及審核率、返工與法遵錯誤。

四、開始資料

原書另列假設：每次 API 呼叫 $0.05；多次推理約需要 1.5 倍呼叫；每月約 2,000 個任務；平均返工人力成本每任務 $20；單次推理錯誤率約 30%，多次推理約 15%。

五、Excel／AI 分析方法

在 Excel 分別計算推論成本、錯誤任務數、返工成本與總成本，並把「原書表格數字」與「依文字假設直接計算」放在不同欄位，避免自動覆寫原書值。

六、計算結果

原書表格的結論是：單次推理每月總成本 $13,000，多次推理 $7,500，淨效益為每月 $5,500。

但依同頁文字假設直接計算，2,000 × $0.05 = $100，而 1.5 倍呼叫為 $150，與原書表格中的 $1,000 與 $1,500 不一致。原書沒有說明這個差額，因此保留原書表格與文字假設，不自行修正。

七、結果分析與管理解讀

原書要表達的是：高價值的合約分析、法遵檢查、財務摘要等工作，可能可以接受較高延遲與推論成本，只要較高準確度能顯著減少返工或風險；但本例數字存在內部不一致，不能把它當成可直接套用的精確成本模型。

八、AI 提問詞