案例17｜Fig. 9.3：Supervised Fine-tuning、Reward Model 與 PPO 的 ChatGPT Workflow

一、案例定位

本案例依原書 Fig. 9.3 整理。

呈現作者引用的 ChatGPT Model Workflow：Demonstration Data → Supervised Policy → Ranking／Reward Model → PPO Update。

二、學習目標

理解 Fig. 9.3 的三階段概念。
區分 Supervised Fine-tuning 與 Reward Model。
理解 Proximal Policy Optimization（PPO）如何利用 Reward 更新 Policy。

三、案例情境

Fig. 9.3 先從 Prompt Dataset Sampling 開始，由 Labeler 示範 Desired Output，以 Supervised Learning Fine-tune GPT-3.5；接著對多個 Model Outputs 排序，用來訓練 Reward Model；最後從 Supervised Policy 初始化 PPO Policy，生成 Output、由 Reward Model 計算 Reward，再用 PPO 更新 Policy。

四、開始資料

Stage	原書 Fig. 9.3 流程	目的
Step 1	Prompt Sampling → Labeler demonstrates desired output → Supervised Fine-tuning	建立 Supervised Policy
Step 2	Sample prompt＋multiple outputs → Labeler ranks best to worst	Train Reward Model
Step 3	PPO initialized from supervised policy → generate output → reward model scores → PPO update	利用 Human Preference Signal 更新 Policy

五、Excel／AI 分析方法

本圖是 Conceptual Workflow，不是本章自行訓練模型的實驗資料。Excel 可作流程追蹤，但沒有可重算的本研究 Training Dataset。

六、計算結果

Fig. 9.3 沒有提供 Chapter 9 自身的 Training Metric；其用途是說明 ChatGPT 背景機制。

七、結果分析與管理解讀

理解 Training Workflow 有助於說明為何 LLM Output 受到 Training Data、Human Ranking 與 Model Design 影響，但不能由此推導某個 Climate Answer 一定正確。

八、AI 提問詞

請用三階段解釋 Fig. 9.3：supervised fine-tuning、reward model training、PPO policy update；不要把這張引用流程圖描述成本研究自行訓練 ChatGPT。