用原書的大型語言模型發展時間軸,整理 Transformer 之後的重要 OpenAI 模型、產品與規模變化。
原書依序列出 GPT-1(2018,1.17 億參數)、GPT-2(2019-02,15 億)、GPT-3(2020-06,1,750 億)、DALL-E(2021,120 億)、InstructGPT 研究(2022)、ChatGPT(2022-11,以 GPT-3.5 為基礎)、GPT-4(2023-03)、OpenAI 資料控制功能(2023-04)、DALL-E 3 整合進 ChatGPT(2023-09)。原書並指出 ChatGPT 上線後 2 個月內達到 1 億月活躍使用者。
| 里程碑 | 時間 | 原書資訊 |
|---|---|---|
| GPT-1 | 2018 | 1.17 億參數 |
| GPT-2 | 2019-02 | 15 億參數 |
| GPT-3 | 2020-06 | 1,750 億參數 |
| DALL-E | 2021 | 120 億參數;文字轉影像 |
| InstructGPT | 2022 | 原書描述為改善指令遵循,並降低有害內容與幻覺 |
| ChatGPT | 2022-11 | 以 GPT-3.5 為基礎;2 個月內達 1 億月活躍使用者 |
| GPT-4/ChatGPT 應用程式介面(Application Programming Interface, API) | 2023-03 | GPT-4 發布;ChatGPT 應用程式介面可用 |
| 資料控制 | 2023-04 | 使用者可選擇對話是否用於模型訓練 |
| DALL-E 3 整合 ChatGPT | 2023-09 | 多模態整合 |
參數量比較可統一換算成同一單位,再用 新模型參數量 ÷ 舊模型參數量 計算規模倍率;但參數量不等於品質分數。
| 比較 | 依來源數字重算 |
|---|---|
| GPT-2/GPT-1 | 15 億 ÷ 1.17 億 ≈ 12.82 倍 |
| GPT-3/GPT-2 | 1,750 億 ÷ 15 億 ≈ 116.67 倍 |
| GPT-3/GPT-1 | 1,750 億 ÷ 1.17 億 ≈ 1,495.73 倍 |
模型參數規模在數年間大幅增加,但不能把「參數更多」直接解讀為所有任務都一定更好。ChatGPT 的另一個重要轉折是對話介面與快速普及,而不只是底層模型規模。
根據時間軸計算參數規模倍率,並把各里程碑分類為「模型、使用介面、應用程式介面、隱私控制、多模態」;不得用參數量推導來源未提供的正確率。
**題目:**1 億月活躍使用者是否等同 1 億付費使用者?
**參考解答:**不等同。原書只提供月活躍使用者數。