模型/研究結果案例,整合第 7.7 節、圖 7.22–7.27 與原書大型影像辨識案例。
理解卷積神經網路(Convolutional Neural Network, CNN)的卷積、池化、特徵擷取與大規模弱監督學習。
影像辨識需要從高維像素中擷取邊緣/模式,再逐層組合為較高層特徵。原書以 AlexNet、GoogLeNet 與大型 Instagram 訓練專案說明此類深度網路。
| 原書大型訓練案例 | 數值 |
|---|---|
| 訓練影像 | 35 億張 Instagram 影像 |
| 主題標籤 | 約 17,000 |
| 平行圖形處理器(Graphics Processing Unit, GPU) | 336 |
| 訓練時間 | 數週 |
| 初步模型 | 10 億張影像+1,500 個主題標籤 |
| ImageNet 比較 | 原書報告準確率較當時最先進模型提升超過 2% |
卷積層以核心擷取局部模式;池化層將張量壓縮、降低參數數量,同時保留重要特徵。多層結構逐步把簡單視覺模式組合成較高層次表徵。
35 億張影像 ÷ 336 個 GPU ≈ 每個 GPU 1,042 萬張影像(若平均分配);原書未說明工作負載真正完全平均,因此這只是算術示意,不能當作實際 GPU 處理量。
大型資料與平行硬體可擴展深度學習,但資料標記策略同樣重要。原書案例以使用者主題標籤進行弱監督學習,降低純人工標記的負擔。
根據卷積、池化與 35 億/17,000/336/10 億/1,500/>2% 等數字解釋擴展策略;不得推測實際單一 GPU 速度或完整模型架構。
問題: 若只比較初步模型的 10 億張影像與完整訓練集的 35 億張影像,完整訓練集是多少倍?
參考解答: 3.5 ÷ 1 = 3.5 倍。