1. 案例定位

Figure 2.2 六步 Analytics Process 與 Training/Test。

2. 學習目標

從 Business Objective 走到 Deployment,理解 Overfitting 與 Validation。

3. 案例情境

Analytics Project 先定義 Business Objective,再 Collect/Prepare Data、分割資料、Build Model、Deploy/Monitor。

4. 開始資料

步驟 原書流程
1 Define Business Objectives 2 Collect Data 3 Prepare and Explore Data 4 Create Training and Test Datasets 5 Build and Improve Model 6 Deploy Model

5. 分析方法

常見 80% Training/20% Test;Training 可做 5-fold Cross-validation,每 fold 占總資料 16%。

6. 計算結果

教材模擬: 10,000 筆 → 8,000 Training、2,000 Test;5 folds → 每 fold 1,600。

7. 結果分析與管理解讀

Test Set 評估 Unseen Data;部署後 Performance 會衰退,需 Monitoring/Retraining。

8. AI Prompt

「根據已計算 Validation Results 解釋 Model Risk,不把 Training Accuracy 當 Production Performance。」

9. 思考/What-if

題目: 25,000 筆維持 80/20、5-fold?

參考解答: Training 20,000、Test 5,000、每 fold 4,000。

10. 資料說明