06_以迴歸進行預測建模

核心表格

核心主題	主要觀點／方法	實務用途	重要條件／限制／延伸
Predictive Model	Outcomeᵢ = Model + errorᵢ	以歷史資料建立可用於 Action 的 Prediction	模型是 Generalization，不會完全符合現實
Mean-only Model	10 位學生平均 Exam Mark = 62；Squared Errors = 374	建立最基本 Benchmark	固定 Mean 無法利用 Predictor Information
Simple Linear Regression	Y = b₀ + b₁X + error	用單一 Predictor 預測 Continuous Outcome	Relationship 不自動等於 Causation
Advertising TV Model	TV → Sales；R² = 30.61%	評估單一 Advertising Predictor	仍有大量 Sales Variation 未解釋
Statistical Significance	Null Hypothesis、p-value、t-test、F-test	判斷 Predictor 與 Model 是否有 Statistical Evidence	Significance 不等於 Practical Usefulness
Multiple Regression	TV、Radio、Press → Sales	同時估計多個 Predictors 與 Continuous Outcome 的關係	Coefficient 解讀須以其他 Predictors Held Constant 為條件
Model Fit	R² = 64.7%；Adjusted R² = 64.3%	衡量 Explained Variance	不能只追求 R² 增加
Diagnostics	Residual Plot、Histogram、Outlier、Influence Plot	檢查 Regression Assumptions 與異常 Observations	Outlier 不應未查明原因就自動刪除
Categorical Predictor	Kitchen Quality Dummy Variables	將 Categories 納入 Linear Regression	Coefficients 是相對 Base Category 的差異
Interaction Effect	OverallQual × TotRmsAbvGrd	建模 Predictors 的 Joint Impact	保留 Interaction 時應保留 Constituent Main Effects
Non-linear Relationship	Age² = Age × Age	在線性模型中表示 Curvilinear Pattern	新增 Terms 仍可能造成 Overfitting
Variable Selection	Theory-based＋Data-based；p < 0.01	從 65 Variables 縮減 Predictors	Patterns 可能只是 Dataset Artifacts
Parsimony	19 Predictors R² = 87.54%；All Variables R² = 89.70%	平衡 Fit、Complexity 與 Interpretability	最終應以 Unseen Data 檢驗 Predictive Performance

文字說明

1. Regression 的目的不是描述資料，而是建立可用於行動的 Prediction

原書把 Analytics 放在 Decision-making 的脈絡中：從 Messy Real-world Data 建立抽象 Model，再用 Generalization 形成 Specific Predictions。Multiple Linear Regression（多元線性迴歸）是本章用來估計 Variables 之間 Relationships 的核心技術。

2. 所有模型都包含 Error

原書用 Outcomeᵢ = Model + errorᵢ 強調模型不可能完全重建現實。10 位學生 Exam Marks 的 Mean-only Model 預測 62；Errors 合計為 0，但 Squared Errors 合計仍達 374。這說明 Error 正負抵銷不代表模型 Fit 良好。