以 Anscombe’s Quartet 說明:近似相同的 Summary Statistics 與 Regression 結果,可能對應完全不同的資料結構。
理解為何 Predictive Modelling 前必須先 Visualization;辨識 Non-linearity、Outlier 與 Influential Point 對統計結果的影響。
Francis Anscombe 於 1973 年建構四組 Dataset,每組都有 11 個 (x, y) observations。四組資料的 Mean、Standard Deviation 與 Correlation 幾乎相同,但 Figure 4.1 畫出後呈現完全不同的結構。
| 項目 | 原書資料 |
|---|---|
| Dataset 數 | 4 |
| 每組 observations | 11 個 (x, y) points |
| 共同 best-fit line | y = 3 + 0.5x |
| 共同 R-squared | 63% |
| 主要比較 | Mean、Standard Deviation、Correlation 幾乎相同,但圖形不同 |
先比較四組資料的 Summary Statistics 與線性模型,再將四組資料分別畫成 Scatter Plot,觀察線性關係、非線性關係與 Outlier 對圖形和 best-fit line 的影響。
原書直接給出四組共同模型 y = 3 + 0.5x,R-squared 均為 63%。本案例不另外補算 Figure 未列出的數值。
第一組近似線性;第二組存在明顯但非線性的關係;第三組受一個 Outlier 影響而改變 best-fit line;第四組則由一個 Outlier 產生高 Correlation。只看模型 fit 可能使新資料預測失準。
「比較四組資料的視覺結構,指出哪些現象無法只從 Mean、Standard Deviation、Correlation 與 R-squared 判斷;不要補造原書未提供的數值。」
題目: 如果四個模型的 R-squared 都是 63%,可以直接認定四組資料具有相同的預測結構嗎?
參考解答: 不可以。原書的四張圖分別呈現線性、非線性與不同 Outlier 影響,顯示相同的 Summary Statistics 與 fit 不代表相同的資料結構。