1. Section 2.3 Least-Squares Regression 最小平方迴歸

2. 迴歸直線(Regression Line)
迴歸直線是用來描述反應變數 y 與解釋變數 x 線性關係的直線，在給定 x 之下通常使用迴歸直線的公式來預測 y。
平均日加溫度數(heating degree-days)為20度時，根據下圖的迴歸直線可算出月平均瓦斯消耗量約為490 cu. ft 。

3. 迴歸直線實例
(20, 5)

4. 預測誤差 迴歸直線的選擇直接影響預測值 y 的準確性。 我們以 y 之觀察值 - y之預測值 稱為誤差， 或稱為垂直距離。
error= observed y – predicted y
平均日加溫度數為 20度時，若實際月平均瓦斯消耗量為 510 cu. ft，則誤差 = = 20。

5. 預測誤差圖示
預測值 誤差
觀察值 y

6. 最小平方迴歸直線
依據誤差平方和最小的原則求得的迴歸直線，稱為最小平方迴歸直線(least squares regression line)。
改變迴歸直線的截距與斜率，選擇使誤差平方和最小的直線。

7. 最小平方迴歸直線方程式 若直線方程式為 y = a + bx，則在 xi 之下 yi 的預測值為 ，則誤差平方和即為
最小平方迴歸直線即為

8. 最小平方迴歸直線實例
統計資料 則
最小平方迴歸直線即為

9. 最小平方迴歸直線-minitab

10. 最小平方迴歸直線-minitab圖

11. “Regression toward the mean”
To “regress” means to go backward.
Why the name?
Sir Francis Galton ( ) found that:
Heights of children vs. heights of their parents
The taller-than-average parents tended to have children who were taller than average, but not as tall as their parents.
Galton called this fact “regression toward the mean”.

12. 最小平方迴歸的性質 最小平方迴歸直線中反應變數 y 與解釋變數 x 的角色是不相同的。
迴歸直線的斜率與相關係數關係密切。 b = r (sy/sx)

13. 兩條迴歸直線 (例2.10 擴散中的宇宙)

14. 最小平方迴歸的性質(續)
迴歸直線一定通過 點。
迴歸直線方程式 中， 以 代入可得
即表示點 在迴歸直線上。

15. 最小平方迴歸的性質(再續) 相關係數描述了迴歸直線的強度。
相關係數平方即為反應變數 y 的變異中，被對變數 x 作迴歸所解釋的部分(比例)。

16. 餘差 (Residuals)(殘差)
觀察值 y 與預測值 的差稱為餘差，又稱殘差。
餘差總和必為零

17. 餘(殘)差圖(Residuals Plot)
餘差與對應的解釋變數的散佈圖，稱為餘差圖。
餘差圖有助於瞭解迴歸直線的適合性。
餘差圖為非線性。
餘差的散佈隨著 x 值的增加而散開或縮小。

18. 標準餘差圖 4 2
- 2
- 4 x

19. 曲線型餘差圖 4 2
- 2
- 4 x

20. 發散型餘差圖 4 2
- 2
- 4 x

21. 餘差圖中的特殊點 (Unusual Points)
離群點(outliers)：餘差特別大(不論正負)的點，偏離整體餘差的分佈。
Child 19
干擾點(influential observations)：該點的移除對於迴歸直線的計算結果有重大的影響，稱為干擾點。
x 值特出(大或小)的點(x 方向的離群點)，多為干擾點。
干擾點的餘差通常不大，因為它們會把迴歸線拉向自己。
Child 18

22. 餘差圖實例
小孩說第一句話的時間與日後Gesell 能力測驗成績的迴歸關係。
迴歸直線如後
餘差如下，餘差圖如後

23. 迴歸直線圖
Child 19
Child 18

24. 迴歸餘差圖
Child 19
Child 19
Child 18

25. 干擾點對迴歸直線的影響
Child 19
Child 18