Section 2.3 Least-Squares Regression 最小平方迴歸

迴歸直線(Regression Line) 迴歸直線是用來描述反應變數 y 與解釋變數 x 線性關係的直線，在給定 x 之下通常使用迴歸直線的公式來預測 y。 平均日加溫度數(heating degree-days)為20度時，根據下圖的迴歸直線可算出月平均瓦斯消耗量約為490 cu. ft 。

迴歸直線實例 (20, 5)

預測誤差 迴歸直線的選擇直接影響預測值 y 的準確性。 我們以 y 之觀察值 - y之預測值 稱為誤差， 或稱為垂直距離。 error= observed y – predicted y 平均日加溫度數為 20度時，若實際月平均瓦斯消耗量為 510 cu. ft，則誤差 = 510 - 490 = 20。

預測誤差圖示 預測值 誤差 觀察值 y

最小平方迴歸直線 依據誤差平方和最小的原則求得的迴歸直線，稱為最小平方迴歸直線(least squares regression line)。 改變迴歸直線的截距與斜率，選擇使誤差平方和最小的直線。

最小平方迴歸直線方程式 若直線方程式為 y = a + bx，則在 xi 之下 yi 的預測值為 ，則誤差平方和即為 最小平方迴歸直線即為

最小平方迴歸直線實例 統計資料 則 最小平方迴歸直線即為

最小平方迴歸直線-minitab

最小平方迴歸直線-minitab圖

“Regression toward the mean” To “regress” means to go backward. Why the name? Sir Francis Galton (1822-1911) found that: Heights of children vs. heights of their parents The taller-than-average parents tended to have children who were taller than average, but not as tall as their parents. Galton called this fact “regression toward the mean”.

最小平方迴歸的性質 最小平方迴歸直線中反應變數 y 與解釋變數 x 的角色是不相同的。 迴歸直線的斜率與相關係數關係密切。 b = r (sy/sx)

兩條迴歸直線 (例2.10 擴散中的宇宙)

最小平方迴歸的性質(續) 迴歸直線一定通過 點。 迴歸直線方程式 中， 以 代入可得 即表示點 在迴歸直線上。

最小平方迴歸的性質(再續) 相關係數描述了迴歸直線的強度。 相關係數平方即為反應變數 y 的變異中，被對變數 x 作迴歸所解釋的部分(比例)。

餘差 (Residuals)(殘差) 觀察值 y 與預測值 的差稱為餘差，又稱殘差。 餘差總和必為零

餘(殘)差圖(Residuals Plot) 餘差與對應的解釋變數的散佈圖，稱為餘差圖。 餘差圖有助於瞭解迴歸直線的適合性。 餘差圖為非線性。 餘差的散佈隨著 x 值的增加而散開或縮小。

標準餘差圖 4 2 - 2 - 4 x

曲線型餘差圖 4 2 - 2 - 4 x

發散型餘差圖 4 2 - 2 - 4 x

餘差圖中的特殊點 (Unusual Points) 離群點(outliers)：餘差特別大(不論正負)的點，偏離整體餘差的分佈。 Child 19 干擾點(influential observations)：該點的移除對於迴歸直線的計算結果有重大的影響，稱為干擾點。 x 值特出(大或小)的點(x 方向的離群點)，多為干擾點。 干擾點的餘差通常不大，因為它們會把迴歸線拉向自己。 Child 18

餘差圖實例 小孩說第一句話的時間與日後Gesell 能力測驗成績的迴歸關係。 迴歸直線如後 餘差如下，餘差圖如後

迴歸直線圖 Child 19 Child 18

迴歸餘差圖 Child 19 Child 19 Child 18

干擾點對迴歸直線的影響 Child 19 Child 18