拾壹違反迴歸假設以及補救方法主講人陳陸輝研究員政治大學選舉研究中心. 講授主題一、解釋變數之間的共線性問題二、變異數不齊一性三、誤差項自我迴歸（相關）

Slides:

Advertisements

Similar presentations

第二章研究主題（研究題目）與研究問題.

Advertisements

McGraw-Hill/Irwin © 2003 The McGraw-Hill Companies, Inc.,All Rights Reserved. 肆資料分析與表達.

布林代數的應用--- 全及項(最小項)和全或項(最大項)展開式

第七章抽樣與抽樣分配蒐集統計資料最常見的方式是抽查。這牽涉到兩個問題：抽出的樣本是否具有代表性?是否能反應出母體的特徵?

Section 1.2 Describing Distributions with Numbers 用數字描述分配.

指導教授：陳淑媛學生：李宗叡李卿輔.  利用下列三種方法 (Edge Detection 、 Local Binary Pattern 、 Structured Local Edge Pattern) 來判斷是否為場景變換，以方便使用者來找出所要的片段。

McGraw-Hill/Irwin © 2003 The McGraw-Hill Companies, Inc.,All Rights Reserved. 參實驗法.

1 政治大學財政所與東亞所選修 -- 應用計量分析 -- 中國財政研究黃智聰政治大學財政所與東亞所選修課程名稱：應用計量分析 -- 中國財政研究授課老師：黃智聰授課內容：簡單線性迴歸模型：共線性與虛擬變數參考書目： Hill, C. R., W. E. Griffiths, and G.

亂數產生器安全性評估之統計測試 SEC HW7 姓名：翁玉芬學號：

Stat_chi21 類別資料 (Categorical data) 一種質性資料, 其觀察值可歸類於數個不相交的項目內，例 : 性別, 滿意度, …, 一般以各項的統計次數表現. 分析此種資料，通常用卡方檢定類別資料分析卡方檢定卡方檢定基本理論一個含有 k 項的試驗，設 p i.

©Ming-chi Chen 社會統計 Page.1 社會統計第十講相關與共變. ©Ming-chi Chen 社會統計 Page.2 Covariance, 共變量當 X, Y 兩隨機變數不互為獨立時，表示兩者間有關連。其關連的形式有很多種，最常見的關連為線性的共變關係。隨機變數 X,Y.

消費者物價指數反映生活成本。當消費者物價指數上升時，一般家庭需要花費更多的金錢才能維持相同的生活水準。經濟學家用物價膨脹（inflation）來描述一般物價持續上升的現象，而物價膨脹率（inflation rate）為物價水準的變動百分比。

Section 2.3 Least-Squares Regression 最小平方迴歸

1 政治大學公企中心必修課 -- 社會科學研究方法（量化分析） -- 黃智聰政治大學公企中心必修課課程名稱：社會科學研究方法（量化分析）授課老師：黃智聰授課內容：質化的及有限的因變數模型參考書目： Hill, C. R., W. E. Griffiths, and G. G. Judge,

STAT0_sampling Random Sampling  母體： Finite population & Infinity population  由一大小為 N 的有限母體中抽出一樣本數為 n 的樣本，若每一樣本被抽出的機率是一樣的，這樣本稱為隨機樣本 (random sample)

第 4 章迴歸的同步推論與其他主題.

1 政大公企中心產業人才投資課程 -- 企業決策分析方法 -- 黃智聰政大公企中心產業人才投資課程課程名稱：企業決策分析方法授課老師：黃智聰授課內容：利用分公司之追蹤資料進行企業決策分析參考書目： Hill, C. R., W. E. Griffiths, and G. G. Judge,

1. 假設以下的敘述為一未提供 “ 捷徑計算 ” 能力的程式段，試用程式設計的技巧，使此敘述經此改寫的動作後，具有與 “ 捷徑計算 ” 之處理方法相同之處理模式。 if and then E1 else E2 endif.

STAT0_corr1 二變數的相關性  變數之間的關係是統計研究上的一大目標  討論二分類變數的相關性，以列聯表來表示  討論二連續隨機變數時，可以作 x-y 散佈圖觀察它們的關係強度  以相關係數來代表二者關係的強度.

Section 2.2 Correlation 相關係數. 散佈圖 1 散佈圖 2 散佈圖的盲點兩座標軸的刻度不同，散佈圖的外觀呈現的相聯性強度，會有不同的感受。散佈圖 2 相聯性看起來比散佈圖 1 來得強。以統計數字相關係數做為客觀標準。

McGraw-Hill/Irwin © 2003 The McGraw-Hill Companies, Inc.,All Rights Reserved. 肆資料分析與表達.

1 政治大學東亞所選修 -- 計量分析與中國大陸研究黃智聰政治大學東亞所選修課程名稱：計量分析與中國大陸研究（量化分析）授課老師：黃智聰授課內容：時間序列與橫斷面資料的共用參考書目： Hill, C. R., W. E. Griffiths, and G. G. Judge, (2001),

1 Part IC. Descriptive Statistics Multivariate Statistics ( 多變量統計 ) Focus: Multiple Regression ( 多元迴歸、複迴歸 ) Spring 2007.

2009fallStat_samplec.i.1 Chap10 Sampling distribution (review) 樣本必須是隨機樣本 (random sample) ，才能代表母體 Sample mean 是一隨機變數，隨著每一次抽出來的樣本值不同，它的值也不同，但會有規律性為了要知道估計的精確性，必需要知道樣本平均數.

具備人臉追蹤與辨識功能的一個智慧型數位監視系統系統架構在巡邏模式中，攝影機會左右來回巡視，並利用動態膚色偵測得知是否有移動膚色物體，若有移動的膚色物體則進入到追蹤模式，反之則繼續巡視。

1 政治大學財政所與東亞所選修 -- 應用計量分析 -- 中國財政研究黃智聰政治大學財政所與東亞所選修課程名稱：應用計量分析 -- 中國財政研究授課老師：黃智聰授課內容：簡單線性迴歸模型：報告結果與選擇函數型式參考書目： Hill, C. R., W. E. Griffiths, and.

1 政治大學公企中心必修課 -- 社會科學研究方法（量化分析） -- 黃智聰政治大學公企中心必修課課程名稱：社會科學研究方法（量化分析）授課老師：黃智聰授課內容：簡單線性迴歸模型：共線性與虛擬變數參考書目： Hill, C. R., W. E. Griffiths, and G. G.

1 開南大學公管所與國企所合開選修課 -- 量化分析與應用 -- 黃智聰開南大學公管所與國企所合開選修課課程名稱：量化分析與應用授課老師：黃智聰授課內容：簡單線性迴歸模型：共線性與虛擬變數參考書目： Hill, C. R., W. E. Griffiths, and G. G. Judge,

Chapter 13 塑模靜態觀點：物件圖 Static View : Object Diagram.

Introduction to Java Programming Lecture 17 Abstract Classes & Interfaces.

第三部分：研究設計 ( 二）：研究工具的信效度與研究效度（第九章之第 306 頁 -308 頁；第四章）

1 政大公企中心產業人才投資課程 -- 企業決策分析方法 -- 黃智聰政大公企中心產業人才投資課程課程名稱：企業決策分析方法授課老師：黃智聰授課內容：質化因素在企業決策分析之重要性參考書目： Hill, C. R., W. E. Griffiths, and G. G. Judge, (2001),

選舉制度、政府結構與政黨體系 Cox (1997) Electoral institutions, cleavage strucuters, and the number of parties.

CH 15- 元件可靠度之驗證  驗證方法  指數模式之可靠度驗證  韋式模式之可靠度驗證  對數常態模式之可靠度驗證  失效數為零時之可靠度估算  各種失效模式之應用.

大陸問題研究潘兆民東海大學通識教育中心. 第一章大陸問題研究簡介一、大陸問題研究的重要性二、國民政府為何會失敗.

政治大學公企中心必修課-- 社會科學研究方法（量化分析）--黃智聰

Structural Equation Modeling Chapter 1 模式存在與否之需，見仁見智；但是，人無模式，就無決策 SEM 概論.

1 政治大學國務院國安碩專班選修課 -- 社會科學研究方法（量化分析） -- 黃智聰政治大學國務院國安碩專班選修課課程名稱：社會科學研究方法（量化分析）授課老師：黃智聰授課內容：簡單線性迴歸模型：共線性與虛擬變數參考書目： Hill, C. R., W. E. Griffiths, and.

變異數分析迴歸分析因素分析區別分析集區分析

Section 4.2 Probability Models 機率模式. 由實驗看機率實驗前先列出所有可能的實驗結果。 – 擲銅板：正面或反面。 – 擲骰子： 1~6 點。 – 擲骰子兩顆： (1,1),(1,2),(1,3),… 等 36 種。決定每一個可能的實驗結果發生機率。 – 實驗後所有的實驗結果整理得到。

演算法 8-1 最大數及最小數找法 8-2 排序 8-3 二元搜尋法.

845: Gas Station Numbers ★★★ 題組： Problem Set Archive with Online Judge 題號： 845: Gas Station Numbers. 解題者：張維珊解題日期： 2006 年 2 月題意：將輸入的數字，經過重新排列組合或旋轉數字，得到比原先的數字大，

Structural Equation Modeling Chapter 6 CFA 根據每個因素有多重指標，以減少測量誤差並可建立問卷的構念效度驗證性因素分析.

Learning Method in Multilingual Speech Recognition Author : Hui Lin, Li Deng, Jasha Droppo Professor: 陳嘉平 Reporter: 許峰閤.

演算法課程 (Algorithms) 國立聯合大學資訊管理學系陳士杰老師 Course 7 貪婪法則 Greedy Approach.

描述統計描述統計(Descriptive Statistics)-將蒐集到的資料加以整理和記錄,並以數字和統計圖表的方式來分析及解釋資料所具有的特性. 基本統計值(平均數,中位數,標準差,變異量….) 相關性測量(卡方,相關係數,迴歸…)

1 開南大學公管所與國企所合開選修課 -- 量化分析與應用 -- 黃智聰開南大學公管所與國企所合開選修課課程名稱：量化分析與應用授課老師：黃智聰授課內容：簡單線性迴歸模型：非線性模型、異質變異、自我相關參考書目： Hill, C. R., W. E. Griffiths, and G.

概念性產品企劃書呂學儒李政翰.

1 政治大學公企中心必修課 -- 社會科學研究方法（量化分析） -- 黃智聰政治大學公企中心必修課課程名稱：社會科學研究方法（量化分析）授課老師：黃智聰授課內容：簡單線性迴歸模型：非線性模型、異質變異、自我相關參考書目： Hill, C. R., W. E. Griffiths, and.

1/17 A Study on Separation between Acoustic Models and Its Application Author : Yu Tsao, Jinyu Li, Chin-Hui Lee Professor : 陳嘉平 Reporter : 許峰閤.

1 政治大學財政所與東亞所選修 -- 應用計量分析 -- 中國財政研究黃智聰政治大學財政所與東亞所選修課程名稱：應用計量分析 -- 中國財政研究授課老師：黃智聰授課內容：簡單線性迴歸模型：非線性模型、異質變異、自我相關參考書目： Hill, C. R., W. E. Griffiths,

第十二章變異數分析 12.1 單因子變異數分析 1-way ANOVA Subject : 比較三組以上的母體平均數 k 組資料，母體平均數為 μ 1, …, μ i, …, μ k Data : k 組資料，樣本數為 n 1,…, n k. x ij --- 第 i 組的第 j 個觀察值 N =

1 政大公企中心產業人才投資課程 -- 企業決策分析方法 -- 黃智聰政大公企中心產業人才投資課程課程名稱：企業決策分析方法授課老師：黃智聰授課內容：非線性因素與異質變異在企業決策之解決參考書目： Hill, C. R., W. E. Griffiths, and G. G. Judge,

Cluster Analysis 目的 – 將資料分成幾個相異性最大的群組基本問題 – 如何衡量事務之間的相似性 – 如何將相似的資料歸入同一群組 – 如何解釋群組的特性.

冷凍空調自動控制 - 系統性能分析李達生. Focusing here … 概論自動控制理論發展自控系統設計實例 Laplace Transform 冷凍空調自動控制控制系統範例控制元件作動原理控制系統除錯自動控制理論系統穩定度分析系統性能分析 PID Controller 自動控制實務.

Structural Equation Modeling Chapter 8 潛伏變數路徑分析＝完全 SEM 潛伏變數路徑分析.

連續隨機變數連續變數：時間、分數、重量、……

McGraw-Hill/Irwin © 2003 The McGraw-Hill Companies, Inc.,All Rights Reserved. 壹企業研究導論.

Teacher : Ing-Jer Huang TA : Chien-Hung Chen 2015/6/30 Course Embedded Systems : Principles and Implementations Weekly Preview Question CH7.1~CH /12/26.

1 政治大學國務院國安碩專班選修課 -- 社會科學研究方法（量化分析） -- 黃智聰政治大學國務院國安碩專班選修課課程名稱：社會科學研究方法（量化分析）授課老師：黃智聰授課內容：簡單線性迴歸模型：非線性模型、異質變異、自我相關參考書目： Hill, C. R., W. E. Griffiths,

Regression 相關 –Cross table –Bivariate –Contingency Cofficient –Rank Correlation 簡單迴歸多元迴歸.

: Finding Paths in Grid ★★★★☆ 題組： Contest Archive with Online Judge 題號： 11486: Finding Paths in Grid 解題者：李重儀解題日期： 2008 年 10 月 14 日題意：給一個 7 個 column.

財務管理概論劉亞秋‧薛立言合著（東華書局, 2007)

Ch 11 建立研究工具的效度與信度.

幼兒行為觀察與記錄第八章事件取樣法.

Chapter 12 Estimation 統計估計. Inferential statistics Parametric statistics 母數統計 ( 母體為常態或大樣本 ) 假設檢定 hypothesis testing  對有關母體參數的假設，利用樣本資料，決定接受或不接受該假設的方法.

McGraw-Hill/Irwin © 2003 The McGraw-Hill Companies, Inc.,All Rights Reserved. 肆資料分析與表達.

Presentation transcript:

拾壹違反迴歸假設以及補救方法主講人陳陸輝研究員政治大學選舉研究中心

講授主題一、解釋變數之間的共線性問題二、變異數不齊一性三、誤差項自我迴歸（相關）

一、解釋變數之間的共線性問題 1. 定義多重共線性 2. 各種偵測共線性的方法 3. 共線性對於估計的影響 4. 補救方法

1. 定義多重共線性

Perfect multicollinearity （完全多重共線性）

多重共線性的後果當解釋變數間出現完全多重共線性的情況時：解釋變數的係數無法估計其標準誤出現無限大的情況

多重共線性的程度實際上，共線性是「程度問題」偶見高度多重共線性以一個第 147 頁的（ 11.2 ）方程式為例

變異膨脹因子 (Variance-Inflating Factor, VIF)

相關程度與變異膨脹因子的效果

2. 各種偵測共線性的方法 (p.149) (1) High R 2 but few significant t ratios. (2) High pair-wise correlations among regressors. (3) Examination of partial correlations. (4) Auxiliary regressions. (5) Eigenvalue and condition index. (6) Tolerance and variance inflation factor.

(1) High R 2 but few significant t ratios 當你發現模型的 R 2 高，但是變數的 t 檢定卻少有顯著時可以拿掉一兩個變數，看看估計結果是否出現重要變化

(2) 自變數間高度相關放入模型中的解釋變數，本身即具有高度的相關，相關程度超過 0.8 會是大問題（ Gujarati 1995, 335 ）不過，有時自變數間低相關也會出現共線性解釋變數超過兩個，也難用此原則檢視社會科學常見現象，選舉研究尤為常見：政黨認同、統獨立場、候選人評價

(3) 檢視偏相關當我們有超過兩個以上的解釋變數需檢視變數之間的偏相關

(4) 輔助迴歸估計檢視變數間是否高度相關以一自變數為依變數，將其他變數放入模型得到新的 R 2 用此新的 R 2 與原有模型的 R 2 做 F 檢定或是看新的 R 2 是否超過原統計模型的 R 2

(5) 特徵值與條件指標條件指標小於 10 則沒有問題介於 10 到 30 則為中度到高度的共線性超過 30 則為嚴重的共線性

（ 6 ）容忍度與變異膨脹因子 VIF 超過 10 表示相關達到 TOL=1/VIF 接近 1 表示獨立變數間無關聯性接近 0 表示獨立變數間有高度相關

3. 共線性對於估計的影響 (1) Large Variances of OLS Estimators (2) Wider Confidence Intervals (3) Insignificant t Ratio (4) A High R 2 but Few Significant t Ratio (5) Sensitivity of OLS estimators and their standard errors to small changes in data

4. 補救方法 (1). A priori information (2). Combining cross-sectional and time series data (3). Dropping a variable(s) and specification bias (4). Transformation of variables (5). Additional or new data. (6). Reducing collinearity in polynomial regressions (7). Other methods—Factor analysis or principal components

（ 1 ）事前資訊當你知道自變數之間的關係時先將部分自變數納入再用估計結果推估未納入計算自變數的估計值（ Gujarati 1995, 340 ）

（ 2 ）納入跨時與剖面資料此一目的在增加觀察值不過，也增加解釋的困難（中國不同地區經濟成長或是政府支出問題）

（ 3 ）拿掉一個變數拿掉一個你認為是「搗蛋」的變數不過，也會出現模型設定不足（ Model Under-specification ）

（ 4 ）轉換變數在時間序列資料中將自變數與依變數與前一時間點相減自變數之間的相關將會消除，不過，誤差項也許會出現問題

（ 5 ）納入更多資料與方法 2 類似，不過，通常不太「實際」

（ 6 ） polynomial regressions 將自變數與不同次方取自變數的離差

（ 7 ）其他方法幾個變數如果高度相關，則可以用因素分析或是指標建構的方式，將多個變數建立成一指標

二、變異數不齊一性 1. 定義 2. 成因 3. 對估計的影響 4. 檢驗方法 5. 補救措施

1. 定義誤差項的變異數大小會隨著依變數大小而變化

1. 定義：變異數齊一性

1. 定義：變異數不齊一性

2. 變異數不齊一性的成因 As people learn The variances of error terms are positively correlated with the independent variables. When our data collecting techniques improve Heteroskedasticity can also arise as a result of outliers in our data. Another resource of heteroscedasticity arises from mis-specifying the regression model.

(1) 因為學習，減低錯誤

(2) 誤差項與自變數正相關個人收入愈多，存款的選擇愈多公司收入愈好，股利發放愈多樣

（ 3 ）資料蒐集的技術改進

（ 4 ）因為出現極端值

（ 5 ）模型設定錯誤忽略重要變數

3. 對估計的影響 1). Heteroskedasticity, Unbiasedness, and Consistency 2). Heteroskedasticity and Standard Errors of OLS Coefficients The consequences of heteroskedasticity are that b is still unbiased and consistent, but its variance will be incorrect. In other words, it is inefficient. Additionally, our conventional test statistics are invalid.

4. 檢驗方法非正式：圖形檢驗 1) The White Test 2) The Breusch-Pagan-Godfrey Test

圖形檢驗：誤差平方與預測值

圖形檢驗：超過兩個自變數

正式檢定： The White Test 先估計原模型取誤差項的平方將自變數改為原變數原變數的平方原變數之間的交互作用（ Gujarati 1995, ）統計檢定： n*R 2 ~X 2 df

5. 補救措施對於變異數不齊一性的各種補救方法都不適當，主要補救方法著重在對於特定解釋變數予以加權處理，以降低其變異數的影響。最大概似法有其他的方法，可以處理這個問題，此處並不加以介紹。

三、誤差項自我迴歸（相關） 1. 定義 2. 成因 3. 對估計的影響 4. 檢驗方法 5. 補救措施

誤差項自我迴歸（相關）

1. 定義 The term autocorrelation (or serial correlation) may be defined as correlation between members of series of observations ordered in time [as in time series data] or space [as in cross-sectional data] (Gujarati 1995: 400-1).

2. 成因 However, serial correlation could indeed be error autocorrelation, but it could also be the result of dynamic misspecification, parameter nonconstancy, incorrect functional form, and so on (Granato 1991: 124).

2. 成因 According to Kennedy (1992: 119), there are several reasons why serial correlation arises: Spatial autocorrelation: Prolonged influence of shocks: Inertia: Data manipulation: Misspecification:

3. 對估計的影響 (1).No Lagged Endogenous Variable (2).Lagged Endogenous Variable

(1).No Lagged Endogenous Variable 係數仍然是無偏估計係數的標準誤估計被低估假設檢定犯下第一型錯誤的機率增高

(2).Lagged Endogenous Variable 讓 OLS 的估計變得 Inconsistent

4. 檢驗方法參考課本內容以及所列書目

5. 補救措施好好學統計

表 7 的說明好好學統計