Regresijos lygties parametrų vertinimas 2014-02-19 D.Gujarati Part 1 “ Single-Eguation regression Models” 3 skyrelis “Two –variable Regression model:The Problem of Estimation” ir 4 skyrelis The Normality Assumption: CNLRM) VU EF V.Karpuškienė

Porinė tiesinė regresija: parametrų vertinimas Grafinė ir statistinė duomenų analizė Parametrų vertinimas mažiausių kvadratų metodu Porinė tiesinė regresija Dauginė tiesinė regresija Klasikinio regresinio modelio prielaidos Gauso-Markovo teorema Įverčių savybės Regresijos paklaida ir jos įvertis Maksimalaus tikėtinumo metodas VU EF V.Karpuškienė 2

Pvz. VU EF V.Karpuškienė

Grafinė studento-motinos ūgio priklausomybės analizė VU EF V.Karpuškienė

Regresijos parametrų vertinimo metodai Regresinis modelis – bendras atvejis Porinė tiesinė regresija Yi = β0 + β2Xi + εi = β0 + β1 Xi + εi Yi Sisteminė/dėsningoji dalis Atsitiktinė dalis VU EF V.Karpuškienė

Regresijos parametrų vertinimo metodai MKM – rasti tokius parametrų β1, β2 įverčius, kurie minimizuoja modelio paklaidas, t.y atsitiktinę modelio dalį. MTM – rasti tokius parametrų įverčius β1, β2, kurie maksimizuoja sisteminės dalies ir Yi atitikimo tikimybę VU EF V.Karpuškienė

Parametrų įverčių nustatymas mažiausių kvadratų metodu Yi=0+1Xi+i Yi = b0+ b1Xi +ei MKM Įrodymas auditorijoje VU EF V.Karpuškienė

Y . Y4 e4 { . e3 Y3 } . Y2 e2 { } e1 . Y1 x1 x2 x3 x4 x Y, e ir tiesinė regresijos lygtis VU EF V.Karpuškienė 8

Parametrų įverčių nustatymas mažiausių kvadratų metodu Formulių išvedimas paskaitos metu VU EF V.Karpuškienė

Parametrų įverčių nustatymas mažiausių kvadratų metodu Galimos b1 matematinės išraiškos Įrodymas auditorijoje VU EF V.Karpuškienė

Pvz. Matavimo vienetų įtaka koeficientams YSŪ ir XMŪ - cm YSŪ ir XMŪ - metrais YSŪ- cm , XMŪ - m YSŪ- m , XMŪ - cm VU EF V.Karpuškienė

Dauginės regresijos įverčių nustatymas mažiausių kvadratų metodu Yi=0 +1X1i + 2X2i +i Yi = b0+ b1Xi + b2X2i+ ei MKM VU EF V.Karpuškienė

MKM dviems kintamiesiems Yi = 0 + 1X1 + 2X2 + ei Pasižymime : VU EF V.Karpuškienė 13

MKM dviems kintamiesiems b1 = yi xi1xi2 yi xi2xi1xi2 2 xi1 xi2 xi1xi2 b2 = yi xi2xi1 yi xi1xi2xi1 2 xi1 xi2 xi1xi2 VU EF V.Karpuškienė 14

1-4 grupių studentų ūgiai 2014 Regression Statistics Multiple R 0,37 R Square 0,14 Adjusted R Square 0,11 Standard Error 7,73 Observations 76,00 ANOVA   df SS MS F Significance F Regression 2,00 699,04 349,52 5,85 0,00 Residual 73,00 4357,95 59,70 Total 75,00 5056,99 Coefficients t Stat P-value Lower 95% Upper 95% Lower 95,0% Upper 95,0% Intercept 57,60 35,26 1,63 -12,67 127,87 MŪ 0,60 0,19 3,19 0,22 0,98 TŪ 0,08 0,13 0,62 0,54 -0,17 0,33 VU EF V.Karpuškienė

MKM įverčių savybės Įverčiai yra atsitiktiniai dydžiai Įverčiai yra tiesiniai, nepaslinkti, efektyvūs ir suderinti VU EF V.Karpuškienė

Įverčiai atsitiktiniai dydžiai Įverčiai, kaip ir visi atsitiktiniai dydžiai, charakterizuojami vidurkiu ir dispersija VU EF V.Karpuškienė

Gauso-Markovo teorema Jeigu yra tenkinamos klasikinio regresinio modelio prielaidos, tai mažiausių kvadratų metodu apskaičiuoti regresijos įverčiai yra tiesiniai, nepaslinkti ir turi mažiausią dispersiją nepaslinktų tiesinių įverčių klasėje. VU EF V.Karpuškienė 18

Klasikinio regresinio modelio prielaidos Prielaida Prielaidos matematinė išraiška 1. Regresijos funkcija koeficientų ir paklaidų atžvilgiu yra tiesinė (tiesiškumas) yi =1 +2Xi2+...+nXim+i 2. Paklaidų vidurkis lygus nuliui (nulinis vidurkis) E(i) = 0 3. Paklaidos neautokoreliuoja (likučių ne autokoreliuotumas) Cov(i j) = 0, i,j / ij 4. Paklaidų dispersija yra pastovi (Homoskedastiškumas) 2(i) = const. 5. Nepriklausomi veiksniai nėra tiesinės kitų nepriklausomų veiksnių kombinacijos (ne multikolinearumas) Xi  θ0+θjXj, i,j / ij 6. Paklaidos pasiskirsčiusios pagal normalųjį pasiskirstymo dėsnį (normalumas). i ~ N (0, 2) VU EF V.Karpuškienė

Klasikinės regresijos prielaidos Prielaidos matematinė išraiška Prielaida Prielaidos matematinė išraiška 7. Regresijos nepriklausomi kintamieji nėra atsitiktiniai dydžiai Cov(XjI i) = 0, j 8. Stebėjimų skaičius turi būti didesnis negu vertinamų parametrų skaičius N>M 9. Nepriklausomų kintamųjų reikšmės turi būti įvairios, negali įgyti tik vieną reikšmę Xj≠const 10. Regresijos modelis yra teisingai sudarytas kintamųjų parinkimo ir parametrų vertinimo požiūriu VU EF V.Karpuškienė

Sąvokos Suderinti Tiesiniai įverčiai Gauti įverčiai yra apskaičiuoti pagal tiesinę Y atžvilgiu lygtį Nepaslinkti įverčiai Įverčių bj, apskaičiuotų skirtingų duomenų imčių pagrindu, vidurkis yra lygus tikrajai parametro reikšmei E(bj)= j Efektyvūs Efektyvus įvertis –tai įvertis turintis mažiausią dispersiją nepaslinktų įverčių klasėje, t.y., įvertis, esantis arčiausiai tikrosios parametro reikšmės Suderinti Suderintas - tai toks įvertis, kurio reikšmės artėja prie tikrosios parametro reikšmės, didėjant stebėjimų skaičiui VU EF V.Karpuškienė 21

Svarbios skaitinės savybės     VU EF V.Karpuškienė

MKM įverčių savybių įrodymas Tiesiškumas Suma lygi 0 Konstanta VU EF V.Karpuškienė

MKM įverčių savybių įrodymas Nepaslinktumas =0 =0 =1 VU EF V.Karpuškienė

Mažos imties įverčių pageidaujamos savybės Nepaslinktumas Tikimybių tankis 1bj 2bj βj Tikroji parametro reikšmė VU EF Vita Karpuškienė

3.15 Efektyvūs įverčiai Įverčių efektyvumas Efektyvus Tikimybių tankis Neefektyvūs βj

3.15 Suderinti įverčiai Suderinamumas N=10 Tikimybių tankis N=1000

Įverčiai tiesiniai nepaslinkti ir efektyvūs yi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi VU EF V.Karpuškienė

Įverčiai tiesiniai paslinkti yi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi VU EF V.Karpuškienė

Gauss –Markov teoremos įrodymas Efektyvumas Tarkim turime tiesinį nepaslinktą įvertį, kurio dispersija yra mažiausia Tiesinis Efektyvumas Min pasiekiamas tuo atveju, kai VU EF V.Karpuškienė

Porinės regresijos paklaida ir jos įvertis Modelio paklaidos įvertis yra atsitiktinis dydis, kuris apibūdinamas vidurkiu ir dispersija; Vidurkis E(e)=0 Dispersijos įvertis Standartinė modelio paklaida VU EF V.Karpuškienė 31

Dauginės regresijos paklaida ir jos įvertis Modelio paklaidos įvertis yra atsitiktinis dydis, kuris apibūdinamas vidurkiu ir dispersija; Vidurkis E(e)=0 Dispersijos įvertis Standartinė modelio paklaida VU EF V.Karpuškienė 32

Modelio paklaidos ei VU EF V.Karpuškienė

Modelio paklaidos ei VU EF V.Karpuškienė

Maksimalaus tikėtinumo metodas Idėja: Rasti tokius parametrų β0, β1 įverčius, kurie maksimizuoja sisteminės dalies ir Yi atitikimo tikimybę Neatsitiktiniai dydžiai Yi = β0 + β1Xi+ εi Atsitiktiniai dydžiai VU EF V.Karpuškienė

Y ~ N( ,s2) - exp f(y) = y Normalusis skirstinys (y - )2 2 s2 2 p s2 2.48 Normalusis skirstinys Y ~ N( ,s2) 2 s2 (y - )2 - 1 exp f(y) = 2 p s2 f(y) y VU EF V.Karpuškienė 

Maksimalaus tikėtinumo metodas Tarkim nagrinėjame porinę priklausomybę, kurios Yi – atsitiktinis dydis pasiskirstęs N(, σ2) Yi = β0 + β1Xi +εi i = E(Yi) = β0 + β1Xi MTM – esmė VU EF V.Karpuškienė

Maksimalaus tikėtinumo metodas Iš tikimybių teorijos žinom, jeigu Y – nepriklausomas atsitiktinis dydis, tai ... ... VU EF V.Karpuškienė

Maksimalaus tikėtinumo metodas = Įsistatom į tankio f-jos lygtį VU EF V.Karpuškienė

Maksimalaus tikėtinumo funkcija LF – maksimalaus tikėtinumo funkcija max LF= VU EF V.Karpuškienė

Maksimalaus tikėtinumo funkcija (Imties koeficientai) Ieškome LF maksimalios reikšmės duomenų imties koeficientams, skaičiuodami dalines išvestines, prilygintas 0 VU EF V.Karpuškienė

Maksimalaus tikėtinumo funkcija Dalinių išvestinių skaičiavimo rezultatai VU EF V.Karpuškienė

Maksimalaus tikėtinumo funkcija VU EF V.Karpuškienė

Maksimalaus tikėtinumo metodo įverčiai VU EF V.Karpuškienė

MKM ir MTM palyginimas MKM privalumai: MKM trūkumai Idėjos akivaizdumas Skaičiavimų paprastumas MKM trūkumai Kad įverčiai turėtų pageidaujamas savybes: tiesiškumą, nepaslinktumą, suderinamumą, turi būti tenkinamos klasikinio regresinio modelio prielaidos, kurias reikia tikrinti kiekviename modelyje) VU EF V.Karpuškienė

MKM ir MTM palyginimas MTM privalumai: MTM trūkumai Apskaičiuoja tiesinių ir netiesinių regresinių modelių parametrų įvarčius Esant didelėms stebėjimų imtims, apskaičiuoti įverčiai turi pageidaujamas savybes MTM trūkumai Būtina žinoti priklausomojo kintamojo tikimybių pasiskirstymą. Sudėtingi skaičiavimai MKM ir MTM tiesinės regresinės lygties parametrų įverčiai sutampa, kai Y turi normalųjį tikimybių skirstinį VU EF V.Karpuškienė