1. Regresijos lygties parametrų vertinimas
D.Gujarati Part 1 “ Single-Eguation regression Models”
3 skyrelis “Two –variable Regression model:The Problem of Estimation” ir
4 skyrelis The Normality Assumption: CNLRM)
VU EF V.Karpuškienė

2. Porinė tiesinė regresija: parametrų vertinimas
Grafinė ir statistinė duomenų analizė
Parametrų vertinimas mažiausių kvadratų metodu
Porinė tiesinė regresija
Dauginė tiesinė regresija
Klasikinio regresinio modelio prielaidos
Gauso-Markovo teorema
Įverčių savybės
Regresijos paklaida ir jos įvertis
Maksimalaus tikėtinumo metodas
VU EF V.Karpuškienė 2

3. Pvz.
VU EF V.Karpuškienė

4. Grafinė studento-motinos ūgio priklausomybės analizė
VU EF V.Karpuškienė

5. Regresijos parametrų vertinimo metodai
Regresinis modelis – bendras atvejis
Porinė tiesinė regresija
Yi = β0 + β2Xi + εi =
β0 + β1 Xi + εi Yi
Sisteminė/dėsningoji dalis
Atsitiktinė dalis
VU EF V.Karpuškienė

6. Regresijos parametrų vertinimo metodai
MKM – rasti tokius parametrų β1, β2 įverčius, kurie minimizuoja modelio paklaidas, t.y atsitiktinę modelio dalį.
MTM – rasti tokius parametrų įverčius β1, β2, kurie maksimizuoja sisteminės dalies ir Yi atitikimo tikimybę
VU EF V.Karpuškienė

7. Parametrų įverčių nustatymas mažiausių kvadratų metodu
Yi=0+1Xi+i Yi = b0+ b1Xi +ei
MKM
Įrodymas auditorijoje
VU EF V.Karpuškienė

8. Y . Y4 e4 { . e3 Y3 } . Y2 e2 { } e1 . Y1 x1 x2 x3 x4 x
Y, e ir tiesinė regresijos lygtis
VU EF V.Karpuškienė 8

9. Parametrų įverčių nustatymas mažiausių kvadratų metodu
Formulių išvedimas paskaitos metu
VU EF V.Karpuškienė

10. Parametrų įverčių nustatymas mažiausių kvadratų metodu
Galimos b1 matematinės išraiškos
Įrodymas auditorijoje
VU EF V.Karpuškienė

11. Pvz. Matavimo vienetų įtaka koeficientams
YSŪ ir XMŪ - cm
YSŪ ir XMŪ - metrais
YSŪ- cm , XMŪ - m
YSŪ- m , XMŪ - cm
VU EF V.Karpuškienė

12. Dauginės regresijos įverčių nustatymas mažiausių kvadratų metodu
Yi=0 +1X1i + 2X2i +i Yi = b0+ b1Xi + b2X2i+ ei
MKM
VU EF V.Karpuškienė

13. MKM dviems kintamiesiems
Yi = 0 + 1X1 + 2X2 + ei
Pasižymime :
VU EF V.Karpuškienė 13

14. MKM dviems kintamiesiems
b1 =
yi xi1xi2 yi xi2xi1xi2 2
xi1 xi2 xi1xi2
b2 =
yi xi2xi1 yi xi1xi2xi1 2
xi1 xi2 xi1xi2
VU EF V.Karpuškienė 14

15. 1-4 grupių studentų ūgiai 2014
Regression Statistics
Multiple R
0,37
R Square
0,14
Adjusted R Square
0,11
Standard Error
7,73
Observations
76,00
ANOVA df SS MS F
Significance F
Regression
2,00
699,04
349,52
5,85
0,00
Residual
73,00
4357,95
59,70
Total
75,00
5056,99
Coefficients
t Stat
P-value
Lower 95%
Upper 95%
Lower 95,0%
Upper 95,0%
Intercept
57,60
35,26
1,63
-12,67
127,87 MŪ
0,60
0,19
3,19
0,22
0,98 TŪ
0,08
0,13
0,62
0,54
-0,17
0,33
VU EF V.Karpuškienė

16. MKM įverčių savybės Įverčiai yra atsitiktiniai dydžiai
Įverčiai yra tiesiniai, nepaslinkti, efektyvūs ir suderinti
VU EF V.Karpuškienė

17. Įverčiai atsitiktiniai dydžiai
Įverčiai, kaip ir visi atsitiktiniai dydžiai, charakterizuojami vidurkiu ir dispersija
VU EF V.Karpuškienė

18. Gauso-Markovo teorema
Jeigu yra tenkinamos klasikinio regresinio modelio prielaidos, tai mažiausių kvadratų metodu apskaičiuoti regresijos įverčiai yra tiesiniai, nepaslinkti ir turi mažiausią dispersiją nepaslinktų tiesinių įverčių klasėje.
VU EF V.Karpuškienė 18

19. Klasikinio regresinio modelio prielaidos
Prielaida
Prielaidos matematinė išraiška
1. Regresijos funkcija koeficientų ir paklaidų atžvilgiu yra tiesinė (tiesiškumas)
yi =1 +2Xi2+...+nXim+i
2. Paklaidų vidurkis lygus nuliui (nulinis vidurkis)
E(i) = 0
3. Paklaidos neautokoreliuoja (likučių ne autokoreliuotumas)
Cov(i j) = 0, i,j / ij
4. Paklaidų dispersija yra pastovi (Homoskedastiškumas)
2(i) = const.
5. Nepriklausomi veiksniai nėra tiesinės kitų nepriklausomų veiksnių kombinacijos (ne multikolinearumas)
Xi  θ0+θjXj, i,j / ij
6. Paklaidos pasiskirsčiusios pagal normalųjį pasiskirstymo dėsnį (normalumas).
i ~ N (0, 2)
VU EF V.Karpuškienė

20. Klasikinės regresijos prielaidos Prielaidos matematinė išraiška
Prielaida
Prielaidos matematinė išraiška
7. Regresijos nepriklausomi kintamieji nėra atsitiktiniai dydžiai
Cov(XjI i) = 0, j
8. Stebėjimų skaičius turi būti didesnis negu vertinamų parametrų skaičius
N>M
9. Nepriklausomų kintamųjų reikšmės turi būti įvairios, negali įgyti tik vieną reikšmę
Xj≠const
10. Regresijos modelis yra teisingai sudarytas kintamųjų parinkimo ir parametrų vertinimo požiūriu
VU EF V.Karpuškienė

21. Sąvokos Suderinti Tiesiniai įverčiai
Gauti įverčiai yra apskaičiuoti pagal tiesinę Y atžvilgiu lygtį
Nepaslinkti įverčiai
Įverčių bj, apskaičiuotų skirtingų duomenų imčių pagrindu, vidurkis yra lygus tikrajai parametro reikšmei E(bj)= j
Efektyvūs
Efektyvus įvertis –tai įvertis turintis mažiausią dispersiją nepaslinktų įverčių klasėje, t.y., įvertis, esantis arčiausiai tikrosios parametro reikšmės
Suderinti
Suderintas - tai toks įvertis, kurio reikšmės artėja prie tikrosios parametro reikšmės, didėjant stebėjimų skaičiui
VU EF V.Karpuškienė 21

22. Svarbios skaitinės savybės
VU EF V.Karpuškienė

23. MKM įverčių savybių įrodymas
Tiesiškumas
Suma lygi 0
Konstanta
VU EF V.Karpuškienė

24. MKM įverčių savybių įrodymas
Nepaslinktumas =0 =0 =1
VU EF V.Karpuškienė

25. Mažos imties įverčių pageidaujamos savybės
Nepaslinktumas
Tikimybių tankis
1bj
2bj βj
Tikroji parametro reikšmė
VU EF Vita Karpuškienė

26. 3.15 Efektyvūs įverčiai Įverčių efektyvumas Efektyvus Tikimybių tankis
Neefektyvūs βj

27. 3.15 Suderinti įverčiai Suderinamumas N=10 Tikimybių tankis N=1000

28. Įverčiai tiesiniai nepaslinkti ir efektyvūsyi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
VU EF V.Karpuškienė

29. Įverčiai tiesiniai paslinktiyi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
VU EF V.Karpuškienė

30. Gauss –Markov teoremos įrodymas
Efektyvumas
Tarkim turime tiesinį nepaslinktą įvertį, kurio dispersija yra mažiausia
Tiesinis
Efektyvumas
Min pasiekiamas tuo atveju, kai
VU EF V.Karpuškienė

31. Porinės regresijos paklaida ir jos įvertis
Modelio paklaidos įvertis yra atsitiktinis dydis, kuris apibūdinamas vidurkiu ir dispersija;
Vidurkis E(e)=0
Dispersijos įvertis
Standartinė modelio paklaida
VU EF V.Karpuškienė 31

32. Dauginės regresijos paklaida ir jos įvertis
Modelio paklaidos įvertis yra atsitiktinis dydis, kuris apibūdinamas vidurkiu ir dispersija;
Vidurkis E(e)=0
Dispersijos įvertis
Standartinė modelio paklaida
VU EF V.Karpuškienė 32

33. Modelio paklaidos ei
VU EF V.Karpuškienė

34. Modelio paklaidos ei
VU EF V.Karpuškienė

35. Maksimalaus tikėtinumo metodas
Idėja:
Rasti tokius parametrų β0, β1 įverčius, kurie maksimizuoja sisteminės dalies ir Yi atitikimo tikimybę
Neatsitiktiniai dydžiai
Yi = β0 + β1Xi+ εi
Atsitiktiniai dydžiai
VU EF V.Karpuškienė

36. Y ~ N( ,s2) - exp f(y) = y Normalusis skirstinys (y - )2 2 s2 2 p s2
2.48
Normalusis skirstinys
Y ~ N( ,s2)
2 s2
(y - )2 - 1
exp
f(y) =
2 p s2
f(y) y
VU EF V.Karpuškienė 

37. Maksimalaus tikėtinumo metodas
Tarkim nagrinėjame porinę priklausomybę, kurios Yi – atsitiktinis dydis pasiskirstęs N(, σ2)
Yi = β0 + β1Xi +εi
i = E(Yi) = β0 + β1Xi
MTM – esmė
VU EF V.Karpuškienė

38. Maksimalaus tikėtinumo metodas
Iš tikimybių teorijos žinom, jeigu Y – nepriklausomas atsitiktinis dydis, tai
...
...
VU EF V.Karpuškienė

39. Maksimalaus tikėtinumo metodas=
Įsistatom į tankio f-jos lygtį
VU EF V.Karpuškienė

40. Maksimalaus tikėtinumo funkcija
LF – maksimalaus tikėtinumo funkcija
max
LF=
VU EF V.Karpuškienė

41. Maksimalaus tikėtinumo funkcija (Imties koeficientai)
Ieškome LF maksimalios reikšmės duomenų imties koeficientams, skaičiuodami dalines išvestines, prilygintas 0
VU EF V.Karpuškienė

42. Maksimalaus tikėtinumo funkcija
Dalinių išvestinių skaičiavimo rezultatai
VU EF V.Karpuškienė

43. Maksimalaus tikėtinumo funkcija
VU EF V.Karpuškienė

44. Maksimalaus tikėtinumo metodo įverčiai
VU EF V.Karpuškienė

45. MKM ir MTM palyginimas MKM privalumai: MKM trūkumai
Idėjos akivaizdumas
Skaičiavimų paprastumas
MKM trūkumai
Kad įverčiai turėtų pageidaujamas savybes: tiesiškumą, nepaslinktumą, suderinamumą, turi būti tenkinamos klasikinio regresinio modelio prielaidos, kurias reikia tikrinti kiekviename modelyje)
VU EF V.Karpuškienė

46. MKM ir MTM palyginimas MTM privalumai: MTM trūkumai
Apskaičiuoja tiesinių ir netiesinių regresinių modelių parametrų įvarčius
Esant didelėms stebėjimų imtims, apskaičiuoti įverčiai turi pageidaujamas savybes
MTM trūkumai
Būtina žinoti priklausomojo kintamojo tikimybių pasiskirstymą.
Sudėtingi skaičiavimai
MKM ir MTM tiesinės regresinės lygties parametrų įverčiai sutampa, kai Y turi normalųjį tikimybių skirstinį
VU EF V.Karpuškienė