1. Veljavnost in zanesljivost

2. Studies on Predicting Divorce
2. Predicting Marital Success With PREPARE: A Predictive Validity Study Blaine J. Fowers & David H. Olson
In order to determine the predictive validity of the premarital inventory PREPARE, this study assessed the utility of PREPARE in predicting marital success. A 3-year follow-up study was conducted with 164 couples who took PREPARE during their engagement. As hypothesized, it was found that satisfied couples scored significantly higher on the inventory than dissatisfied couples, divorced couples, and couples who cancelled their marriage. It was also hypothesized and found that dissatisfied married couples did not differ significantly from couples who cancelled their marriage or those who divorced. Using discriminant analysis, it was found that the PREPARE scores from 3 months before marriage could predict with 80-90% accuracy which couples were separated and divorced from those that were happily married. These findings not only demonstrate the predictive validity of PREPARE, but its potential utility in identifying high-risk couples who could benefit from more intensive premarital counseling.
Reference: Journal of Marital and Family Therapy, 1986, Vol. 12, No. 4,

3. Veljavnost
Pri raziskovanju: da ocenjujemo (merimo) res tisto, kar naj bi merili (primernost merjenja).
Primer: IQ testi, vprašalnik o zadovoljstvu v odnosu
Kako lahko dokažeš drugim, da si zmeril ali ocenil tisto, kar ti praviš, da meri oz. ocenjuje?
Se nanaša na kvaliteto sklepov, ki jih naredimo na osnovi raziskave.

4. Več vrst veljavnosti
Razvidna
Vsebinska
Kriterijska
Konstruktna

5. Razvidna veljavnost
Razvidna veljavnost: veljavnost sama po sebi (kako podgana pritiska na tipko v laboratoriju in s tem dobi hrano – razvidna veljavnost; če bi želeli govoriti o prehranjevalnih navadah podgan – ni več razvidna). Logični dokazi.
Poligraf meri laganje preko GSR, EEG, srčnega utripa?

6. Vsebinska veljavnost
Vsebinska veljavnost: stopnja, koliko ocenjevalni instrument meri tiste stvari, ki predstavljajo uravnoteženo in primerno vzorčenje pomembnih dimenzij pojava (katere so relevantne dimenzije nam pove raziskovanje in teorija).
Koliko na primer vprašalnik predstavlja tiste konceptualne vsebine, za merjenje katerih je bil sestavljen (vprašanja na izpitu morajo pokriti vso vsebino, da so veljavna).
Lahko izločimo podpodročja in jih primerno merimo.
Zahteva logiko in sklepanje.
Lahko damo oceniti ocenjevalcem, koliko je vsebina bistvena

7. Kriterijska veljavnost
Kriterijska veljavnost: koliko je rezultat posameznika v skladu (empirično povezan) z neko zunanjo aktivnostjo, praktičnim kriterijem (uspehom v šoli, rednemu obiskovanju terapije, stopnjo ločitve, zadovoljstva ...).
Sočasna veljavnost = sedanji odnos.
Napovedna veljavnost = prihodnost.
Gledamo korelacije med trenutnim instrumentom in relevantnim kriterijem. Koeficient kriterijske veljavnosti je ponavadi izražen kot korelacijski oziroma regresijski koeficient.

8. Konstruktna veljavnost
Stopnja do katere merski instrument zagotavlja smiselno mero neopazljivega konstrukta.
Lahko vzamemo tudi kot poimenovanje – npr. koliko smo upravičeni, da lahko tistemu, kar merimo, rečemo npr. samozavest, intimnost ....; ali so ta poimenovanja korektna?
konstrukt – nekaj, kar je “skonstruirano” z miselno sintezo: inteligentnost, intimnost, ljubezen, radovednost, mentalno zdravje, emocionalna disregulacija...
Ko trdimo, da ima naša mera konstruktno veljavnost, v bistvu trdimo, da mi kot raziskovalci razumemo, kako naš konstrukt merskega instrumenta (mere) operira v teoriji in trdimo, da lahko zagotovimo dokaze, da se obnašajo v praksi na način, na katerega mislimo, da bi se morali.
napovedujemo in predvidevamo in če napovedi držijo, lahko “verjamemo” v konstrukt
Dokazovanje take veljavnosti je težko in dolgotrajno – zbiranje gradiva in dejstev o tem, kaj merski instrument v resnici meri – s prikazovanjem odnosov med tem inštrumentom in drugimi merskimi instrumenti ali ostalimi merami ali dejavnostmi. (da se povezuje s tistimi merami, s katerimi naj bi se po teoriji povezoval in se ne povezuje s tistimi merami, s katerimi se naj ne bi povezoval) (faktorska analiza, MTMM (multitrait-multimethod) matrika).
Večkrat je bolj uporabiti že kakšen znan merski instrument, kjer je konstruktna veljavnost že dovolj dokazana, kot pa sestaviti novega in dokazovati konstruktno veljavnost.

9. Še druge razdelitve veljavnosti
Konvergentna veljavnost:
Kaže, da mera korelira z drugimi merami istega pojava ali konstrukta
Diskriminantna veljavnost:
Kaže, da mera ni visoko korelirana z merami drugih pojavov ali konstruktov.
Če so različni pojavi ali konstrukti povezani s tarčnim konstruktom ali pojavom, potem naj bi bila korelacije srednje (npr, .60)
Če so različni konstrukti nepovezani s tarčnim konstruktom ali pojavom, potem naj bi bile korelacije zelo nizka (npr, .10)
Notranja veljavnost (se nananaša na raz. načrt, ne na merski instrument)
Obseg, do katerega se kontrolira ali upošteva zunanje variable. Ali je res neodv. spremenljivka povzročila spremembe v odvisni, ali je za to odgovorno kaj drugega.
Zunanja veljavnost (se nananaša na raz. načrt, ne na merski instrument)
Obseg, do katerega lahko rezultate in zaključke posplošimo na druge ljudi in okoliščine (pogoje).

10. Ekološka veljavnost (se nanaša na raz
Ekološka veljavnost (se nanaša na raz. načrt, ne na merski instrument)– stopnja, do katere so rezultati preiskave lahko generalizirani na druge prostore in pogoje, še posebej – iz umetnega in/ali kontroliranega (npr. laboratorij) na naravno okolje.

11. Zanesljivost Zanesljivost
koliko se lahko zanesemo na rezultate - konsistentni rezultati ob različnih opazovalcih, različnih oblikah istega instrumenta in v različnih časih
Primer: znanje na izpitu?
Kolikšna je napaka merjenja? V kolikšni meri na merjene lastnosti vplivajo slučajne napake?
Uporaba koeficientov zanesljivosti za primerjavo nizov rezultatov.
Več tipov zanesljivosti: stabilnost v času, enakovredna, alternativna ali vzporedna merjenja, stabilnost v času in enakovredna merjenja, notranja konsistentnost in strinjanje.

12. 1. Stabilnost – v času
Ista skupina v različnih časih. Test po določenem času ponovno apliciramo.
(test-retest)
Zanesljivost = korelacija med dosežki na obeh testiranjih.
Vprašanje: vpliv učenja, sprememba lastnosti =

13. Test A Test B 2. Enakovredna, alternativna ali vzporedna merjenja
Dva različna merska instrumenta istočasno (dve inačici istega merskega instrumenta)
npr. dve obliki testa, ki merita isto stvar – koreliranje vzporednih testov nam da koeficient zanesljivosti)
(alternativne oblike)
Meritvi morata biti vzporedni (ni sistematičnega vpliva vzorčenja nalog ter vaje oz. učenja).
Zanesljivost = korelacija med dosežki na obeh testiranjih.
Test A
Test B

14. = 3. Enakovredna merjenja in stabilnost
Dva različna merska instrumenta (inačici) v različnih časih. =

15. 4. Notranja konsistentnost
Split-half korelacija – ponavadi med dvema polovicama (prva/druga; parne/neparne postavke)
Najcenejša, najbolj učinkovita metoda. Razume postavke kot mini merske instrumente.
Moramo imeti mere z več postavkami.
Test razdelimo na več (od 2 do n) delov.
Če ti deli merijo isto lastnost, so nepopolne korelacije posledica napake merjenja.
Zadostuje eno testiranje (dele testa obravnavamo kot ločene meritve).

16. Kuder-Richardsonova formula (KR20):
povprečna korelacija vsake naloge z vsako drugo nalogo
Uporablja za dihotomizirane naloge (1/0)
Cronbachov alfa koeficient
korelacija vsake naloge z vsako drugo nalogo
uporablja za kontinuirane naloge.
0.8?

17. Kuder – Richardsonova formula
k – število opazovanj na udeleženca (število postavk)
σ²x - varianca opazovanega rezultata
pi – proporc udeležencev, ki so na postavki dosegli določen rezultat (npr. 1)

18. Cronbach alfa k – število opazovanj na udeleženca (število postavk)
σ² - varianca surovih rezultatov preko udeležencev
σi² - varianca surovih podatkov za opazovanje i preko udeležencev

19. 5. Stopnja strinjanja (npr. terapija)
Konsistentnost ocen dveh ali več oseb.
med ocenjevalci
znotraj ocenjevalcev
Izračuna se korelacije, kot tudi % strinjanja. (kriterij pri dveh ocenjevalcih: r=0.90, 80% ?)

20. Pomembnost zanesljivosti
Zanesljivost je pomembna, ker nam pove o velikosti napake v merjenju [od 0 do 1].
Zelo priporočljivo je poročati o ocenah zanesljivosti v vaši raziskavi.

21. Kako povečati zanesljivost?
včasih pomaga, če povečamo standardizacijo procedure, objektivnost merjenja - (pri vseh fazah)
spremenimo ocenjevalni instrument, na primer izločimo neprimerne dele (ki zmanjšujejo zanesljivost) in vključimo bolj primerne (npr. vprašanja na izpitu, ki so resnično pomembna in odražajo potrebno znanje)
podaljšamo merjenje (npr. več vprašanj na izpitih)
čim bolj različne testne/vprašalniške naloge

22. Kako se veljavnost povezuje z zanesljivostjo
Visoka zanesljivost rezultatov, vendar
nizka veljavnost rezultatov:
Smo zelo točni pri merjenjenu napačnik nalog za konstrukt (vsebino), ki nas zanima.

23. Kako se veljavnost povezuje z zanesljivostjo
Nizka zanesljivost rezultatov, IN
nizka veljavnost rezultatov:
Smo zelo netočni pri merjenju napačnih nalog za konstrukt (vsebino), ki nas zanima.

24. Kako se veljavnost povezuje z zanesljivostjo
Visoka zanesljivost rezultatov, IN
visoka veljavnost rezultatov:
Smo zelo točni pri merjenju pravilnih nalog za konstrukt (vsebino), ki nas zanima.

25. Zanesljivost in veljavnost
Mera je lahko zanesljiva, vendar ni veljavna.
Mera pa ne more biti veljavna, če ni zanesljiva.

26. Še druge pomembne značilnosti ocenjevalnega instrumenta
Občutljivost, diskriminativnost: ko lahko v skupini udeležencev z njegovo pomočjo določimo majhne razlike v ocenjevalni lastnosti (pregled frekvenčne porazdelitve, koeficient variabilnosti ipd).
Objektivnost: vsi udeleženci imajo v vsakem trenutku ocenjevanja enake okoliščine.
Normiranost
Ekonomičnost (kratek čas izvedbe, preprosti materiali, preprosta uporaba, vrednotenje lahko…)
Koristnost

27. Prevajanje vprašalnikov.
Sestavljanje svojih.