Stefán Hrafn Jónsson 3-3-2014 Aðferðafræði III Mælingar Stefán Hrafn Jónsson 3-3-2014 Aðferðafræði III

Muna eftir gögnum Sækja um aðgang að gögnum sem allra fyrst

You say it best when you say nothing at all Eitt augnarráð

Skipulag næstu vikna Í dag, skilgreiningar og mælingar Fimmtudag, Mat á áreiðanleika Fimmtudag, Mat á réttmæti Þáttagreining, hugmyndir og aðgerðir Næsta vika Að keyra þáttagreiningu og atriðagreiningu Túlkun

Skilgreiningar Ef við skilgreinum ekki hvað við eigum við með lykilhugtökum í rökræðum er hætt við misskilningi og mistökum. Ef við skilgreinum ekki það sem við ætlum að mæla í rannsóknarstarfi áður en við mælum fyrirbærið er hætt við að við mælum eitthvað annað en til stóð að mæla

Dæmi úr fréttum Gunnar Andersen: Útrásarvíkingarnir voru kjánar  „Þröngsýnir sveitalubbar“ Guðmann Jónasson (Blönduós) Fyrir hönd "sveitalubba" lýsi ég yfir vanþóknun á orðavali Gunnars. Heimild: DV 26. febrúar 2013 og athugasemdakerfi Ef Gunnar og Guðmann hefðu haft sama skilning (skilgreiningu) á hugtakinu „sveitalubbi“ er mögulegt að minna hefði verið deilt.

Hvað þýðir að styðja flokk? Hvað þýðir að x% landsmanna styðja flokk?

Skilgreingar eru lykilatriði í mælingum

Margar rannsóknaraðferðir Í þessu námskeiði er megináherslan spurningalistakannanir Grunnhugmyndirnar eiga að nýtast ykkur í að lesa rannsóknargreinar með gagnrýnum huga og spyrja spurninga eins og: Hvaða á hugtakið að mæla? Hvernig er það hugtak skilgreint í rannsókninni? Hvernig er aðgerðabindingin? Er sú mæling sem fæst nægjanlega áreiðanleg og réttmæt nálgun á undirliggjandi hugtak?

Skilgreinum hugtakið sem við viljum mæla Til þess að við vitum hvað við viljum mæla Til þess að aðrir viti hvað við viljum mæla Til að styðja við gerð mælitækis Þar með að auka gæði mæling Til að geta metið gæði mælinga Til að niðurstöður séu skiljanlegar og trúverðugar

Skref mælinga eru skilgreind frá óhlutbundnu (abstract) að hlutbundnu (concrete) Rannsóknartilgáta byggð á fyrri kenningum og rannsóknum Hugtekning (conceptualization) Hugtakasmíð, það sem ýmis atriði reu tekin saman vegna sambærilegra sérkenna (orðaskrá í uppeldis og sálarfræðí) Þar sem óhlutbundin (abstract) hugmynd er tekin og bætt með því að koma fram með kenningalega og hugtakalega skilgreiningu er að finna upp hugmynd eða skýringu og setja hana fram á huglægan hátt. The act or process of stating a precise meaning or significance; formulation of a meaning.

3. Tilgreina breytur og mælingabreytur 4. Aðgerðabinding (operationalization) Tilgreina þær aðgerðir sem nauðsynlegar eru til að magnbinda eiginleika hugtaks.

Skref 1. Tilgáta sett fram á fyrri rannsóknum og kenningum. Tilgáta: Menntun fólks minnkar fordóma.

Skref 2. Hugtekning Hugtekning (conceptualization) Dæmi úr kennslubók (Singleton ofl.): Samband menntunar og fordóma Menntun og fordómar eru bara orð yfir ákveðin hugtök Til að mæla undirliggjandi hugtök menntunar og fordóma þarf að skilgreina vel hvað átt er við með þessum orðum Menntun er umfang vitsmunalegrar og siðferðilsegrar þjálfunar og kunnáttu. Education “The extent of one’s intellectual and moral training and knowledge”.

Dæmi Menntun minnkar fordóma Menntun og fordómar eru orð á hugtökum, hugtökum sem hafa mun dýpri og meiri merkingu en lýst er með þessum orðum. Kenningarleg útlistun, með dæmum, (þ.e. hugtekning) stýrir þá rannsakanda við þróun mælinga hugtekning auðveldar einnig lesanda að skilja hvað er átt við með þeim hugtökum sem notuð eru

Hugtekning Þegar hugtök eru flókin getur þurft að greina þau niður í undirþætti Menntun má skipta í formlega menntun (skólagöngu) og óformlega menntun Fordóma má greina niður í neikvæðar tilfinningar, staðalmyndir og tilhneigingu til mismununar

Skref 3. Tilgreina breytur og mælibreytur (atriði) Breyta tekur 2 eða fleiri tölugildi (eða texta/flokka) T.d. kyn, hæð eða einkunn í áfanga í félagsráðgjöf Greind er dæmi um skilgreint hugtak Greind hefur tilgreinda breytu sem tekur mörg mæligildi (IQ, greindarvísitala) meðaltal er skilgreint 100 og staðalfrávik oft 15 Einnig þarf að tilgreina hvaða mælibreytur (atriði) eigi að vera á greindarprófinu

Fjöldi atriða Mörg hugtök í félagsvísindum eru þess eðlis að það dugar ekki að hafa eina mælingu eða eina breytu til að mæla hugtakið. Sjaldan nægjanlegt að hafa eina breytu til að mæla viðhorf, greind, stærfræðigetu eða einkunn í aðferðafræði

Skref 4. Aðgerðabinding Skilgreining á hugtaki með skýrri tilvísun og útlistun á því hvernig það er mælt. Í því felst að skilgreining þau ferli sem raða tölum á breytur til að endurspegla skilgreint hugtak. Operationalization (Aðgerðabinding) is the process of defining a concept as the operations that will measure the concept (variables) through specific observations.

Aðgerðabinding Dæmi úr bakstri Slæm (ónothæf) aðgerðabinding: Setja slatta af hveiti, sykri, egg, mjólk, lyftidufti og salti saman í skál og blandað og svo hitað við mikinn hita. Nauðsynlegt að tilgreina nákvæmara magn hvers hráefnis, hvernig skal blanda þeim saman, hvað form er best, hvaða hiti og hversu lengi.

Hvernig metum við gæði mælinga? Ófrávíkjanleg krafa að þekkja viðfangsefnið

Áreiðanleiki Raungildið er dulið. Við vitum ekki raungildið heldur aðeins mæligildið Hvernig getum við þá mælt dreifni raungildis? Hvernig getum við þá mælt dreifni villu?

Mælingamódel Dulin breyta D 0,7 0,7 sp1 sp3 sp2 0,49 e1 e2 e3 Ef fylgnin á milli sp1 og sp2 er 0,49 og við gefum okkur það að fylgnin á milli D og Sp1 sé jöfn fylgninni á milli D og sp2 þá er fylgnin á milli D og sp1 0,7

Við notum fylgni á milli atriða (t. d Við notum fylgni á milli atriða (t.d. Prófspurninga ) til að geta okkur til um fylgni dulinnar breytu og atriða.

Mat á áreiðanleika Með sígildu mælingakenningunni að vopni má meta áreiðanleika með nokkrum aðferðum Intercoder reliability (inter rater reliability) Samkvæmni milli matsmanna Test-retest (mat-endurmat) Parellel forms (samhliða form) Split-half (helmingaskipta áreiðanleiki) Internal consistiency (innra samræmi) Cronbacks Alpha stuðull er mat á innra samræmi (áreiðanleika kvarða)

Samkvæmni milli matsmanna Þegar tveir matsmenn nota sömu aðferð (mælitæki) til að meta og skrá einkenni t.d. fólks, dýra, innihaldsgreining dagblaða o.fl., getur komið fram villa frá hverjum matsmanni Fyrir próf þarf ekki að kunna að reikna Kappa eða percent agreement Inter rater reliability metur hversu gott samræmi er á milli matsmanna Percent agreement (hversu oft er samræmi) Kappa (tekur til greina að matsmenn geta verið sammála fyrir tilviljun)

Dæmi um Kappa og Percent agreement

Test-retest Mat-endurmat Við framkvæmum mælingu á sama hóp einstaklinga tvisvar sinnum með hæfilega löngum tíma á milli Ef mælingin er nákvæm ætti hún að mæla það sama í bæði skiptin Fylgnin á milli mælinga gefur til kynna áreiðanleika mælingar Ef áreiðanleikinn er enginn er fylgnin 0,0 Ef mæling er fullkomlega áreiðanleg er fylgnin 1,0 Oft miðað við að fylgni minni en 0,8 sé óásættanleg, nokkuð misjafnt hvaða mörk eru sett Erfitt (jafnvel ógerningur) að nota test-retest ef einkenni/eiginleiki sem mæla á breytist (mikið) yfir tíma Fólk getur einnig munað hverju það svaraði í fyrra skiptið og reynt að svara til að sýna samræmi. Slíkt ofmetur áreiðanleika þar sem mat okkar á ókerfisbundinni villu í mælingum minnkar.

Mælingamódel Mat-endurmat - test retest Dulin breyta Viðhorf T=true score X1 Atriði 1 X2 Atriði 2 X3 Atriði 3 X1 Atriði 1 X2 Atriði 2 X3 Atriði 3 e1 e3 e2 e1 e3 e2 Lagt fyrir á tíma 1 Lagt fyrir á tíma 2

Mælingamódel Mat-endurmat - test retest Vilji til að sýna samræmi Dulin breyta Viðhorf T=true score T1 Kvarði Viðhorf á tíma 1 T2 Kvarði Viðhorf á tíma 2 eT1 eT2 Villa á tíma 1 Villa á tíma 2 Fylgni á milli T1 og T2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.

Parallel-Forms Reliability Samhliða form Einnig kallað Alternate forms Tvær útgáfur af kvarða sem (eiga að) mæla sama hugtak, að öðru leiti sjálfstæðar, þ.e. mismunandi atriði í hvorri mælingu Áreiðanleikinn mældur með því að reikna fylgnina á milli mælinga Svipað og test-retest nema að kvarðinn og atriðin eru ekki alveg eins heldur er um að ræða ný atriði sem eiga að mæla það sama

Mælingamódel alternate form Dulin breyta Viðhorf T=true score X1 Kvarði 1 (samsettur) Viðhorf Útgáfa 1 X2 Kvarði 2 (samsettur) Viðhorf útgáfa 2 e1 e2 Villa útgáfa 1 Villa útgáfa 2 Fylgni á milli x1 og x2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.

Split-half reliability Helmingaskipta áreiðanleiki Svipar til alternate form Í stað tveggja fyrirlagna þá er lagður fyrir einn kvarði með mörgum atriðum Áreiðanleikinn mældur með því að reikna fylgnina á milli helminga T.d. 10 atriði saman í kvarða á móti öðrum 10 atriðum í sömu mælingu. Fylgni reiknuð á milli undirkvarðanna tveggja Hvaða atriði eru valin saman? Skipt til helminga eftir tilviljun Þannig getum við fengið mismikla fylgni eftir atvikum/hvernig var skipt

Mælingamódel Split-half Dulin breyta Viðhorf T=true score H1 Kvarði Viðhorf Helmingur 1 H2 Kvarði Viðhorf Helmingur 2 e1 e2 Villa útgáfa 1 Villa útgáfa 2 Fylgni á milli x1 og x2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.

Internal consistency Áreiðanleiki byggt á innra samræmi Áreiðanleiki metinn með því að reikna meðal fylgni milli allra atriða. Meðaltalsfylgnin er mat á áreiðanleika Önnur útgáfa er að reikna fylgni hvers atriðis við öll hin atriðin saman í einum kvarða Mælingalíkanið er mjög svipað og áður

Coefficient Alpha- Cronbachs alpha Alpha áreiðanleikastuðull Einna mest notaður af áreiðanleikastuðlum Oft kenndur við Cronbach og þá kallaður Cronbach’s alpha Ef atriði eru tvíflokkabreyta þá er notuð önnur formúla Kuder-Richardson formúla 20 ( KR-20 ) Hægt að reikna alpha annars vegar með samdreifnifylki (variance covariance matrix) og hins vegar fylgnifylki. Alpha er meðaltal allra mögulegra helmingunaraðferða Ef reiknað alpha er negatíf tala eða hærra en 1,0 er eitthvað mikið að gögnunum Ekki er fjallað um alpha í Singleton. DeVillis og Field fjalla um alpha í sínum bókum.

Cronbach's α (alpha) Fyrri formúla Hér er N fjöldi atriða Er dreifni mæligildis Er dreifni mælibreytu (atriðis) númer i Leggja saman dreifni þessara N mælibreyta. Summa frá og með 1. til og með síðustu (N) mælibreytu

Standardized Cronbach's α Cronbach's α (alpha) Seinni formúla Standardized Cronbach's α Hér er N fjöldi atriða, ekki einstaklinga Er meðal fylgni milli allra atriða í kvarða http://www.youtube.com/watch?v=g5sxM9hgC3E&feature=related

Alpha Standardized alpha setur sama vægi á öll atriði óháð dreifni Venjuleg Chronback alpha lætur atriði með mikla dreifni vega meira en atriði með litla dreifni Venjuleg Chronback alpha er oftast notað nema sérstök ástæða sé til að velja Standardized útgáfuna Ef dreifnin er jöfn gefa báðar formulur nánast sömu gildi Tilhneiging til að standardized alpha gefi hærri tölu, en oftast er munurinn lítill

Nokkur orð um alpha Það er hægt að hækka alpha með því að fjölga atriðum jafnvel þó fylgni á milli atriða sé ekki mjög há Það þarf alltaf að kanna hvort spurningar snúi rétt (sjá word skjal-kemur síðar) Stundum þarf að endurraða svarmöguleikum áður en spurningar eru slegnar saman Alpha gerir ráð fyrir að kvarði mæli eina undirliggjandi vídd því þarf oft að keyra þáttagreiningu áður. Ljóst ætti að vera að Alpha áreiðanleikastuðull er aðeins notaður á samsettar mælingar (þ.e. kvarða)

Standardized Cronbach's α Dæmi um prófspurningu Standardized Cronbach's α Seinni formúla Hér er N fjöldi atriða Er meðal fylgni milli allra atriða í kvarða Rannsakanadi er með 8 atriða kvarða þar sem meðalfylgni á milli atriða er 0,7 hversu hár er áreiðanleikinn miðað við standardized cronbachs alpha Lausn: (8*0,7)/ (1+7*0,7) =0,949

Að auka áreiðanleika Gerðu forkönnun Taktu viðtöl við fólk eftir að það svarar spurningalistanum Bættu við atriðum, lengri kvarðar eru oftast með meiri áreiðanleika Farðu betur í gegnum skilgreiningar og fræðilegan bakgrunn Kannaðu hvað aðrir hafa gert Bættu orðalag spurninga Bættu fyrirmæli í spurningalistanum Atriðagreining Þá má sjá hvaða atriði greina á milli fólks Velja atriði með mikla dreifingu, ef allir geta svarað spurningu á prófi er spurningin ekki að auka á áreiðanleika Velja atriði sem hækka áreiðanleika kvarða Hafna atriðum sem lækka áreiðanleikann

Hvernig mælum við t.d? Greind Námsáhuga Viðhorf til vændis Hvatvísi Árásargirni Hjálpsemi Heilsu Líðan Depurð Fátækt Streitu

Réttmæti Réttmæti snýst um hvort við séum að mæla það sem við ætlum okkur að mæla Ef eitthvað annað en sanngildi hefur áhrif á mæligildið þá erum við ekki eingöngu að mæla það sem við ætlum okkur að mæla Við gætum verið að mæla það sem við viljum og eitthvað annað, óskylt eða skylt Hvort heldur sem það er skylt eða óskylt þá höfum við mengað mælinguna okkar, minnkað réttmætið

Næstu glærur

Réttmæti Hvernig metum við réttmæti? Flóknara að meta réttmæti en áreiðanleika Nokkrar leiðir til að meta réttmæti Huglægt mat réttmætis: (e. Subjective validity) Yfirborðsréttmæti (e. face validity) Innihaldsréttmæti (e. content validity) Mat réttmætis með fylgnisamböndum. Hugtakaréttmæti (e. construct validity) Viðmiðsréttmæti/forspárréttmæti (e. criterion-related validity)

Subjective validity Talað er um að yfirborðsréttmæti (e. face validity) og innihaldsréttmæti (e. content validity) sé huglægt mat á réttmæti og því síðra en viðmiðsréttmæti.

Réttmæti Yfirborðsréttmæti - Face validity snýst um það þegar spurningar eða atriði í mælingu virðast vera að mæla það sem þeim er ætlað að mæla. Þá eru spurningar eða atriði prófs eða kvarða í heild er lesin með gagnrýnu hugafari og rannasakandi spyr sig og aðra spurninga eins og “Er þetta langa orðadæmi virkilega að mæla reiknigetu þeirra nemenda sem prófið mun vera lagt fyrir” Þekking á viðfangsefninu er mikilvægt til að meta yfirborðsréttmæti. Yfirborðsréttmæti er metið með úrskurði sem ekki felur í sér tölugildi heldur lýsingar eins og: „lélegt yfirborðsréttmæti”

Réttmæti Innihaldsréttmæti (content validity) er svipað og yfirborðsréttmæti að því leiti að það byggir á mati rannsakanda og/eða ráðgjafa hans. Hversu vel ná atriði prófs/kvarða yfir sem breiðast svið þess sem á að mæla. Reikningspróf er með lítið eða lélegt innihaldsréttmæti ef prófið er aðeins með samlagningardæmi þegar það ætti einnig að mæla frádrátt. Yfirborðréttmæti hvers atriðis getur verið gott en prófið í heild skortir meiri fjölbreytileika. Á sama hátt getur innihaldsréttmæti kvarða sem mælir viðhorf til fóstureyðinga verið lélegt ef aðeins er spurt um atriði sem snúa að viðhorfum til fóstureyðinga þegar félagslegs staða móður/foreldra er bágborin en ekkert um það þegar líf og heilsa móður er í hættu. Mæling er sögð vera með lítið innihaldsréttmæti ef hún er ekki að mæla hugtakið á nægjanlega víðtækan hátt þó svo það sem mælt er sé vissulega að mæla hluta af því sem mæla á.

Forspárréttmæti (breytt glæra) Forspárréttmæti (predictive validity) svipar til hugtakaréttmætis. Forspárréttmæti felur í sér að tiltekin mæling eigi að spá fyrir um útkomu á annarri mælingu. Dæmi greind mæld við 6 ára aldur spáir fyrir um gengi í skóla þegar nemendur eru 10 ára).

Annað dæmi Ef kenningin segir að einkunn á stúdentsprófi (bóknámsbraut) spái til um árangur í háskólanámi. Ef einhver tekur sig til og reiknar fylgnina við stúdents einkunn og árangur í háskóla. Fylgnin reynist engin. Hvað er þá að?

Réttmæti Hugtakaréttmæti (construct validity) er að sumu leiti svipað viðmiðsréttmæti að því leiti að forsendur segja til um að fylgni eigi eða eigi ekki að vera við aðrar breytur. Hugtakaréttmæti er meira byggt á kenningarlegum forsendum en viðmiðsréttmæti emperískum. T.d. gæti kenning sagt til um að greindarprófsmæling eigi ekki að vera með fylgni við kyn, þ.e. ekki eigi að greinast kynjamunur á tiltekinni mælingu. Ef munur greinist á milli kynja á þessari greindarmælingu þá er það vísbending um að hugtakaréttmæti mælingarnar er minna en það ætti að vera.

Hugtakaréttmæti (e. construct validity) Þegar lagt er mat á hvort hugtak eða mæling sé með fylgni við aðra mælingu í samræmi við kenningu. Ef kenning tilgreinir að það sé ekki kynjamunur í greind. Greindarmæling sýnir mun milli karla og kvenna. Þessi munur sýnir að hugtakaréttmæti er skert.

Leiðir til að auka réttmæti mælinga Mörg sömu atriði og eiga við um aukinn áreiðanleika eiga einnig við um að auka á réttmæti. Reynsla, þekking, fyrri rannsóknir, forprófanir,

Að auka réttmæti Gerðu forkönnun Taktu viðtöl við fólk eftir að það svarar spurningalistanum Allt sem bætir áreiðanleika bætir réttmæti Farðu betur í gegnum skilgreiningar og fræðilegan bakgrunn Kannaðu hvað aðrir hafa gert Bættu orðalag spurninga Betrumbættu fyrirmæli í spurningalistanum Þáttagreining Tölfræðilegar aðferðir til að auka skilning á eðli þeirra kvarða sem við erum að vinna með.