1. Aðferðafræði og menntarannsóknir 50. 00. 04 http://starfsfolk. khi
Megindlegar rannsóknir – hugtök og aðferðir
Jóhanna-MÞ-SRJ-KKS 6. febrúar 2008, Kennaraháskóla Íslands

2. Rannsóknarhefðir (upprifjun)
Megindleg og eigindleg
Megindleg (kvantítatív): Rannsókn sem byggir á hlutlægum mælingum (magnbundið). Getur verið annaðhvort tilraunasnið (experimental) eða fylgnirannsóknarsnið (non-experimental).
Eigindleg (kvalítatív): Rannsókn sem byggir á lýsingu afmarkaðra tilvika og túlkunum á því sem skoðað er.

3. Megindleg (kvantítatív) rannsóknaraðferð: Þátttakandi, viðfang, úrtak, þýði
Nýleg rannsókn hefur leitt í ljós að 3 af hverjum 4 jarðarbúum tilheyra u.þ.b. 75% íbúa jarðar. Bra! Ég hlýt þá að tilheyra hinum 25% af því ég er sko alls ekki eins og fólk er flest!

4. Þátttakandi og viðfang í rannsókn
Þátttakandi í rannsókn er manneskja eða annað “viðfang” sem við sækjum gögnin hjá.
Í tilraunasniði (experimental design) er “tilraunadýrið” þátttakandi eða viðfang.
Þátttakendur (viðföng) eru ekki alltaf “eiginlegir þátttakendur”, t.d. þegar gögn úr fortíðinni eru skoðuð.
Orðið “viðfang” (subject) orðið meira notað en “þátttakandi” (participant)
J.H. MacMillan

5. Úrtak
Í megindlegum rannsóknum söfnum við gögnum frá hópi eða völdu safni af “viðföngum”. Við köllum þennan valda hóp úrtak (sample).
Ýmsar leiðir þekktar við val á úrtaki: venjulega auðkenndar með orðum sem lýsa aðferðinni við að velja úrtakið.
Þekktastar í megindlegri rannsóknarhefð eru: Tilviljunarúrtak (random sampling), kerfisbundið tilviljunarúrtak (systematic random sampling), lagskipt tilviljunarúrtak (stratified random sampling) og klasaúrtak (cluster sampling)

6. Gerðir úrtaka
Tilviljunarúrtak (random sampling): Byggt á líkindahugtakinu (probability), allir í þýðinu eiga jafna möguleika á að vera valdir, enda valið af handahófi.
Kerfisbundið tilviljunarúrtak (systematic random sampling): n-ta hvert stak (every nth element) í þýðinu er valið úr lista yfir alla.
Lagskipt tilviljunarúrtak (stratified random sampling): Fyrst er þýðinu skipað í hópa út frá einkennum svo er tekið tilviljunarúrtak úr hverjum hópi.

7. Gerðir úrtaka
Lagskipt tilviljunarúrtak (stratified random sampling) getur verið annaðhvort byggt á hlutfalli (proportional) eða ekki (disproportional).
Úrtök sem byggja EKKI á líkindum (ekki random-úrtök):
Hentugleikaúrtak (convenience sampling): Valið er vegna þess að það er aðgengilegt, heppilegt...
Kvótaúrtak (quota sampling): Viðföng valin út frá ákveðnum viðmiðum (criteria) til að fá allar gerðir af “týpum” inn í rannsóknina.

8. Spurningakönnun (stofn og svarmöguleikar eins og í krossaprófum) - Ath
Spurningakönnun (stofn og svarmöguleikar eins og í krossaprófum) - Ath. áreiðanleika og réttmæti
Hefur þú e-n tíma fengið að vera inni í löngu frímínútum eða reynt að halda þig ekki á skólal. vegna þess að þú færð ekki frið fyrir stríðni skólafélaga?
( ) Já
( ) Nei
Forðast:
Skammstafanir
Mörg efnisatriði í sömu spurningu
Neitanir
Efnislega ónákvæmni
Leiðandi spurningar
“Samþykkishneigð” (Á við skoðanir)

9. Spurningakönnun – Nokkur atriði byggð á grein Þorláks Karlssonar (Sjá leshefti) og McMillan
Spurningalistar: Algengast að svarendur merki við á nafnkvarða eða raðkvarða og gefi þannig til kynna svar sitt við spurningu líkt og í krossaspurningu á prófi
Likert-kvarði: Mjög mikið notaður. Svarendur merkja við á kvarða sem hefur bæði pósitífa og negatífa stefnu – T.d. “Mjög sammála (strongly agree)” til “Mjög ósammála (strongly disagree)” (Oft 5-7 möguleikar).

10. Spurningakönnun – Nokkur atriði byggð á grein Þorláks Karlssonar (Sjá leshefti) og McMillan
Kostur spurningakannana (questionnaires): Hægt að safna fjölbreyttum gögnum á stuttum tíma – svipað og á skriflegu prófi í námsmati.
Margt að forðast við spurningalistagerð:
Texti þarf að vera skiljanlegur, stuttur og hnitmiðaður, ekki of miklar kröfur til svarenda varðandi lesskilning.
Spyrja skýrt: spurnarfornöfn, sagnir, nafnorð, fornöfn, ekki bara stök orð.
Forðast fullyrðingar (hætta á “samþykkishneigð”). Betra að spyrja beint: “Finnst þér...”
“Samþykkishneigð” gætir í svörum við Já/Nei spurningum.

11. Spurningakönnun – Nokkur atriði byggð á ÞK (leshefti) og McMillan
Hafa spurningar í jafnvægi: “Myndir þú segja að hávaði í kennslustund yki, minnkaði eða hefði engin áhrif á námsárangur?” (Svarmögul: Eykur óþægindi; minnkar óþægindi; hefur engin áhrif).
Forðast að útskýra hvað átt er við með spurningu eða að nefna dæmi: “Hversu ánægð(ur) eða óánægð(ur) ertu með upplýsingar skólans...(T.d. um áætlanir, námsmat...)?”

12. Spurningakönnun – Nokkur atriði byggð á ÞK (leshefti) og McMillan
Gerð svarmöguleika (fjölval): Ath orðalag, fjölda svarmöguleika, kvarða, samræmi við efni spurningar...
Svarmöguleikar verða að vera tæmandi (ekki vanti svarmöguleika) og mega ekki skarast (hægt að merkja við tvo eða fleiri möguleika).
Hafa fleiri svarkosti en færri (a.m.k. 5-6). Betra að nota: Alltaf-oft-stundum-sjaldan-aldrei heldur en Alltaf-stundum-aldrei.

13. Spurningakönnun – Nokkur atriði byggð á ÞK (leshefti) og McMillan
Oddatala (miðja) eða ekki? Rannsóknum ber ekki saman um þetta...
Gott að teygja kvarðann sem mest svo dreifing sjáist: Sjöþrepa kvarði heppilegur til að fá góða dreifingu:
Ekki hafa “veit ekki” eða “annað” í svarmöguleikum.
Hafa jafnvægi í kvarðanum, láta Likert-kvarða ná jafnt í báðar áttir.

14. Spurningakönnun – Nokkur atriði byggð á ÞK (leshefti) og McMillan
Hafa skýr fyrirmæli um hvort merkja á við einn eða fleiri svarmöguleika eða á að forgangsraða atriðum með númerum?
Röðun og uppsetning spurninga:
Áhugaverðar og/eða léttar spurningar fyrst
Ekki hafa bakgrunnsspurningar fremst
Mikilvægustu spurningarnar í miðju
Viðkvæmar spurningar seint
Efnislega svipaðar spurningar saman
Opnar spurningar síðast
Skilja að spurningar sem gætu haft áhrif hvor á aðra

15. Réttmæti og áreiðanleiki
Um mælingar
Réttmæti og áreiðanleiki

16. Áreiðanleiki og réttmæti
Grunnhugtök í öllum rannsóknum
Eru mælingarnar og rannsóknin að endurspegla það sem við viljum mæla/rannsaka?
Eru mælingarnar áreiðanlegar?

17. Réttmæti Réttmæti (validity)
Er prófið eða spurningarnar að prófa það sem við viljum prófa?
Er rannsóknin að rannsaka það sem við viljum rannsaka?
Eru niðurstöður prófsins að sýna sem við viljum mæla?
Er ályktunin réttmæt (valid/relevant)?

18. Réttmæti Dæmi úr bók Meta hæfni verðandi kennara til að kenna
Athuguð þekking á þroska barna
Athuguð þekking á stjórnun bekkjar
Athuguð þekking á námsefni
Segir það okkur hversu árangursrík kennslan er?
Hvað er prófið að mæla?? Mælir það hversu góður kennarinn er?? Hver metur hversu góður kennarinn er?

19. Dæmi vídeómynd Teljið hversu oft barnið stamar á myndbandinu
Skráið niðurstöðuna hjá ykkur
Merkið með striki í hvert skipti
Hvað teljið þið sem stam
Er það réttmætt mat á stami

21. Réttmæti mismunandi gerðir
Innihald (content validity)
Innri uppbygging (internal structure)
Ytri tengsl ( construct validity, samlegðar sundurgreinandi)

22. Innihalds réttmæti (content validity)
Innihald prófsins- Hvað á að vera í prófinu eða mælitækinu.
Hvað hefur maður með
Er prófið að prófa það sem það á að prófa.
Eru nógu margir þættir teknir með; Er t.d. Nóg að prófa stærðfræðikunnáttu með því að athuga bara margföldun?
Hvernig er hægt að athuga hvort prófið sé að prófa það sem það á að prófa
Sérfræðingar kallaðir til- prófið forprófað (sýndarréttmæti-face validity)
Á að hafa spurningar um kenningar t.d. Piaget
Stöðluð próf, skoða fyrri athuganir með prófinu

23. Innri uppbygging Hvernig atriðin í prófinu tengjast
Eru mörg atriði í hverjum þætti
Hvernig þættirnir í prófinu tengjast
Hvernig eru tengsl milli mismunandi þátta
Prófa sjálfsvitund
6 mismunandi próf lögð fyrir-hver eru tengsl á milli prófa
Málþroskapróf
Orðaforða-málskilningur-skýra út orð-málfræði-framburður
Skoða tengsl á milli þátta og atriða innan prófsins

24. Réttmæti tengsl við sambærilegar breytur - Hugsmíðaréttmæti
Hvernig atriðin endurspegla kenningarnar eða hugmyndirnar sem á að prófa rannsaka (hugsmíðaréttmæti)
Lestrarpróf eru niðurstöður sambærilegar niðurstöðum úr öðrum lestrarprófum
Er verið að prófa lestur með lestrarprófum
Tengsl við önnur próf
Forspárgildi mælingana
Segir prófið til um það sem það átti að mæla

25. Áhrif réttmætis á rannsóknir
Nauðsynlegt að gera sér grein fyrir réttmæti rannsóknarinnar/tækisins
Skoða margar mismunandi rannsóknir sem nota sama tæki
Er verið að nota nýtt tæki- hefur það verið notað áður
Hvað ætlum við að mæla þekkingu á einstökum atriðum, skilning á einstökum atriðum

26. Áreiðanleiki mælinga (reliability)
Við segjum að það sé alltaf villa í mælingum, áreiðanleiki vísar til fjölda villna
Hár áreiðanleiki, fjöldi villna er lítill
Lágur áreiðanleiki, fjöldi villna er hár
Fjöldi atriða sem hefur áhrif
Þreyta, veikindi, lesa spurningar vitlaust
(sjá töflu bls 150)

27. Áreiðanleiki mælinga Stöðugleiki (stability)
sömu einstaklingar skoða tvisvar sama hlutinn
Endurtekið próf (test-retest reliability)
ef sama próf sýnir mismunandi niðurstöðu þegar það er endurtekið er test retest reliability lágt (tími á milli prófa getur haft áhrif)
Jafngildi prófunar (equivalence) nota tvær mismunandi gerðir af sama prófinu á sömu einstaklinga og skoða fylgni á milli prófa
Tvö próf í tölfræði prófa sömu atriðin en mismunandi tölur í dæmunum

28. Innra samræmi Hversu samkvæmur maður er sjálfum sér
(Internal consistency)
-stundum í spurningarlistum er sama spurningin spurð aftur og aftur
A.m.k 5 spurningar um sama hlutinn til að hægt sé að reikna fylgni eða áreiðanleika stuðla
(Cronbach alfa stuðull)

29. Agreement- samræmi milli matsmanna
Oft notaður kappa stuðull
Yfirleitt gefið upp í prósentum hversu sammála matsmennirnir voru
75% Agreement í dæminu hér að neðan 1 A B C 2 Ó S

30. Áhrif áreiðanleika í mælingum
Áreiðanleiki er oft athugaður áður en farið er af stað með rannsóknina
Áreiðanleiki þarf að vera staðfestur með svipuðum einstaklingum og notaðir eru í rannsókninni
Skoða hvort áreiðanleikamælingar séu birtar í rannsóknum sem segja að munur sé marktækur!!!
Með sumar breytur eru staðreyndir þarf ekki að segja frá áreiðanleika, t.d. kyn, aldur og svo frv

31. Áreiðanleiki Innri áreiðanleiki er yfirleitt í lagi yfir .90
Samræmi á milli matsmanna er í lagi um .80
Lágt áreiðanleikamat er stundum
Ef það eru fáar mælingar
Mælingar á ungum börnum eru oft ónákvæmari
Tími þreyta

32. Dæmi vídeómynd Nú skulum við kanna áreiðanleika með myndbandinu
Þið horfið á myndbandið aftur
Teljið hversu oft barnið stamar á myndbandinu
Berið saman hversu áreiðanleg þið voruð
(Það heitir ??)
Hvað hafði áhrif á matið
Berðu saman hversu oft þú taldir stam borið saman við þá sem sitja næst þér (Það heitir ??)