Aðferðafræði og menntarannsóknir 50. 00. 04 http://starfsfolk. khi Megindlegar rannsóknir – hugtök og aðferðir Jóhanna-MÞ-SRJ-KKS 6. febrúar 2008, Kennaraháskóla Íslands

Rannsóknarhefðir (upprifjun) Megindleg og eigindleg Megindleg (kvantítatív): Rannsókn sem byggir á hlutlægum mælingum (magnbundið). Getur verið annaðhvort tilraunasnið (experimental) eða fylgnirannsóknarsnið (non-experimental). Eigindleg (kvalítatív): Rannsókn sem byggir á lýsingu afmarkaðra tilvika og túlkunum á því sem skoðað er.

Megindleg (kvantítatív) rannsóknaraðferð: Þátttakandi, viðfang, úrtak, þýði Nýleg rannsókn hefur leitt í ljós að 3 af hverjum 4 jarðarbúum tilheyra u.þ.b. 75% íbúa jarðar. Bra! Ég hlýt þá að tilheyra hinum 25% af því ég er sko alls ekki eins og fólk er flest!

Þátttakandi og viðfang í rannsókn Þátttakandi í rannsókn er manneskja eða annað “viðfang” sem við sækjum gögnin hjá. Í tilraunasniði (experimental design) er “tilraunadýrið” þátttakandi eða viðfang. Þátttakendur (viðföng) eru ekki alltaf “eiginlegir þátttakendur”, t.d. þegar gögn úr fortíðinni eru skoðuð. Orðið “viðfang” (subject) orðið meira notað en “þátttakandi” (participant) J.H. MacMillan

Úrtak Í megindlegum rannsóknum söfnum við gögnum frá hópi eða völdu safni af “viðföngum”. Við köllum þennan valda hóp úrtak (sample). Ýmsar leiðir þekktar við val á úrtaki: venjulega auðkenndar með orðum sem lýsa aðferðinni við að velja úrtakið. Þekktastar í megindlegri rannsóknarhefð eru: Tilviljunarúrtak (random sampling), kerfisbundið tilviljunarúrtak (systematic random sampling), lagskipt tilviljunarúrtak (stratified random sampling) og klasaúrtak (cluster sampling)

Gerðir úrtaka Tilviljunarúrtak (random sampling): Byggt á líkindahugtakinu (probability), allir í þýðinu eiga jafna möguleika á að vera valdir, enda valið af handahófi. Kerfisbundið tilviljunarúrtak (systematic random sampling): n-ta hvert stak (every nth element) í þýðinu er valið úr lista yfir alla. Lagskipt tilviljunarúrtak (stratified random sampling): Fyrst er þýðinu skipað í hópa út frá einkennum svo er tekið tilviljunarúrtak úr hverjum hópi.

Gerðir úrtaka Lagskipt tilviljunarúrtak (stratified random sampling) getur verið annaðhvort byggt á hlutfalli (proportional) eða ekki (disproportional). Úrtök sem byggja EKKI á líkindum (ekki random-úrtök): Hentugleikaúrtak (convenience sampling): Valið er vegna þess að það er aðgengilegt, heppilegt... Kvótaúrtak (quota sampling): Viðföng valin út frá ákveðnum viðmiðum (criteria) til að fá allar gerðir af “týpum” inn í rannsóknina.

Spurningakönnun (stofn og svarmöguleikar eins og í krossaprófum) - Ath Spurningakönnun (stofn og svarmöguleikar eins og í krossaprófum) - Ath. áreiðanleika og réttmæti Hefur þú e-n tíma fengið að vera inni í löngu frímínútum eða reynt að halda þig ekki á skólal. vegna þess að þú færð ekki frið fyrir stríðni skólafélaga? ( ) Já ( ) Nei Forðast: Skammstafanir Mörg efnisatriði í sömu spurningu Neitanir Efnislega ónákvæmni Leiðandi spurningar “Samþykkishneigð” (Á við skoðanir)

Spurningakönnun – Nokkur atriði byggð á grein Þorláks Karlssonar (Sjá leshefti) og McMillan Spurningalistar: Algengast að svarendur merki við á nafnkvarða eða raðkvarða og gefi þannig til kynna svar sitt við spurningu líkt og í krossaspurningu á prófi Likert-kvarði: Mjög mikið notaður. Svarendur merkja við á kvarða sem hefur bæði pósitífa og negatífa stefnu – T.d. “Mjög sammála (strongly agree)” til “Mjög ósammála (strongly disagree)” (Oft 5-7 möguleikar).

Spurningakönnun – Nokkur atriði byggð á grein Þorláks Karlssonar (Sjá leshefti) og McMillan Kostur spurningakannana (questionnaires): Hægt að safna fjölbreyttum gögnum á stuttum tíma – svipað og á skriflegu prófi í námsmati. Margt að forðast við spurningalistagerð: Texti þarf að vera skiljanlegur, stuttur og hnitmiðaður, ekki of miklar kröfur til svarenda varðandi lesskilning. Spyrja skýrt: spurnarfornöfn, sagnir, nafnorð, fornöfn, ekki bara stök orð. Forðast fullyrðingar (hætta á “samþykkishneigð”). Betra að spyrja beint: “Finnst þér...” “Samþykkishneigð” gætir í svörum við Já/Nei spurningum.

Spurningakönnun – Nokkur atriði byggð á ÞK (leshefti) og McMillan Hafa spurningar í jafnvægi: “Myndir þú segja að hávaði í kennslustund yki, minnkaði eða hefði engin áhrif á námsárangur?” (Svarmögul: Eykur óþægindi; minnkar óþægindi; hefur engin áhrif). Forðast að útskýra hvað átt er við með spurningu eða að nefna dæmi: “Hversu ánægð(ur) eða óánægð(ur) ertu með upplýsingar skólans...(T.d. um áætlanir, námsmat...)?”

Spurningakönnun – Nokkur atriði byggð á ÞK (leshefti) og McMillan Gerð svarmöguleika (fjölval): Ath orðalag, fjölda svarmöguleika, kvarða, samræmi við efni spurningar... Svarmöguleikar verða að vera tæmandi (ekki vanti svarmöguleika) og mega ekki skarast (hægt að merkja við tvo eða fleiri möguleika). Hafa fleiri svarkosti en færri (a.m.k. 5-6). Betra að nota: Alltaf-oft-stundum-sjaldan-aldrei heldur en Alltaf-stundum-aldrei.

Spurningakönnun – Nokkur atriði byggð á ÞK (leshefti) og McMillan Oddatala (miðja) eða ekki? Rannsóknum ber ekki saman um þetta... Gott að teygja kvarðann sem mest svo dreifing sjáist: Sjöþrepa kvarði heppilegur til að fá góða dreifingu: Ekki hafa “veit ekki” eða “annað” í svarmöguleikum. Hafa jafnvægi í kvarðanum, láta Likert-kvarða ná jafnt í báðar áttir.

Spurningakönnun – Nokkur atriði byggð á ÞK (leshefti) og McMillan Hafa skýr fyrirmæli um hvort merkja á við einn eða fleiri svarmöguleika eða á að forgangsraða atriðum með númerum? Röðun og uppsetning spurninga: Áhugaverðar og/eða léttar spurningar fyrst Ekki hafa bakgrunnsspurningar fremst Mikilvægustu spurningarnar í miðju Viðkvæmar spurningar seint Efnislega svipaðar spurningar saman Opnar spurningar síðast Skilja að spurningar sem gætu haft áhrif hvor á aðra

Réttmæti og áreiðanleiki Um mælingar Réttmæti og áreiðanleiki

Áreiðanleiki og réttmæti Grunnhugtök í öllum rannsóknum Eru mælingarnar og rannsóknin að endurspegla það sem við viljum mæla/rannsaka? Eru mælingarnar áreiðanlegar?

Réttmæti Réttmæti (validity) Er prófið eða spurningarnar að prófa það sem við viljum prófa? Er rannsóknin að rannsaka það sem við viljum rannsaka? Eru niðurstöður prófsins að sýna sem við viljum mæla? Er ályktunin réttmæt (valid/relevant)?

Réttmæti Dæmi úr bók Meta hæfni verðandi kennara til að kenna Athuguð þekking á þroska barna Athuguð þekking á stjórnun bekkjar Athuguð þekking á námsefni Segir það okkur hversu árangursrík kennslan er? Hvað er prófið að mæla?? Mælir það hversu góður kennarinn er?? Hver metur hversu góður kennarinn er?

Dæmi vídeómynd Teljið hversu oft barnið stamar á myndbandinu Skráið niðurstöðuna hjá ykkur Merkið með striki í hvert skipti Hvað teljið þið sem stam Er það réttmætt mat á stami

Réttmæti mismunandi gerðir Innihald (content validity) Innri uppbygging (internal structure) Ytri tengsl ( construct validity, samlegðar sundurgreinandi)

Innihalds réttmæti (content validity) Innihald prófsins- Hvað á að vera í prófinu eða mælitækinu. Hvað hefur maður með Er prófið að prófa það sem það á að prófa. Eru nógu margir þættir teknir með; Er t.d. Nóg að prófa stærðfræðikunnáttu með því að athuga bara margföldun? Hvernig er hægt að athuga hvort prófið sé að prófa það sem það á að prófa Sérfræðingar kallaðir til- prófið forprófað (sýndarréttmæti-face validity) Á að hafa spurningar um kenningar t.d. Piaget Stöðluð próf, skoða fyrri athuganir með prófinu

Innri uppbygging Hvernig atriðin í prófinu tengjast Eru mörg atriði í hverjum þætti Hvernig þættirnir í prófinu tengjast Hvernig eru tengsl milli mismunandi þátta Prófa sjálfsvitund 6 mismunandi próf lögð fyrir-hver eru tengsl á milli prófa Málþroskapróf Orðaforða-málskilningur-skýra út orð-málfræði-framburður Skoða tengsl á milli þátta og atriða innan prófsins

Réttmæti tengsl við sambærilegar breytur - Hugsmíðaréttmæti Hvernig atriðin endurspegla kenningarnar eða hugmyndirnar sem á að prófa rannsaka (hugsmíðaréttmæti) Lestrarpróf eru niðurstöður sambærilegar niðurstöðum úr öðrum lestrarprófum Er verið að prófa lestur með lestrarprófum Tengsl við önnur próf Forspárgildi mælingana Segir prófið til um það sem það átti að mæla

Áhrif réttmætis á rannsóknir Nauðsynlegt að gera sér grein fyrir réttmæti rannsóknarinnar/tækisins Skoða margar mismunandi rannsóknir sem nota sama tæki Er verið að nota nýtt tæki- hefur það verið notað áður Hvað ætlum við að mæla þekkingu á einstökum atriðum, skilning á einstökum atriðum

Áreiðanleiki mælinga (reliability) Við segjum að það sé alltaf villa í mælingum, áreiðanleiki vísar til fjölda villna Hár áreiðanleiki, fjöldi villna er lítill Lágur áreiðanleiki, fjöldi villna er hár Fjöldi atriða sem hefur áhrif Þreyta, veikindi, lesa spurningar vitlaust (sjá töflu bls 150)

Áreiðanleiki mælinga Stöðugleiki (stability) sömu einstaklingar skoða tvisvar sama hlutinn Endurtekið próf (test-retest reliability) ef sama próf sýnir mismunandi niðurstöðu þegar það er endurtekið er test retest reliability lágt (tími á milli prófa getur haft áhrif) Jafngildi prófunar (equivalence) nota tvær mismunandi gerðir af sama prófinu á sömu einstaklinga og skoða fylgni á milli prófa Tvö próf í tölfræði prófa sömu atriðin en mismunandi tölur í dæmunum

Innra samræmi Hversu samkvæmur maður er sjálfum sér (Internal consistency) -stundum í spurningarlistum er sama spurningin spurð aftur og aftur A.m.k 5 spurningar um sama hlutinn til að hægt sé að reikna fylgni eða áreiðanleika stuðla (Cronbach alfa stuðull)

Agreement- samræmi milli matsmanna Oft notaður kappa stuðull Yfirleitt gefið upp í prósentum hversu sammála matsmennirnir voru 75% Agreement í dæminu hér að neðan 1 A B C 2 Ó S

Áhrif áreiðanleika í mælingum Áreiðanleiki er oft athugaður áður en farið er af stað með rannsóknina Áreiðanleiki þarf að vera staðfestur með svipuðum einstaklingum og notaðir eru í rannsókninni Skoða hvort áreiðanleikamælingar séu birtar í rannsóknum sem segja að munur sé marktækur!!! Með sumar breytur eru staðreyndir þarf ekki að segja frá áreiðanleika, t.d. kyn, aldur og svo frv

Áreiðanleiki Innri áreiðanleiki er yfirleitt í lagi yfir .90 Samræmi á milli matsmanna er í lagi um .80 Lágt áreiðanleikamat er stundum Ef það eru fáar mælingar Mælingar á ungum börnum eru oft ónákvæmari Tími þreyta

Dæmi vídeómynd Nú skulum við kanna áreiðanleika með myndbandinu Þið horfið á myndbandið aftur Teljið hversu oft barnið stamar á myndbandinu Berið saman hversu áreiðanleg þið voruð (Það heitir ??) Hvað hafði áhrif á matið Berðu saman hversu oft þú taldir stam borið saman við þá sem sitja næst þér (Það heitir ??)