1. Kuidas leida õige küsimus ja skaala
Kuidas leida õige küsimus ja skaala? Ave Roots & Mai Beilmann Euroopa Sotsiaaluuringu Suveakadeemia küsitlusuuringutest, Pühajärve

2. KÜSIMUSTIKU KOOSTAMINE JA KÜSIMUSTE SÕNASTAMINE

3. Küsimustik
Küsimustik on ettevalmistatud kirjalike küsimuste kogum, mille eesmärk on info kogumine standardiseeritud küsimuste esitamise kaudu. (Masso 2014)

4. Mõõtmisvea tekkimine (Total Survey Error Framework) (Groves et al
Mõõtmisvea tekkimine (Total Survey Error Framework) (Groves et al., 2009, p.48)
Vea allikad

5. Enne küsimuste koostamist
küsi endalt, kas küsitlus on õige meetod.
Küsimusi koostades pea meeles …
Mis on Sinu uurimisküsimus?
Kes on Su vastajad?
Kuidas vastaja küsimusest aru saab?

6. Kaks lähenemist „Alt üles“ Kirjuta üles kõik pähe tulevad küsimused.
Leia nende küsimuste taga mingi loogika ja korrasta küsimused.
Jäta välja, mida Sul pole vaja või võimalik mõõta.
„Ülevalt alla“
Defineeri kõik kontseptsioonid
lähtuvalt teooriast.
Operatsionaliseeri kontseptsioonid küsimusteks.
(Blom 2015)

7. Millised küsimused peaksid küsimustikus olema?
Kas küsimus/tunnus mõõdab uurimisküsimuse seisukohalt midagi olulist?
Kas see annab täiendavat informatsiooni?
Kas respondent saab/ on võimeline küsimusele vastama?
Kas respondent on valmis vastama
küsimusele ausalt?
Kas kõik vastajad saavad küsimusest
ühtemoodi aru?
Kas ma saan seda küsimust kasutada
oma analüüsis?

8. Mõistete operatsionaliseerimine
Operatsionaliseerimine on huvipakkuvate kontseptsioonide muutmine küsimustiku küsimusteks või küsimuste blokkideks.
Teoreetiliste või teatud valdkonnas kasutatavate kontseptsioonide tõlkimine tavainimesele arusaadavasse keelde.
Näide: demokraatia toimimine

9. KÜSIMUSTE SÕNASTUS ON OLULINE!

10. Erinevad grupid mõistavad küsimust erinevalt kui küsimus on liiga üldine
„Kas sulle meeldib jalgpall?“
Naised kalduvad üldiselt vastama küsimusele: „Kas sulle meeldib televiisorist jalgpalli vaadata?“
Mehed seevastu vastavad üldiselt küsimusele: „Kas sulle meeldib jalgpalli mängida?“
Vanemaealiste meeste puhul vastab osa esimesele, osa teisele küsimusele.
Uurimisobjekt muutub nii soo kui ka vanuse lõikes!

11. Konteksti mõju
Informatsiooni lisamisega võivad kaasneda olulised erinevused tulemustes.
Pew Research uurimiskeskus viis jaanuaris 2003 Ameerikas läbi avaliku arvamuse uuringu, mille raames küsiti vastajatelt, kas nad pooldaksid või ei pooldaks sõjalist rünnakut Iraagile, et teha lõpp Saddam Husseini režiimile. 68% vastanutest pooldas sõjalist sekkumist ja 25% oli sellele vastu.
Kui sama uuringu raames küsiti vastajatelt uuesti, et kas nad pooldaksid või ei pooldaks sõjalist rünnakut Iraagile, et teha lõpp Saddam Husseini režiimile, kui see võiks Ameerika vägedele kaasa tuua suuri kaotusi, tuhandete hukkunud sõdurite näol, toimus hinnangutes märkimisväärne muutus – nüüd oli sõjalise sekkumist pooldajate osakaal langenud 43% ja 48% oli sellele vastu.

12. Sõnastuse mõju
Pew Research uuringukeskuse poolt aastal läbiviidud küsitluses uuriti erinevaid eutanaasiaga seotud hoiakuid.
51% vastajatest pooldas väidet: “to make it legal for doctors to give terminally ill patients the means to end their lives”
Kui sama lause sõnastati ümber: “making it legal for doctors to assist terminally ill patients in committing suicide”, siis vähenes pooldajate osakaal 44%-ni.

13. Kasutatavate mõistete mõju
Vahetevahel võib tulemust mõjutada ka ainult ühe mõiste ümbersõnastamine.
Näiteks on ilmnenud, et respondendid reageerivad erinevalt küsimustele, kus on kasutatud sõna hoolekanne (welfare) vastandina üldisemale sõnaühendile vaeste abistamine (assistance to the poor). Mitmed eksperimendid on tõestanud, et vaeste abistamisele suunatud ressursside suurendamine pälvib alati enam avalikkus poolehoidu, kui toetuse suurendamine hoolekandele.

14. Ülesanne
Külma sõja ajal viidi Hollandis samaaegselt läbi kaks avaliku arvamuse uuringut tuumarelvastuse osas. Kasutati identset küsimuse sõnastust, erinevus seisnes üksnes lisainformatsioonis:
Arvestades seda, et Euroopale on suunatud suur hulk tuumarakette, kas te toetate või ei toeta tuumarakettide kasutusele võtmist Hollandis?
Arvestades seda, kui palju tuumarakette on kumbki blokk üksteisele suunanud, kas te toetate või ei toeta tuumarakettide kasutusele võtmist Hollandis?
Millisel juhul oli avalikkuse toetus suurem?

15. Küsimuste liigid

16. Küsimuste liigid Vastuse tüübi järgi: avatud, poolavatud, kinnine
Funktsiooni järgi: sisuline küsimus, filterküsimus
Küsitud informatsiooni tüübi järgi
Faktilised (sünniaeg, sugu, perekonnaseis, haridus, amet, sissetulek, eelmistel valimistel hääletamine)
Hoiakulised (eluga rahulolu, arvamus parlamendi kohta, poliitilised eelistused)
Käitumuslikud (arstivisiitide arv, töötundide arv, reisimise sagedus, meeleavaldustel osalemine)
(Blom 2015, Masso 2014)

17. Tunnused skaalatüübi järgi
Kategoriaalsed tunnused
Nominaaltunnus
Järjestustunnus
Binaarne tunnus (dihhotoomne)
Arvulised tunnused
Pidev tunnus
Diskreetne tunnus

18. Küsimustele täpsustavate tekstide lisamine
Sissejuhatus
Lisainformatsioon
Definitsioonid
Instruktsioonid
Motiveerimine vastuse andmiseks
(Lilleoja 2014)

19. Sissejuhatav tekst

20. Definitsioonid

21. LEVINUD KÜSIMUSE SÕNASTUSEGA SEOTUD VEAD

22. Küsimused on liiga pikad ja keerulised
Millisele haridustasemele jõudsid järjest õppides enne kõrgharidusõpingute alustamist, st ilma õpingutes pausi tegemata? Selgitus: juhul, kui oled õpingutes enne kõrghariduse omandamise alustamist teinud pausi, siis märgi vastuses õppeaste, mille enne õpingutes pausi tegemist edukalt lõpetasid. Näiteks, kui lõpetasid põhikooli ja ei läinud kohe pärast seda gümnaasiumisse või kutsekooli, siis märgi „põhiharidus“. Juhul, kui lõpetasid ilma õpinguid katkestamata keskkooli/gümnaasiumi (ei pea olema sama kool, kus said põhihariduse, oluline on, et õpingutes poleks tekinud pausi), siis märgi „üldkeskharidus“. Kui pärast põhikooli või keskkooli lõpetasid kutseõppe, siis märgi see. (Eurostudent 2013)

23. Küsimuse sõnastus ei ole piisavalt täpne, küsimus on liiga üldine
„Kuidas Te hindate Euroopa Parlamendi ja Euroopa Komisjoni koostööd?“

24. Küsimuses ei ole täpsustatud millist võrdlussüsteemi tuleks hinnangute andmisel kasutada
„Kui tihti Te võtate osa seltskondlikest kohtumistest või üritustest?“

25. Küsimuses esinevad topelt eitused
„Ega te ei arva, et valitsuskoalitsioon ei peaks vahetuma?“

26. Üks küsimus sisaldab kahte erinevat küsimust
„Kas te nõustute, et alkoholism on probleem ja valitsus peaks selles osas midagi ette võtma?“

27. Küsimus sisaldab eeldusi
„Mis on parim raamat, mida Te eelmisel aastal lugesite?“ I am … aware of the presence of God. never always

28. Küsimuse sõnastus suunab respondenti andma teatud laadi kallutatud vastust
„Kus peaks Teie arvates paiknema Vabaduse ausammas: Vabaduse väljaku piirkonnas või mujal?“

29. Kultuurilised erinevused tähenduses – küsimus sisaldab fraase või sõnu mille tähendus varieerub populatsiooni alagruppide lõikes
„Mida Te arvate, kas teistest riikidest inimeste Eestisse elama asumine pigem kahjustab või rikastab Eesti kultuurielu?“

30. Näide kultuurilise konteksti mõjust erinevatele gruppidele (Verkuyten 2006)
Kas toetus vähemuste õigustele oleneb sellest, kas vastaja on ise riigis vähemus- või enamusrahvuse esindaja?
Meetod: eksperiment.
Kontekst: Hollandis on türklased ja kurdid mõlemad vähemusrahvuste esindajad, Türgis seevastu on türklased enamusrahvus ja kurdid vähemusrahvus.
Tulemused: türklased pooldasid Türgi kontekstis vähemuste õigusi vähem kui Hollandi kontekstis, samas kui kurdid toetasid vähemuste õigusi Türgi kontekstis tugevamalt kui Hollandi kontekstis.

31. Küsimusele vastamiseks peab vastaja asetama end hüpoteetilisse olukorda
German Family Panel küsimus lastetutele: „Kujutage ette, et te tahate last saada ja kujutage ette, et te ei saa, kuigi üritate. Kui frustreeritud te oleksite, et teil/teie partneril rasestuda ei õnnestu?“

32. Sotsiaalne soovitavus
Tabuteemad (seks ja raha)
Hirm info avalikuks tulemise ees (seaduse-rikkumised)
Sotsiaalsed normid (suhtumine immigrantidesse)
(Tourangeau and Yan 2007:860)

33. Järjestusskaalade komponendid

34. Keskpunkt

35. Arvamuse puudumine

36. Usaldus Eesti Parlamendi vastu on keskmiselt 3,99 skaalal 0-10
Usaldus Euroopa Parlamendi vastu on keskmiselt 4,75 skaalal 0-10
Miks eesti inimesed usaldavad Euroopa Parlamenti enam kui Eesti Parlamenti?

37. %
Joonis 1. Usaldus Eesti Parlamendi ja Europarlamendi vastu (ESS 2012)

38. Joonis 2. Usaldus Eesti Parlamendi ja Europarlamendi vastu koos puuduvate väärtustega (ESS 2012)

39. Sümmeetrilisus

40. Ühepoolne või kahepoolne skaala

41. Ohukohad vastusevariantide puhul

42. Ammendavus ei tarvita narkootikume peaaegu üldse tarvitan kord kuus
kord nädalas
iga päev

43. Mittekattuvus Sissetuleku vahemikud Valdkonnad 0-300 300-500
jne
Valdkonnad
Sotsiaal- ja käitumisteadused
Sotsiaalteadused
Majandusteadus jne

44. Lähtumine samast loogilisest alusest

45. Skaala tasakaalustatus
olen nõus
pigem ei ole nõus
ei ole üldse nõus

46. Võrdsed vahemaad skaalapunktide vahel
olen nõus
pigem nõus
ei ole nõus
üldse ei ole nõus

47. Skaala mõju (Schwarz et al. 1985)
Mitu tundi Te vaatate televiisorit tavaliselt tööpäeviti? Skaala mõtestab vasta ja jaoks küsimuse lahti!

48. VÕIMALUSI ENDA JA VASTAJATE ELU KEERULISEKS TEGEMISEKS

49. Mitu küsimust, üks skaala
Milliseid järgnevatest toiduainetest Sa igapäevaselt tarbid?
Piimatooted
Liha
Juurviljad
Leivatooted
Puuviljad
Või ja õli
Põhimõtteliselt sisaldub selles küsimuses 6 eraldi küsimust. Vastajal võib tekkida segadus, kui mitu varianti ta valida võib.

50. Järjestamised Tohutu väljakutse kodeerimiseks!
Palun järjest järgnevad filmižanrid meeldivuse alusel alustades oma lemmikuga:
Komöödia Draama Märul Põnevik Õudus
Tohutu väljakutse kodeerimiseks!

51. Mu ülemus meenutab mulle...

52. Küsimuste järjestus

53. Küsimustiku ülesehitus
Esitada küsimused psühholoogiliselt ja loogiliselt sobivas järjekorras
Kergemad ja raskemad küsimused vaheldumisi, alustada kergemast.
Alustada küsitluse põhiteemaga seonduvast.
Sisuliselt seotud küsimused koondada ühte teemaplokki.
Eelnevad küsimused mõjutavad järgnevaid
Isikuandmetega seonduvad küsimused lõppu
(Masso 2014)

54. Näide küsimuste järjestuse olulisusest
Palun märkige, millistel juhtudel peaks olema legaalne võimalus abordi tegemiseks ja millistel mitte.
… kui laps sünniks tõsise kaasasündinud haiguse või puudega? … kui naine on abielus ja ei taha rohkem lapsi saada? … kui naise tervis on raseduse tõttu tõsises ohus? … kui perekonnal on madal sissetulek ja nad ei saa endale rohkem lapsi lubada? … kui rasedus on vägistamise tagajärg? … kui naine on vallaline ja lapse ise ei taha temaga abielluda? … kui naine tahab teha aborti ükskõik, millised põhjused tal selleks on?
(German Internet Panel)

55. Näide küsimuste järjestuse olulisusest
Tunnuse „ükskõik, millised põhjused tal selleks on“ puhul olenevalt küsimuse asetusest nõustujate osakaal väheneb, mida tagapool see küsimus on: 68% (esimene küsimus) kuni 52% (viimane küsimus).
Tunnuse „naine on abielus ja ei taha rohkem lapsi saada“ puhul olenevalt küsimuse asetusest nõustujate osakaal väheneb, mida tagapool see küsimus on: 74% (esimene küsimus) kuni 52% (viimane küsimus).
Küsides madala nõustumisprotsendiga küsimused esimeste hulgas tõstab oluliselt nende tunnuste arvu, millega vastaja nõustub.
(Blom 2015)

56. Näide küsimuste järjekorra olulisusest

57. Küsimustiku testimine
Kognitiivsed intervjuud
ESS näide (2014. aasta küsitlusvooru tervise ja immigratsiooni eribloki testimine aasta kevadel)
Mitu korda olete viimase 12 kuu jooksul konsulteerinud mõne alternatiivmeditsiini praktiseerijaga?
Mida te sellele küsimusele vastates „alternatiivmeditsiini praktiseerija” all mõtlesite?
Kas te sellele küsimusele vastates mõtlesite konkreetset liiki alternatiivmeditsiini praktiseerijat? KÜSITLEJA TÄPSUSTUS: millist (milliseid)?
Kas nende hulgas oli mõni alternatiivmeditsiini praktiseerija, kelle peale te mõtlesite, aga otsustasite tema juurde mitte minna? KÜSITLEJA TÄPSUSTUS: milline (milliseid) ja miks?
Kui vastaja ütles „ei oska öelda”, uurige põhjust. Kas ta sai küsimusest aru?

58. Kuidas te otsustasite, milline vastus anda?
Miks just see number anti vastuseks?
Mida te küsimusele vastates „Eesti rahvusliku identiteedi” all mõtlesite?
Mida te küsimusele vastates „kahjustamise” all mõtlesite?
Mida te küsimusele vastates „rikastamise” all mõtlesite?
Kui vastaja ütles „ei oska öelda” või keeldus vastamast, uurige põhjust. Kas ta sai küsimusest aru?

59. 10 käsku küsimustiku koostamiseks (Porst 2000)
Kasuta lihtsaid ja ühemõttelisi termineid, millest kõik respondendid ühte moodi aru saavad!
Väldi pikki ja keerulisi küsimusi!
Väldi hüpoteetilisi küsimusi!
Väldi kahe asja korraga küsimust ja topelteituseid!
Väldi suunavaid küsimusi!
Väldi küsimusi, millele osa (või kõik) vastajad ei saa vastata!
Kasuta ühetähenduslikke ajalisi määratlusi!
Kasuta vastusekategooriaid, mida on piisavalt ja mis omavahel ei kattu!
Mõtle järele, et küsimuse kontekst ei mõjutaks vastust!
Defineeri terminid, mis võivad jääda segaseks või arusaamatuks!

60. Kasutatud allikad
Blom, Annelies The Essentials of Questionnaire Design and Testing. Loenguslaidid.
Euroopa Sotsiaaluuring (2014). Euroopa Sotsiaaluuringu 2014/2015. Küsitlusankeet Euroopa sotsiaaluuringu Eesti koduleht. (Vaadatud ).
Euroopa Sotsiaaluuring (2013). European Social Survey Round 7 Cognitive Testing. FINAL Interview Protocol.
Euroopa Sotsiaaluuring (2012). Euroopa Sotsiaaluuringu 2012/2013. Küsitlusankeet. Euroopa sotsiaaluuringu Eesti koduleht. (Vaadatud ).
Groves, Robert, M., Floyd J. Fowler, Jr., Mick P. Couper, James M. Lepkowski, Eleanor Singer, Roger Tourangeau Survey Methodology, 2nd Edition. ISBN:
Lilleoja, Laur Küsitlusuuringute ettevalmistamine. Loenguslaidid.
Masso, Anu Meedia ja kommunikatsiooni uurimismeetodid. Loenguslaidid.
Porst, Rolf Question Wording – Zur Formulierung von Fragebogen-Fragen. (Vaadatud ).
Verkuyten, Maykel & Ali Aslan Yildiz The Endorsement of Minority Rights: The Role of Group Position, National Context, and Ideological Beliefs. Political Psychology, Vol. 27, No. 4.