1. KVALITATIVNO RAZISKOVANJE
Psihologija - podiplomski študij
Metodologija psihološkega raziskovanja

2. Podatki KVANTITATIVNI pogostost procesov razlike v veličini števila?
KVANTITATIVNI
pogostost procesov
razlike v veličini
števila
statistične analize
KVALITATIVNI
opis pojava, lastnosti,
procesov, odnosov,
zaporedja
opis razlik med procesi
Kval.podatki kažejo: lastnost, opis, vrstni red
Kvalitativni podatki so pogosti v družbenih vedah. V nekem smislu so vsi podatki kvalitativni, saj se nanašajo na bistva ljudi, objektov in situacij. Surovo izkušnjo pretvorimo v podatke - v besede ali števila.
Kvalitativni podatki so navadno v obliki besed (manj pogosto v obliki slik) , manj običajno v obliki števil. Besede pridobimo v opazovanju, intervjujih ali v dokumentih. Zbiranje podatkov poteka v naravnih situacijah in skupnostih, ponavadi pa to zbiranje traja dalj časa. Ponavadi taki podatki niso takoj dosegljivi za analizo, ampak zahtevajo prej obdelavo (pretipkamo zapise, transkripcija…). Kvalitativni podatki so dobrodošli, ko frekvence ne morejo pokazati dejanskega stanja, npr. pri analizi diskurza.
Besede pa so večinoma pod vplivom raziskovalca (kaj nekdo opazi, kako zapiše opaženo v besede - posredi sta torej raziskovalčevo opazovanje in interpretacija, njegove vrednote) in odražajo njegove implicitne koncepte.
Podatki lahko že obstajajo v arhivskih zapisih, publikacijah. Lahko do njih z zbiranjem pride šele raziskovalec, in sicer z različnimi tehnikami (npr. opazovanjem, intervjuji).
*vnaprejšnja opredelitev tipa podatkov in njihove analize (statistične analize), za tem pa prilagodimo velikost vzorca
besede (napisane, govorjene)
slike, fotografije

3. Oh, glej, kako
umazane roke imam!

4. Tipi raziskovanj eksperimentalno kvazieksperimentalno
neeksperimentalno (terensko)
anketno raziskovanje
opazovanje
arhivsko raziskovanje
Naturalistično (neeksperimentalno) raziskovanje
Zajema naturalistično opazovanje in arhivsko raziskovanje. Je poceni, ponavadi ne povzroča prevelikega napora. Ni vpliva spraševalca ali laboratorijskih zahtev, opazovani se ne zavedajo tega, da so del raziskave, ali pa se hitro navadijo na svoje sodelovanje in se nehajo zavedati, da so opazovani. Tako se vedejo, kot bi se vedli v naravni, vsakodnevni situaciji (za razliko od anketnega in eksperimentalnega raziskovanja, kjer so postavljeni v zelo nenaraven kontekst, ki producira nenaravne in socialno zaželene odgovore). Vedenja niso sprovocirana, ampak se zgodijo v naravnem toku. Tako raziskovanje je naturalistične narave in naj bi imelo zato, ker so vedenja pristna, visoko zunanjo (ekološko) veljavnost. Navadno lahko opazujemo naravno pojavljajočo se odvisno spremenljivko, včasih pa zajamemo v opazovanje naravno neodvisno spremenljivko (npr. naravno nesrečo) in lahko preučujemo, kako naravno vpliva na nadaljnje dogodke. Problem pa je v zanesljivosti in veljavnosti merjenja. Rezultati so morda specifični za območje, kjer je bila raziskava izvedena (vprašanje je, če lahko iz Ljubljane posplošujemo na podeželje). Kontrola zunanjih dejavnikov, ki vplivajo na napako merjenja, je nizka. Težko preučujemo vzročno-posledične odnose, ker redko vemo, kaj je vzrok in kaj posledica. Notranja veljavnost je zato nizka.

5. Značilnosti kvalitativnega raziskovanja
intenziven / dolgotrajen kontakt z vsakodnevnimi situacijami
kako ljudje v določenih situacijah razumejo, razlagajo vsakodnevne dogodke in tudi nanje reagirajo
celosten vpogled v kontekst
raziskovalec je glavni merilni instrument
večina analize je narejena v besedah (jih združujemo, razbijamo…), raziskovalec jih primerja, analizira, išče vzorce
Kvantitativno raziskovanje: generalni vpogled v problem, splošne zakonitosti
Kvalitativno raziskovanje je v vzponu od 80.-ih let 20.stol.: posebnosti, kompleksnejši, bolj “skriti” pojavi
Skupne značilnosti različnih načinov kvalitativnega raziskovanja:
- ne moremo ga reducirati na določene tehnike ali stopnje raziskovanja, ni jasno zaporedje raziskovalnih postopkov; je dinamičen, neurejen proces, združuje probleme, teorije in metode, povezuje raziskovalne načrte, strategije, in tehnike, povezuje načrte, zbiranje podatkov in analizo podatkov. Interakcija med empiričnim in konceptualnim, istočasno se odvijata dedukcija in indukcija. To so istočasni, zvezni procesi.
- Strategije: (i) analitična indukcija = okvirna definicija problema, zberemo par primerov, jih preučimo, hipoteza, več primerov, preverjanje hipoteze, reformulacija, ponavljanje kroga, dokler hipoteza ni tako dobro izdelana, da dobro predstavlja čim več primerov; (ii) postavljanje teorije na podlagi podatkov - zbiranje podatkov, kategorije, hierarhija kategorij, povezave, teoretična shema, taksonomija
- intenziven ali dolgotrajen kontakt z vsakodnevnimi situacijami, ki so običajne, normalne, odražajo vsakdanje življenje oseb, skupin, družb, organizacij
- raziskovalec želi dobiti celosten vplogled v kontekst, ki ga preučuje - njegovo logiko, ureditve, pravila
- raziskovalec želi "od znotraj" zajeti podatke o zaznavah lokalnih akterjev, in sicer s pozornostjo, empatičnim razumevanjem, tako, da odstrani vse predsodke (prekoncepcije) o raziskovanih področjih
- glavna naloga je eksplicirati, kako ljudje v določenih situacijah razumejo, razlagajo vsakodnevne dogodke in tudi nanje reagirajo
- raziskovalec je glavni merilni instrument
- večina analize je narejena v besedah (jih združujemo, razbijamo…), raziskovalec jih primerja, analizira, išče vzorce
- pri tem raziskovanju ne moremo rutinizirati postopkov, ni napotkov, formul, le grobe oporne točke. Raziskovalec občutek za tako raziskovanje dobiva z večletno prakso, učenjem “obrti”.
simbolični interakcionizem vs. interpretativni pristop

6. Značilnosti kvalitativnega raziskovanja
ni rutin, le grobe oporne točke
neurejen, zvezen proces, stalno prepletanje različnih faz raziskovanja:
zbiranja podatkov,
analize podatkov (kodiranja, prikazovanja),
zaključevanja
gradnje teorije
fleksibilno - stalno učenje, popravljanje napak

7. 1. korak: izdelava raziskovalnega načrta
izgradnja konceptualnega okvira
oblikovanje raziskovalnega problema
določanje enote analize, vzorčenje virov podatkov
izbor pripomočkov - pogosto nedoločenost
povezava kvalitativnih in kvantitativnih podatkov
uporaba računalnika pri zbiranju in analizi podatkov
Konceptualni okvir: eksplicitno naredimo, kar je implicitno že v naši glavi = strukturiramo podatke, sestavimo pregledno shemo odnosov, povezujemo vedenja; slikovni prikazi - mreže; to lahko storimo že pred raziskavo, pred zbiranjem podatkov.
Določanje enote analize: meje preučevanih situacij, populacije, konceptov…
Iz populacije virov podatkov izberemo vzorec, omejimo zbiranje podatkov. Vzorčimo lahko na različne načine, odvisno od raziskovalnega vprašanja: maksimalno variacijo primerov, homogene primere, kritične primere, teoretično osnovano vzorčenje, potrjujoče in nasprotne primere, po sneženi kepi (znanci pripeljejo znance), ekstremne ali deviantne primere, tipične primere, primere, ki intenzivno odražajo pojav, politično pomembne primere, večstopenjsko vzorčenje, stratificirano vzročenje, kriterijsko vzorčenje (kvotno), obetajoče (vzameš tisto, kar te trenutno pritegne in nekaj obeta), kombinirano / mešano, priložnostno.
Priporočljivo: Tipičen primer + ovržujoč (pokaže na omejitve zaključkov), izjemen primer (ovrednotenje zaključkov, skladnost zaključkov o glavnih vzorcih, izpostavljanje izjemnih primerov, čiščenje konstruktov)
Vzorčimo več pojavov znotraj ene enote analize (ponovljivo, globinsko) ali vzamemo več enot analize (posplošljivost, zanesljivost).
Instrumenti: nedoločenost instrumentov - ko imamo opravka z bogatim kontekstom, ko so koncepti odvisni od lokalne situacije (niso splošni), pri eksploratornih, induktivnih, opisnih korakih, pri eni sami enoti analize, ko primerjava ni pomembna, ko nočemo vpliva raziskovalca na rezultate, pri samostojni kvalitativni študiji, na terenu, ko lahko večkrat ponovimo “merjenje”, ko je potrebno stalno revidiranje raziskovalčevega pristopa, učenje
Povezava kval. in kvant. pdt.: pri razvoju novih teorij, pri poglobljenem delu. Uporaba različne metodologije je lahko zaporedna (najprej kvant., nato kval., pa spet kvant.), v valovih ali paralelna.
Uporaba računalnika: za beleženje na terenu (refleksije, poljski zapisi), transkripcijo, urejanje (popravljanje, širjenje, revizijo zapisov), kodiranje (pripis ključnih besed delom besedila za kasnejše shranjevanje), shranjevanje (urejenega besedila v organizirani bazi), za iskanje in priklic (lokaliziranje relevantnega dela besedila), povezovanje podatkov (povezovanje delov besedila, oblikovanje kategorij, gruč, mreže), pisanje refleksij o nekem vidiku, analizo vsebine (štetje frekvenc, zaporedij, lokacij besed ali fraz), prikazovanje podatkov (v matrikah, mrežah, kar olajša interpretacijo, iskanje zaključkov, verifikacijo, razvoj teorije), prikaz teoretičnih konceptov z diagrami, za pripravo poročila
Priporočljivi programi:
- za kodiranje: HyperQual, The Ethnograph, Kwalitan
- za shranjevanje: Sonar Professional, Orbis, askSam, Text Collector, Metamorph
- za povezovanje podatkov: ATLAS, HyperQual, HyperReserach
- za prikaze: AQUAD, ATLAS, Orbis
- za konceptualne diagrame: Inspiration, MetaDesign, MECA, SemNet
- za formuliranje teorij: AQUAD, ATLAS, QCA, NUDIST, HyperRESEARCH

8. 2., 3., 4.,…(?) korak kvalitativnega raziskovanja
Zbiranje podatkov
intervju
fokus skupine
vprašalnik
projekcijske tehnike
dnevniška tehnika
opazovanje
opazovanje s posegom (etnografsko in akcijsko raziskovanje)
podatki že zbrani (zgodovinski viri)
Analiza podatkov
analiza vsebine
analiza diskurza
...
zaključevanje
Tri veje pristopov k analizi kvalitativnih podatkov:
interpretivizem - teži k globljemu razumevanju preučevanih oseb, empatiji, raziskovalec je od objekta preučevanja enako distanciran kot njegovi poročevalci;
socialno antropološki pristop - opisen, išče vedenjske regularnosti v vsakodnevnih situacijah (vzorce, jezik, pravila), študira uporabo jezika, artifakte, rituale, odnose;
akcijsko raziskovanje - terenska raziskava je povezana s takojšnjim feedbackom in akcijo;
Skupne lastnosti analitičnih metod:
- pripis kod zapisom, ki jih dobimo z opazovanjem ali intervjuji,
- zapis refleksij in drugih pripomb na rob,
- urejanje in pregled materialov, identifikacija podobnih fraz, povezav med spremenljivkami, vzorcev, tem, razlik med podskupinami, običajnih zaporedij
- izoliranje teh vzorcev in procesov, skupnih značilnosti in razlik, nato jih ponovno prenesemo na teren k novemu zbiranju podatkov,
- postopno izdelamo majhno množico posplošitev, ki pokrivajo konsistentnosti v podatkih
- posplošitve konfrontiramo z obstoječimi teorijami in konstrukti
Faze se vseskozi prepletajo,
ni urejenega zaporedja korakov.

9. Zbiranje kvalitativnih podatkov

10. Vprašalniki in intervjuji
strukturirani
manj strukturirani
fokusirani fokus skupine
klinični
nedirektivni
strukturirani - prej določena vprašanja in pričakovani določeni odgovori (vprašanja zaprtega tipa, točno določen vrstni red vprašanj in oblikovanje vprašanj)
manj strukturirani intervjuji (/ fokusirani intervju / klinični intervju / nedirektivni intervju) - Vprašanja so odprtega tipa, lahko sledijo določenemu predhodnemu okviru in razporedu ali pa so popolnoma prosta. S takim intervjujem želimo intenzivno preučiti zaznave, stališča, motive. S tem tipom lahko dobro preiščemo novo področje raziskovanja, da odkrijemo, kje so problemi, kako ljudje gledajo nanje, kako se o tem pogovarjajo (kakšno terminologijo uporabljajo v zvezi s tem, na kakšni ravni razumejo pojav). To je vir hipotez. Tak intervju je bolj fleksibilen, z njim se bolj približamo afektivni in vrednostni ravni, odgovori so bolj spontani, konkretni, samoodkrivajoči in osebni. Analiza pa je veliko težja in traja dolgo časa. Lahko uporabimo analizo vsebine (dobimo kvantitativne podatke) ali pa zgolj neposredne navedbe, ki dobro odražajo teme raziskave. Rezultati različnih intervjujev so težko primerljivi.
Fokusirani intervju: pozornost je osredotočena na določeno izkušnjo in njen učinek. Raziskovalec torej ve, kaj želi preučevati, področje je opredeljeno, prost pa je način postavljanja vprašanj in trajanje intervjuja. Spraševalec vodi intervju. Klinični intervju: zanima ga široko občutenje osebe, njeni motivi, življenjske izkušnje. Spraševalec to po svoje privleče na dan. Sem spadajo osebne zgodovine (anamneze). Nedirektivni intervju: izvira iz nedirektivne psihoterapije (Rogers). Iniciativa je tudi v respondentovih rokah, ti naj bi prosto izražali svoja občutja, brez posebnega spraševanja. Spraševalec zgolj spodbuja govor o neki temi, ne sprašuje pa neposredno. Pokaže toplo prepoznavanje respondentovih občutij. Najpogostejše fraze spraševalca so: "Torej čutite, da…" ali "Povejte mi kaj več." ali "Zakaj?" ali "Ali nit o zanimivo?" ali "Aha." Permisivna atmosfera naj bi omogočala izražanje osebnih stvari brez strahu pred neodobravanjem, zavračanjem, brez nasvetovanja.

11. Vprašalniki in intervjuji
pilotska preverjanja ustreznosti vprašanj
priprava izvajalca
na težavna spraševanja (spraševanja otrok, v institucijah, oseb z večjo socialno močjo)
veljavnost in zanesljivost merjenja (ustreznost odgovorov, učinek spraševalca)
analiza podatkov
(transkripcija) analiza vsebine
Preverjanja ustreznosti
razumevanje vprašanj pri pilotskem vzorcu, poprava, izdelava uvodnega nagovora, ponovni preizkus na drugem pilotskem vzorcu, poskus analize
Priprava izvajalca
priprava načrta (schedule), nedirektivnih vprašanj; odzivi morajo biti enaki na vse respondente, zato je potreben trening; beleženje neverbalnih odgovorov; CATI (computer-assisted telephone interviewing)
Težavna spraševanja
otroci (se nočejo zoperstavljati odraslim (mladostniki pa so obratno uporni); težijo k odgovoru “da” ali pa “ne vem”, k izbiri zadnje alternative, ne razumejo metafor - vprašanja jemljejo dobesedno, tudi oni postavljajo vprašanja, predvsem “Zakaj?”; pogosto o čustvih drugih poročajo s svojimi čustvi - egocentričnost; so močno odkrenljivi - zato mora biti intervju razgiban, menjati teme, fizične aktivnosti, največ 15 minut; nerodno je tudi sprotno zapisovanje - otroci hitro izgubijo interes - uporaba audiotraku
ljudje, ki imajo večjo socialno moč kot spraševalec
pri tistih, s katerimi intervju izvedemo v njihovi instituciji (šolah, domu starejših občanov) se pojavlja nevarnost, da bodo povedali o intervjuju ostalim, da se bodo razširile določene govorice
Veljavnost in zanesljivost
Odgovori morda ne ustrezajo dejanskemu stanju (motiviranost za laganje, nezaupanje spraševalcu, miniranje raziskave, sram, se ne spomnijo, ne razumejo vprašanja). Vpliv raziskovalca (spola, starosti, rase, določenih lastnosti) - treba ga je dobro strenirati, ali pa (zvočno ali video) snemamo.
Analiza podatkov
transkripcija (za eno uro govora sedem ur transkripcije); analiza vsebine (kategorije, skladnost med ocenjevalci pri tvorjenju kategorij in pri identifikaciji podatkov, pozornost na odsotne vsebine); avtentifikacija interpretacije = zaključke pokažemo spraševanim, ali se zdijo smiselni.

12. Fokus skupine
= fokusirani skupinski intervju z razpravo (več udeležencev, moderator)
namen: preučevanje različnih perspektiv (stališč, zaznav, občutij, verjetij) o problemih (npr. o izdelkih), eksploracija
podatki:
skupinski proces
vsebine, vezane na osrednji dražljaj
Uporaba: v sociologiji, marketingu (vzroki vedenja potrošnikov), zdravstvena psih.; hitro, nizki stroški; reševanje problemov + postavljanje novih vprašanj
Namen:
preučevanje, kako osebe gledajo na nek problem, kako ga razumejo, kakšne so njihove perspektive (stališča, zaznave, občutja, način razmišljanja potrošnikov o izdelkih) = zbiranje kvalitativnih podatkov;
raziskati problem (na začetku raziskave, podatki nam nato pomagajo oblikovati anketni vprašalnik; zbiranje informacij o izdelčnih kategorijah)
preveriti vtise o novih izdelčnih konceptih
ob drugih uporabljenih tehnikah lahko tudi pojasnjujemo njihove nejasne rezultate
Podatki, ki jih dobimo, morajo biti obravnavani v kontekstu skupinske interakcije, ki se je odvijala. Podatki:
skupinski proces - notranji (čustva, misli, stališča, vrednote posameznika) in medosebni (komunikacija in interakcija v skupini) - kako skupinski kontekst) posreduje pri izražanju verjetij, stališč, mnenje, občutij. Raziskovanje socialnih reprezentacij. Ljudje se začnejo bolje zavedati svojega pogleda, če naletijo na oporekanje, ko morajo npr. svoj pogled globlje analizirati ali argumentirati.
vsebina, okrog katere se je ta proces organiziral (=osrednji dražljaj in kaj se je iz njega porodilo).
Osrednji dražljaj: film, reklama, neko ravnanje, anketni vprašalnik... - kako se ljudje na to odzivajo

13. Fokus skupine izdelava načrta izvedba diskusije vzorčenje
priprava prostora
priprava opomnilnika
izvedba diskusije
moderatorjeve spretnosti (sprožanje diskusije, poslušanje, oblikovanje vprašanj, prehodi, obvladovanje težavnih udeležencev...)
zbiranje podatkov
Vzorčenje: reprezentativnost za ciljno populacijo, osebe morajo imeti kaj povedati - sestava skupine je vezana na namen raziskave. Zagotoviti moramo homogenost skupine v značilnostih, ki niso relevantne za naš problem in lahko vplivajo na razlike v zaznavah, izkušnjah... (SES, starost, faza v življenjskem ciklu družine, spol, življenjski stil, interesi,...) Uporabimo lahko screening postopke. Vpliv mešanih / istospolnih skupin. Če ustreza problemu, lahko v skupino vtaknemo ljudi dveh polov - obratne lastnosti - “pro et contra” skupine (npr. soočenje uporabnikov in neuporabnikov v isti skupini). Raje ne sestavimo cele skupine iz skupine prijateljev, ker se hitro začnejo pogovarjati kaj drugega (razen če problem to zahteva, npr. pri občutljivih temah), ker se kaže pretirana soglasnost o problemu (npr. najstniške skupine), ker odgovarjajo na osnovi skupnih preteklih izkušenj. Izogibamo se tudi respondentom, ki so v diskusijah že sodelovali (meja: 6 mesecev, poznavanje situacije - efekt pričakovanja; pri otrocih pa se to obnese, ker poznavanje situacije zmanjša stres, bolj so pripravljeni na sodelovanje). Po screeningu ljudje tudi že začenjajo razmišljati o osrednjem dražljaju, kar kasneje olajša razpravo.
Velikost vzorca in skupine: 10 skupin je redundantno, navadno 3 do 4; v skupini udeležencev, v povprečju 9; dovolj majhna, a da še vedno omogoča širino odgovorov. Pomembno je omogočiti sodelovanje vseh. Večje skupine razpadejo na podskupine, težko snemamo, vsi ne pridejo do besede, dolgočasje, frustracija. Majhne skupine: prevladuje mnenje 1 ali 2 posameznikov, ni grupne dinamike, primerno za občutljive posameznike (otroke). Dobro je poklicati 20 % več ljudi, ker ponavadi nekaj ljudi ne pride.
Prostor: profesionalnost; včasih v domačem okolju (ali bolnišnici); lahko dostopna lokacija; udobje, neformalnost, pijača, stranišča, dnevnosobna ureditev (naslanjači, mize); kartice z imeni; mesto za asistenta, enosmerno ogledalo (na drugi strani lahko naročnik ali vodja raziskave), avdio-video tehnika
Dolžina seanse: uri, pri otrocih največ 1 uro
Izvedba:
na podlagi pripravljenega opomnilnika za diskusijo (vnaprej opredeljena področja vprašanj (ta so fleksibilna, odprta, enostavna; projektivne tehnike; vnaprej preveriti, kakšne reakcije lahko vzpodbudijo določena vprašanja),
jasno začrtana smer diskusije - moderator predstavi teme pogovora, ogrevanje, princip lijaka (od splošnih vprašanj k bolj podrobnim);
vloga moderatorja (občutljivost za problem in metodološka vprašanja; sposobnosti vodenja + dostopnost + objektivnost), oblikovanje permisivnega, nekritičnega ozračja, = facilitator razprave, naj da jasno vedeti, da nekaj ve o problemu, a bi rad izvedel še več; intervenira le, ko je potrebno (npr., če razprava zaide, če se nekdo počuti nelagodno, če vsi odgovarjajo preveč površinsko), sicer čim manj, objektiven, ne podaja svojega mnenja, = minimalna kontrola vsebine + visoka kontrola procesa; vpliv lastnosti moderatorja; spretnosti poslušanja in spraševanja (oblikovanje vprašanj - nedirektivno, “Kaj mislite o?, “Zakaj se vam zdi tako?”), dopuščanje tišine za premislek, slišanje povedanega med vrsticami; obvladovanje prehodov v razpravi (če uhajajo respondenti, veš, da je tema občutljiva, lahko jih povprašaš, kaj čutijo in jih s tem razbremeniš frustracije), obvladovanje težavnih respondentov (ki svoja mnenja uveljavljajo kot dejstva - naj utemeljijo oziroma razložijo svoja mnenja; ki so napadalni - jih diskretno med odmorom prosiš, naj odidejo; ki so tihi ali prezgovorni).
priprava nagrad za sodelujoče
Zbiranje podatkov: avdio in video snemanje (NVC), zapisovanje asistenta; vendar lahko to moti

14. Fokus skupine Analiza podatkov:
transkripcija
analiza vsebine
Prednosti: socialno orientirano, fleksibilno, razvidna veljavnost, hitro, poceni
Pomanjkljivosti: kontrola, spretnosti moderatorja, različnost skupin, odzivnost
Analiza rezultatov:
materiali (podatki o udeležencih, vodilo, posnetki, zapiski asistenta)
transkripcija (ker je lahko obsežna, lahko izpišemo le najpomembnejše; zajeti karakter diskusije; transkripcija naj ne zajema interpretacij
analiza vsebine
pri analizi smo pozorni na besedišče, kontekst, interno konsistentnost, specifičnost odgovorov, “big ideas”, pogostost / intenziteto komentarjev, namen poročila. Ne iščemo konsenza, ampak različne vidike problema.
Prednosti: socialno orientirana raziskovalna metoda, fleksibilna, visoka razvidna veljavnost, hitri rezultati (1 do 2 tedna), nizki stroški
Pomanjkljivosti: manj kontrole kot individualni intervjuji, težja analiza podatkov (potrebno upoštevati socialni kontekst), posebne spretnost moderatorja, razlike med skupinami - primerjava zaključkov (v določenih skupinah se kakšna tema lahko ne pojavi), težave pri organizaciji diskusij (nizka odzivnost, primernost prostora), naročniki v poročilih raje vidijo številke

15. Dnevniške tehnike = vsako beleženje podatkov v času
Prednosti: razumljivo, poceni, spontano, ustrezno zaporedje dogodkov, primerno za zbiranje intimnih podatkov
Pomanjkljivosti: neresničnost in nepopolnost poročanj, osip udeležencev
Postopek:
izbor medija
navodila
kontakt med zbiranjem
analiza
Podatki so vezani na čas. Beleženje info v času. Podatki: samoporočilo, poročila o drugih, lahko jih producira več ljudi; verbalni ali slikovni podatki, multimedijski. Primer: beleženje nakupa toaletnega papirja, oseba odkljuka na pripravljenem listu; ali zgolj poročilo o nakupih v zadnjem letu; poročila o dejanjih, mislih, občutjih, sanjah; dnevniški zapiski lahko že obstajajo / jih sprovociramo.
Pro et contra:
+ naloga je razumljiva (laiki poznajo tehniko), ob pravilnih navodilih lahko podatke pridobivamo dolgo časa brez posredovanja raziskovalca, malo stroškov, časovno urejeni podatki, zaporedje vedenj, čustev, malo vpliva raziskovalca na to zaporedje; zbiranje intimnih podatkov, še posebno, kadar so pisani spontano;
- dnevniki, pisani za javnost, lahko prikazujejo pisatelja v manj negativni luči; kontrola (resničnost podatkov, kdaj so zapisani, ali so zapisani vsi pojavi); osip respondentov; podatki so lahko pod vplivom raziskave, zavedanje lahko spremeni perspektive respondentov... ; ni primerno za otroke, slabovidne
Postopek:
izbor medija beleženja (verbalni zapisi, avdiosnemanje), priprava odgovornih listov
navodila respondentom (anonimnost, zaupnost, poudari potrebo po resnici, natančnosti, sprotnosti beleženja)
kontakt med zbiranjem (razčiščevanje kategorij, opominjanje; po telefonu); vzdeževanje beleženja s pozornostmi, karticami, majhnimi plačili, nagradami, beeperjem
analiza (pri odprtih beleženjih - AV, pregled podatkov v času, profili, skupine profilov; iskanje splošnih vzorcev - glede na problem raziskave

16. Zgodovinski viri poročanja po spominu
zgodovinski / arhivski zapisi: osebni, medijski, uradni, knjige
artefakti
Pomanjkljivost: objektivnost materiala
Uporabnost: pri generiranju teorij (npr. kaj povzroča holokavst, diskriminacijo, katera vedenja je izzval neka naravni pojav), za testiranje hipotez... Dostop do podatkov, ki jih zaradi praktičnih, etičnih razlogov težko preučujemo (agresije, konflikti, redki dogodki). Poceni. Dolge časovne serije - spremljanje spremembe (npr. s pregledom poročil o več raziskavah - metaanalizo). V nekaterih primerih je možno identificirati kontrolno skupino - ljudje, ki niso izkusili tarčnega dogodka, so pa podobni tistim, ki so ga. V takem primeru morda lahko poiščemo vzroke določenim odkritjem. Prednost je tudi, da so bili podatki zbrani z nekim drugim namenom, zato niso okuženi z raziskovalnimi hipotezami. Dobro predstavljajo fenomene, kot se pojavljajo v naravnem okolju. Problem: Objektivnost materiala = ali material res odraža stvari tako, kot so se zgodile, take, kot so bile? Sovplivajoče spremenljivke: zapisi so odvisni ne le od variiranja dogodkov, pač pa tudi od politike, postopkov policije, javnega zavedanja nekega problema / sprememb. Ni možna dobra vzročna razlaga - vpliv tretjih spremenljivk. Preživetje / selekcija materiala: material določene vrste se izgublja, propada.
Spomin: Na spomin vpliva tudi trenutno stanje. Kronološko zaporedje dogodkov ni nujno pravilno predstavljeno (avtobiografski spomin ima hierarhično strukturo).
Reprezentacijski viri podatkov: +, ker jih ne sproži raziskovalec, ampak že obstajajo - nanje ne vpliva raziskovalec, zbiralec podatkov. Ni nujno, da so ustrezen odraz dogodkov, čustev, stališč... Razumeti, kako so zapisi nastali (v kakšnih okoliščinah, pod kakšnimi pritiski, motivi, namerami).
osebni zapisi: dnevniki, šolski spisi, avtobiografije, pisma, ...
medijski zapisi (časopisi, TV...)
knjige (romani, igre, pesmi, zgodbe, dnevniki, avtobigrafije, biografije) in manuscripti
uradni zapisi: statistični (popisi), birokratski (nacionalni, vladni, parlamentarni, v bolnišnicah, šolah, športnih klubih, katastrskih knjigah, kadrovskih službah...) - psihološke značilnosti oseb - IQ, osebnost, anksioznost, stališča) - ? =, ali so definicije pojmov pri zaporednih zapisih enake?
arhivi, tudi arhivski podatki preteklih raziskav (anket - vključujejo sociodemografske podatke, stališča, mnenja o določenih socialnih in političnih temah).
vidni zapisi: slike, fotografije, risbe, risanke...
Artefakti: stavbe, spomeniki, monumenti, izdelki, pohištvo, orodja, igrače; slike na vazah, obleke; ljudske pripovedi
Analiza: analiza vsebine, opazovanje sledi, metanaliza

17. Opazovanje bolj neposredno kot podajanje verbalnih odg. kaj opazujemo?
fizične sledi,
ljudi in njihovo vedenje, odnose
tipi:
manj strukturirano
sistematično
z udeležbo
Znanstveno lahko postane, ko služi določenemu raziskovalnemu namenu, ko je načrtovano, ko je sistematično snemano, in ko ga lahko podvržemo kontroli veljavnosti in zanesljivosti. Opazujemo lahko:
- fizične sledi (npr. opazovanje grafitov na javnih mestih, opazovanje obrabljenosti preprog, štetje pločevink piva v smeteh); so brez vplivanja, ogrožena veljavnost (ne vemo, kdo je povzročil sledi, v kakšnih pogojih)
- ljudi, njihovo vedenje, medosebno interakcijo, neverbalno komunikacijo, tudi stališča;
Tipi opazovanja variirajo od zelo odprtih do zelo strukturiranih:
- nestrukturirane metode (zgodovina): popoln, neomejen opis vsega, kar se je zgodilo; etologija - opisi vedenj oziroma specifičnih motoričnih reakcij opazovanega organizma; ekološka opazovanja - naštetje vseh opaženih vedenj v času (razpon vedenj), panel trgovin;
- zelo strukturirani: vnaprejšnje poznavanje relevantnih vedenj, vnaprej določena snemana vedenja in kategorije, checkliste; telemetrija in druge merilne naprave; konstrukcija checkliste, ekskluzivnost kategorij, pokritost raziskovanega področja; kodiranje je lahko istočasno snemanju. izbira vedenj: uporaba check-list,
- z udeležbo - prednosti: dostop do osebnih dogodkov, stališč, mnenj, manjši vpliv opazovalca, pomanjkljivosti: konflikt vlog
Pomanjkljivosti:
Zanesljivost: različni opazovalci naj bi opazili podobne stvari (stopnja ujemanja), opažanja naj bi bila ponovljiva v času (test-retest), uporaba videorekorderja naj bi omogočala višjo zanesljivost
Veljavnost: kako merjene spremenljivke odražajo konstrukte, veljavnost ogroža zavedanje opazovancev, da so opazovani (določeni problemi zato zahtevajo skrito opazovanje)
Etični problemi: v skritih opazovanjih opazovanci ne dajo privoljenja v sodelovanje v raziskavi, ne morejo tudi odstopiti od sodelovanja. Pretehtati moramo, kolikšna je verjetnost identifikacije oseb (prostorov), če objavimo rezultate, kako zelo kršimo zasebnost opazovancev.
potrebna dolga vaja, previdnost pri interpretiranju
Prednosti
uporabni predvsem tam, kjer bi zavedanje sodelovanja v raziskavi vplivalo na rezultate,
kjer vemo, da ljudje ne bi hoteli ustrezno odgovoriti (zaradi strahu ali sramu)

18. Opazovanje predmet opazovanja, klasifikacija
natančna opredelitev kategorij
zbiranje podatkov
vrsta snemanja / vzorčenja
zapisovanje podatkov:
pripovedni tip podatkov (anekdotski zapisi, field notes)
checkliste (pogostost, trajanje, intenziteta)
vpliv opazovalca
Kaj bomo opazovali?
izbira vedenj na podlagi predhodnega manj formalnega opazovanja, oblikovanje širokih kategorij; enote vedenja (molekularne, npr. gib roke, vs. postavljene v kontekst, molarne, npr. gre v šolo, dela nalogo) - kodiranje = reduciranje podatkov, kategorizacija, kvantificiranje kategorij za statistično analizo
Natančna opredelitev kategorij
npr. “otrok sedi” = “otrok sedi, pri tem se ne igra, je, pije, se ne pogovarja, ne izvaja nobene aktivnosti, razen sesa ali drži tolažilni objekt”
Opredelitev mora biti popolna, izdelana. Vsebuje naj tudi tipične primere, mejne primere in primere, ki ne sodijo v kategorijo. Kategorije preverimo v pilotski študiji.
Vrsta snemanja = vzorčenja = jemanje zapisov
vzorčenje dogodkov, pojavljanja določenega vedenja - čakamo na en sam pomemben dogodek, ga intenzivno opišemo (npr. nek ritual)
časovno - na točkah v času, v intervalih v času (ali se vedenje odvija v celem intervalu / v delu intervala), pojavljanja vseh vedenj znotraj enega časovnega intervala,
snemanje sproženega vedenja v simuliranih situacijah
Metode zbiranja podatkov
Beleženje: opazovalne beležke (vsebujejo čim manj interpretacije, kar najbolj zanesljive), teoretične beležke (zavestno osmislimo / interpretiramo opazovalne beležke), metodološke beležke
Pripovedni podatki: surovi, reproducirajo vedenje, dogodke, v pisni obliki, v enakem časovnem zaporedju, kot so se izvirno zgodili, brez interpretiranja. Navadno z njimi opisujemo celovite anekdote, z začetkom, potekom in koncem. Navadno opisujemo eno glavno osebo in nanjo vezane dogodke, komunikacijo, reakcijo drugih. Slabosti: opazovalci ne opazijo vsega, ne sledijo, težko tudi naknadno interpretirati (npr. ali neko vedenje bolj označuje tako ali drugačno emocijo).
Terenski (field) zapisi: podobni, a vključujejo tudi interpretacijo situacije. V etnografskih študijah, kjer opisujemo neko kulturo, kjer nas zanima, kako ljudje strukturirajo svoje okolje. Opažanja so tako že na terenu transformirana v podatke.
Snemani podatki: postanejo podatki, ko jih spravimo v obliko, ki se jo da analizirati. Poceni, bolj zanesljivo, opazimo lahko več detajlov, ljudje so danes že navajeni, vgrajeno merjenje časa. Pomanjkljivosti: osebe se premikajo, lahko se kaj postavi mednje in kamero, etične in legalne implikacije pri “skritih” raziskavah. Snemanje v laboratoriju je lahko še posebej učinkovito, ker lahko vnaprej pripravimo kamere in okolje.
Checkliste: prisotnost/odsotnost vedenj, trajanje, lahko zajamemo kar precej različnih vedenj, navadno dobimo frekvenčne podatke ( kolikokrat se je v nekem časovnem intervalu pojavilo določeno vedenje). Lahko pa merimo trajanje , intenzivnost (z ocenjevalnimi lestvicami), kvaliteto vedenja.
Vpliv opazovalca na vedenje opazovanih oseb (ki se opazovanja zavedajo), na zbrane podatke (če vanje vključuje svojo interpretacijo, če pozna hipoteze raziskave) - zanesljivost znotraj ocenjevalca: ogrožena zaradi nihanja pozornosti, utrujenosti, vaje

19. Tehnike pridobivanja podatkov
Metode omogočajo zbiranje kvalitativnih ali kvantitativnih podatkov
--- tehnike se razlikujejo. Kvalitativne tehnike so:
proste asociacije, vezane asociacije
nedokončani stavki, nedokončane zgodbe
druge projekcijske tehnike
simbolične analogije
personifikacija
“scenarij prihodnosti”
prijatelj iz tuje dežele
idealni izdelek
“osmrtnica” izdelka
risane situacije, kolaži
tehnike igranja vlog
Proste asociacije na izdelek, vezane asociacije na predhodno asociacijo (veriga asociacij)
Druge projektivne tehnike: v karkoli projiciraš svoje stališče (v sliko, fotografijo)
Simbolične analogije: Ta izdelek je kot … uvela roža.
Personifikacija: Ta izdelek … gre na stranišče.
Scenarij prihodnosti: Izdelek je potem ostal ves zaprašen na policah, dokler ga ni kupil mali Jaka. (neuporaben izdelek, za otroke)
Iz tuje dežele = kako bi nekaj opisal človeku iz tuje dežele
Idealni izdelek: kako naj bi izgledal, kakšne lastnosti
Osmrtnica izdelka: v čem vse je popolnoma “out”
Risane situacije: podatek = slika

20. Analiza kvalitativnih podatkov

21. Analiza kvalitativnih podatkov
zgoščanje podatkov - kodiranje, abstrahiranje
urejanje in pregled podatkov (refleksije, vzorci, teme, odnosi, zaporedja)
prikazi
opisna raven
poglobljena analiza, razlaga (povezave, MSA, metaanaliza)
1. Zbiranju podatkov sledijo tri istočasne aktivnosti:
- reduciranje ali zgoščanje podatkov - selekcija, fokusiranje, poenostavljanje, abstrahiranje, pretvarjanje podatkov; povzemanje, kodiranje, izvlačenje tem, klastriranje; Kodiranje (indeksiranje) je še vedno osrednjega pomena pri analizi kvalitativnih podatkov. Je prvi korak pri konceptualizaciji podatkov. Poznamo zaprte (ozko definirane) in odprte kategorije (copy-paste delov transkripcije);
- prikaz podatkov - na organiziran, zgoščen način; pogosto je to kar v obliki teksta, vendar ni najbolj priročno; uporaba matrik, grafov, slik, mrež; družinska drevesa, življenjske zgodbe; prikazi znotaj vs. med osebami, opisi in pregledi vs. razlage in napovedi; tak prikaz, da omogoča zaključke in akcijo
- zaključevanje in verifikacija - pravila, vzorci, razlage, možne konfiguracije, tok vzročnosti; preverjanje ustreznosti zaključkov; Kodiranju navadno sledi konceptualizacija, gradnja teorije na podlagi zbranih podatkov. Pri tem si pomagamo s PC programi, kot so NUDIST, Ethnograph…
Pri kvantitativnih analizah se pojavljajo isti koraki, le da imajo kvantitativni raziskovalci na voljo več razvitih metod, in je zato pot njihovega raziskovanja navadno nekoliko bolj zaporedna kot krožna.
2. Skupne lastnosti analitičnih metod:
- pripis kod zapisom, ki jih dobimo z opazovanjem ali intervjuji,
- zapis refleksij in drugih pripomb na rob,
- urejanje in pregled materialov, identifikacija podobnih fraz, povezav med spremenljivkami, vzorcev, tem, razlik med podskupinami, običajnih zaporedij
- izoliranje teh vzorcev in procesov, skupnih značilnosti in razlik, nato jih ponovno prenesemo na teren k novemu zbiranju podatkov,
- postopno izdelamo majhno množico posplošitev, ki pokrivajo konsistentnosti v podatkih
- posplošitve konfrontiramo z obstoječimi teorijami in konstrukti
zaključevanje,
gradnja teorije in verifikacija

22. Zgodnji koraki v analizi
še med zbiranjem podatkov, na prečiščenem besedilu, s pripombami, refleksijami
metode:
povzetek stika (dokumenta),
kodiranje:
osnovna raven: kodiranje pojavov,
višja raven (kodiranje vzorcev, zaporedij,...)
zapis idej
vmesni povzetek dotedanjega dela
vinjete
Podatke že organiziramo za kasnejšo analizo. Prvi pregled, detekcija težav, zbiranje novih, drugačnih podatkov, ki odgovorijo na luknje, testirajo nove, med zbiranjem podatkov nastale, hipoteze. Organizacija podatkov: besedilo, transkripcija ali pretipkava, s pripombami, opombami, kodirano, dodelano, prečiščeno... - tako, da ga lahko vsakdo razume (surovi zapisi namreč navadno vsebujejo cel kup okrajšav, pripisov, skic.
Povzetek stika (contact summary sheet): lista z osnovnimi vprašanji o stiku (npr. s kom, kje, kdaj, o čem smo govorili, vključene spremenljivke, katera predvidevanja so se ob tem porodila, ideje za pogovor z naslednjimi stiki; pripravimo obrazec na eni / dveh straneh, z info o raziskovalcu in datumu, (prostoru za kasnejše kode); izpolnimo takoj po stiku, dodamo refleksije; dobro za načrtovanje nadaljnjih korakov, revizijo kod, koordinacijo večih raziskovalcev, za orientacijo pri kasnejšem popisu; preprosta; podoben povzetek dokumenta (kadar imamo kup dokumentov: o čem govorijo + drugo pomembno, kodiranje)
Kodiranje: ko je masa surovih podatkov prevelika; kode pospečijo analizo; kodiranje je analiza, saj členimo in združujemo različne podatke. Kode so zapisi, ki označujejo pomen besed, fraz, stavkov, odstavkov (so metafore zanje, jih povzamejo, pogosto so kar okrajšave osnovnega koncepta, ki ga predstavljajo). Z uporabo kod lahko kasneje hitreje združimo pomensko sorodne dele. Kode lahko variirajo od opisnih do inferenčnih, lahko nastajajo po konceptualnih okvirih (teoretična osnova) ali sproti med analizo (empirična osnova). Lista operacionalnih definicij kod s primeri. Software jo generira z linki do izvornih zapisov. Kode lahko govorijo o: dejanjih, aktivnostih, pomenih, participaciji, odnosih, razmerah raziskave. Spreminjanje kod, revizija (ožanje, širjenje). Struktura kod (mreža konceptov). Hierarhično strukturiranje nudi NUDIST in Kwalitan, mrežno pa ATLAS in SemNet. Preverjanje zanesljivosti kodiranja - ali različni ocenjevalci za iste dele besedila uporabljajo enake kode: zanesljivost = število ujemanj dveh ocenjevalcev / vsoto ujemanj in neujemanj. Notranja konsistentnost ocenjevalca - zanesljivost v času. Računalniki omogočajo uporabo kod z večimi facetami. Ker se hitro zasičimo in ker revidiramo kode, kodiramo raje vedno sproti, takoj, ko pridemo do podatkov in preden zberemo naslednje. Med kodiranjem si zapisujemo tudi pripombe na kode in proces kodiranja, ki opozarjajo na težave kodirnega sistema.
Kodiranje vzorcev: višji, razlagalni nivo; na podlagi ponavljajočih se regularnosti razlagamo, zaključujemo. Kodiranje pojavov = povzemanje delov besedila. Kodiranje vzorcev = združevanje teh povzetkov v manjše število množic, tem, konstruktov (podobno klastrski ali faktorski analizi). Vzorci, ki se ponavljajo preko različnih oseb. Navadno najdemo približno 4 vzorce, ki so pogosto povezani, govorijo pa o: temah (pogosto opaženih vedenjih, normah, odnosih) ali vzrokih (razlagajo). Dobro je, če si narišemo mrežo kod (njihovih povezav). Kodiranje vzorcev je nujno za nadaljnje, zahetvnejše korake, če želimo spremljati tok dogodkov. Izvaja naj se sproti ob prvi ravni kodiranja.
Zapis idej: = memo = zapis teoretiziranja, idej o kodah in njihovih odnosih, ki jih analizant dobi med kodiranjem. Memoji različne dele podatkov, ki se zdijo podobni, skupni, povežejo v smiselno celoto, v splošnejši koncept . Memoje pišemo zase, da dobimo celostno sliko in da nam ideje ne uidejo.
Zapis srečanja, v katerem pregledamo dotedanje ugotovitve: srečanje s kolegom, osebami, ki so dale podatke, da bi povzeli trenutni status primera (raziskave). Srečanje vodijo vprašanja, odgovore nanje zapisujemo.
Vmesni povzetek dotedanjega dela: obsega strani, sinteza spoznanj raziskovalca o primeru, izpis problemov, ki ostajajo odprti. Sestavlja ga povzetek terenskih zapiskov, prepisov le-teh, postopka kodiranja, prvih prikazov in zaključkov, poleg tega pa še pregled kvalitete podatkov, ki podpirajo zaključke, in načrt za nadaljnje korake raziskave. Najbolje je, če ga naredimo nekje na tretjini raziskave, saj uredimo misli in v raziskavo še lahko vnesemo ustrezne popravke. Izdelamo lahko tudi tabelo, v kateri hitro odkrijemo manjkajoče točke (kateri podatki še manjkajo).
Vinjeta: je tudi osredotočen povzetek tipičnih dogodkov, ki dobro predstavljajo obravnavani problem. Je pripovedna struktura, kot zgodba, ohranja kronološki tok, je omejena na kratko časovno obdobje, na nekaj ključnih akterjev… Je živ odraz poteka dogodka v vsakodnevnem življenju, kaže, kaj je bilo povedanega ali storjenega v naravnem zaporedju dogodkov.
Vnaprej strukturirani primer: kadar je dobro izdelan konceptualni okvir in raziskovalna vprašanja (vzorec…); izdelamo primer (vse prikaze, pripovedne dele), še preden začnemo zbirati podatke. To je lupina za podatke, vanjo jih samo umeščamo. Terenske zapise tako lahko neposredno kodiramo (že na terenu, brez vmesnega prepisa zapiskov), podatke prikazujemo… Postopek ponavljamo, dokler ne zberemo dovolj dokazov.

23. Analiza vsebine
Lastnosti: ne vpliva na kontekst, material navadno ni strukturiran, občutljivost na kontekst
Postopek:
enote vzorčenja
enote analize (fizične, sintaktične, tematske)
kategorije
Predmet preučevanja - kontekst (sistemi): spremembe sistemov v času, razlike med sistemi
Konteksta (stališč, osebnosti...) ne moremo meriti neposredno. Posameznik ali socialna skupina producira izdelke (podatke). Na podlagi teh (strukture izdelkov) sklepamo na kontekst = iz materiala analize sklepamo na stališča, mnenja, prepričanja...
Ta tehnika ne vpliva na kontekst, kar pomeni, da analiziramo že obstoječi material (podatkov ne zbiramo v nekih sproženih situacijah).
Občutljivost na kontekst: material razumemo, če razumemo kontekst (določena beseda lahko v enem kontekstu pomeni nekaj drugega kot v drugem)
Postopek:
izbor zaloge materiala (enote vzorčenja) - ves material, ki je potencialno dosegljiv za analizo, izberemo reprezentativnega
izbor enote analize - kodirana enota (biti info, ki bo sestavljala kategorije):
fizične enote (ploščina, dolžina - na slikah; trajanje določene teme...)
sintaktične = besede (povedek, osebek...),
tematske (stavki o nečem - postavimo kategorije, vanje vpisujemo primere);
Težave: ko ima enaka enota lahko v različnih kontekstih različne pomene. Do enot lahko pridemo po teoriji ali pa je kodiranje vodeno z vsebino. Zanesljivost kodiranja tem: Cohenov Kappa = indeks ujemanja med kodiranji različnih ocenjevalcev.
določitev kategorij enot analize
potem preprosto štejemo pogostost pojavljanja enote - problem: zanesljivost / objektivnost klasificiranja - več ocenjevalcev / trening
Uporaba:
preučevanje sprememb sistemov skozi čas, iskanje vzorcev, ponavljanja trendov v času in iz tega tudi napovedovanje
razlike med sistemi - primerjave s standardnim sistemom, sistem v različnih situacijah
iskanje indeksov ali simptomov nekega pojava, ki je v ozadju materiala

24. Analiza vsebine Kvalitativna AV Kvantitativna AV Strukturna AV pomen
prepis pomembnih delov
Kvantitativna AV
klasifikacija
pogostost pojavljanja določene kategorije, rangiranje, ocene
Strukturna AV
“Mehanski” del: klasifikacijska shema prostega materiala (odgovorov na vprašanja odprtega tipa)
Interpretativni del: katere kategorije so pomembne za namen raziskave (npr. pri fokus skupinah)
Kvalitativna analiza vsebine:
je bolj subjektivna, ne eksplicira procesov interpretiranja. Material organiziramo in reduciramo podatke. Poudarek je na pomenu materiala, ne na kvantifikaciji. Je deskriptivni pregled podatkov, iščemo navedbe, ki posebno dobro odražajo določeno temo. Računalniški programi delom pripišejo kode, nato pa izpišejo vse dele, vezane na določene kodo.
Kvantitativna analiza vsebine:
Bolj kot analiza je to postopek pridobivanja numeričnih podatkov, ki jih lahko statistično analiziramo.
Strukturna analiza vsebine:
predstavitev odnosov med elementi v materialu; pred tem moramo izvesti kval. in kvant. AV; kaj je povezano s čim, kaj vpliva na drugo (npr. povezava določenih stališč); tehnike še niso dobro razvite;

25. Analiza diskurza
preučevanje funkcije jezika v socialnem svetu / v interakciji
uporaba: soc.y
postopek:
zbiranje materiala in transkripcija,
pregled konteksta,
pregled besedila, podrobnejši pregled stavkov, besed, poteka, ...
identifikacija funkcij - podprta z dokazi v besedilu
težave
Diskurz = verbalno (jezikovno) konstruiranje socialne realnosti. Vsak lingvistični material ima določeno akcijsko naravnanost. Osebe ga uporabljajo, da bi dosegle neko socialno funkcijo, kot je opravičevanje dejanj, spraševanje, obtoževanje... Te funkcije dosega z različnimi retoričnimi strategijami.
Z analizo diskurza (analizi govorjenih / pisanih besed) pridobivamo boljše razumevanje socialnega (psihološkega) življenja in interakcije. Osredotočimo se na vsebino (pomenu, temah, ki jih govornik obravnava) in na jezik sam (formo) - kako ga ljudje uporabljajo, da pridejo do določenih ciljev = preučevanje funkcije jezika v socialnem kontekstu. Preverjamo, kako je besedilo organizirano, da doseže retoričen in dokazovalen namen, kako besedilo tekmuje z alternativnimi idejami. Namen: identificirati, katere funkcije ima lingvistični material in kako te funkcije izvaja.
Analiza diskurza temelji na analizi konverzacije in retoriki, vendar je bolj osredotočena na socialno organizacijo govora, ne toliko na lingvistično organizacijo.
Uporaba: v soc. psihologiji (stališča, socialne reprezentacije, self), vendar šele zadnja leta
Postopek: ni pravil, občutek dobimo s prakso. Najprej zberemo relevantne materiale, ki so v zvezi z nekim pojavom. Material pregledamo, izdelamo transkripcijo in shemo tem. Transkripcija - zapisujemo lahko tudi medmete, merimo pavze, če imajo kakšno funkcijo; uporabljamo točno določene znake, za opis smeri govora, poteka, neverbalne komunikacije. Začnemo s kontekstom diskurza, dogodki, ki so sprožili diskurz. Nato dobro preberemo ves material. Pregled poteka stavkov - izražanje evaluativnih sodb. Izbrati moramo ključne besede in fraze, biti pozorni na podrobnosti (kdaj kdo postavi pavzo, kdaj se popravlja, izbira besede). Upoštevati moramo predhodne stavke (okvir; npr. na PC-ju poiščemo ključne besede, pregledamo, v kakšnem kontekstu se pojavljajo in ali so sploh relevantne). Analiza točk vstopa (pri govoru večih oseb). Iščemo retorične organizacije, dokazovanja (opravičila). Identifikacija funkcij (interpretacija namena besedila) naj bo podprta z lingvističnimi dokazi v besedilu (bralec lahko tako tudi sam najde svojo interpretacijo ali pa se strinja) - stalno preoblikovanje hipotez o funkcijah. Kakšne besede so uporabljene? npr. ekstremne oblike (nikoli, vedno, vsak, nihče) nekaj poudarjajo, želijo predstaviti položaj pripovedovalca prepričljiv. Besedilo ima lahko več funkcij - variabilnost diskurza. Iščemo variacije v besedilu (pri enem govorniku, v enotnem besedilu) ter skušamo ugotoviti, zakaj je do njih prišlo (npr. zakaj govorijo avtorji v enem primeru v procentih, v drugem pa v absolutnih vrednosti). Katere funkcije ima besedilo in kako jih izpolnjuje? Funkcije niso eksplicitne (npr. “Ali bi želel pomiti posodo?” lahko ni vprašanje, ampak navodilo, kaj stori). Ugotovitve o funkciji diskurza primerjamo z ugotovitvami drugih študij diskurza ali s študijami drugega materiala.
Kvaliteta analize: kako dobro lahko določeno interpretacijo zagovarjamo, kako naši argumenti odražajo podrobnosti, kako dobro ovržemo z argumenti alternativne razlage, kako smiselna se zdi naša razlaga funkcije, kako se naša razlaga ujema z ugotovitvami drugih študij.
Problem: tudi naša interpretacija je diskurz, težko v revijah objaviti polna besedila

26. Prikazi besedilo matrike in mreže pregled in opis razlaga in napoved
prikazi konteksta, kategorij pojava, časovnega poteka, socialnih vlog, konceptov
razlaga in napoved
prikazi učinkov, dinamike, vzrokov
prikazi enega primera, prikazi več primerov
Prikaz = sistematična vidna predstavitev informacije, ki omogoča preliminarne, opisne zaključke o pojavu (posamezniku, posameznem okolju, posam. skupini (oddelku, organizaciji, komuni) in akcijo. Urejeno na enem mestu, pregledno, organizirano (urejeno), podatki skrčeni (selekcionirani). Raziskovalec razbere vzorce, teme, zaporedje. Po pregledu prikaza ubesedimo zaključke. Prikazi dajo tudi ideje za naprej.
Pregled in opis = kaj se dogaja, kako
Matrike: presek dveh spremenljivk, vrste in stolpci; Mreže: vozli in povezave, lahko vključimo veliko info, če uporabljamo razne oznake (dvojne, enojne puščice, +, -). Zapišemo si kriterije in pravila za sestavo prikaza.
Delno urejeni prikazi: Prikaz konteksta: mreža odnosov med vlogami in skupinami, ki tvorijo kontekst vedenja posameznika; omogoča postavitev vedenja posameznika v kontekst in razumevanje njegovega pomena; lahko vključuje kvaliteto odnosa, prikazuje več podatkov o skupini (starost, zaposlitev...). Če ni znano, zapišeš DK. Matrična checklista: vključuje več vidikov ene spremenljivke; pregledamo popis - kako se komponenta izraža v popisu (frekvence, ocene, da-ne…). Pri raziskovanju novega področja, omogoča primerjave in preprosto kvantifikacijo.
Časovno urejeni prikazi: podatki urejeni v času (datumsko), pregled, kaj je sledilo (predhodilo) čemu. Razumevanje procesa, toka dogodkov. Naštevanje dogodkov: matrika, ki uredi vrsto dogodkov v določenem časovnem obdobju v nekaj kategorij (npr. šola v obdobju 85-90, 90-95, 95-00: državna, občinska, krajevna raven). Prikaz kritičnih / prelomnih / tipičnih dogodkov. Mreža toka dogodkov. Zapis aktivnosti. Odločitveni diagrami. Gradient rasti. Časovno urejena matrika: ena spremenljivka so časovna obdobja, druga pa nekaj, kar preučujemo.
Prikazi vlog: vloge posameznikov v formalnem in neformalnem okolju, sortirajo ljudi glede na izkušnje, ki so povezane z njihovo vlogo; Matrika z ureditvijo vlog: kaj ljudje z različnimi vlogami mislijo o nečem, vloga kot izvor zaznav in podatkov, razlike med vlogami. Matrika vlog v času: kdaj je nekdo z določeno vlogo nekaj storil, kako se pozicije vlog s časom spreminjajo.
Prikazi konceptov ali spremenljivk: dobro definirane spremenljivke in odnosi med njimi; V matriki se prepletajo kategorije spremenljivk, tako da lahko opazimo odnose med njimi, primerjamo eno kategorijo znotraj kategorij druge spremenljivke, kontrasti, iščemo intervenirajoče spremenljivke. Uporabno za kombinacijo manjšega števila konceptov. Taksonomije - hierarhične drevesne strukture. Kognitivne mape - prikaz posameznikove reprezentacije pojmovanj nekega področja s prikazom odnosov med pojmi. Odkrivamo faktorje, vzorce. Matrika učinka: odvisna spremenljivka kot iznos nečesa , kako različne stranke zaznavajo učinke (programa…).
Razlaga in napoved = zakaj se nekaj dogaja?
Eksplanatorna matrika učinkov: Ob pregledu matrike učinkov (primerjav, kontrastov) se vprašamo, kako so učinki nastali. Matriki dodamo stolpec z razlagami raziskovalca.
Matrika dinamike primera: Zakaj se nekaj zgodi, nekaj ne? Prikaže množico sil (zahtev, omejitev, težav, dilem), ki povzročajo spremembe, in sledi posledičnemu procesu in izidom (kako so se udel. spopadli s težavami). V oceno kolegom (so možne drugačne razlage), išči dokaze v kodiranem besedilu.
Mreža vzrokov: je prikaz najpomembnejših neodvisnih in odvisnih spremenljivk terenske študije in odnosov med njimi, ki so usmerjeni (ne le korelacijski). Pokažemo, kateri faktorji vplivajo na drugo. V spremljajočem besedilu opišemo mrežo. Sestavimo lahko tudi listo začetnih spremenljivk, posredujočih in izidov. Sproti si zapisujemo kriterije, s katerimi smo ustvarjali mrežo. Damo v pregled kolegom in preučevanim osebam, če je interpretacija ustrezna (verifikacija mreže). Induktivni pristop: začnemo z enim konceptom, iščemo povezave iz njega, postopno pristavljamo koščke. Deduktivni: vnaprejšnje predpostavke, preliminarna mreža vzrokov, preverjamo, ali se podatki z njimi ujemajo.
Predikcija: Matrike in mreže lahko verificiramo tako, da napovemo, kaj se bo zgodilo s primerom čez npr. pol leta, kako se bodo stvari razvijale. Napovedi razvijemo, čez pol leta pa jih damo v pregled informantom, da povedo, kako natančne so in ali so vzroki, s katerimi napovedi opravičujemo, ustrezni. Iščemo pa tudi nasprotne dokaze.

27. Zaključevanje kaj se dogaja, povezave, integracija
iskanje vzorcev in tem, intuitivni zaključki, združevanje v gruče, uporaba metafor, štetje, primerjave, členjenje, posploševanje, faktoriziranje, iskanje odnosov med spremenljivkami, iskanje posredujočih spremenljivk,…
testiranje zaključkov
preverjanje reprezentativnosti, učinek raziskovalca, triangulacija, obtežitev podatkov,
izjeme in ekstremi, presenetljivi podatki, negativni dokazi
testi “če-potem”, pregled povezav (3.sprem.), ponovljivost odkritij, ovržene alternativne razlage, povratna informacija udeležencev, mnenje kolegov
Ali so zaključki veljavni, ponovljivi in pravilni? Objektivni?
Zaključevanje - Kaj se dogaja? Kaj je povezano s čim? Integracija različnih delov podatkov
Iskanje vzorcev in tem- kaj se večkrat pojavlja; Kaj je verjetno in smiselno po intuiciji; Združevanje objektov (oseb, razmer, dejanj, procesov…) po podobnosti v kategorije (lahko nastanejo tudi koncepti; gruča ni dokončna struktura, raje odprta); Uporaba metafor: so delna abstrakcija (npr. otrok v praznem gnezdu), reducirajo podatke, bodimo pozorni, kaj pomenijo ljudem - implicitni pomeni; Štetje: kadar nam koliko je nečesa lahko kaj pove o kvaliteti pojava, kadar želimo hitro videti, kaj imamo v velikem kupu podatkov (delež nekega pojava, trendi v času), za verificiranje hipotez (indeks ustreznosti = število ljudi, ki se strinjajo z zaključkom - kateri zaključek ni OK) in za zavarovanje pred pristranskostjo (morebitno neujemanje z intuitivnimi zaključki); Primerjanje / kontrasti: primerjava spremenljivk, primerov, izidov (učinkov), časovnega poteka; praktična pomembnosti razlik;
Členjenje spremenljivk: delimo jih na dele, čimprej v analizi, vendar ne preveč podrobno; Prenos partikularnega v splošno: povezovanje podobnosti v koncept višjega reda, abstrakcija; Faktoriziranje: reduciranje podatkov, iskanje vzorcev, latentnih spremenljivk, poiščemo jih intuitivno; Iskanje odnosov med spremenljivkami: Ko je A visok, je B visok (direktna povezanost). Ko je A visok, je B nizek (inverzna povezanost). Ko A narašča, narašča B. Ko A narašča, B pada. Najprej je zrasel A, nato tudi B (vzročna povezanost). Najprej je zrasel A, nato B, nato je še malo A (krožna, nerekurzivna povezanost); Iskanje intervenirajočih spremenljivk: Nepričakovane povezave spremenljivk - iščemo vmesne. ; Gradnja logične verige dokazov: Več zaporednih korakov (A predhodi B, ta predhodi C, nato sledi D). Preverjamo veljavnost vseh posameznih korakov. Veriga mora biti popolna in se mora zdeti smiselna.; Konceptualna skladnost: gradnja skladnih konstruktov in teorij - ločena odkritja povežemo, poimenujemo vzorec, identificiramo konstrukt. Konfliktni konstrukti.
Testiranje zaključkov
Povečati zaupanje v zaključke. Kako dobro je kvalitativno raziskovanje? Raziskovalci sčasoma postajajo vedno bolj gotovi v svoje zaključke. Zaključki temeljijo na implicitnih teorijah. Ko iščejo vzorce…, so pozorni na točno določene dokaze, vidijo, kar želijo videti, dramatične dogodke. Tako pogosto interpretiramo dogodke kot bolj celostne (urejene, z vzorci), kot so bili v resnici. Podatke zberejo od izobraženih informantov, redkeje od manj artikuliranih. Ne ostanejo objektivni. “4 R”: reprezentativnost, reaktivnost, zanesljivost, ponovljivost
Katerim podatkom lahko najbolj verjamemo? Preverjanje reprezentativnosti - če elitni informanti, nekontinuirano spremljanje (odsotnost raziskovalca), vnaprejšnje implicitne hipoteze, nerazumevanje vprašanj; Učinek raziskovalca: učinek raziskovalca na primer (ker je outsider), primera na raziskovalca (če se srečujemo s samimi elitnimi informanti, bo to vplivalo na naš pristop, vpogled); Triangulacija: validiranje zaključkov z večimi metodami zbiranja podatkov, z večimi vrstami podatkov, večimi viri podatkov, večimi raziskovalci, omogoča omejitev zaključkov, probelm pri neskladnih ocenjevalcih ali virih; obtežitev podatkov: nekateri podatki so boljši kot drugi, npr. tisti, ki so zbrani pozno, po ponovljenih kontaktih, ki so bili spontano, takoj sproducirani, opažena vedenja, aktivnosti, pri treniranem raziskovalcu, zbrani v neformalnem okolju, ko je respondent sam z raziskovalcem, zaključke delamo na osnovi boljših podatkov;
Preverjanje odstopanj nam pokaže meje zaključkov: pomen izjem (outlierjev) - kdo so izjeme, zakaj; Ekstremni primeri - so pristranski primeri, zasledovanje presenečenj - če se nekaj zgodi nepričakovano, se lahko vprašamo o svojih pričakovanjih, hipotezah, predpostavkah, lahko revidiramo teorijo; iskanje negativnih dokazov - primerov, ki se z zaključki ne ujemajo, delež teh, zakaj se ne ujemajo;
Preverjanje razlag: če-potem testi - Nekaj (“Če”) naredimo, pogledamo, ali se del “potem” uresniči. Lahko več “če”-jev, en “potem”; neupoštevanje povezav prek tretje spremenljivke ; ponovitev odkritja - s triangulacijo ali retestom ali na drugem vzorcu, preverjanje alternativnih razlag - iščemo dokaze tudi za druge razlage, feedback informanta - fenomenološka veljavnost + debriefing, lahko že med zbiranjem podatkov, predvsem pa na koncu raziskave; pokažemo jim prikaze s kratko razlago

28. Standardi za kakovost zaključkov
objektivnost
zanesljivost
notranja veljavnost
zunanja veljavnost
uporabnost (akcijska naravnanost)
Standardi za kvaliteto zaključkov:
objektivnost - moč potrditve,nevtralnost, nepristranskost (brez učinka raziskovalca ali primera), kako bi lahko drugi ponovili raziskavo; dobro opisana metoda, zaporedje zbiranja podatkov in analize, povezanost zaključkov s prikazi, ali je raziskovalec ekspliciral svoja pričakovanja, vrednote, pristranskosti in kako bi lahko vplivale na raziskavo, ali so bile upoštevane alternativne razlage, ali so podatki shranjeni in dosegljivi za preverjanja drugih
zanesljivost - neodvisnost, stabilnost v času in preko več raziskovalcev in metod; so vprašanja in raziskovalni načrt jasna, je vloga raziskovalca na terenu jasno opredeljena, ali so podatki več virov podobni, ali je teoretični okvir jasen, primerljivost protokolov zbiranja podatkov pri več raziskovalcih, ujemanje kodiranja, pregledi kolegov
notranja veljavnost - verodostojnost, avtentičnost, smiselnost, dober opis stanja, dobra teoretična podlaga, dobro ovrednotenje; ali je opis poglobljen, podprt s kontekstom in pomenljiv, ali je bralcu verjeten, smiseln, je triangulacija dale podobne zaključke, zakaj morda ne, se podatki povezujejo s teoretičnimi kategorijami, konstrukti, so odkritja notranje koherentna, koncepti sistematično povezani, ali so pravila določanja konceptov eksplicirana, so opredeljena negotova področja, negativni dokazi razrešeni, alternativne razlage preverjene, feedback informantov pozitiven - zaključki ustrezni, napovedi pravilne
zunanja veljavnost - posplošljivost, možnost prenosa zaključkov na druga okolja, populacije, primere; lastnosti vzorca, obravnava omejitev posploševanja, širina vzorca, prikazan potencialni prenos, ujemanje s predhodno teorijo, raziskovalec ni posegal v naravne dogodke, predlagana področja preverjanja zaključkov, možnost ponovitve
uporabnost - akcijska naravnanost, pragmatična veljavnost, ali uporabniki odkritja razumejo, so jim dosegljiva, ali so jih sposobni uporabiti kot vodila za akcijo in reagirati, etična vprašanja (ali lahko kdo profitira, komu škodimo), ali akcija potem res koristi, ali se uporabnikom zdi koristna, da lahko na podlagi raziskave nekaj spremenijo, dobijo “moč kontrolirati svojo usodo”,

29. Dokumentiranje, poročanje
krožna povezava raziskovalnega vprašanja, metod, zbiranja podatkov, vmesnih analiz
ni ustaljenega formata
vedno pa predstaviti:
kaj smo preučevali
kontekst
ponazoritve podatkov
zaključke in njihov pomen
Kako bo poročilo izgledalo, se že kmalu odločimo. Sproti delamo in tudi dokumentiramo, kako poteka raziskava, dokumentiramo svoje ideje, komentarje, težave, pravila odločanja…
Analiza podatkov zajema izbor, zgoščanje in pretvorbo podatkov, njihovo prikazovanje na organiziran način, zaključevanje in preverjanje ustreznosti zaključkov. V tem zaporedju tudi bolj ali manj teče poročilo, ki prikazuje analitični proces z rezultati tega procesa. Poročanje je del analize, saj poročilo praktično nastaja tekom vse analize.
Občinstvo: Poročilo je kodiran zapis, ki služi retorični funkciji! Poročilo je lahko zabavno, znanstveno, moralistično, aktivistično. Zavzamemo lahko različne pozicije: pišemo realistično (dokazi, brez opisov metod, podrobnosti, raziskovalec je neviden in suveren v interpretaciji), priznavajoče (priznamo subjektivnost pogleda, opisujemo metode na pošten način), impresionistično (osebno, brez teorije, pripovedno, da bi bralec čimbolj podoživel izkušnjo). Stil: jasen, preprost jezik. Prezentacijska oblika: besedilo vs. prikazi.
Vedno povedati o:
- o socialnem in zgodovinskem kontekstu, v katerem so bili podatki zbrani
- zgodovina raziskave: kaj je bilo storjenega, kdo je to storil in kako, kako so se ključni koncepti porajali v času, katere spremenljivke so se pojavile, katere izginile, katere kode so vodile do vpogleda v situacijo
- dodati osnovne podatke v osredotočeni obliki - vinjete, organizirano pripoved, fotografije, prikaze podatkov), da bralec lahko sam sproti vleče in verificira zaključke
- artikuliramo zaključke, opišemo njihov širši pomen (ideje, akcijsko vrednost)

30. Dokumentiranje, poročanje
pisati sproti
poglavja se prepletajo z opisom razvoja postopka (vzorčenja, zbiranja podatkov, analize, zaključevanja)
uvod (izvor raziskave), problem, hipoteze, vzorec, odnos z udeleženci, tip podatkov, zbiranje podatkov, opis postopka selekcije in reduciranja podatkov, pravila odločanja, prikazi rezultatov, zaključki, diskusija, predlogi…
ne nujno v tem vrstnem redu
Občinstvo: raziskovalec sam, drugi raziskovalci, bralci
Razložili naj bi:
- izvor raziskave,
- namen, problem in hipoteze, (v kontekstu drugih raziskav)
- raziskovalni načrt, vzorčenje in kako smo se zanj odločili
- odnos z udeleženci,
- tip podatkov,
- metode zbiranja podatkov - opis baze in kako je nastala, opis instrumentov (veljavnost), kako je potekalo terensko delo
- podroben opis postopka selekcije podatkov in analize - metode razvoja kategorij, kodirnega sistema, združevanja, reduciranja, členjenja podatkov, pravil odločanja (kriterijev za izdelavo prikazov, za kodiranje), interpretiranja, zaključevanja
- rezultati analize - prikazi podatkov
- zaključki z dokazi, diskusija
- retrospektivna odkritja (kaj smo se naučili), osebna občutja (komentarji), predlogi, ideje, komentarji, reflektivni pregled (Zakaj določeni zaključki?)
Posamezni deli običajnega APA poročila (npr. metode, rezultati, zaključki) se prepletajo z opisom postopkov, s katerimi smo prišli do njih.

31. Prednosti kvalitativnega raziskovanja
preučevanje pojavov v naravni situaciji, ekološka veljavnost
celostnost, kompleksnost
kontekst
daljše časovno obdobje
analiza vzrokov pojavov (?)
podpora kvantitativnemu raziskovanju
osredotočenje na naravne, vsakodnevne dogodke in situacije - podatki so zbrani neposredno v taki situaciji (ne po pošti ali iz druge roke); z njimi označimo pomene, ki jih ljudje pripisujejo dogodkom, procesom, zaznave, predpostavke, predsodke, te pa lahko povežemo s socialnim svetom okrog ljudi; vezanost na lokalne pojave
podatki so bogati in celostni, z visokim potencialom, da odražajo kompleksnost nekega pojava, (ker so živi opisi, tudi bolj prepričajo bralca kot neke številke);
primerno za opredelitev pomena dogodkov, procesov... za ljudi, njihovega zaznavanja, sodb, predpostavk…, povezava tega pomena s socialnim svetom
ker podatke zbiramo preko daljšega časovnega obdobja, so močni v preučevanju procesov
zato naj bi bilo tako raziskovanje plodno za odkrivanje in raziskovanje novih področij in za razvijanje hipotez, včasih tudi za testiranje hipotez. Predvsem so uporabni, ko želimo validirati, dopolniti, razložiti, pojasniti kvantitativne podatke
vzročno zaključevanje: - kritika eksperimenta: Odkritje učinka v ES nam ne pove, kaj se je dogajalo v črni škatli. Ne razumemo, kako ali zakaj se je nekaj zgodilo, in lahko le ugibamo o vpletenih mehanizmih. Kvalitativne študije omogočajo ocenjevanje vzrokov, saj lahko odkrije mehanizme, kompleksne mreže dogodkov in procesov, pove, kaj je predhodilo nečemu, torej ureja časovno dimenzijo. Z večkratno ponovitvijo sorodnih odkritij ali z enakimi kazalci, dobljenimi z različnimi metodami, ugotovitve verificiramo.

32. Dvomi vajenost kvantitativnega raziskovanja (operiranja s števili)
zgolj opazovanje OV, ni kontrolnih skupin
Ali lahko posplošujemo na podlagi takega raziskovanja?
Ali je tako raziskovanje objektivno, veljavno, zanesljivo?
- kontrola -
Ali so zaključki dovolj uporabni?
dolgotrajnost raziskovanja - kdaj dovolj?
Ali bomo lahko objavili poročilo o taki raziskavi?

33. Literatura
Breakwell, G. M., Hammond, S., & Fife-Schaw, C. (Ur.) (1995). Research Methods in Psychology. London: Sage.
Marshall, C., & Rossman, G. B. (1999). Designing qualitative research (3.izd.). Thousand Oaks: Sage.
Bryman, A., & Burgess, R. G. (Ur.) (1994). Analyzing Qualitative Data. London: Routledge.
Miles, M. B., Huberman, A. M. (1994). Qualitative Data Analysis. Thousand Oaks: Sage.