1. Námskrárstaðlar, próf og ábyrgðarskylda
Að vanda til námsmats
17. október 2008
Rúnar Sigþórsson HA
Not everything that can be
counted counts, and not everything
that counts can be counted
(eignað Albert Einstein)

2. Efni dagsins Hugmyndirnar Aðferðirnar Álitamálin
Byggt á 1. kafla Miller, Linn og Gronlund og efni úr doktorsritgerð RS
© Rúnar Sigþórsson HA

3. Hugmyndafræðin

4. Kröfur um breytingar Pólitískar forsendur Efnahagslegar forsendur
markaðshugmyndafræði
neytendastýring
hugmyndir um stöðlun, t.d. við mat á gæðum þjónustu
miðstýring og valddreifing – stofnanir / námskrá
ábyrgðarskylda – krafa um „accountability“
Efnahagslegar forsendur
harðnandi samkeppni á alþjóðavettvangi
hvers konar vinnuafl?
þverrandi bjargir – aukinn rekstrarkostnaður
© Rúnar Sigþórsson HA

5. Kröfur um breytingar Menntafræðilegar forsendur
upplýsingasamfélag nútímans
þjóðfélagsbreytingar
„inclusion“ – skólinn fyrir alla
hugmyndir um eðli og tilgang menntunar
frammistaða og samanburður á alþjóðavettvangi
© Rúnar Sigþórsson HA

6. „The centralisation – decentralisation paradox“
Viðleitni til að bæta menntakerfi heilla landa með mið-stýrðum fyrirmælum um inntak náms, viðmiðum um árangur nemenda og samræmdu námsmati á sama tíma og valdi og ábyrgð á stjórnun og rekstri skóla er dreift til sveitarstjórna og einstakra skóla
© Rúnar Sigþórsson HA

7. Samræmd próf
Afla upplýsinga um frammistöðu í menntakerfinu (e. barometer / document shortcomings skv. M, L. & G.)
Hreyfiafl umbóta (e. lever of reform skv. M, L. & G.)
© Rúnar Sigþórsson HA

8. Hluti af stærra samhengi
Árangur (e. output) í ljósi aðfanga (e. input)
Aukinn tilkostnaður hefur ekki skilað tilætluðum árangri
Nýjar leiðir til umbóta:
kerfi ábyrgðarskyldu þar sem kennarar, skólar og nem-endur eru gerðir ábyrgir fyrir því að aðföngin sem þeir fá í hendurnar leiði til skilgreinds árangurs
almennt orðuð yfirmarkmið (e. goals), námskrárstaðlar og mælingar á árangri til að bera saman við staðlana, opinber birting niðurstaðna og afleiðingar (jákvæðar (e. incentives) eða neikvæðar (e. sanctions)) fyrir nemendur, kennara og skóla (sjá t.d. Hanushek og Raymond (2002)
© Rúnar Sigþórsson HA

9. Standards-based reform
Ítarleg samræmd markmiðssetning - námskrárstaðlar (e. standards)
(Stöðluð) samræmd próf
Hagsmunatengd ábyrgðarskylda (e. high-stakes accountability)
Nám (og um leið próf) fyrir alla nemendur (e. inclusion)
sbr. ECM og NCLB
© Rúnar Sigþórsson HA

10. Hugtökin: Standards
Standardised curriculum eða standards-based education
Content standards: Fyrirmæli stjórnvalda um samræmt inntak námskrár (hvað skuli kennt og hvenær) og hvaða þekkingu og færni nemendur eigi að hafa, t.d. í tiltekinni námsgrein á tilgreindum stað í skólagöngu sinni
Performance standards: Fyrirmæli byggð á inntaks-stöðlunum sem fela í sér samræmdar kröfur eða viðmið um fullnægjandi árangur  How good is good enough
(Miller, Linn og Gronlund)
Higher standards – raising standards – raising the bar
Ísl: Markmið, viðmið, námskrárstaðlar
© Rúnar Sigþórsson HA

11. Hugtökin: Testing
US: Standardized tests
stöðluð, samræmd próf
UK: National tests
Norðurlöndin
Nationella prov (SE)
Nationale test (DK)
Nasjonale prøvar (NO)
Samræmd próf (ÍS)
(Stöðluð) samræmd próf sem yfirheiti
(RS, 2008)
lögð fyrir hóp sem svarar sömu prófatriðum á sama tíma og við sömu aðstæður, svör allra eru metin á samræmdan kvarða og niðurstöður eru túlkaðar með samanburði við við-miðunarhóp (t.d. árgang) sem tekið hefur sama prófið við sams konar aðstæður
© Rúnar Sigþórsson HA

12. „The seductive allure of data“
Ódýr leið til „umbóta“ (miðað við aðrar, s.s. aukið kennslumagn, fækkun í bekkjum og umbætur í menntun og starfsþróun kennara)
Auðveld í framkvæmd – bírókratískt regluverk
Fljótlegt að koma á og breyta (t.d. innan kjörtímabils stjórnmálamanna)
Áþreifanlegar niðurstöður
Hægt að sýna fram á að prófatækni fleygi fram (sbr. t.d. rafræn próf)
(Miller, Linn og Gronlund)
© Rúnar Sigþórsson HA

13. Hugtökin: Accountability
Ábyrgð eða ábyrgðarskylda
kalla e-a til ábyrgðar eða láta e-a standa reikningsskil þess sem þeim hefur verið falið
óhjákvæmilega tengd því að árangur sé mældur og borinn saman við sett viðmið
einhver verður að axla ábyrgðina á því sem samanburður árangurs og viðmiða leiðir i ljós
einhver verður að hafa vald til að fylgja því eftir
Stjórntæki en umbótatæki?
(Ahearn, 2000)
© Rúnar Sigþórsson HA

14. Tvö mikilvæg svið ábyrgðarskyldu
Stjórnsýsluábyrgð (e. bureaucratic accountability)
Fagleg ábyrgð (e. professional accountability)
(sjá t.d. Darling-Hammond , 2004)
© Rúnar Sigþórsson HA

15. Skóli (og próf) fyrir alla
Krafa nútímans
T.d. eitt af áherslusviðum UNESCO, sjá:
Standards-based reform til að bæta menntun allra
Miklar væntingar (e. high expectations) til allra
Minnihlutahópar, stéttir, fatlaðir nemendur, nemendur með námsörðugleika
Framfarir í prófagerð - próf (aðlöguð) fyrir alla
© Rúnar Sigþórsson HA

16. Framkvæmdin

17. Bandaríkin NCLB, sjá t.d. http://www.ed.gov/nclb/landing.jhtml?src=pb
Markmið (content standards)
Viðmið um frammistöðu (performance standards)
Viðunandi framfarir milli ára (Adequate Yearly Progress – AYP)
Samræmd próf í ensku (reading and language arts) og stærðfræði árlega í 3.–8. bekk og einu sinni í menntaskóla (e. high school) og í náttúrufræði þrisvar á skólagöngunni
68 milljónir samræmdra prófa árlega
Jákvæðar og neikvæðar afleiðinguar (e. incentives / sanctions)
Fjöldi könnunarprófa „benchmark tests“ á vegum skóla
sjá RS, 2008, 2. kafli
© Rúnar Sigþórsson HA

18. England og Wales
Every child matters, sjá t.d.
Lög frá 1988 – lokaáfangi 20 ára þróunar
Mjög miðstýrð aðalnámskrá (National Curriculum)
Ýmiss konar kröfur til skóla um þróunarstarf
Nýtt kerfi úttekta (e. inspections)
Samræmd próf við lok stiga (e. key stages) lok 2., 6. og 9. námsár
Sérstök lokapróf við lok skyldunámsins (11. námsár) GCSE (General Certificate of Secondary Education)
Mjög sýnileg hagsmunatengd ábyrgðarskylda
Miðstýrðasta menntakerfi í Evrópu (Alexander, 2001)
sjá RS, 2008, 2. kafli
© Rúnar Sigþórsson HA

19. Norðurlönd Kunnuglegt baksvið og áherslur umbótaviðleitni
Noregur, sjá:
Danmörk sjá:
Nýjar aðalnámskrár með skýrari markmiðssetningu
mål for kompetanse (NO)
nationale mål (DK)
Samræmt gæðamat – aukin áhersla á samræmd próf
sjá RS, 2008, 2. kafli
© Rúnar Sigþórsson HA

20. Norðurlönd Svíþjóð, sjá: http://www.skolverket.se/sb/d/276
Óbreytt aðalnámskrá en verið að fjölga samræmdum prófum í 3., 5., og 9. bekk
Lille Island
sjá RS, 2008, 2. kafli
© Rúnar Sigþórsson HA

21. Umdeildar leiðir að viðurkenndum markmiðum

22. Hugmyndin í hnotskurn
Með því að skilgreina nógu nákvæmlega markmið um inntak náms og viðmið um árangur nemenda má bæta árangur, tryggja jöfnuð, sjá til þess að allir nemendur hljóti sambærilega menntun og meta afrakstur skólastarfs á sambærilegan hátt. Til þess má nota opinber, stöðluð próf, samin í samræmi við próffræðilegar kröfur um réttmæti og áreiðanleika, bera niðurstöðurnar saman við markmið og viðmið og krefja skóla og kennara reikningsskila gagnvart því hvort árangurinn er sá sem ætlast er til. Með því á að finna skóla, kennara og stjórnendur sem skila lélegum árangri, umbuna fyrir góðan árangur en beita viðurlögum fyrir slakan árangur. Einnig á að styrkja sjálfsmynd skóla sem ná góðum árangri og auka um leið væntingar og kröfur til, nemenda, kennara og stjórnenda um að bæta sig
RS, 2008, bls, 23
© Rúnar Sigþórsson HA

23. Gagnrýni út frá þekkingu á skólaþróun
Ein af þeim niðurstöðum „Change agent“ rannsóknarinnar sem nánast er orðin alkunna er að það er ákaflega erfitt að ætla að láta stefnu breyta starfsháttum, einkum stefnu eins stjórnsýslustigs um annað. Þvert ofan í þau beinu tengsl sem menn hafa gefið sér að væru milli stefnu og fram-kvæmdar leiddi rannsóknin í ljós að eðli, umfang og hraði breytinga á hverjum stað ræðst fyrst og fremst af stað-bundnum þáttum sem eru að mestu leyti utan seilingar þeirra stjórnvalda sem móta stefnuna
McLaughlin, 1989
© Rúnar Sigþórsson HA

24. Pólítík vs. menntunarfræði
Ábyrgðarskylda sem stjórntæki eða umbótatæki
(Hagsmunatengd) stjórnsýsluábyrgð (e. high-stakes bureaucratic accountability)
Fagleg ábyrgð (e. professional accountability)
Ábyrgðarskylda og starfsþróun
Víðtæk og oft harkaleg gagnrýni frá fræðasamfélaginu
Deilur milli pólitíkusa og fræðimanna
(Hanushek og Raymond, 2002; Ravitch, 2002)
Sjá t.d. gagnrýni AEA:
© Rúnar Sigþórsson HA

25. Hærri meðaltöl = bætt menntun?
Fátt handfast sem styður að 50 ára saga samræmdra prófa í BNA hafi í raun og veru bætt menntun, þrátt fyrir hækkandi meðaltalsárangur
Árangur án innistæðu: Hægt að keyra upp meðaltals-árangur án þess að bætt nám liggi að baki
(sjá t.d. Linn, 2000)
© Rúnar Sigþórsson HA

26. Gagnrýni á form prófanna
Fjölvalspróf einhæft mælitæki
Mæla einfalda þekkingu
Henta illa til að meta árangur á mörgum mikilvægum sviðum námskrár
Byggjast á þeirri hugmynd að það sé hægt að taka alla þekkingu sundur í búta
Gera oft miklar kröfur um lesskilning
Mörg atriði á knöppum tíma – hvorki ígrundun né lausnaleit
(sjá t.d. Popham, 2003; Resnick og Resnick, 1992)
© Rúnar Sigþórsson HA

27. Réttmæti
Takmarkanir fjölvalsprófa grafa undan inntaksréttmæti (e. content validity) og hugtaksréttmæti (e. construct validity)
Hversu dæmigert úrtak úr námskrá prófa samræmd próf
Hvaða ályktanir eru dregnar af niðurstöðunum
Hvað segja niðurstöður prófa okkur í raun og veru
„The whole person fallacy“
(Miller, Linn og Gronlund)
© Rúnar Sigþórsson HA

28. Próf og nemendur Prófkvíði Flokka og merkja nemendur
Vaxandi vísbendingar um aukið brottfall úr skólum, fjölgun aðgreinandi sérúrræða og versnandi stöðu minnihlutahópa
Vaxandi fjölda nemenda er t.d. seinkað í námi
Ýmsar rannsóknir benda til neikvæðra afleiðinga þess
Prófkvíði
Flokka og merkja nemendur
Brjóta niður sjálfstraust gagnvart námi
Skaða námsáhuga
Námsmenning þar sem einkunnir skipta meira máli en nám
Árangur á samræmdum prófum og kynjamunur
Darling-Hammond, 2004
Miller, Linn og Gronlund
© Rúnar Sigþórsson HA

29. Próf og meðferð niðurstaðna
Próf eru samt ekki endilega vond í sjálfu sér
En samband þeirra við hagsmunatengda ábyrgðarskyldu grefur undan réttmæti þeirra
Próf þarf ekki að vera vont í sjálfu sér þótt dregnar séu vitlausar ályktanir af niðurstöðum þess eða niðurstöðurnar notaðar á annan hátt óskynsamlega
Muna að gera greinarmun á kostum og göllum prófanna sjálfra annars vegar og þess hvernig farið er með niðurstöður þeirra og þær túlkaðar hins vegar
Hvaða afleiðingar hefur það að prófa ekki?
Miller, Linn og Gronlund
© Rúnar Sigþórsson HA

30. Samantekt
Hugmyndir, aðferðir og álitamál varðandi (stöðluð) samræmd próf
Próf sem hluti af stærra samhengi umbótaviðleitni (standards-based reform)
hugtökin „standards“ og „accountability“
Standards-based reform í nokkrum löndum
Álitamál
© Rúnar Sigþórsson HA

31. Nokkrar heimildir
Ahearn, E. M. (2000). Educational accountability: A synthesis of the literature and review of a balanced model of accountability [Final report]. Sótt 3. desember 2007 af
Alexander, R. J. (2001). Culture and pedagogy: International comparisons in primary education. Oxford: Blackwell.
Darling-Hammond, L. (2004). Standards, accountability, and school reform. Teachers College Record, 106, 1047–1895. Sótt 20. september 2007 af
Hanushek, E. A. og Raymond, M. E. (2002). Sorting out accountability systems. Í W. M. Evers og H. J. Walberg (ritstjórar), School accountability: An assessment by the Koret Task Force on K–12 education (bls. 75–104). Hoover Institution: Stanford University.
McLaughlin, M. W. (1989). The RAND change agent study ten years later: Macro perspectives and micro realities. Grein með erindi á AERA ráðstefnu í San Fransisco í apríl Sótt 24. september 2007 af
Popham, W. J. (2003). Test better, teach better: The instructional role of assessment. Alexandria: ASCD
Ravitch, D. (2002). Testing and accountability historically considered. Í W. M. Evers og H. J. Walberg (ritstjórar), School accountability: An assessment by the Koret Task Force on K–12 education (bls. 9–21). Hoover Institution: Stanford University
Resnick, L. B. og Resnick, D. P. (1992). Assessing the thinking curriculum: New tools for educational reform. Í B. B. Gifford og M. C. O’Connor (ritstjórar), Changing assessments: Alternative views of aptitude, achievement and instruction (bls. 37–76). Boston: Kluwer Academic Publishers.
© Rúnar Sigþórsson HA