Námsmat III matstæki matsaðferðir Námskrárfræði og námsmat Mars 2006

Námsmat - III Matstæki - matsaðferðir Námskrárfræði og námsmat Mars 2006

• MÞ/JK

Námsmat

• Námsmat (e.assessment, evaluation, n. vurdering):

• Námsmat: Mat á námsárangri og námsframvindu. Nær bæði til nemenda sjálfra, hegðunar þeirra, hugsunar og frammistöðu og einnig til verka þeirra, til dæmis skriflegra svara á prófum, hugverka eða handverka.

• -D. Rowntree, N. Gronlund, W. Harlen, Ó.Proppé

• Norman Gronlund: Mikilvægt er að greina að árangur sjálfs námsins annars vegar og hegðunarþátta hins vegar.

Hugtök og skilgreiningar

• Óhefðbundið/öðru vísi námsmat (Alternative assessment)

• Rauntengt/Heildrænt námsmat (Authentic assessment)

• Frammistöðumat (Performance-based assessment)

• Alhliða námsmat/samþætt (Holistic / integrated)

• Hefðbundið námsmat – t.d. Skrifleg próf (Traditional achievement assessment)

Matstæki - matsaðfeðir

• Námsmöppur/vinnumöppur (portfolios):

• Algengar undir merkjum óhefðb., rauntengds námsmats

• Nemendamiðað, verk sem nemendur velja sjálfir metin.

• Námsmöppur geta innihaldið margbreytileg verk nemenda allt eftir því hver tilgangurinn er hverju sinni.

• Skráning (record keeping):

• Gátlistar (checklists), marklistar (rating scales), óformleg skráning (anecdotal notes), viðmiðatöflur (Rubrics)

Matstæki - matsaðfeðir

• Gátlistar (checklists)

• Marklistar (rating scales)

• Óformleg skráning (anecdotal notes)

• Viðmiðatöflur (Rubrics)

• Nokkur dæmi

• Rubrics

Prófatriði: Valkostir

• Valið stendur milli:

• Fjölvalsprófatriða (Selection-Type Items): krossaspurningar, rétt-rangt spurningar, pörunarspurningar og túlkunarverkefni.

• Og

• Innfyllingaratriða (Supply-Type Items): Stutt eyðufyllingasvör, stuttar ritgerðaspurningar, lengri ritgerðaverkefni.

Fjölval: Túlkunarverkefni (Interpretive exercises)

• Sett er fram einhvers konar kynningarefni, t.d. texti, tafla, graf, kort eða mynd og ýmis færni er metin út frá því með fjölvalsspurningu, t.d. greining, læsi á upplýsingar eða túlkun.

• Kostir/styrkleikar: Mat auðvelt, auðveldasta leiðin til að meta “læsi” og ýmsa hæfni til að tengja sbr. PISA. Hægt að meta flókin “learning outcomes”

• Ókostir/veikleikar: Erfitt að semja. Hætta á óáreiðanleika og lágu réttmæti, hætta á vísbendingum, reynir ekki á sköpun og gagnr. hugsun

Dæmi um túlkunarverkefni í PISA rannsókn OECD

• PISA 2002. http://www.pisa.oecd.org/dataoecd/43/54/33690904.pdf

Túlkunarverkefni

• Að hverju þarf að huga við samningu túlkunarverkefna:

• Velja kynningarefni sem hæfir þeim námsafrakstri (learning outcomes) sem á að meta.

• Velja kynningarefni sem er hæfilega framandi.

• Hafa efnið hnitmiðað og læsilegt.

• Ekki hafa spurningar þannig að hægt sé að svara þeim út frá almennri þekkingu, án þess að horfa á kynningarefnið.

• Fylgja má vinnureglum um fjölvalsverkefnaform.

Fjölval: krossaspurningar

• Langalgengasta gerðin af prófatriðum

• Má nota til að meta margvíslegan námsafrakstur (learning outcomes).

• Eru vönduð prófatriði ef rétt er staðið að samningu og eru jafnan trygging fyrir miklum stöðugleika (áreiðanleika).

• Veikleikar: Ekki ákjósanleg til að meta “higher-order thinking”. Erfitt að ná háu réttmæti með krossaspurningum einum saman. Erfitt að semja þær.

Eðli krossaspurninga

• Krossaspurning samstendur af:

• Stofni (Stem) sem gefur til kynna meginefni spurningarinnar, eitthvert vandamál sem þarf að bregðast við. Getur verið bein spurning eða ókláruð fullyrðing.

• og

• Valmöguleikum með mögulegum lausnum á vandamálinu. Einn möguleikinn er réttur en hinir eru rangir svarmöguleikar eða villusvör (distractors).

Eðli krossaspurninga

• Sama krossaspurning getur innihaldið spurningu eða ófullkomna fullyrðingu í stofni. Það síðarnefnda er jafnan talið heppilegra.

• Stundum er látinn felast sannleiki í öllum svarmöguleikum, en krossa á við “besta svarið”. Reynir meira á skilning og rökhugsun.

• Svarmöguleikar ýmist þrír, fjórir eða fimm.

Að meta þekkingu/minni

• Hentar mjög vel krossaspurningaforminu

• Reynir mest á hvort nemendur muna staðreyndir, heiti, reglur o.s.frv.

• Getur spannað yfir mjög vítt svið: orðaforði, merking hugtaka, flokkun, sértæk þekking, orsakir, afleiðingar o.s.frv.

Dæmi um krossaspurningu sem metur þekkingu – reynir á minni

• Tveir menn komu mikið við sögu þegar kristni var lögtekin á Íslandi. Þeir voru:

• ( ) Haraldur lúfa og Þangbrandur

• ( ) Þorsteinn surtur og Þorgeir Ljósvetningagoði

• *( ) Hallur á Síðu og og Þorgeir Ljósvetningagoði

• ( ) Gissur hvíti og Gísli Súrsson

Að meta skilning

• Krossaspurning:

• Hentar vel til að fá hugmyndir um hversu vel nemandi skilur meginefnið án þess að láta hann beita skilningi sínum í rituðu máli.

• Gefur möguleika á að meta merkingu (þýðingu), hvort nem. finnur dæmi um eða spáir fyrir um.

Dæmi um krossaspurningu sem metur skilning Nemandi túlkar merkingu hugmyndar.

• Sú fullyrðing að Íslendingar geti orðið sjálfum sér

• nógir um orku í framtíðinni merkir að hér á landi:

• ( ) sé nóg af olíu næstu hundrað árin

• *( ) sé næg óbeisluð orka í íslenskri náttúru

• ( ) sé mikið af ónýttri vatnsorku til stóriðju

• ( ) verði alltaf hægt að afla orkuríkrar fæðu

Að meta beitingu

• Slík prófatriði meta skilning en krefjast þess jafnframt að nemendur sýni hvort þeir geti nýtt sér upplýsingar við ákveðnar aðstæður, beitt þeim.

• Mikilvægt er við gerð krossaspurninga sem meta skilning og beitingu að nemendur hafi ekki lært atriðin áður. Þá er verið að prófa þekkingu (minni), ekki skilning eða beitingu.

Dæmi um krossaspurningu sem metur beitingu Nemandi beitir þekkingu sinni til að lesa rétt af korti

• Íslandskort í mælikvarðanum 1:5000 000

• (1 cm á kortinu jafngildir 50 km)

• Hver er fjarlægðin milli Borgarness og

• Blönduóss skv. kortinu?

• ( ) 70 km

• *( ) 170 km

• ( ) 270 km

• ( ) 370 km

Hvers þarf að gæta við samningu krossaspurninga? Byggt á N. Gronlund 2003 (6 glærur) -1

• Spurningin (prófverkefnið) meti fyrirfram skilgreindan námsafrakstur (learning outcome). Hefur með réttmæti að gera.

• Orða þarf stofninn í krossaspurningu það skýrt að meginefni hennar skiljist án þess að þurfa að lesa svarmöguleikana. Hefur með áreiðanleika að gera.

• Mikilvægt að hafa hnitmiðað og skýrt orðalag í stofni krossaspurningar til að forðast margræðni (ambiguity). Hefur með áreiðanleika að gera.

Krossaspurningar: Hvers þarf að gæta ... -2

• Ekki endurtaka sömu orð og orðasambönd í svarmöguleikum, heldur setja það í eitt skipti fyrir öll í stofninn sem á við allt.

• Jákvætt orðalag í stofni fremur en neikvætt hefur hærra uppeldis- og menntunargildi og er því jafnan ákjósanlegra.

• Ef nota þarf neitanir í stofni þarf að undirstrika þær eða setja í hástafi svo þær sjáist örugglega.

• Ekki má orka tvímælis hvert er rétta svarið.

Krossaspurningar: Hvers þarf að gæta...-3

• Gæta þarf að því að allir svarmöguleikar séu í jöfnu samræmi við stofninn, ekki bara rétta (réttasta) svarið. Ekki mega leynast vísbendingar í spurningaforminu.

• Forðast ber orðalag sem hjálpar nemendum að velja rétta svarið eða hafna röngu svari.

• Æskilegt að gera villusvör (distracters) freistandi svarmöguleika.

• Hafa breytilega lengd á réttu svörunum til að forðast vísbendingar.

Krossaspurningar: Hvers þarf að gæta...-4

• Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur.

• Hafa breytilega staðsetningu á rétta möguleikanum. Nota handahófskennda aðferð.

• Stýra má erfiðleika spurningar hvort sem er með efni stofnsins eða svarmöguleikum.

Krossaspurningar: Hvers þarf að gæta... - 5

• Gæta að því að prófatriði standi sjálfstæð, innihaldi ekki upplýsingar sem nýtast í öðrum prófatriðum o.s.frv.

• Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur.

• Framsetning prófatriða skiptir máli. Valmöguleikar séu í dálki. Skýrara fyrir nemendur, auðveldar yfirferð.

Krossaspurningar: Hvers þarf að gæta... -6

• Gætt sé að stafsetningu og greinarmerkjasetningu.

• Hafa hugfast að krossaspurningar einar og sér duga ekki til að meta allt sem skiptir máli. Það er því ólíklegt að þær tryggi hátt réttmæti, þótt áreiðanleiki (stöðugleiki) sé góður.

• BRJÓTA MÁ ALLAR FRAMANGREINDAR REGLUR SÉ ÞESS ÞÖRF!

• N. Gronlund 2003

Fjölval: Annað en krossaspurningar

• Ef aðeins er um að ræða tvo svarmöguleika er heppilegra að nota rétt-rangt (True-False) spurningu.

• Ef um er að ræða marga sambærilega þætti getur verið betra að nota pörunarspurningar (Matching exercise).

• Ef verið er að meta greiningu, túlkun eða aðra flóknari þætti náms getur verið heppilegra að velja túlkunarverkefni (Interpretive exercise).

Rétt-rangt (S/Ó) verkefni

• Mismunandi útfærslur til: Já/nei, sammála/ósammála, satt/ósatt eða jafnvel staðreynd/skoðun.

• Stundum er um að ræða safn af skyldum S/Ó spurningum í sama prófverkefni. Hvað af eftirfarandi...

• Heppilegt að nota S/Ó spurningar og biðja nemendur svo að rökstyðja svarið

Dæmi um Rétt-rangt (S/Ó) verkefni

• Hver eftirfarandi hugtaka eru notuð yfir myndir orku

• (orkuform)?

• Settu hring utan um S ef orðið er notað yfir myndir orku

• (orkuform),settu annars hring um Ó.

• S Ó Stöðuorka

• S Ó Ljósorka

• S Ó Hraðaorka

• S Ó Hreyfiorka

• S Ó Fæðuorka

Rétt-rangt (S/Ó) verkefni

• Atriði til að hafa í huga við samningu S/Ó spurninga:

• Mikilvægt að hafa fullyrðingar hnitmiðaðar með einungis einni meginhugmynd.

• Orðalag skýrt og án vafaatriða. Ekki nota óljóst orðalag

• Nota neitanir sparlega, einnig tvöfaldar neitanir. Prófar fremur lesskilning heldur en það sem átti að meta.

• Ekki spyrja um sanngildi skoðana nema þær tengist ákveðnum heimildum, einstaklingum o.s.frv.

Rétt-rangt (S/Ó) verkefni

• Atriði til að hafa í huga við samningu S/Ó spurninga:

• Ef um er að ræða mat á sambandi orsakar og afleiðingar, þá þurfa fullyrðingarnar að vera sannar.

• Varast að nota óþarfa vísbendingar, t.d. “alltaf”, “aldrei”, “aðeins”, “oftast” eða “stundum”.

Pörunarverkefni

• Í raun afbrigði af krossaspurningaforminu.

• Heppilegt er að skipta yfir í pörunarspurningar þegar sömu valmöguleikar eru síendurteknir í nokkrum krossaspurningum.

• Ath. styrkleika og veikleika pörunarspurninga

Pörunarverkefni

• Að hverju þarf að huga við samningu pörunarverkefna:

• Hafa prófatriðin einsleit, t.d. öll um vísindamenn og uppgötvanir þeirra.

• Hafa möguleikana ekki of marga, innan við 10.

• Hafa fjölda atriða í vinstri (forsendur) og hægri dálki (svör) ekki þann sama. Gefa má kost á fleiri en einni tengingu við sama svarmöguleika.

Dæmi um pörunarspurningu

• Í dálki I eru fullyrðingar um persónur sem komu við sögu

• við kristnitökuna á Íslandi. Í dálki II er nöfn nokkurra

• persóna sem þá komu við sögu.

Pörunarverkefni

• Að hverju þarf að huga við samningu pörunarverkefna:

• Æskilegt að hafa svörin í stafrófs- eða númeraröð.

• Tilgreina þarf í fyrirmælum hvað gildir, t.d. að nota megi sama svarmöguleika oftar en einu sinni.

• Láta pörunarverkefni ekki skiptast milli blaðsíðna í prófi.

Innfyllingaratriði (Supply type): Stutt svör

• Meta vel hvort nemendur muna og/eða skilja.

• Algengasta formið að nemendur fylli í eyður eða ljúki við fyllyrðingar.

• Reynir aðeins meira (öðru vísi) á vitsmunalega hæfileika nemenda en fjölvalsspurningaformið

Innfyllingaratriði (Supply type): Ritgerðir

• Gefa nemendum töluverðan sveigjanleika í að sýna þekkingu sína, skilning, ritfærni o.s.frv. Bjóða upp á skapandi og gagnrýna (higher order) hugsun.

• Hér skiptir miklu að hafa á hreinu hvaða “learning outcomes” er verið að meta og setja svo viðmið í mati miðað við það.

• Fer alveg eftir samhengi hversu skýr og nákvæm viðmið eru viðhöfð við mat.

• Öllu jöfnu minni áreiðanleiki en í fjölvalsspurningum

Innfyllingaratriði (Supply type): Sveigjanleg, skapandi ritun

• Val prófatriða er algerlega háð tilgangi, því hvað átti að meta og hversu mikils áreiðanleika er krafist.

• Tilgangur með skapandi ritunarverkefnum jafnt eins og öðrum skapandi og opnum (open-ended) verkefnum getur þess vegna verið að örva, hvetja og styðja við nám, en síður til að “mæla” árangur!

• Fjölvalsformið hentar við mælingar, en sveigjanleg og skapandi ritun e.t.v. frekar til að örva og styðja við nám.