Tools voor itemanalyse Wido La Heij Cognitieve Psychologie
[email protected] Klazine Verdonschot ICT en Onderwijscoach
[email protected]
De weg naar het Grade Center
Menu van de toetskolom
Quick Column Information
Grade Attempts Vragen becijferen per student, per vraag.
Grade anonymously
Vragen becijferen per student, per vraag, maar er is niet bekend welke student dit is. De student is anoniem.
Poging statistieken
Iedere vraag staat onder elkaar vermeld. Een ietwat onhandige layout, maar alles is te vinden. P-Waarde 0,88
Bij 450 studenten duurt het ongeveer 1:30 min om dit te laden.
Download results
Alle pogingen bekijken
Cijfers toekennen aan vragen
Cijfers toekennen aan vragen (2)
Edit Column Information
Column Statistics
Overig
•Clear attempts for all users – Alle pogingen resetten •Sort Ascending – van laag naar hoog sorteren •Sort Descending – van hoog naar laag sorteren •Hide Column – Kolom verbergen
Download results
Download results (2)
Verschil Bij user: Iedere regel bevat de vragen en antwoorden van één student Bij question and user: Van iedere student staan de vragen onder elkaar gesorteerd.
LET OP!!!
Als de toets presentatie “at random” is ingesteld, worden deze ook at random in het databestand opgeslagen!!!
Eerste analyse van toetsresultaten: histogram behaalde cijfers + itemanalyse
Wido La Heij Cognitieve Psychologie
[email protected]
Electronische Deeltoets Inleiding in de Psychologie 430 deelnemers Cursus van 8 weken Deeltoets op Blackboard in week 5 (begin oktober) 30 MC vragen Vrijwillig – cijfer telt niet mee voor eindresultaat Na aanvang toets 1.5 uur de tijd Mogelijkheid om naar vragen terug te keren Na afsluiten: feedback op de vragen Na afsluiten: totaalscore (0-300 – 10 pnt per vraag) Zelf cijfer opzoeken in lijst Feedback later: Percentage geslaagd, histogram van cijfers Bespreking 5 moeilijkste vragen in werkgroep “Nuttigheid deeltoets” 4.2 op 5-puntschaal
Control Panel > Full Grade Center > Downloaden naar excel
Excel output (by user)
Kolommen: Username Last name First name Question ID 1 (=1e item gepresenteerd!) Question (tekst van vraag) Answer (tekst van goede alternatief) Possible points Auto Score Manual Score
Excel bewerkingen – file opschonen
Lege rijen deleten Aantal kolommen deleten. Over laten: Username Last name First name Auto Score van vragen (1-30) Totaalscore per student (rij) berekenen.
Excel bewerkingen – totaal score per student
In cel typen: =sum(D2:AG2)
(of rij selecteren)
In hoek dubbelklikken (of trekken)
Excel bewerkingen – dat sorteren op totaal score
Tabel sorteren op Totaal score: Hele tabel selecteren (cel linksboven klikken) In Menu kiezen: Data ”Sort” ”My data range has header row” - aanvinken ”Sort by”: “Totaal score” selecteren ”Descending” - aanvinken
Excel bewerkingen – cijfers toekennen
Cijfers (met formule of handmatig) aan scores toekennen.
“Lege” rijen onderaan de tabel deleten.
Excel output - cijfertoekenning
Cijferbepaling bij Psychologie Bij 30 items, stel 20 goed: Cijfer(ruw) = 10 * (x – p/k) / (p - p/k) Cijfer(ruw) = 10 * (20 – 30/4) / (30 – 30/4) = 5,5555 Cijfer(ruw) = 5,6 = 6 = voldoende Cijfers bij <=10 goed allemaal op 1 zetten
Excel bewerkingen – Voldoende/onvoldoende
226 geslaagd (227 – 1 header row) 430 deelnemers Slaagpercentage = 226/430 *100 = 52,6%
Excel bewerkingen – cijfers toekennen
Cijfers met copy-paste in SPSS datafile zetten
OF: Histogram maken met Excel: http://www.ncsu.edu/labwrite/res/gt/gt-bar-home.html#ith
Histogram maken: SPSS Graphs - Chart builder
Kolomnaam kiezen (“Cijfer”) Onder Menu item “Graphs” klikken Kiezen voor Chart Builder. Kies voor Staafdiagram (Bar) Trek variabele Cijfer naar horizontale as.
SPSS: Histogram cijfers
Layout volledig aan te passen door dubbelklikken op delen.
Itemanalyse: p-waarde, (RIT &) RIR Excel file
p-waarde: proportie studenten die de vraag correct heeft beantwoord. = sum(a2:a431)/4300 (als alle studenten vraag goed: 430 x 10) = moeilijkheid van de vraag
Itemanalyse: (RIT &) RIR Hoe goed discrimineert een vraag tussen goede en slechte studenten?
RIT = correlatie tussen itemscore en de totaalscore, over de studenten RIR = correlatie tussen itemscore en de totaalscore-min-dat-item, over de studenten (item-rest correlatie) Positieve/hoge RIR: Relatief goede studenten maken de vraag goed (goed item) RIR dicht bij 0: Item onderscheidt goede en slechte studenten niet (slecht item) Negatieve RIR: Relatief slechte studenten maken de vraag goed (slecht item)
Itemanalyse: (RIT &) RIR
RIR : 1- score op item per student 2- totaalscore per student 3- totaalscore – itemscore per student 4- correlatie (1) item en (3) totaal-item Formule: =correl(array1;array2) Correl(Item12:Item1431;Totaalscore-item2:Totaalscore-item431) Let op: dit werkt alleen als items (vragen) in vaste volgorde worden aangeboden.
Itemanalyse p-waarde, RIR
Cronbach’s alpha: Betrouwbaarheid/ Interne consistentie
Met macro (geschreven door Dato de Gruijter): p-waarde, rir, alpha Check op: - Lage/hoge p-waarde - Lage (negatieve) rir - Combinatie! - Eventueel naar “Test-statistics” van BB om pwaarden van foute alternatieven te bekijken.
EINDE presentatie
