Van de Schoot, et al. (2013) A black bear story. European Journal of Developmental Psychology
Weet u het nog? “Stel, Julia behaalt een (T)IQ-score van 97 met betrouwbaarheidsinterval 90-104. Hoe zou u dit betrouwbaarheidsinterval interpreteren?” A. De ware IQ-score ligt tussen 90 en 104 met 95% kans; B. De ware IQ-score ligt tussen 90 en 104 met een “grote” kans; C. De volgende keer ligt het IQ tussen 90 en 104 met 95% kans. D. ….......
Survey • 293 NIP psychologen • Eind 2014 • Antwoorden kwalitatief in kaart gebracht (QDA Miner Lite)
Survey Rapportage
Interpretatie
nee
nee
ja
nee
ja
Ja; Geschreven
ja
Ja; Mondeling
ja
Ja; Geschreven + Mondeling
Frequentie (%)
12 (4.1%) 183 (62.5%) 42 (14.9%) 30 (10.3%) 6 (2.1%)
Wat doet u normaliter met een betrouwbaarheidsinterval in uw rapportage?
Hoe zou u Julia’s betrouwbaarheidsinterval interpreteren?
Survey Rapportage
Grofweg twee
Interpretatie
categorieën:
1. Zekerheid, kansGeschreven & betrouwbaarheid Mondeling 2. Herhaling & momentopname Geschreven + Mondeling
Frequentie (%)
167 27
12 (4.1%) 183 (62.5%) (57.0%) 42 (14.9%) 30 (10.3%) ( 9.3%) 6 (2.1%)
Voorbeelden Categorie 1
Survey
120 (41,0%) Rapportage "
Interpretatie
Frequentie (%)
."
13 " Geschreven Mondeling Geschreven + Mondeling
11 (3,8%) ” ."
12 (4.1%) (4,4%) 183 (62.5%) 42 (14.9%) ." 30 (10.3%) 6 (2.1%)
Voorbeelden Categorie 2
16 (5,5%) Rapportage "
Survey Interpretatie
Frequentie (%)
". Geschreven 7 (2,4%) Mondeling ” Geschreven + Mondeling
".
12 (4.1%) 183 (62.5%) 42 (14.9%) 30 (10.3%) 6 (2.1%)
" ."
Survey Rapportage "
Interpretatie
Frequentie (%)
". ” Geschreven Mondeling Geschreven + Mondeling
Nét niet…. "
." ” ."
".
12 (4.1%) 183 (62.5%) 42 (14.9%) 30 (10.3%) 6 (2.1%)
Onderscheid Niets mis mee, maar ingewikkelde interpretatie
Klassieke Test Theorie & Implementatie WISC-IIINL “Rariteiten” bemoeilijken interpretatie
Klassieke Test Theorie 𝑥" = 𝜏" + 𝜀"
Klassieke Test Theorie 𝑥" = 𝜏" + 𝜀"
Afbeeldingen verkregen via: • http://cjgvoorne.nl/help-je-kind-van-faalangst-af/ • https://pixabay.com/en/glass-ball-fortune-telling-684902/ • http://blogs.telegraph.co.uk/news/douglascarswellmp/100225591/mps-pay-rise-not-even-homersimpson-could-be-so-doh-time-to-scrap-ipsa/
Betrouw baar heids interval
100
IQ test
75 50 25
IQ-test 1 IQ=97
0 90
100 110 120 IQs + intervallen
105
IQ-test 2 IQ=110
100 Hypothetische IQ-testen
Betrouw baar heids interval
100
IQ test
75 50 25 0 90
100 110 IQs + intervallen
105
120
Correcte interpretatie KTT “… Bij herhaling van de procedure, met steeds nieuwe IQ-testen bij hetzelfde kind , mogen [we] verwachten dat 95% van de zo berekende intervallen de “ware” IQ-score van het kind
zullen bevatten”.
https://nl.wikipedia.org/wiki/Betrouwbaarheidsinterval
We kunnen dus NIETS zeggen over het huidige betrouwbaarheidsinterval voor het huidige kind Hier is KTT niet voor bedoeld!
In de praktijk " .” ” .” [WISC-IIINL handleiding, p. 51]
[IQ-test] “Als we op grond van een een 95%betrouwbaarheidsinterval voor een [kind zijn/haar “ware” IQ-score] berekend hebben, kunnen we niet zeggen dat er 95% kans is dat [de “ware” IQ-score] in dat interval ligt. Immers: [de “ware” IQ-score] ligt er in of [de “ware” IQ-score] ligt er niet in, een van beide”.
https://nl.wikipedia.org/wiki/Betrouwbaarheidsinterval
In de praktijk "
"
.”
".
In de praktijk "
"
.”
".
Correcte interpretatie NL WISC-III Theoretisch gezien zal over vele IQ-testen in ongeveer 95% van de betrouwbaarheidsintervallen de “ware” IQ-score van het kind vallen, MITS je alle “rariteiten” van de WISC-IIINL in je achterhoofd meeweegt! MITS je alle “rariteiten” van de WISC-IIINL in je achterhoofd meeweegt!
NL WISC-III 1. 2. 3. 4. 5. o.a. tabel D.2 – D.7
ruwe score norm score totaal score IQ-score betrouwbaarheidsinterval
Afbeeldingen verkregen via: http://www.spellenrijk.nl/accessoires-pionnen/10-losse-spelpionnen/i/4875/ http://www.keezenspel.com/contents/nl/d15_Spelonderdelen.html
Van ruwe subtestscores naar normscores
Histogram of A
0.00 0.04 0.08 0.12
Let op! 3 (SD) en 10 (gemiddelde) zijn door de WISC bedachte waarden density.default(x = A)
15
Density
20
0
10 15 20 Gem
Density
Density
10 15 20 0
10
15
25
N = 10000000 Bandwidth = 0.1068
0
5
20
Alle 1239 kinderen voltooien Onvolledige Tekeningen (OT)
2
Kinderen in leeftijdsgroepen
3 Histogram over OTscores kinderen
0
5
density.default(x = A) 10 5
10
15
⋮
25
density.default(x = A) 0
5
10
1015
20
20
25
N = 10000000 Bandwidth = 0.1068
3
SD
10 15 Gem
20
3
25
N = 10000000 Bandwidth = 0.1068
0
5
10 15
10
20
25
N = 10000000 Bandwidth = 0.1068
A
1
25
N = 10000000 Bandwidth = 0.1068
density.default(x = A)
5
Frequency
A Histogram of A
5
Density
0.08
0.12
⋮
15
SD
0.00 0.04 0.08 0.12
10
20
Bandwidth = 0.1068
0.04
Density
5
density.default(x = A)15 Gem 10
0.00
20 10 5 0
⋮
5
N = 10000000
A
Frequency
0
20
0.00 0.04 0.08 0.12
10
0.00 0.04 0.08 0.12
Density
0.00 0.04 0.08 0.12
20 5 10
5
3
SD
Histogram of A
0
Frequency
density.default(x = A)
4
Samengevat met Gemiddelde & sd
5
Z-score transformatie
Van ruwe subtestscores naar normscores
0.00 0.04 0.08 0.12
Density
density.default(x = A)
SD = 2.98
3.42 0
6.405 9.38 1012.36 15 15.34 20 18.32 21.30 25 density.default(x = A)
0.00 0.04 0.08 0.12
Density
N = 10000000
Bandwidth = 0.1068
SD = 3
102 3 4 55 6 7 810 9 10 11 15 12 13 14 15 16 17 1825 19 20 N = 10000000
Bandwidth = 0.1068
Van ruwe subtestscores naar normscores
0.00 0.04 0.08 0.12
Density
density.default(x = A)
SD = 3.99
3.53 0
7.52 5 11.5110 15.50 1519.49 20 23.48 density.default(x = A)
0.00 0.04 0.08 0.12
Density
N = 10000000
27.47 25
Bandwidth = 0.1068
SD = 3
102 3 4 55 6 7 810 9 10 11 15 12 13 14 15 16 17 1825 19 20 N = 10000000
Bandwidth = 0.1068
Truncatie Voorbeeld truncatie zie Bijlage D, tabel D.1, leeftijdsgroep 6.0.0 – 6.3.30, onderste regel bij normscore 19
Van ruwe subtestscores naar normscores
NL WISC-III 1. 2. 3. 4. 5. o.a. tabel D.2 – D.7
ruwe score norm score totaal score IQ-score betrouwbaarheidsinterval
Van totaalscore naar IQ-score
+
+
+
+
+
+
+ +
NL WISC-III 1. 2. 3. 4. 5. o.a. tabel D.2 – D.7
ruwe score norm score totaal score IQ-score betrouwbaarheidsinterval
Van totaalscore naar IQ-score
+
+
+
+
+
+
+ +
Geen leeftijdsverschillen
Van totaalscore naar IQ-score
Van totaalscore naar IQ-score
Van totaalscore naar IQ-score
Van totaalscore naar IQ-score
IQ = 1.2438922 * totaalscore - 0.0018126 * totaalscore2 Zie p. 42 van de WISC-IIINL handleiding: “ [...] een kwadratisch model in 𝜒 was voldoende om een bevredigende omzetting te krijgen.”
Van totaalscore naar IQ-score
20
20
10
≈20
Van totaalscore naar IQ-score
N = 7219 http://intellireport.nl/
NL WISC-III 1. 2. 3. 4. 5. o.a. tabel D.2 – D.7
ruwe score norm score totaal score IQ-score betrouwbaarheidsinterval
Van IQ-score naar betrouwbaarheidsinterval
0.00 0.04 0.08 0.12
Density
density.default(x = A)
SD = 15
Bepaalt met betrouwbaarheidscoëfficiënt 45
550
70 5
85 10 100 15 115
N = 10000000
130 20
145 25
Bandwidth = 0.1068
SD bestaat uit twee bronnen 94%
6%
Kinderen verschillen in “ware” IQ
Meetfouten
= betrouwbare deel
= onbetrouwbare deel
Omdat één kind één “ware” IQscore heeft, geeft de 7% meetfout een schatting hoeveel één kind in verkregen IQ-score kan variëren
Van IQ-score naar betrouwbaarheidsinterval
√(0.064516) ∗ 15 = 3.81 Linkergrens betrouwbaarheidsinterval = IQ-score – 3.81 * 1.96 Rechtergrens betrouwbaarheidsinterval = IQ-score + 3.81 * 1.96
Dit wordt de standaardmeetfout genoemd; Zie Evers, A, Lucassen, W, Meijer, R & Sijtsma, K (2010) COTAN beoordelingssysteem voor de kwaliteit van tests” p. 27
Z-score 95% gebied
Van IQ-score naar betrouwbaarheidsinterval
√( 1 − 0.935484) ∗ 15 = 3.81 Uitproberen (3.81 * 1.96) 100 + (3.81 * 1.96) Zelf WISC
92.53
107.47
93
107
Van IQ-score naar betrouwbaarheidsinterval
√( 1 − 0.935484) ∗ 15 = 3.81 Uitproberen (3.81 * 1.96) 70 + (3.81 * 1.96) Zelf WISC
62.53
77.47
65
79
Wat is hier aan de hand?!
Van IQ-score naar betrouwbaarheidsinterval
Correctie
Kelley’s formule (1947)
Ware IQ overschat
45
70
Ware IQ onderschat
100
(Ware) IQ
130
145
Van IQ-score naar betrouwbaarheidsinterval
Geschatte IQ 130
“ware” IQ
145
184
IQ
Recap Correcte interpretatie Theoretisch gezien zal over vele IQ-testen in ongeveer 95% van de betrouwbaarheidsintervallen de “ware” IQ-score van het kind vallen, MITS je alle “rariteiten” van de WISC-III NL meeweegt!
o.a. • Truncatie op het niveau van normscores & IQ-scores • Afhankelijkheid van (bekritiseerde) normpopulatie in de berekening van standaardmeetfout/standaardschattingsfout • Correctie met Kelley’s
formule
• Sneller onderscheid
kinderen hoge IQ’s op basis van totaalscores
Kan het ook anders? Subtest variantie
Subtest variantie David 76
90
76
90
Sarah
Subtest variantie David 76
90
76
90
Sarah
Eerdere IQ-test afnamen
(2 jaar later)
(nogmaals 2 jaar later)
Subtest variantie David
Sarah
Subtest variantie David
Sarah
Gratis! Deze interpretatie kan wél in ons alternatief! " .”
