Responsiviteit van meetinstrumenten Prof. dr. ir. Riekie de Vet
EMGO Instituut, Amsterdam
Meet-eigenschappen
Klinimetrische eigenschappen •
Reproduceerbaarheid
•
Validiteit
•
Responsiviteit
•
Interpretatie
Definitie Responsiviteit: is een instrument in staat om veranderingen in de gezondheidstatus aan te tonen? Longitudinale validiteit
Vele alternatieven (1) 25 definities voor responsiviteit Kunnen aantonen van: •
Verandering in het algemeen
•
Klinisch relevante verandering
•
Werkelijke verandering
Vele alternatieven (2) 31 maten voor responsiviteit
Vele alternatieven (2) Maten voor responsiviteit •
Correlatie coefficiënten
•
Effect sizes
•
Gebruik van extern criterium: analyse veranderde versus niet veranderde personen
Longitudinale validiteit
•
Meetinstrumenten in één onderzoek die hetzelfde concept meten met elkaar vergelijken (vergelijk construct validiteit)
•
Het gaat bij responsiviteit om de verandering in de meetinstrumenten
•
Gebeurt met correlatie coefficiënten
Manuele therapie bij nekpijn Onderzoek Jan Hoving •
RCT bij 183 patiënten met nekpijn
•
Huisarts, fysiotherapie of manuele therapie
•
Meetmomenten op 0 en 7 weken
•
Uitkomstmaten o.a.
-
Neck disability index (0-50): 10 items op een 5 puntsschaal
-
Pijn: VAS schaal van 10 cm
-
Ervaren herstel; 7 puntsschaal
Hoving et al. Ann Intern Med 2002; 136:713-22
Longitudinale validiteit
•
Bijvoorbeeld verandering in score op de NDI en pijnschaal worden gerelateerd aan ervaren herstel (7 punt-schaal).
•
Spearman correlatie coëfficient NDI = 0,59
•
Spearman correlatie coëfficient Pijn = 0,64
Longitudinale validiteit Ervaren herstel
NDI gem (SD)
aantal
Geheel hersteld
10,1 (5,6)
19
Veel beter
8,5 (6,4)
75
Beetje beter
3,4 (3,9)
48
Geen verandering
0,3 (3,8)
29
Beetje slechter
-0,6 (7,5)
10
Veel slechter
-7,5 (7,8)
2
Slechter dan ooit
-
-
0
Longitudinale validiteit Ervaren herstel
Pijn gem (SD)
aantal
Geheel hersteld
5,2 (2,1)
19
Veel beter
3,8 (1,9)
75
Beetje beter
1,6 (2,1)
48
Geen verandering
0,4 (1,5)
29
Beetje slechter
0,4 (1,7)
10
-1,0 (1,4)
2
Veel slechter Slechter dan ooit
-
-
0
Effect sizes Effectsize = verandering / SD •
Cohen’s effectsize = verandering / SDbaseline
•
SRM = verandering / SDverandering
Effect sizes Voorbeeld behandeling manuele therapie •
pijn intensiteit
0,2 = klein effect 0,5 = matig effect 0,8 = groot effect
Cohen’s ES = verandering/SDbaseline = 3,2/1,7 = 1,9 SRM = verandering/Sdverandering = 3,2/2,1 = 1,5
•
NDI Cohen’s ES = verandering/SDbaseline = 6,3/6,9 = 0,9 SRM = verandering/SDverandering = 6,3/6,7 = 0,9
Problemen met effect-sizes
•
Maat voor de grootte van het behandelingseffect
•
Geen bewijs dat er echt verandering heeft plaats gevonden !!!
Effect sizes Voorbeeld manuele therapie trial •
Range of motion Cohen’s ES = verandering/SDbaseline = 13,5/21,7 = 0,41
SRM = verandering/SDverandering = 13,5/19,0 = 0,24
0,2 = klein effect 0,5 = matig effect 0,8 = groot effect
Behoefte aan een extern criterium
•
Dat aangeeft bij wie verandering is opgetreden
•
Wat is een goed extern criterium? Vraag de patient Vraag de clinicus Andere maat mee laten lopen
Extern criterium
•
Extern criterium (anchor) voor aan/afwezigheid van een klinisch relevante verandering
verslechtering
klinisch relevante achteruitgang
stabiel
geen verandering
verbetering
klinisch relevante vooruitgang
Extern criterium verslechtering
klinisch relevante achteruitgang
MIC
stabiel
MIC
geen klinisch relevante verandering
verbetering
klinisch relevante vooruitgang
1. Komt de verandering boven de ruis uit. 2. Welk instrument kan het beste de minimaal relevant veranderde en de niet veranderde groep van elkaar onderscheiden
Komt de verandering boven de ruis uit? verslechtering
klinisch relevante achteruitgang
stabiel
geen klinisch relevante verandering
verbetering
klinisch relevante vooruitgang
•
Ruis: meetfout gebaseerd SDchange in de stabiele groep
•
Buiten de ruis: > 1.96 * SDchange
Komt de verandering boven de ruis uit?
•
Guyatt’s Responsiveness Statistic = verandering/ SDchange stable group > 1.96
•
In de teller verandering van verbeterde groep
•
In de noemer SD van de stabiele groep
•
Boven de ruis: > 1.96 * SDchange
Extern criterium Ervaren herstel
Pijn gem (SD)
aantal
Geheel hersteld
5,2 (2,1)
19
Veel beter
3,8 (1,9)
75
Beetje beter
1,6 (2,1)
48
Geen verandering
0,4 (1,5)
29
Beetje slechter
0,4 (1,7)
10
-1,0 (1,4)
2
Veel slechter Slechter dan ooit
-
-
0
Definitie stabiele groep Ervaren herstel Geheel hersteld Veel beter
belangrijk verbeterd
Beetje beter Geen verandering Beetje slechter Veel slechter Slechter dan ooit
geen belangrijke verandering
Voorbeeld: Guyatt responsiveness statistic Ervaren herstel
Pijn gem (SD)
NDI gem (SD)
schaal 0-10
schaal 0-50
Geheel hersteld Veel beter
4,1 (2,0)
8,8 (6,2)
1,1 (2,0)
1,9 (4,7)
Beetje beter Geen verandering Beetje slechter
Voorbeeld: Guyatt responsiveness statistic Ervaren herstel
Pijn gem (SD)
NDI gem (SD)
schaal 0-10
schaal 0-50
Geheel hersteld Veel beter
4,1 (2,0)
8,8 (6,2)
1,1 (2,0)
1,9 (4,7)
Beetje beter Geen verandering Beetje slechter
NDI en pijn: Komt verandering boven de ruis uit?
•
Guyatt’s RR (pijn) = 4,1/ 2,0 = 2,1 > 1.96
•
Guyatt’s RR (NDI) = 8,8/ 4,7 = 1,87 < 1.96
•
Buiten de ruis: > 1.96 * SDchange stable group
Klinisch relevante verandering aantonen?
•
Guyatt’s RR = verandering/ SDchange stable group > 1.96
•
In de teller moet dan i.p.v. verandering minimaal klinisch relevante verandering staan.
Extern criterium Ervaren herstel
Pijn gem (SD)
Geheel hersteld
5,2 (2,1)
Veel beter
3,8 (1,9)
Beetje beter
1,6 (2,1)
Geen verandering
0,4 (1,5)
Beetje slechter
0,4 (1,7)
Veel slechter Slechter dan ooit
-1,0 (1,4) -
-
}
1,1 (2,0)
Welke verandering komt boven de ruis uit? Pijn •
Guyatt’s RR = beetje verbeterd/ SDchange stable group = 1,6 / 2,0 = 0,8 < 1,96
•
Guyatt’s RR = veel verbeterd / SDchange stable group = 3,8 / 2,0 = 1,9 < 1,96
•
Welk verschil komt wel boven de ruis uit? 1,96 * SDchange stable group = 1,96 * 2,0 = 3,92
Extern criterium Ervaren herstel
NDI gem (SD)
Geheel hersteld
10,1 (5,6)
Veel beter
8,5 (6,4)
Beetje beter
3,4 (3,9)
Geen verandering
0,3 (3,8)
Beetje slechter
-0,6 (7,5)
Veel slechter
-7,5 (7,8)
Slechter dan ooit
-
-
}
1,9 (4,7)
Welke verandering komt boven de ruis uit? NDI •
Guyatt’s RR = beetje verbeterd/ SDchange stable group = 3,4 / 4,7 = 0,7 < 1,96
•
Guyatt’s RR = veel verbeterd / SDchange stable group = 8,5 / 4,7 = 1,8 < 1,96
•
Welk verschil komt wel boven de ruis uit? 1,96 * SDchange stable group = 1,96 * 4,7 = 9,21
Groepsniveau en individueel niveau
•
4 punten op pijn schaal en 10 punten op NDI komt boven de ruis uit.
•
Op individueel niveau niet responsief
•
Vaak zijn maten wel responsief op groepsniveau maar niet op individueel niveau
Groepsniveau en individueel niveau
•
Guyatt’s RR = verandering / SDchange stable group
•
Guyatt’s RR = verandering / (SDchange stable group/√ n)
•
Vaak zijn maten wel responsief op groepsniveau maar niet op individueel niveau
Extern criterium verslechtering
klinisch relevante achteruitgang
MIC
stabiel
MIC
geen verandering
verbetering
klinisch relevante vooruitgang
•
Komt de verandering boven de ruis uit.
•
Welk instrument kan het beste de minimaal relevant veranderde en de niet veranderde groep van elkaar onderscheiden
Diagnostisch probleem
Diagnostisch probleem •
Discriminatie veranderde en stabiele groep
•
Extern criterium is de gouden standaard
•
Meetinstrument is de index test – diagnostische test
•
Sensitiviteit, specificiteit en ROC curves
ROC curve ROC Curve 1,0
Pijn
Sensitivity
0,8
NDI
0,6
0,4
AUC pijn = 0,87
0,2
AUC NDI = 0,84
0,0
AUC ROM = 0,53 0,0
0,2
0,4
0,6
1 - Specificity
0,8
1,0
Vergelijking RDQ en Oswestry
Samenvatting (1) •
Responsiviteit is een belangrijk kenmerk voor een meetinstrument
•
Heel veel verschillende maten - Longitudinale validiteit - Effect sizes : niet aan te bevelen!!!!
Gebruik van een extern criterium - Komt de verandering boven de ruis uit? - Komt het minimaal klinisch relevant verschil boven de ruis uit? - Via diagnostiek (ROC curves)
Samenvatting (2) •
Op individueel niveau zijn grote veranderingen nodig om boven de ruis uit te komen
•
Minimaal klinisch relevante verschillen zijn op groepsniveau makkelijker aan te tonen dan op individueel niveau
•
Dit heeft consequenties voor de toepassing van meetinstrumenten in onderzoek en in de klinische praktijk
