The black-box ontmanteld: outcome als input voor continue kwaliteitsverbetering binnen de geestelijke gezondheidszorg O. Peene (PhD) P. Cokelaere (MSc, MBA) V. Meesseman (MSc)
Onze kernopdracht De gezondheid, het welzijn en de levenskwaliteit van mensen met acute psychische moeilijkheden optimaliseren door het aanbieden van kwalitatieve, hooggespecialiseerde en multidisciplinaire behandeling, en dit op maat van én samen met de patiënt en zijn omgeving Hoe weten we of we in onze kernopdracht slagen?
Uitkomstindicatoren 13/12/2013
Brussel | The black-box ontmanteld
2
Uitkomstindicatoren
Klinische uitkomsten
Therapeutisch traject 13/12/2013
UITKOMSTENKWADRANT (WALBURG; 2003)
SCL-90
MANSA
Patiëntentevredenheidsonderzoek
Brussel | The black-box ontmanteld
Functionele uitkomsten
Therapeutisch klimaat 3
Integratie binnen strategisch plan - BSC
13/12/2013
Brussel | The black-box ontmanteld
4
Klinische en functionele uitkomstindicatoren
1 week
Ontslag
Manchester Short Assessment of Quality of Life (MANSA)
POSTTEST
Opname
PRETEST
Symptom Checklist (SCL-90)
2 maanden Indicatie effectiviteit residentieel behandelaanbod
13/12/2013
Brussel | The black-box ontmanteld
5
Klinische uitkomsten 3 parameters verschil pre- en posttest • Statistische significantie ~ paired-samples t-test • Effectgrootte ~ Cohen’s d • Klinische significantie ~ daling / stijging tov normgroep
13/12/2013
Brussel | The black-box ontmanteld
6
Klinische uitkomsten Per zorgafdeling (vb De Kiel)
PRE
norm
POST
norm
p<
d
ES
Angst
28
Gemiddeld
22
Gemiddeld
,001
0,63
Middelgroot
Agorafobie
17
Boven gemiddeld
15
Gemiddeld
Trend
0,30
Klein
Depressie
51
Boven gemiddeld
43
Gemiddeld
,01
0,50
Middelgroot
Somatische klachten
27
Gemiddeld
23
Gemiddeld
,01
0,51
Middelgroot
Insufficiëntie
25
Boven gemiddeld
23
Gemiddeld
,05
0,30
Klein
Wantrouwen
46
Boven gemiddeld
42
Gemiddeld
,01
0,31
Klein
Hostiliteit
12
Gemiddeld
11
Gemiddeld
-
0,15
-
Slaapproblemen
8
Gemiddeld
7
Gemiddeld
Trend
0,33
Klein
13/12/2013
Brussel | The black-box ontmanteld
7
Overzicht klinische uitkomsten KIEL
ANKER
BOEG
Klin
Stat
ES
Klin
Stat
ES
Klin
Stat
Angst
6
***
*
4
*
*
4*
**
Agorafobie
2*
Depressie
8*
**
*
6
*
6*
Somatische klachten
4
**
*
3
*
Insufficiëntie
2*
*
1
Wantrouwen
4*
**
5
Hostiliteit
1
1*
Slaapproblemen
1
1
• • •
VLONDER Klin
Stat
3
*
2*
*
**
9*
***
3*
*
1
3
**
2*
*
*
8*
***
5*
*
*
-
1
*
1*
2*
*
-
ES
2
*
ES
*
*
Klin: daling score + daling klasse normgroep * Stat: statistische significantie; p < .05*; p < ,01**; p < ,001*** ES: d > .50 (middelgroot effect)*
13/12/2013
Brussel | The black-box ontmanteld
8
OPGELET ! 1. In de eerste plaats een instrument op patiëntniveau 2. GEEN evaluatie van een zorgafdeling! WEL: hoe kunnen afdelingen leren van elkaar ifv continue verbetering VERBETERCULTUUR 3. Enkel INDICATIE over effectiviteit totaal behandelaanbod op een zorgafdeling gedurende twee maanden 1. Zegt niets over afzonderlijke interventies (bv medicatie, psychotherapie, etc.) 2. Impact oncontroleerbare factoren (bv. plotse relatiecrisis, gebeurtenissen weekend, …) 3. Elke patiënt is uniek – evolutie psychopathologie - fluctuaties
4. BE CAREFUL WITH NUMBERS!
13/12/2013
Brussel | The black-box ontmanteld
9
BE CAREFUL WITH NUMBERS! PRE
norm
POST
norm
p<
d
ES
Angst
24
Gemiddeld
20
Beneden gemiddeld
,01
0,40
Klein
Agorafobie
15
Gemiddeld
13
Gemiddeld
Trend
0,27
Klein
Depressie
42
Gemiddeld
36
Beneden gemiddeld
,01
0,40
Klein
Somatische klachten
23
Gemiddeld
20
Beneden gemiddeld
,05
0,44
Klein
Insufficiëntie
23
Gemiddeld
20
Gemiddeld
,01
0,37
Klein
Wantrouwen
45
Boven gemiddeld
37
Gemiddeld
,001
0,50
Middelgroot
Hostiliteit
9
Beneden gemiddeld
9
Beneden gemiddeld
-
0,07
-
Slaapproblemen
7
Gemiddeld
6
Beneden gemiddeld
-
0,19
-
13/12/2013
Brussel | The black-box ontmanteld
10
Functionele uitkomsten Levenskwaliteit Per zorgafdeling (Vb De Vlonder) 7 6 5
4 3
PRE
2
POST
1
13/12/2013
Brussel | The black-box ontmanteld
11
Overzicht functionele uitkomsten KIEL Stat
BOEG
ANKER
ES
Stat
ES
Stat
VLONDER
ES
Leven
Stat
ES
*
**
*
*
*
**
Werk/dagbesteding Financiën Vriendschappen Vrije tijd Wonen *
Persoonlijke veiligheid
**
Huisgenoten
*
*
*
*
Relatie Familie Lich. gezondheid Psych. gezondheid • •
*
*
*
*
Stat: statistische significantie; p < .05* ES: d > .20 (klein effect)*; d > .50 (middelgroot effect)**
13/12/2013
Brussel | The black-box ontmanteld
12
Toekomst • 3 maanden na ontslag afname van SCL-90 en MANSA Zijn de effecten duurzaam? • Hoe? • In kader van nazorg
13/12/2013
Brussel | The black-box ontmanteld
13
Uitkomstindicatoren Klinische uitkomsten
Therapeutisch traject
13/12/2013
SCL-90
MANSA
Patiëntentevredenheidsonderzoek
Brussel | The black-box ontmanteld
Functionele uitkomsten
Therapeutisch klimaat
14
Indicatoren therapeutisch klimaat en traject • •
Integratie binnen tevredenheidsonderzoek Ontwikkeling tevredenheidsonderzoek – Bestaande vragenlijsten – Wat vinden patiënten belangrijk? focusgroepen • • • • •
Wat is voor jullie belangrijk om je goed te voelen op de afdeling? Wat is voor jullie een goede opname? Wat is voor jullie een goede behandeling? Mocht je baas zijn van het ziekenhuis wat zou je veranderen? Mocht je baas zijn van het ziekenhuis wat zou je zeker behouden?
– Vertaling doelstellingen klantenperspectief strategisch plan in items – Eerste versie + aftoetsen bij patiënten en medewerkers – Finale versie
•
Afname – Driemaandelijks – In groep (anoniem) + nabespreking
13/12/2013
Brussel | The black-box ontmanteld
15
Therapeutisch klimaat en traject
13/12/2013
Brussel | The black-box ontmanteld
16
Transparantie
13/12/2013
Brussel | The black-box ontmanteld
17
Transparant (& kwetsbaar voor verkeerde conclusies) • Teller: Aantal patiënten die na 2 maanden een daling in score hebben op de SCL-90 • Noemer: Aantal patiënten die zowel de pre- als posttest hebben ingevuld Daling van de psychische klachten
22%
Psychisch klachten blijven stabiel 3%
Toename van de psychische klachten 75%
13/12/2013
Betekent dit slechte kwaliteit ???
• • • •
Post-test na 2 maanden – langdurige behandeling Terugval als onderdeel van de behandeling Oncontroleerbare factoren … Brussel | The black-box ontmanteld
18
Slotbeschouwing a) Uitkomstindicatoren: een intern instrument ifv continue kwaliteitsoptimalisatie, zowel op patiënt-, afdeling-, als organisatieniveau b) BE CAREFUL WITH NUMBERS! – GGZ is complex! Tal van (oncontroleerbare) factoren die de uitkomst mee bepalen. – Interpretatie van klinische gegevens (SCL-90) vereist specifieke expertise Deze cijfers laten niet toe lineaire uitspraken te doen over de kwaliteit
C) Geen basis voor een ranking – Simplificatie van de GGZ complexiteit gevaar voor gestuurde resultaten 13/12/2013
Brussel | The black-box ontmanteld
19
