ANONIMITEIT GARANDEREN IN VRAGENLIJSTONDERZOEK: EEN GEPASSEERD STATION?

MGV | JAARGANG 69 | NUMMER 03 | MEI 2014

ANONIMITEIT GARANDEREN IN VRAGENLIJSTONDERZOEK: EEN GEPASSEERD STATION? Door: Stasja Draisma, Lise Kemmeren & Jan Theunissen

Lang is gedacht dat patiënten alleen anoniem kon worden gevraagd of ze tevreden waren over hun behandeling. Maar is dat wel zo? Zijn mensen niet juist blij als ze hun mening mogen geven?

Wanneer ervaringen van cliënten (= ‘cliëntenfeedback’) gemeten worden, krijgen respondenten over het algemeen de garantie dat de door hen verstrekte informatie vertrouwelijk en anoniem wordt behandeld. Bij het meten van behandeleffecten (denk aan Routine Outcome Measurement) is dat meestal juist niet het geval. Deze twee soorten metingen worden veelal gescheiden gehouden en op verschillende momenten georganiseerd. Cliënten zouden niet het gevoel mogen krijgen dat hun cliëntenfeedback bij de individuele behandelaar terecht kan komen: zij zouden zich dan minder vrij voelen om eerlijk hun mening over de kwaliteit van de behandelaar en behandeling te geven. Onder vertrouwelijk verstaan we hier: ‘antwoorden zijn niet ter inzage aan derden, alleen voor gebruik in het voorliggende onderzoek’ en onder anoniem: ‘namen of andere identificatiefactoren, zoals mailadressen, worden alleen gebruikt bij aanschrijving, niet bij verslaglegging.’ Wij gebruiken bij voorkeur de term ‘anonimiteit’, waarmee we bedoelen dat door respondenten verstrekte informatie niet op naam wordt doorgegeven aan derden, zoals behandelaars. De tegenpool van anonimiteit bij dit type onderzoek is dat de antwoorden worden doorgegeven aan de behandelaar, zodat die kan leren van de ervaringen van de patiënt. Dit staat dan in de uitnodiging.

32

ONDERZOEK | ANONIMITEIT GARANDEREN IN VRAGENLIJSTONDERZOEK: EEN GEPASSEERD STATION?

In de kwaliteitsnorm ISO 20252 voor marktonderzoek in Nederland staan in een aantal regels vertrouwelijkheid en anonimiteit bij survey-onderzoek omschreven. Gegevens van respondenten mogen niet ongeoorloofd toegankelijk zijn voor derden, moeten beveiligd getransporteerd worden en mogen niet zomaar voor andere doeleinden gebruikt worden dan waar respondenten toestemming voor hebben gegeven. Bij GGZinGeest hebben we onderzocht of er verschil zit in de cliëntenfeedback wanneer aan de respondenten al dan niet anonimiteit wordt gegarandeerd.

ANONIMITEIT EN ONDERZOEK NAAR CLIËNTERVARINGEN In zorgorganisaties gaat men ervan uit dat de garantie van anonimiteit en vertrouwelijkheid

1 Dillman DA, Smyth JD, Christian LM. Internet, mail and mixed-mode surveys.

van gegeven antwoorden de beste manier is om bezorgdheid bij respondenten tegen te gaan:

The tailored design method.

anonimiteit zou ervoor zorgen dat respondenten vragen over gevoelige onderwerpen eerder

Hoboken: Wiley; 2009, 28.

beantwoorden. Respondenten zouden bezorgd zijn over hoe door hen verstrekte informatie gebruikt wordt en welke personen er toegang toe hebben.1 In het kader van anonimiteit werd

2 2 Jobe JJ, Pratt WF, et al.

onderzoek verricht naar de afnamemodus: schriftelijk, web-based, telefonisch of face-to-face.2

Effects of interview mode on sensitive

Bij zelfrapportage wordt sociaal onwenselijk gedrag zoals alcohol- of drugsgebruik bijvoorbeeld

questions in fertility surveys. In: Lybert

vaker gemeld dan bij face-to-face of telefonische interviews. Het schaarse onderzoek naar het effect van het garanderen van anonimiteit en vertrouwe-

et al. Survey Measurement and Process Quality. New York: Wiley; 1997, 311-329

lijkheid van gegevens bij gevoelige onderwerpen, zoals zelfrapportage van alcohol- en drugsgebruik, laat weinig verschil zien in respons en antwoordverdelingen tussen garanderen van anonimiteit dan wel vertrouwelijkheid.3 Ook onderzoek naar patiënttevredenheid en anonimi-

3 Moore RS, Ames GM. Survey confidentiality vs. anonymity:

teit4 met gebruik van de CSQ (Consumer Satisfaction Questionnaire) bij alcoholisten laat geen

Young men’s self-reported substance

verschil zien tussen het aanbieden van vragenlijsten als volledig anoniem (geen mogelijkheid

use.

tot identificatie van de respondent) of vertrouwelijk (antwoorden niet terugkoppelen naar de

Journal of Alcohol and Drug Education 2003; 47(2): 32-41.

behandelaar) noch in respons, noch in antwoordverdelingen. Er is in de context van psychiatrie nog geen onderzoek uitgevoerd waarbij als conditie expliciet werd gemeld dat de behandelaar inzage heeft in gegeven antwoorden. Binnenkort zullen ggz-instellingen cliëntenfeedback-vragenlijsten inbedden in de digitale

4 Leonhard C, Gastfriend DR, et al. The Effect of Anonymous Vs. Nonanonymous Rating Conditions on patiënt

ROM-omgeving. De scores van cliënten op de ROM-vragenlijsten zijn voor de behandelaars

Satisfaction and Motivation Ratings in a

direct zichtbaar. Die inbedding van cliëntenfeedback in ROM is efficiënter en levert wellicht

Population of Substance Abuse patiënts.

betere respons op. Het is onduidelijk welk effect het afschaffen van de vertrouwelijkheid heeft.

Alcoholism: Clinical and Experimental Research 1997; 21(4): 627-630.

Is het zo dat cliënten zich minder vrij zullen voelen om hun mening te geven, met een lagere respons als gevolg, eventueel meer item non-respons, of zelfs antwoordvertekening (bijvoor-

5

beeld sociaal wenselijke antwoorden)?

Kolar T, Kolar I.

Of kan het ook andersom zijn, dat juist het feit dat de cliënt verwacht dat zijn mening wordt teruggekoppeld aan de behandelaar, de motivatie verhoogt om de lijst zorgvuldig in te vullen?

What respondents expect from researchers. Evaluation Review 2008; 32(4): 363-391.

De cliënt vindt dan dat feedback aan de behandelaar nuttig is, dat zo zijn eigen mening meer meetelt en meegewogen wordt in de behandeling en dat hij als partner in het behandelproces wordt gezien. In dit ‘shared decision making model’5,6 staat de relatie tussen behandelaar en

6 Goossensen A, Zijlstra P, Koopmanschap M.

patiënt centraal, en die dicteert ook ‘common interest’, de gedeelde belangen om het behan-

Measuring shared decision making in

deldoel te bereiken. De behandelaar neemt dan kennis van de voorkeuren van de cliënt, diens

psychiatry: skills versus patiënt satis-

wensen over informatievoorzieningen en meedenken over behandeldoelen. Als de behandelaar inzage krijgt in individuele antwoorden in cliëntenfeedback, kan dat juist de motivatie tot

33

faction. Patiënt Education and Counseling 2007; 67: 50-56.


samenwerking verhogen en de ‘patient empowerment’ vergroten. Het effect van anonimiteit in deze context is echter tot op heden niet eerder onderzocht. De vraag is dus welke effecten het niet-anoniem of vertrouwelijk aanbieden van een cliëntenfeedback-vragenlijst aan cliënten van ggz-instellingen heeft op respons en gegeven antwoorden.

DE INBEDDING VAN CLIËNTENFEEDBACK IN ROM IS EFFICIËNTER EN LEVERT WELLICHT BETERE RESPONS OP

RESPONS BIJ CLIËNTERVARINGENONDERZOEK De response rates in survey-onderzoek daalden de afgelopen decennia7 en die respons is in psychiatrisch onderzoek ook nog extra laag. In een pilot met de veelgebruikte Consumer Quality Index voor cliëntenfeedback per post werd een netto respons gevonden van gemiddeld 31% bij verschillende ggz-instellingen.8 In 2008 werden nogmaals bij twintig ggz- en verslavingszorgaanbieders steekproeven getrokken en CQI’s verstuurd.9 De gemiddelde bruto respons in dit onderzoek was 40% (range 21-57%). Bij een hoge non-respons rijst altijd de vraag in hoeverre 7

er systematische vertekening in de antwoordverdelingen voorkomt. Zo’n non-responsbias kan

Johnson TP, Wislar JS.

de kwaliteit van resultaten van ervaringsonderzoek in de psychiatrie dusdanig aantasten, dat de

Response rates and nonrespons in

uitkomsten niet eenduidig te generaliseren zijn naar de gehele cliëntenpopulatie. Ook bemoei-

surveys. JAMA 2012; 307(17): 1805-1806. 8

lijkt het de vergelijkbaarheid van gegevens verkregen bij populaties van verschillende instellingen (het zogeheten benchmarken). Het is daarom van belang te streven naar een zo hoog mogelijk responspercentage.

Wijngaarden B van, Kok I, et al. Een Consumer Quality Index voor kortdurende ambulante ggz. De ontwikkeling en psychometrische kwaliteiten van een

HET EXPERIMENT: ANONIEM VERSUS NIET-ANONIEM

vragenlijst voor het meten van cliënt-

Bij de instelling GGZinGeest wordt cliëntenfeedback georganiseerd met schriftelijke vragen-

ervaringen: verslag van een pilotstudie.

lijsten bij verschillende deelpopulaties (klinisch/ambulant, volwassenen/jongeren/ouderen).

Utrecht: Trimbos-instituut; 2007.

Recentelijk is men er overgegaan op het digitaal invullen van vragenlijsten. Om het effect van

9

wel of niet anoniem aanbieden van de vragenlijsten te meten, deden we een experiment met

Wijngaarden B van, Meije D, Kok I.

behulp van deze reguliere dataverzameling. Achthonderd cliënten van de zeven poliklinieken

Het onderscheidend vermogen van een Consumer Quality Index voor kortduren-

van GGZinGeest kregen bij uitschrijving per e-mail een uitnodiging om mee te doen met de

de ambulante geestelijke gezond-

cliëntenfeedback over ambulante zorg door de vragenlijst in te vullen.

heidszorg en verslavingszorg.

De populatie zojuist uitgeschreven volwassen ambulante cliënten van wie een e-mailadres

Utrecht: Trimbos-instituut; 2008.

beschikbaar was (50% van alle uitgeschreven cliënten), werd vanaf december 2012 tot en met

10

maart 2013 benaderd om mee te doen in één van twee condities, anoniem of niet-anoniem,

Krosnick JA, Fabrigar LR.

met een op de CQI gelijkende vragenlijst.

Designing rating scales for effective

De vragenlijst die door GGZinGeest wordt gebruikt bij de niet-verplichte cliëntenfeedback

measurement in surveys. In: Lyberg L,

is goeddeels gebaseerd op de Consumer Quality Index (CQI) met één verschil: de ja-nee ant-

Biemer P, Collins M, et al. Survey measurement and process quality.

woordalternatieven zijn vervangen door 7-puntsschalen. Zulke antwoordschalen zijn gevoeliger,

New York: Wiley; 1997, 141-164.

betrouwbaarder en informatiever.10

34


De digitale uitnodigingsbrief maakte het verschil tussen de twee condities van aanbieden. In de anonieme conditie was de volgende formulering opgenomen: ‘Alle gegevens zullen vertrouwelijk worden verwerkt. Uw hulpverleners weten niet of u wel of niet meegedaan heeft en wat u heeft geantwoord: Uw behandelaar krijgt geen inzage in uw antwoorden.’ In de aanbiedingsmail van de niet-anonieme conditie stond: ‘Uw behandelaar krijgt inzage in de antwoorden die u geeft, zodat uw behandelaar kan leren van uw ervaringen. Op deze manier hopen wij in de toekomst de kwaliteit van onze zorg te kunnen behouden of verbeteren.’ Na ongeveer een week werd een eerste reminder gestuurd aan mensen die nog niet hadden gereageerd en een tweede na ongeveer drie weken. Ook in de reminders werden de desbetreffende formuleringen opgenomen. Benaderde cliënten konden in de uitnodigingsmail een link aanklikken die hen naar de elektronische vragenlijst leidde. In de mail was ook een zogenoemde ‘weigerknop’ opgenomen. Dit om zogenaamde ‘harde weigeraars’ de kans te geven onmiddellijk aan te geven dat zij niet meer benaderd wilden worden voor dit onderzoek. Dan werd vervolgens alleen nog de vraag gesteld waarom men niet aan het onderzoek wilde meedoen. Vervolgens werden effecten op respons en antwoordverdelingen onderzocht.

(FIGUUR 1)

RESPONS IN DE ANONIEME EN NIET-ANONIEME CONDITIE

uitgeschreven cliënten van augustus 2012 t/m 22 februari 2013: n=1536

anoniem verstuurd n=401

respons anoniem n=111 (27,7%)

niet anoniem verstuurd n=399

respons niet-anoniem n=101 (25,3%)

cliënten met e-mailadres n=800 (52%)

RESPONS EN SCORES Anoniem dan wel niet-anoniem benaderen van cliënten voor cliëntenfeedback heeft geen effect op het responspercentage. In figuur 1 is te zien dat de percentages ingevulde vragenlijsten, 28 in de anonieme conditie tegen 25 in de niet-anonieme conditie, elkaar niet ontlopen. Toetsing leverde geen significant verschil op: χ2=0,58, p>0,1. Overigens is een respons van 26% bij GGZ inGeest normaal voor cliëntenfeedback in de afgelopen tien jaar. Ook bij onderzoek met schriftelijke vragenlijsten werden vergelijkbare percentages gevonden. Er is tevens geen verschil tussen het aantal weigeraars per conditie. Er waren in totaal 60 harde weigeringen, 29 in de anonieme en 31 in de niet-anonieme conditie: χ2=0,08, p>0,1.

35


In tabel 1 zijn de resultaten van de gegevensverzameling weergegeven. Er zijn schaalscores berekend door het gemiddelde te nemen van een set vragen die per thema samen een schaal vormen. Hierbij lopen de antwoordschalen veelal van 1 tot en met 7, waarbij een hoger gemiddelde gunstiger is. Ook de gemiddelden en spreiding van de zogenoemde ‘ultimate questions’ (de rapportcijfers voor behandeling en instelling en de vraag of de instelling zou worden aanbevolen door de respondent) zijn in de tabel opgenomen.

(TABEL 1)

RESULTATEN SCHAALSCORES EN 'ULTIMATE QUESTIONS'

SCHAALSCORE BEREIKBAARHEID BEHANDELAAR

SCHAALSCORE INFORMATIE OVER BEHANDELING

SCHAALSCORE INFORMATIE OVER MEDICATIE

SCHAALSCORE INFORMATIE OVER CLIËNTENRECHTEN

SCHAALSCORE KEUZEMOGELIJKHEDEN

SCHAALSCORE BEJEGENING DOOR BEHANDELAAR

SCHAALSCORE AFSTEMMING ZORG VERSCHILLENDE BEHANDELAARS

SCHAALSCORE INFORMATIE UITWISSELING BEHANDELAARS*

SCHAALSCORE VERVULLING HULPWENSEN

SCHAALSCORE AFRONDING BEHANDELING

SCHAALSCORE VERANDERING IN KLACHTEN EN FUNCTIONEREN

RAPPORTCIJFER BEHANDELING

RAPPORTCIJFER INSTELLING

INSTELLING AANBEVELEN

36

AANTAL

GEMIDDELDE

STAND. MINIMUM MAXIMUM DEVIATIE

ANONIEM

110

3,6

1,1

1

7

NIET - ANONIEM

98

3,4

1,2

1

7

ANONIEM

111

4,5

1,2

1

7

NIET - ANONIEM

101

4,6

1,6

1

7

ANONIEM

61

4,6

1,1

2

7

NIET - ANONIEM

64

4,4

1,5

1

7

ANONIEM

110

3,6

1,4

1

7

NIET - ANONIEM

101

3,7

1,2

1

6,3

ANONIEM

111

3,8

1,1

1

7

NIET - ANONIEM

101

4,0

1,2

1

7

ANONIEM

111

5,0

1,1

1

7

NIET - ANONIEM

100

5,3

1,3

2

7

ANONIEM

41

4,2

1,6

1

6

NIET - ANONIEM

34

4,1

1,5

1

5,3

ANONIEM

28

1,4

0,5

1

2

NIET - ANONIEM

22

1,4

0,5

1

2

ANONIEM

107

4,5

1,3

1

7

NIET - ANONIEM

100

4,8

1,5

1

7

ANONIEM

78

4,2

1,3

1

7

NIET - ANONIEM

70

4,6

1,7

1

7

ANONIEM

107

4,4

1,4

1

7

NIET - ANONIEM

100

4,6

1,5

1

7

ANONIEM

107

6,7

1,9

1

10

NIET - ANONIEM

97

6,8

2,2

1

10

ANONIEM

106

6,8

1,9

1

10

NIET - ANONIEM

98

6,6

2,2

1

10

ANONIEM

106

4,5

1,5

1

7

NIET - ANONIEM

100

4,6

1,8

1

7

F

SIGNIFICANTIE

1,0

P=0,3

0,6

P=0,4

0,6

P=0,4

0,1

P=0,8

0,6

P=0,4

1,7

P=0,1

0,1

P=0,8

0,6

P=0,4

2,1

P=0,1

2,0

P=0,2

1,8

P=0,2

0,1

P=0,8

0,2

P=0,6

0,6

P=0,4


Bij toetsing zien we geen significante verschillen in gemiddelde schaalscores tussen de anonieme en niet-anonieme condities, uitgedrukt in flink hoge p-waarden. Ook als we een coulante p-waarde kiezen van 0.05 zien we geen significante verschillen. Ook voor de ‘ultimate questions’ − de rapportcijfers en de aanbevelingsvraag − zien we geen enkel significant verschil in gevonden gemiddelde waarden tussen de condities. De resultaten van de afzonderlijke vragen geven hetzelfde beeld: geen significante verschillen tussen condities. Het gemiddeld aantal ontbrekende antwoorden van respondenten voor 53 ervaringsvragen is 1,5 (SD 2,6). De range loopt van 0 tot 14. Er is wederom geen verschil tussen de condities: voor de anoniem benaderden is het gemiddelde 1,6 (SD 2,9) en voor de niet-anoniem benaderden 1,4 (SD 2,1), F=0,4, p=0,5. Als laatste is bekeken of er verschillen in demografische kenmerken bestonden tussen de condities: Ook hier zijn geen verschillen gevonden. De gemiddelde leeftijd in de anonieme conditie was 42, in de niet-anonieme 40 (F=1,9, p=0,2). In de anonieme conditie was 64% vrouw, versus 57% in de niet-anonieme conditie (χ2=1,0, p=0,2). Een van de eerste vragen uit de CQI betreft de klachten waarvoor men hulp heeft gezocht, een probleemdefinitie door de cliënt, een benadering van diagnose. Er zijn twaalf klachten, lopend van depressie, angst, eetproblemen tot aan rouw uitgevraagd. Bij geen enkele klacht werd een verschil aangetroffen in verdeling over de condities van het experiment.

RESPONDENTEN WILLEN NIET BEHANDELD WORDEN ALS PASSIEVE INSCHIKKERS, MAAR ALS EISENDE INDIVIDUEN DIE PERSOONLIJK, RESPECTVOL EN EFFICIËNT WORDEN BEHANDELD

CONCLUSIES: RUIL EN RESPECT Het toevoegen van cliëntenfeedback-vragenlijsten aan een ROM-pakket, waarbij de antwoorden ter inzage zijn voor behandelaars, zal geen groot probleem vormen wat betreft anonimiteit. We hebben in dit onderzoek geen verschillen gevonden in respons of ervaringen die toe te wijzen zijn aan één van de condities: het garanderen van de anonimiteit van de respondenten of niet bij onderzoek naar cliëntenfeedback. Misschien vinden ggz-cliënten het ook belangrijk dat hun antwoorden juist behandelaars bereiken, zodat er werkelijk wat mee gebeurt. Het feit dat de antwoorden worden gebruikt ter verbetering van de behandelrelatie kan doorgaan voor een feedbackloop in een sociale ruil. De respondent kan intrinsieke winst behalen als zijn antwoorden gebruikt worden door de behandelaar(s). Kolar5 stelt dat deelname aan onderzoek enerzijds kan berusten op sociale motivaties, algemeen belang en praktische verbeteringen. Anderzijds kunnen individuele nutoverwegingen of het verwachte individuele nut van groter belang zijn bij deelname. Wellicht kan het directe individuele gebruik van antwoorden voor shared decision making juist een beroep doen op deze individuele nutmotivatie tot deelname. Kolar concludeert ook dat in de laatste decennia

37


motivaties veranderen van ‘bijdrage aan sociaal-maatschappelijk nut’ naar ‘individuele winst’; respondenten willen niet behandeld worden als passieve inschikkers, maar als eisende individuen die persoonlijk, respectvol en efficiënt worden behandeld. Als men respondenten belooft hun antwoorden te gebruiken om het behandelproces te verbeteren, moet men zich echter wel kunnen houden aan die belofte. Dit impliceert gerichte inspanningen, namelijk dat behandelaars ook actief kennis moeten nemen van de antwoorden van hun cliënten en er consequenties aan verbinden. Bovendien kunnen leidinggevenden de feedback van de cliënt over de behandelaar, werkprocessen of kenmerken van de organisatie gebruiken. Een kanttekening bij dit onderzoek is dat de respons bij cliëntenfeedback in de psychiatrie erg laag is. Wellicht zal deze respons – op den duur – stijgen bij opname in het ROM-pakket meetinstrumenten. Het blijft echter onduidelijk of non-respondenten wezenlijk verschillen van respondenten wat betreft kenmerken, ervaringen en tevredenheid. Beperking aan dit onderzoek is dat het inzicht ontbreekt of behandelaars de ROM- of cliëntenfeedbackresultaten daadwerkelijk bespreken met hun cliënten. Daarnaast vond dit onderzoek uitsluitend plaats bij ambulant behandelde volwassenen. Het verdient aanbeveling ook bij andere doelgroepen, vooral klinisch opgenomen cliënten, te bezien welke invloed anonimiteit heeft bij cliëntenfeedback.

SAMENVATTING In een veldexperiment met vragenlijsten voor cliëntenfeedback werd het effect van het wel of niet garanderen van anonimiteit onderzocht. De ene conditie bevatte de uitnodigingstekst waarin benadrukt werd dat de behandelaar geen inzage had in de antwoorden. In de andere conditie werd juist benadrukt dat de behandelaar inzage kreeg, om aldus de behandeling te kunnen verbeteren. Bij cliëntenfeedback is er op de respons geen verschil te constateren tussen de twee condities. Er is geen effect van wel of niet anoniem benaderen op de verkregen gegevens qua schaalscores en antwoordverdelingen. De benaderingswijze van respondenten voor cliëntenfeedback waarbij vertrouwelijkheid en anonimiteit wordt gegarandeerd, is dus niet nodig. In een ROM-pakket kunnen cliëntenfeedback-vragenlijsten zonder probleem samengevoegd worden.

38

Dr. S. Draisma is senior onderzoeker/methodoloog bij GGZinGeest. [email protected] Drs. L. Kemmeren is junior onderzoeker/psycholoog bij GGZinGeest. Dr. J. Theunissen is senior onderzoeker/psycholoog bij GGZinGeest.

ANONIMITEIT GARANDEREN IN VRAGENLIJSTONDERZOEK: EEN GEPASSEERD STATION?

Recommend Documents