Zoeken naar content Een bibliotheek voor tevredenheidvragen

Zoeken naar content Een bibliotheek voor tevredenheidvragen.

Steven Albert Overdijk Doctoraalscriptie Medische Informatiekunde Augustus 2008

1

2

Zoeken naar content Een bibliotheek voor tevredenheidvragen.

Steven Overdijk Studentnummer 0210552 Doctoraalscriptie Stageplek: NVZ vereniging van Ziekenhuizen / Stichting Dutch Hospital Data Oudlaan 4 3515 GA Utrecht Februari 2006 – Augustus 2008 Stagebegeleider: Dr. J.J. Pool Directeur DHD Stagedocent: Dr. Ir. A. Hasman Professor KIK

3

Inhoudsopgave: Allereerst een woord van dank ............................................................................................................... 7 Samenvatting........................................................................................................................................... 8 Summary ................................................................................................................................................. 9 1 Inleiding: de onderzoeksvraag en achtergrondinformatie................................................................. 11 1.1

Kwaliteit ............................................................................................................................... 11

1.2 Stage ............................................................................................................................................ 12 1.3 NVZ als organisatie ...................................................................................................................... 14 1.4 PTO als project............................................................................................................................. 14 1.4.1 NVZ vragenlijsten.................................................................................................................. 14 1.4.2 Digitale dienst....................................................................................................................... 14 1.5 Onderzoeksvraag met betrekking tot de vragenbibliotheek & het ontstaan daarvan ............... 16 1.6 Onderzoeksvraag met betrekking tot Patiëntentevredenheidonderzoek & het ontstaan daarvan ........................................................................................................................................................... 17 1.6.1 Een beeld van tevredenheid ................................................................................................. 17 1.6.2 De NVZ werkwijze en het PTO systeem ................................................................................ 23 1.7 De basis van Information Retrieval systems ............................................................................... 26 2 Opzet en uitvoering van het onderzoek............................................................................................. 29 2.1.1 Het literatuuronderzoek ....................................................................................................... 29 2.1.2 Praktijktoets dimensies......................................................................................................... 29 2.2 Eisen voor de vragenbibliotheek ................................................................................................. 30

4

3 Resultaten........................................................................................................................................... 31 3.1 Patiënttevredenheid.................................................................................................................... 31 3.1.1 De verschillende deelaspecten van patiënttevredenheid ..................................................... 31 3.1.2 De dimensies getest op de nieuwe vragen .............................................................................. 33 3.2 Deel Vragenbibliotheek............................................................................................................... 36 3.2.1 Analyse Requirements .......................................................................................................... 36 3.2.3Categoriseren door PTO-gebruikers ...................................................................................... 38 3.2.4 Andere aspecten van vragen. ............................................................................................... 41 4 Discussie. ............................................................................................................................................ 42 4.1 Patiënttevredenheid.................................................................................................................... 42 4.2 IR-systemen ................................................................................................................................. 44 5 Conclusie en aanbevelingen. .............................................................................................................. 45 5.1 Antwoord onderzoeksvraag patiënttevredenheid...................................................................... 45 5.2 Ontwerp Vragenbibliotheek........................................................................................................ 46 5.3 Algemene conclusie..................................................................................................................... 47 Referentielijst ........................................................................................................................................ 48 Bijlage 1: Toelichting Antwoordcategorieën..................................................................................... 50 Bijlage 2 voorbeeld vragenlijst Kliniek............................................................................................... 52

5

6

Allereerst een woord van dank Voordat u deze afstudeerscriptie gaat lezen, wil ik u even op enkele personen wijzen die veel voor mij hebben betekend deze stageperiode. Allereerst mijn dank aan Dr. Ir. Arie Hasman, die na het mislukken van mijn eerste stageproject snel met een alternatief kwam, en bij al mijn vragen steeds geduldig advies gaf. Dank aan mijn begeleider Dr. Jan Jozef Pool, die zo tevreden was over zijn stagiair dat ik er een zeer mooie baan aan over heb gehouden. Alle MIKkers waarmee ik op een manier heb mogen samenwerken in mijn studie. Ik hoop nog veel van jullie tegen te komen om weer eens goed over ons vakgebied te discussiëren. Mijn familie en dan met name ouders, die ook mijn supporters, sponsoren en teamgenoten waren. Ik ben jullie ontzettend dankbaar dat jullie altijd in mij bleven geloven. Mijn lieve Daniëlle. We hebben ons samen door een hoop avonturen heengeslagen, en ik kijk uit naar alle die nog komen gaan. Als laatste wil ik graag mijn oom Koos van Kampen bedanken. Bedankt voor de rol van schrijfcoach die mij eindelijk weer aan het werk heeft gekregen en bedankt dat je de ontwikkeling in de familie hebt gebracht.

7

Samenvatting De scriptie die voor u ligt beschrijft het onderzoek dat, en een deel van mijn werkzaamheden die, ik heb uitgevoerd in het kader van de wetenschappelijke afstudeerstage Medische Informatiekunde. De opdrachtgever van de stageopdracht was de Nederlandse Vereniging van Ziekenhuizen (NVZ). Deze brancheorganisatie van de ziekenhuizen startte 2 maanden na aanvang van mijn stageperiode, met het PTO systeem. PTO staat voor PatiëntTevredenheidonderzoek Online en is een online dienst waarmee ziekenhuizen ondersteund worden in het opzetten, uitzetten en analyseren van tevredenheidonderzoek in hun organisaties. Gebruikers van het systeem kunnen zelf vragen toevoegen aan het systeem. Het delen van deze vragen tussen verschillende ziekenhuizen was een wens die bij de opstart van PTO is uitgesproken. De vragen moesten dan gepresenteerd worden in een bibliotheek waarin alle gebruikers vragen kunnen toevoegen en gebruiken. Als scriptieonderwerp heb ik gekozen voor de voorwaarden waaraan de opzet van de vragenbibliotheek moet voldoen. Om deze voorwaarden te definiëren moest ik eerst een beter begrip krijgen van het werkgebied waarin ik ging opereren. Uit de literatuur bleek patiënttevredenheid een omstreden begrip. De tegenstanders twijfelen aan het concept van tevredenheid, de voorstanders wijzen op de relatief eenvoudige metingen en het gebruik in de praktijk. Computersystemen waarin informatie kan worden gecategoriseerd en opgezocht worden Information Retrieval Systemen genoemd. Hoewel IR systemen een enorme ontwikkeling hebben meegemaakt, bleken de vragen die in ons IR-syteem moesten komen te klein om automatisch te indexeren. Het onderzoek spitste zich na deze oriëntatie op een manier om handmatig een indexering op de tevredenheidvragen toe te passen. Er zijn verschillende aspecten van tevredenheidvragen en tevredenheidonderzoek gevonden, waarvan de verschillende dimensies waaruit tevredenheid uit opgebouwd kan zijn de belangrijkste aspecten vormden. Deze dimensies zijn getoetst op hun bruikbaarheid binnen het PTO systeem. De uitkomsten van deze testen zijn positief voor de bruikbaarheid van de dimensies. Wie de indexering vervolgens moet uitvoeren bleek een vraag op zich. Bij veel vragen bleek onduidelijkheid bij sommige gebruikers te bestaan, welke dimensies aan die vragen toegewezen moesten worden. Mijn conclusie luidt dat de indexering mogelijk is voor de vragenbibliotheek, zolang deze op een centrale plaats wordt beheerd.

8

Summary The thesis before you, describes the research and part of the work performed for my scientific-internship to conclude my curriculum Medical Informatics. The internship was commissioned by the Dutch Hospital Association (NVZ). Two months after I began my internship, the NVZ launched the PTO system. PTO stand for Patient Satisfaction research Online and is an online service for hospitals to facilitate the start-up, running and the analysis of satisfaction research. Users can add their own questions to the system. Inter-hospital sharing of satisfaction questions was one of the initial goals at the start of the PTO project. Satisfaction questions would be presented in a library to which users could add and use them for their own research. The conditions needed for a useable library were chosen as the subject of this thesis. To define these necessary conditions, I needed to form a better understanding towards the fields my research took place. The literature showed me that patient satisfaction as a concept had many supporters and an equal amount of opposition. The opposing faction doubts the concept’s validity where the supporters point out its easy attainability and practical usage. Computer systems that can categorise and retrieve documents are called Information retrieval systems. Although IR-systems have made substantial progress during the last decades, it turned out that our satisfaction questions where to short to index automatically. My research than focused on a way to manually index satisfaction questions. Aspects of satisfaction questions and satisfaction research where found, with the different dimensions of satisfaction as the most useful aspects for indexing. These dimensions where tested on their usefulness within the PTO system, with encouraging results. Which person or persons would be responsible for the indexing was another question though. For some satisfaction questions, it proved to be unclear for many users what dimension to pair with them. My final conclusion is that indexing is possible for the library in the PTO system, but only if a dedicated indexer supervises this process.

9

10

1 Inleiding: de onderzoeksvraag en achtergrondinformatie. In februari 2006 ben ik begonnen met mijn stage bij de NVZ vereniging van ziekenhuizen. Hieronder probeer ik te beschrijven in welk probleemgebied mijn stage zich heeft afgespeeld. Na het brede probleemgebied zal ik inzoomen op het stukje waarop deze stage zich concentreert, om vervolgens de daarop volgende en bij de stage behorende onderzoeksvragen te introduceren.

1.1 Kwaliteit Kwaliteit is op dit moment het woord wat de Nederlandse ziekenhuizen bezig houdt. Of het nu gaat over de patiënt zijn kwaliteit van leven na een behandeling, de kwaliteit van de professionals die een operatie moeten uitvoeren, de kwaliteit van het eten uit de kantine, de kwaliteit van de ICT systemen in een ziekenhuis, altijd staat de kwaliteit van de onderdelen van het zorgproces ter discussie. Scoor je goed op kwaliteit, dan kun je jezelf als ziekenhuis onderscheiden van andere ziekenhuizen, in een stelsel van alsmaar meer marktwerking. Patiënten zullen eerder voor jouw ziekenhuis kiezen, verzekeraars zullen makkelijker contracten afsluiten en zorgprofessionals krijgen erkenning voor het vele en zware werk dat zij leveren . Het is dus ook niet verwonderlijk dat één van de visiepunten op de website van de Nederlandse vereniging van ziekenhuizen luidt: “Ziekenhuizen realiseren een permanente kwaliteitsverbetering en willen verantwoording afleggen over de kwaliteit van hun producten.” Maar wat is kwaliteit? Kwaliteit, is per definitie een kwalitatief begrip, en daardoor niet eenvoudig inzichtelijk te maken. Het Institute of Medicine in de Verenigde Staten definieert de kwaliteit van zorg als “de mate waarin zorgdiensten voor individuen en populaties de waarschijnlijkheid vergroten dat wenselijke gezondheidsuitkomsten overeenkomen met de huidige medische kennis.”1 Daarmee is kwaliteit direct een containerbegrip, de instelling “het ziekenhuis” moet onder andere kwaliteit kunnen garanderen over haar organisatorische, medische, facilitaire en communicatieve structuur. Kwaliteitsmedewerkers in Nederland werken bijvoorbeeld met het INK-managementmodel, waar de verschillende structuren (9) in beschreven worden.2 Er zijn daarom veel terreinen waarop de kwaliteit in de ziekenhuizen kan (en vaak moet) worden gemeten. Zonder deze metingen zou het namelijk onmogelijk zijn te bepalen welke onderliggende factoren verantwoordelijk zijn voor het, uit het oogpunt van de instelling, wel of niet slagen van de zorg bij een patiënt. Evenmin zou het mogelijk zijn te bepalen waarom de patiënt de hem geleverde zorg als wel of niet geslaagd, als wel of niet voldoende, ervaart. De metingen zijn in het kwaliteitsbeleid onderdeel van de demmingcirkel (plan->do->check>act). Eerst moet de huidige situatie in kaart gebracht worden. Vervolgens worden de kritieke punten uitgelicht, aangepakt en door nieuwe protocollen opgenomen in de nieuwe dagelijkse praktijk. Na deze verbeterslag moet bepaald worden of de kwaliteit ook echt verbeterd is, en begint de cyclus opnieuw.

11

Veel procedurele aspecten van zorg proberen we in Nederland te meten door middel van de prestatie-indicatoren zoals opgesteld en aangereikt door de Inspectie van de gezondheidszorg. De Inspectie heeft deze indicatoren opgesteld om na te kunnen gaan of de kwaliteit van de geleverde zorg voldoende is, en zo nee, om aan te geven hoe de kwaliteit verbeterd kan, of moet worden. In het Veiligheidsmanagement systeemproject dat in september 2007 van start is gegaan worden weer 80 nieuwe kwaliteitsindicatoren ontwikkeld, met de achterliggende gedachte inzichtelijk te maken waar en waarom fouten worden gemaakt, en dus ook hoe fouten kunnen worden voorkomen. Ziekenhuizen zijn vergelijkbaar op veel punten, maar ieder ziekenhuis is een uniek zelfstandig bedrijf. Dat betekent ook dat ziekenhuizen zelfstandige keuzes maken in hun organisatie. Daarom kunnen prioriteiten verschillen als het op kwaliteitsbeleid aankomt. Het ene ziekenhuis zal zich inzetten op minder fouten tijdens operaties, terwijl het andere ziekenhuis medicatiefouten wil voorkomen. Ziekenhuizen moeten dus altijd in staat blijven om zelf te bepalen welke metingen er in een ziekenhuis moeten plaatsvinden, ter bevordering van de kwaliteit van hun werk en organisatie. Omdat de kwaliteit van het zorgproces niet alleen afhankelijk is van de medische uitkomst, maar ook van de gemoedstoestand van de patiënt, is ook de tevredenheid van patiënten een indicator voor de kwaliteit van de geleverde zorg.

1.2 Stage Ik heb mijn stage gelopen bij de NVZ vereniging van ziekenhuizen. Meer over deze brancheorganisatie staat beschreven in de volgende paragraaf. De NVZ wil haar leden ondersteunen met de aanpak van tevredenheidonderzoek en het ziekenhuizen makkelijker maken op een vergelijkbare manier dit onderzoek uit te voeren. Op mijn stageplek ging ik meewerken aan het project PTO, wat voor Patiënt Tevredenheidonderzoek Online staat. PTO is een online dienst waarmee NVZ leden online patiënttevredenheidonderzoek kunnen opzetten, namelijk door te helpen bij: • • • • •

het opstellen van vragenlijsten, het verspreiden van enquêtes, het laten invullen van enquêtes, het verwerken van de gegevens en het analyseren van de uitkomsten.

Ik heb me verdiept in al deze facetten van tevredenheidonderzoek bij patiënten, geholpen met het vormgeven en testen van de online dienst, ik heb de gebruikersgroep ondersteund en ik help deze dienst uitbouwen met nieuwe of aangepaste functionaliteiten. Zoals eerder gezegd, heeft PTO als hoofdtaak het stellen van vragen aan patiënten te vergemakkelijken. Het is de wens om deze PTO-vragen die ziekenhuizen stellen, te kunnen hergebruiken door deze met anderen te delen; de vragen als het ware te standaardiseren en uniformeren. De omgeving waarin PTO-vragen, die door de ziekenhuizen zijn bedacht, kunnen worden opgezocht, noemen we “de vragenbibliotheek.”

12

In de vragenbibliotheek moeten PTO gebruikers vragen over verschillende (patiënttevredenheidgerelateerde) onderwerpen kunnen opzoeken. Dat geldt voor zowel vragen die de gebruiker zelf heeft aangemaakt, als voor vragen die door andere gebruikers zijn toegevoegd. Door hergebruik van vragen bevorder je de mogelijkheid om onderzoeken te vergelijken. Dit geldt ook weer zowel in hetzelfde ziekenhuis, (bv. de afdeling chirurgie en oogheelkunde stellen dezelfde vragen over het klinisch laboratorium) als voor verschillende ziekenhuizen (bv. Ziekenhuizen die aan het verbouwen zijn onderzoeken de last die patiënten hiervan ondervinden.) De meerwaarde van een bibliotheek in vergelijking met werkafspraken tussen ziekenhuizen om dezelfde vraag te stellen, is de zekerheid dat exact dezelfde vragen worden gesteld. Ook bespaart een goed ingerichte bibliotheek een hoop tijd tijdens het maken van een vragenlijst. Het opstellen van vragen is vaak een vak apart, hulp daarbij binnen het PTO-systeem, door middel van het werk van anderen, is welkom. Vandaar dat deze vragenbibliotheek in het begin van het project als één van de uitgangspunten is genomen. Hoe deze omgeving verder ingevuld moet worden, zonder groot redactioneel apparaat om de al in de bibliotheek aanwezige vragen te beoordelen en categoriseren, is nog niet bekend. Het zoeken in de vragenbibliotheek heb ik als medisch informatiekundig onderwerp in mijn stage bestudeerd. Het opzoeken en vindbaar maken van patiënttevredenheidvragen is zonder computerondersteuning een tijdsintensief werk. Een goede organisatorische en systematische ondersteuning is daarom zeer gewenst. Ik hoop op deze manier te kunnen bijdragen aan de informatievergaring van ziekenhuizen om kwaliteitsbeleid te kunnen sturen. Mijn eerst onderzoeksvraag luidt daarom: “Aan welke randvoorwaarden moet binnen de PTO-omgeving worden voldaan, om gebruikers te ondersteunen in het hergebruiken van vragen”. Om deze informatie (de PTO-vragen) te kunnen categoriseren en systematisch toegankelijk te maken, is meer inhoudelijke kennis van het onderwerp nodig. De vragen moeten zo worden gegroepeerd en vindbaar worden gemaakt, dat het doel van hergebruik ook daadwerkelijk gehaald wordt. Dat betekent dat de personen die met het PTO-systeem gaan werken of al werken op een voor hen eenvoudige, begrijpelijke en arbeidsextensieve manier in het systeem ingevoerd worden, zodat relevante vragen snel opgezocht kunnen worden. Vandaar dat ik de oorspronkelijke vraag (te weten: “Aan welke randvoorwaarden moet binnen de PTO-omgeving worden voldaan…”) vraag opsplits in: 1. Hoe classificeer je vragen, en 2. Kan de classificatie van vragen geautomatiseerd gebeuren. Om meer te weten te komen over patiënttevredenheid heb ik een literatuuronderzoek uitgevoerd, met als leidraad mijn tweede onderzoeksvraag: “Op welke aspecten die er zijn binnen het domein van patiënttevredenheid, kunnen vragen gekarakteriseerd worden ” Voordat ik de eerste resultaten van die literatuurstudie met u deel, wil ik eerst nog iets uitgebreider de omgeving schetsen waarin mijn stage plaatsvond.

13

1.3 NVZ als organisatie De NVZ vereniging van ziekenhuizen is de organisatie van de branche ziekenhuizen. Op de website van de NVZ verwoordt ze haar taken als volgt: “De NVZ is primair gericht op de collectieve behartiging van zorginhoudelijke, sociale en economische belangen van de leden. Tot de leden behoren alle algemene ziekenhuizen, alsmede categorale instellingen in Nederland, zoals astmacentra, audiologische centra, kankercentra, radiotherapeutische instituten, revalidatiecentra en dialysecentra. Totaal zijn het ongeveer 170 instellingen.” Dit vertaalt zich in de praktijk bijvoorbeeld tot: als onderhandelingspartner fungeren tijdens de CAO ziekenhuizen onderhandelingen, het helpen bij juridische vraagstukken en mede ontwikkelen van kwaliteitsindicatoren. Vanuit een Medische Informatiekundig oogpunt zijn er meerdere dossiers interessant, voornamelijk die onder de aandachtspunten: ICT, DBC’s of Informatiebeleid.

1.4 PTO als project Nu er een duidelijker beeld is over de NVZ als organisatie, beschrijft deze paragraaf op welke manier mijn stage in de organisatie stond.

1.4.1 NVZ vragenlijsten In 2004 zijn door de projectleider informatiebeleid van de NVZ de standaard NVZ vragenlijsten voor patiënttevredenheidonderzoek gepresenteerd. Deze vragenlijsten zijn ontwikkeld door de Nederlandse Federatie van Universitair medisch centra (NFU) in samenwerking met Prismant. De NVZ heeft deze lijsten aangepast, door het toevoegen van een rapportcijfervraag als afsluiting van elk deelgebied. Vervolgens heeft de NVZ de lijsten aangeboden aan haar leden samen met een tien-stappenplan voor het uitvoeren van patiënttevredenheidonderzoek. Voor een voorbeeld van de NVZ vragenlijst verwijs ik u naar bijlage 2.

1.4.2 Digitale dienst Met de wens patiënttevredenheidonderzoek te vergemakkelijken voor de leden, is in 2005 een pilot gestart in het HAGA ziekenhuis. Deze pilot is omschreven in een intern evaluatierapport.3 Het resultaat van de pilot was zodanig, dat een groter project gestart kon worden. Vanaf april 2006 is het project PatiëntTevredenheidonderzoek Online (PTO) gestart. In de project periode van 18 maanden werd door de NVZ een online dienst aangeboden die ziekenhuizen ondersteunt in het opzetten, uitzetten, verzamelen en analyseren van tevredenheidonderzoeken onder hun patiënten.

14

Deelname aan het project PTO is voor de ziekenhuizen om de volgende redenen interessant (deze opsomming is niet-limitatief en in willekeurige volgorde.) • De NVZ is de brancheorganisatie, dus men mag ervan uitgaan dat de belangen van de leden voorop staan in het systeem. • PTO blijkt een goedkoop systeem, hoewel er rekening mee moet worden gehouden dat PTO een stuk gereedschap is om onderzoek mee uit te voeren en niet een onderzoeksbureau dat het onderzoek voor het ziekenhuis uitvoert. • Ziekenhuizen hebben genoeg mogelijkheden om eigen invulling te geven aan hun onderzoeken door middel van: o De mogelijkheid eigen vragen toe te voegen. o Zelf kiezen welke vormen van verspreiding van de enquêtes geschikt zijn voor het ziekenhuis • Gestandaardiseerd werken o Door dezelfde tool o Door dezelfde vragenlijsten • Dankzij de standaard vragen, wordt benchmarking mogelijk o Zowel voor elk ziekenhuis intern o Als uiteindelijk ook ziekenhuis overstijgend • In een land waar de internet dichtheid alsmaar blijft stijgen, is een internet enquête systeem een mogelijkheid van snelle en goedkope gegevensverzameling, -analyse en van resultaatverspreiding. In de proefperiode worden er aan de hand van gebruikerservaringen desgewenst veranderingen aangebracht in de digitale dienst, mochten deze veranderingen een meerwaarde voor het merendeel van de gebruikers blijken te zijn, dan worden de vernieuwingen onderdeel gemaakt van het basissysteem. Voor een uitgebreidere beschrijving van het PTO systeem verwijs ik u door naar 1.6.2

15

1.5 Onderzoeksvraag met betrekking tot de vragenbibliotheek & het ontstaan daarvan Vanaf de start van het project is de wens uitgesproken dat er binnen de online dienst een manier moest bestaan waarop de toe te voegen vragen op een werkbare manier voor de gebruikers van het systeem toegankelijk worden gemaakt. Zowel eigen vragen als de vragen van andere gebruikers. Tot op heden is de bibliotheek echter een lijst met slechts alle vragen, van de gebruiker zelf. Vandaar dat voor de wetenschappelijke medisch informatiekundige kant van de stage is gekozen een antwoord te vinden op de vraag: “Hoe kan binnen de PTO-omgeving het beste een online vragenbibliotheek voor patiënttevredenheidonderzoek ontworpen worden?” In paragraaf 1.2 gaf ik al aan dat die onderzoeksvraag de volgende twee deelvragen opleveren: 1. Hoe classificeer je vragen, en 2. Kan de classificatie geautomatiseerd gebeuren.

16

1.6 Onderzoeksvraag met betrekking tot Patiëntentevredenheidonderzoek & het ontstaan daarvan Voordat de bibliotheek ontworpen kan worden, moet er eerst een goed beeld zijn van de gegevens waarmee de bibliotheek om moet kunnen gaan. Vandaar dat er een tweede onderzoeksvraag geformuleerd moest worden: “Op welke aspecten die er zijn binnen het domein van patiënttevredenheid, kunnen vragen gekarakteriseerd worden Dit is natuurlijk een vrij breed geformuleerde vraag. Wat noem je aspecten? En wanneer bepaal je op welk niveau de aspecten relevant voor PTO gebruikers zijn? Om deze vraag gerichter te beantwoorden, is de NVZ vragenlijst als uitgangspunt genomen. Zo zijn er direct 8 verschillende dimensies herkenbaar (namelijk de indeling zoals die gehanteerd wordt in de vragenlijst) en kan er gezocht worden naar vergelijkbare concepten.

1.6.1 Een beeld van tevredenheid Patiënttevredenheid. Twee woorden, samengevoegd tot één begrip. Bij het eerste woord, afkomstig uit het Latijn, zijnde “iemand die lijdt/ iemand die ondergaat”4 heeft iedereen wel een werkbaar, duidelijk beeld. Binnen dit onderzoek is een patiënt: “iemand die medische hulp nodig heeft, en doorvoor naar het ziekenhuis is gegaan.” Tevredenheid is een lastiger begrip om snel te bevatten. Binnen de psychologie zijn er verschillende opvattingen over, en geen van die opvattingen steekt met kop en schouders boven de ander uit. Wat de verschillende opvattingen gemeen hebben, is dat het begrip tevredenheid een evaluatief proces is waarbij een onderscheid gemaakt dient te worden tussen het een objectieve tevredenheid van een persoon enerzijds en de subjectieve tevredenheid van die persoon anderzijds5 Zo kan iemand met een goede baan, mooi huis en goede toekomst perspectieven nog steeds ontevreden zijn over zijn leven. In de literatuur van sociale wetenschappen5 en marktonderzoek6 wordt erg beperkt stilgestaan bij wat tevredenheid is. Er wordt weinig aandacht besteed aan het ontkrachten van de argumenten die de validiteit en betrouwbaarheid van tevredenheid als concept in twijfel trekken. Een heldere definitie van tevredenheid ontbreekt: het bestaan van tevredenheid als een eigenschap van mensen wordt als natuurlijk aangenomen. In de literatuur naar patiënttevredenheid komt een ander beeld naar voren. Ondanks een poging in de jaren 807 om een theorie over patiënttevredenheid te formuleren, blijft door de jaren heen de constatering dat er voor patiënttevredenheid een te kleine theoretische basis is.8,9 Eerste struikelblok vormt daar de tevredenheid. Een ziekenhuis is een wezenlijk ander soort instelling dan een warenhuis. Hoewel de patiënt steeds meer als klant van een ziekenhuis gezien kan worden, is het zeer de vraag of een concept van tevredenheid met betrekking tot ziekenhuizen vergeleken kan worden met het concept van tevredenheid met betrekking tot een warenhuis.9

17

Op dit conceptueel niveau zijn er nog meer vraagtekens te plaatsen. Veel onderzoeken zijn er van uitgegaan dat tevredenheid het verschil is tussen wat er verwacht werd van een ziekenhuis en wat er daadwerkelijk heeft plaatsgevonden. Er zijn echter aanwijzingen dat patiënten weinig concrete verwachtingen hebben wanneer ze een ziekenhuis bezoeken.10 Door het ontbreken van een eenduidige definitie van tevredenheid, is patiënttevredenheid ook geen eenduidig begrip. Door de jaren heen is het meten van patiënttevredenheid dan ook aangepast aan de wens van de tijd.11,12 De onderzoeken naar patiënttevredenheid kunnen bijvoorbeeld de nadruk leggen op thema’s die in de belangstelling staan van de politiek, (nu bijvoorbeeld de invloed van het nieuwe zorgstelsel) of over recente ontwikkelingen binnen een ziekenhuis, zoals een verhuizing of een nieuwe behandelmethode. De patiënttevredenheid binnen deze scriptie is voornamelijk van een meer generieke aard, zodat het onderzoek ernaar in meerdere ziekenhuizen kan worden uitgezet. Bij patiënttevredenheidonderzoeken lijken validiteit en betrouwbaarheid een groter probleem dan bij de sociale wetenschappen.5 Tijdens mijn zoektocht in literatuur gaven de sociale wetenschappen minder aandacht aan deze zaken dan dat de onderzoekers met patiënttevredenheid als studieobject. Er blijkt bij onderzochte patiënttevredenheidonderzoeken discrepantie te bestaan tussen de resultaten van gedaan onderzoek en van de daadwerkelijke ervaren tevredenheid. Interviews met onderzoekers werden hier als gouden standaard waar de “echte tevredenheid” zou zijn gemeten. Het gevaar bestaat dat een instelling er slechts naar toe werkt goed te scoren op de tevredenheidvragenlijst in plaats van de tevredenheid van hun patiënten te verbeteren.8

8,10

Ondanks deze vragen over het concept patiënttevredenheid, wordt tevredenheidonderzoek op grote schaal uitgevoerd. Het is een goedkope en snelle manier om een beeld te krijgen hoe patiënten hun verblijf in het ziekenhuis hebben ervaren. Patiënttevredenheid wordt in Nederland al zeker zo’n 50 jaar gebruikt als indicator binnen de zorg. Tevredenheidonderzoek in ziekenhuizen levert nog steeds voldoende resultaat op om trajecten op te zetten ter verbetering van de organisatie.12,13,14 In deze scriptie is als uitgangspunt genomen: Patiënttevredenheid is de indicator waarmee het oordeel van de patiënt wordt gemeten over de zorg die hij heeft ervaren in het ziekenhuis, op zowel de locatie binnen het ziekenhuis, als binnen de periode waarin de onderzoeker geïnteresseerd is. Zoals boven al beschreven staat, is tevredenheid een lastig te vatten begrip. Daardoor is over dit begrip veel geschreven. Zo wordt door de aanhangers van de stroming dat patiëntenervaringen “beter” zijn vaak de betrouwbaarheid en de aangrijpingspunten van de resultaten getwijfeld. Ervaringen zouden namelijk objectiever zijn dan tevredenheid. In plaats van de tevredenheidvraag “Was u tevreden over de aandacht die u van de verpleging ontving”, stelt een ervaringsonderzoek een vraag als “hoe vaak besteedde de verpleging voldoende aandacht aan u?” met als antwoordcategorieën “nooit, soms, meestal en altijd”. Het idee van dit soort vragen is dat er directer op de zorgorganisatie ingespeeld zou kunnen worden, door bijvoorbeeld de verpleging er op te wijzen dat zij constanter aandacht moeten schenken aan patiënten. In 1.6.1.1 t/m 1.6.1.13 bespreek ik methodologische punten die vaak aangehaald worden door tegenstanders van tevredenheid als onderzoeksmaat. Er is niet gekozen voor een bepaalde volgorde van deze onderwerpen. Met deze sectie probeer ik te laten zien dat er een groot aantal vraagtekens blijven bestaan over de methodologie van tevredenheidonderzoek, maar 18

dat die vraagtekens niet per definitie betekenen dat tevredenheid daardoor een onbetrouwbare maat is. 1.6.1.1 Betrouwbaarheid & Validiteit Toen ik mij aan het oriënteren was welke onderwerpen zeker in het literatuuronderzoek moesten terugkomen, heb ik veel naar belangstellenden hun ideeën daarover gevraagd. Bijna iedereen bracht de betrouwbaarheid en validiteit van de tevredenheidvragenlijsten naar voren. Hoe garandeert men bij het PTO systeem dat de lijsten nog meten waar de onderzoekers geïnteresseerd zijn, en zo ja hoe precies. Het antwoord is vrij simpel: niet. Maar die vraag is eigenlijk niet relevant voor dit onderzoek. Het onderzoeksinstrument (de NVZ vragenlijst/PTO) is bedoelt om onderzoekers (ziekenhuizen) de vrijheid te geven de vragen te stellen die zij willen. Als ze daarna de validiteit van die vragen en concepten willen toetsen, is dat hun verantwoordelijkheid. De vragenlijsten zoals die in het systeem aangeboden worden zijn bedoeld als een quickscan, een manier om snel probleemgebieden te identificeren in een ziekenhuis om daarna dieper onderzoek, met andere vragen of methoden uit te voeren. Daarnaast zijn er zowel artikelen die laten zien dat de gebruikte vragenlijsten valide zijn, als artikelen die daar hun vraagtekens bij zetten. Het tevredenheidinstrument dat door de ziekenhuizen wordt gebruikt is uitgebreid aan statistische testen onderworpen om te bepalen hoe de deelvragen de schalen beïnvloeden en hoe de verschillende schalen bijdragen aan een goed totaalbeeld van de tevredenheid van de patiënten. Schalen zijn dimensies van tevredenheid, die worden bepaald door meerdere vragen over die dimensie te stellen om zo een waarde voor die dimensie te verkrijgen. De resultaten van deze statistische testen zijn genoeg reden geweest voor de NFU om de vragenlijsten te gebruiken. Prismant probeert een artikel waarin dit beschreven staat op dit moment te publiceren. 1.6.1.2 A Ph Visser Dr. A. PH. Visser heeft in 1984 zijn dissertatie (sociale psychologie aan de Vrije Universiteit te Amsterdam) gepubliceerd over patiënttevredenheid en het onderzoek daarnaar. Hoewel je zou denken dat in 24 jaar veel verandert, valt dat wat betreft deze materie erg mee. Veel van zijn werk wordt nog steeds geciteerd en is nog in de dagelijkse praktijk terug te vinden. In de inleiding van zijn werk gaat hij in op de verschillende onderdelen van de meetmodellen die er voor patiënttevredenheid zijn. Hoewel dit onderwerp later van minder belang voor mijn vraagstelling bleek, moest ik zelf een idee hebben hoe ik tegen patiënttevredenheidonderzoek moet aankijken. Ik hoop met deze korte samenvatting van de onderwerpen in het eerste hoofdstuk van Dr. Visser de lezer ook een beter beeld te geven van de zin en onzin rondom patiënttevredenheid onderzoek. Veel mensen kennen een paar van de potentiële struikelblokken van patiënttevredenheidonderzoek. Ik heb dan ook veel suggesties gekregen hoe deze valkuilen te vermijden en tips welke stroming toch echt de beste was om te volgen. Veel van die suggesties en tips blijken weinig wetenschappelijke onderbouwing te hebben. Althans, er is vaak genoeg bewijs om een claim te ondersteunen, maar er is evenveel bewijs voor het tegenovergestelde. Enkele voorbeelden van kenmerken van de meetmodellen:

19

1.6.1.2.1

De basis vraag

De eenvoudigste vorm van tevredenheidonderzoek wordt door Visser evaluatieonderzoek genoemd. De vragen die de patiënten voorgelegd krijgen zijn simpelweg vragen in de trant: hoe tevreden bent u over X. Waarbij X het onderdeel van de ziekenhuiszorg waarin de onderzoeker geïnteresseerd is vertegenwoordigt. Juist omdat deze aanpak zo eenvoudig lijkt, hebben veel onderzoekers geprobeerd het onderzoek uit te breiden met extra kenmerken. Twee van de bekendste van deze kenmerken zijn “verwachtingen” en “weging van belangrijkheid”. 1.6.1.2.2

Verwachtingen

In een poging het glibberige begrip tevredenheid te definiëren, is geopperd dat tevredenheid het verschil is tussen de verwachtingen die een persoon heeft met betrekking tot een gebeurtenis, en de daadwerkelijke gebeurtenis. Visser presenteert zes Nederlandse onderzoeken gepubliceerd tussen 1976 en 1980 die op basis van dit uitgangspunt gepubliceerd zijn. Of het verschil tussen verwachtingen en ervaringen meetresultaten geeft waar je iets mee kan, is de vraag. Dit omdat de perceptie van personen en de verwachtingen vaak erg sterk gecorreleerd zijn. Meten van de verwachtingen van patiënten ten opzichte van de ervaren werkelijkheid lijkt daarom vooral een kostbaar en tijdrovend proces, in plaats van een nuttige toevoeging voor het ziekenhuis. 1.6.1.2.3

Weging van belangrijkheid

Wat ik heb proberen samen te vatten in de term “weging van belangrijkheid”, wordt door Visser het productmodel genoemd. Het idee achter het productmodel is dat de patiënt bij verschillende dimensies aangeeft welke dimensies meer of minder belangrijk zijn voor hem of haar. Dimensies zijn onderdelen van tevredenheid. Zo kan de tevredenheid over een restaurantbezoek bepaald worden door de kwaliteit van het eten en de servicegerichtheid van het personeel. Bij de weging van belangrijkheid wordt het totale tevredenheidbeeld opgebouwd door iedere dimensie met een factor te vermenigvuldigen die de patiënt voor deze dimensie heeft aangegeven. Ook bij deze aanpak hebben veel onderzoekers aangegeven dat de validiteit van het onderzoek niet vergroot wordt, en de praktische uitkomsten ook niet beter worden. Desondanks wordt deze aanpak nog steeds gebruikt, zeker in startend onderzoek. Met als recent voorbeeld de ontwikkeling van de Nederlandse CQ-index vragenlijsten. De CQ-index is de verzamelterm voor ervaringvragenlijsten die worden ontwikkeld in opdracht van het centrum Klantervaring in de zorg. Tijdens de opstellen van de vragenlijsten maar ook tijdens de daadwerkelijke onderzoeken wordt aan respondent gevraagd welke dimensies voor hen het belangrijkst zijn.

20

1.6.1.2.4

Antwoordintenties

Naast kritiek op de theorieën achter het begrip tevredenheid, is er ook kritiek op de vorm van het instrument waarmee de tevredenheid gemeten wordt: de vragenlijsten. Ook voor deze kritiek geldt dat er geen partij de absolute waarheid heeft. Enkele van dit soort vormaandachtspunten zijn: 1.6.1.2.5

Open Vs. Gesloten vragen

De meeste onderzoeken naar tevredenheid in ziekenhuizen wordt uitgevoerd met vragenlijsten die vooral uit gesloten vragen bestaan. Gesloten vragen hebben een vast aantal antwoordmogelijkheden waaruit de respondent kan kiezen. Resultaten van deze vraagvorm zijn sneller te verwerken en daarom populair bij grote onderzoeken. Met de vragen zijn respondenten te sturen naar een bepaald onderzoeksgebied; helaas ook naar een tevoren door de vraagsteller bepaalt “gewenst” antwoord. Visser spreekt over een groot aantal voorstanders van open vragen, waarbij de respondent vrij kan aangeven wat belangrijk voor hem is. In zijn eigen onderzoek moet hij concluderen dat er geen significant verschil tussen de resultaten van open en gesloten vragen. In het leerboek “Beginning behavioral science” (Ralph L. Rosnow, Robert Rosenthal, Perason Prentice Hall Hoofdstuk 5) uit 2002, wordt ook gesteld dat de voordelen van de ene vorm de nadelen van de andere vorm zijn, en omgekeerd. Het is aan de onderzoeker om in te schatten welke vorm het beste bij het onderzoek past. Het PTO systeem geeft daarom ook naast de standaard aangeboden gesloten vragen de mogelijkheid open vragen te formuleren. 1.6.1.2.6

Formulering antwoordmogelijkheden

Wanneer een onderzoeker kiest voor gesloten vragen, zal hij keuzes moeten maken bij het formuleren van de antwoorden of antwoordcategorieën. Met name extreem negatieve antwoordmogelijkheden schrikken wellicht patiënten af. (bv, “zeer slecht” zal sowieso minder gekozen worden als “slecht” er ook tussen staat.) Zowel Vissers literatuur als eigen onderzoek laten echter zien dat wederom de resultaten niet sterk veranderen als de antwoordmogelijkheden wel of niet “extreem” geformuleerd zijn. Visser heeft zelf voorkeur als onderzoeker van tevredenheid voor een niet-grafische schaal met meer positief georiënteerde antwoorden. Een grafische schaal geeft respondenten als antwoordmogelijkheid een linieaal waarop zij hun score kunnen aangeven. Een niet-grafische schaal bestaat uit tekst. 1.6.1.2.7

Invloed voorafgaande vragen

Het begint voor de lezer wellicht eentonig te worden, maar ook de volgorde van vragen maakt niet veel uit voor de uiteindelijke resultaten. Hoewel er lichte veranderingen waarneembaar waren in het experiment van Visser afhankelijk van in welke volgorde bepaalde dimensies van tevredenheid werden uitgevraagd, bleek de totale tevredenheidscore niet significant te verschillen.

21

1.6.1.2.8

Gelijkvormigheid van vragen en antwoorden

Het is voor de respondent en de onderzoeker prettig als de vragen en antwoorden van eenzelfde vorm zijn (bijvoorbeeld, bij alle vragen heeft men als antwoordmogelijkheid een cijfer tussen de 1 en de 10 te scoren). Verschillende antwoordcategorieën van elke vraag kunnen verwarrend werken (bijvoorbeeld eerst 1 t/m 10, gevolgd door een vraag met als antwoord 1 t/m 5). Het nadeel van precies dezelfde categorieën kan een “instemeffect” opleveren. Alle vragen krijgen dan al snel hetzelfde antwoord. In het onderzoek van Visser bleek dit effect te kunnen worden voorkomen door de vragen (die als antwoorden een keuze uit 5 woorden had ) af te wisselen met vragen die om rapportcijfers van 1 tot 10 vroegen. Patiënten lieten dan een grotere spreiding van de antwoorden te zien, en dus niet enkel gemakkelijk alle vakjes onder elkaar aan te kruisen. 1.6.1.2.9

Situationele kenmerken uitvoer

Hierboven heb ik het gehad over de theorieën over wat je vraagt en hoe je de vragen en antwoorden verwoordt. Hieronder volgen drie punten die gaan over hoe je het dan vraagt en aan wie. Om niet elk punt met dezelfde zin af te sluiten meld ik nu alvast: voor de drie punten geldt weer: als je voor de ene of de andere optie kiest, uiteindelijk geeft het niet veel vertekening in de resultaten. 1.6.1.2.10 Mondeling vs. Schriftelijk Bij mondelinge vragen kan een patiënt wellicht beter zijn standpunten toelichten (hoewel er genoeg mensen zijn die zich beter schriftelijk kunnen uitdrukken), en is de tevredenheid goed te achterhalen mits de juiste vragen worden gesteld. Sociaal wenselijke antwoorden (waar ik straks verder op zal ingaan) komen niet vaker voor door een aanwezige interviewer. Aangezien een papieren vragenlijst voor onderzoekers vaak makkelijker is, wordt meestal voor deze vorm gekozen. 1.6.1.2.11 Nog opgenomen vs. Al ontslagen patiënten Ex-patiënten en patiënten geven (zolang dat kan, omdat alle gevraagde dimensies ook van toepassing zijn (bv, ontslag & nazorg is nog niet te beantwoorden door een patiënt die nog niet ontslagen is)) hetzelfde tevredenheidbeeld. 1.6.1.2.12 Duur interval tussen ontslag en bevraging. Het tijdsinterval zou volgens sommigen ook belangrijk zijn voor de tevredenheidmeting. Een patiënt die net uit het ziekenhuis ontslagen is, zou alles verser in het geheugen hebben dan iemand die al weer een paar weken thuis zit. Hoewel het aan te raden is inderdaad een patiëntengroep te bevragen met ongeveer dezelfde tijd tussen ontslag en onderzoeksmoment, blijkt het tevredenheidbeeld toch weer stabiel tussen groepen die hier niet evenveel tijd tussen ontslag en bevraging hebben zitten.

22

1.6.1.2.13 Sociaal wenselijke antwoorden De enige echt meetbare contaminerende factor in het tevredenheidonderzoek van Visser, is de neiging van mensen sociaal wenselijke antwoorden te geven. Zodra mensen het gevoel hebben dat hun antwoorden”tegen hen gebruikt kunnen worden”, zijn ze snel geneigd positieve antwoorden te geven. Het enige wat een onderzoeker kan doen is goed mogelijk duidelijk maken dat het onderzoek geen gevolgen voor de patiënt zelf heeft. Maar hoe goed je dat ook doet, zolang het in de aard van de respondent zit om sociaal wenselijke antwoorden te geven, doe je er niks aan.

1.6.2 De NVZ werkwijze en het PTO systeem Zoals al eerder gezegd zijn de tevredenheidvragenlijsten die door de NVZ zijn gebruikt, ontwikkeld door de NFU (toen nog de Vereniging van Academische Ziekenhuizen,VAZ). De samenwerkende Academische ziekenhuizen besloten één gemeenschappelijke lijst op te stellen die in alle academische ziekenhuizen aan patiënten voorgelegd zou worden.15 In het UMC, maar vooral in het AMC werden al instrumenten gebruikt die bruikbaar waren voor de nieuwe vragenlijst. In het onderzoek dat toen is uitgevoerd is ook de patiënten gevraagd naar welke aspecten van tevredenheid ze door de ziekenhuizen bevraagd moesten worden.16 De volgende dimensies van tevredenheid zijn door zowel de ziekenhuizen als de patiënten gekozen als relevant: 1. Persoonsgegevens 2. Ontvangst bij opname 3. Bejegening & verzorging verpleegkundigen 4. Bejegening & behandeling artsen 5. Informatieverstrekking 6. Zelfstandigheid 7. Het vertrek & de nazorg 8. Totaaloordeel Zie bijlage 2 voor de volledige vragenlijsten kliniek. De antwoorden die binnen deze dimensies aan de orde komen zijn na gestandaardiseerde kwantificering onderworpen aan onder andere een principale componentenanalyse en verschillende regressieanalyses waarna de vragen statistisch valide worden geacht. Prismant, een bedrijf dat zich richt op onderzoek & informatievoorziening in de zorg, voert namens de NFU het tevredenheidonderzoek uit. Naast academische ziekenhuizen, biedt Prismant zijn diensten ook aan algemene ziekenhuizen aan. Daarvoor gebruikt ze dezelfde vragenlijsten als voor de academische ziekenhuizen. Op het moment van schrijven (aug 2008) voert Prismant nog steeds dit onderzoek voor verschillende ziekenhuizen uit.

23

De NVZ heeft in 2004 een tienstappenplan voor de leden van de NVZ opgesteld. De tien punten zijn de kapstok die voor een goede beleidsmatige aanpak van tevredenheidonderzoek in een ziekenhuisorganisatie. (Bijvoorbeeld: stel een projectcoördinator aan als aanspreekpunt in de organisatie.) Samen met dit tienstappenplan heeft de NVZ ook de vragenlijst die de NFU gebruikt, aangeboden aan de NVZ leden. De volgende stap voor het uniformeren van onderzoek over de verschillende ziekenhuizen was het aanbieden van een dienst om dit onderzoek met minder inspanning op te kunnen zetten. Het PTO-systeem is deze online-dienst geworden. PTO is een stukje gereedschap waarmee ziekenhuizen zelf onderzoeken opzetten. Het PTO-systeem bestaat uit de een website voor ziekenhuizen (http://www.nvzonderzoek.nl), een website voor patiënten (ook wel respondenten genoemd, benaderbaar met onder andere http://www.responsnet.nl en http://www.patiententevredenheid.nl) en de ondersteunende diensten van de NVZ en Weltevrede Markt Onderzoek (WMO). WMO is verantwoordelijk voor de technische ontwikkeling van de website. De website voor respondenten bestaat uit de mogelijkheid om in te loggen. Wanneer de respondent succesvol zijn “respondentcode” invoert, verschijnt de vragenlijst die bij die respondentcode hoort. De website voor ziekenhuizen vormt de werkomgeving waar PTO gebruikers in hoofdlijnen 3 acties kunnen ondernemen: 1) vragenlijsten opstellen, 2) respondentcodes genereren en 3) de resultaten van enquêtes analyseren. Wanneer een PTO gebruiker een nieuw onderzoek opzet, begint het in het PTO-systeem met de vragenlijst opstellen. De al eerder genoemde vragenlijsten van de NFU, worden al kant-enklaar in drie vormen aangereikt in het systeem: een kliniek-, polikliniek- en dagbehandelingvragenlijst. Deze drie lijsten worden daarnaast ook in een “kind-versie” aangeboden, waarbij de tekst van de vragen is aangepast. Mochten ziekenhuizen PTO willen gebruiken voor ander onderzoek dan onderzoek naar de patiënttevredenheid, dan is dit ook mogelijk. De 7e vragenlijst die wordt aangeboden is daarom een blanco vragenlijst, waarin gebruikers zonder standaard vragen een vragenlijst kunnen opstellen. Voorbeelden van niet patiënttevredenheid gerelateerd onderzoek in het PTO-systeem zijn: onder zoek naar medewerkertevredenheid, evaluatie van de restaurantfaciliteiten en ervaringenonderzoek. Wanneer een PTO-gebruiker één van de zeven vragenlijsten als startpunt heeft uitgekozen, kan hij deze lijst naar eigen wens aanpassen. Dit kan door vragen toe te voegen, te verwijderen, aan te passen of de volgorde te veranderen. Alleen de gevalideerde standaardvragen worden meegnomen in ziekenhuisoverstijgende evaluaties en (numerieke) analyses.

24

Veranderingen aan standaardvragen worden ontmoedigd door het systeem, door een extra ingebouwde handeling die nodig is voordat de standaardvraag kan worden aangepast of verwijderd. Bij deze handeling verschijnt ook een waarschuwing die de gebruiker wijst op de consequenties van de standaard wijzigen. Nadat de vragenlijst naar de wens van de gebruiker is opgesteld, moeten de respondenten benaderd worden. Het PTO-systeem verwerkt de respons met behulp van responscodes. Een responscode is een unieke gerandomiseerd gegenereerde code die bij één vragenlijst hoort. Een vragenlijst kan in theorie een onbeperkt aantal responscodes toegewezen krijgen. Het ziekenhuis zorgt zelf voor de verspreiding van deze codes onder de respondenten in wiens mening de ziekenhuizen geïnteresseerd zijn. Het systeem ondersteund het verspreiden door uitnodigingsbrieven waarin de responscode is opgenomen te genereren. Wanneer een ziekenhuis niet alleen internet als enquêteermedium wil gebruiken, maar bijvoorbeeld ook papier of aan touchscreen computer in het ziekenhuis, dan is dit ook mogelijk. De verwerking van die gegevens zit echter niet in het basissysteem en moet als maatwerk extra besteld worden door een ziekenhuis. Zodra er enquêtes zijn ingevuld door respondenten, kunnen PTO gebruikers de resultaten raadplegen en in verschillende vormen weergeven. Het systeem genereert bij elke vraag wanneer dit gewenst is een of meerdere van de volgende presentatievormen: 1) een staafgrafiek, 2) een taartdiagram, 3) een tabel, 4) een kruistabel (waar de vraag tegen een andere vraag wordt uitgezet) en 5) een benchmarktabel (als de vraag een standaardvraag is). Deze grafieken en tabellen kunnen in een rtf-document, te openen in onder andere Microsoft Word, worden opgeslagen op de eigen computer van de gebruiker. De resultaten zijn ook elk moment in een format geschikt voor Microsoft Excel of SPSS te downloaden door gebruikers, voor verdere analyses die niet standaard in systeem zitten. Ziekenhuizen bepalen dus ook zelf wie in het ziekenhuis het onderzoek uitvoert (bijvoorbeeld de afdeling kwaliteit, communicatie of de verschillende verpleegkundig afdelingshoofden zelf of een extern bureau), wie er in het ziekenhuis bevraagd worden (bijvoorbeeld alle patiënten of een steekproef op een bepaalde afdeling), en welke vragen er gesteld worden. De gebruiker van het systeem is het ziekenhuis, en niet de NVZ. De NVZ wil alleen over algemene cijfers kunnen beschikken voor bijvoorbeeld persdoeleinden. Verder wil de NVZ niets met deze onderzoeken.

25

1.7 De basis van Information Retrieval systems Wanneer men een grote verzameling documenten heeft (of je nu spreekt van over alle boeken in een boekwinkel, alle visitekaartjes die een zakenman heeft verzameld of de recepten van het supermarkttijdschrift) zal men die verzameling op één of andere wijze willen exploiteren. Wanneer je deze verzamelingen ongeordend tot je beschikking hebt, kun je er over het algemeen niet op een snelle manier iets nuttigs mee doen. De waarde van een verzameling wordt groter wanneer je er iets in kan opzoeken. De meest eenvoudige manier om de verzameling doorzoekbaar te maken is om deze verzamelingen op een bepaalde manier te ordenen. Zo kunnen bijvoorbeeld de boeken per genre, de visitekaartjes op alfabet en de recepten per menugang worden geordend. Samen met de explosie van de rekenkracht en opslagruimte voor computersystemen in de afgelopen 50 jaar zijn ook de digitale documentenverzamelingen niet meer uit ons dagelijks leven weg te denken. Een paar van de voordelen van digitale verzamelingen zijn de beperkte fysieke ruimte die er nodig voor is, de mogelijkheid om op meerdere locaties in de wereld toegang te hebben tot dezelfde verzameling en (mits goed geïmplementeerd) de hulp die de computer kan bieden om snel de verzameling te doorzoeken. Systemen die zich bezig houden met het indexeren en doorzoekbaar maken van digitale documentverzamelingen, worden Information Retrieval (IR) systemen genoemd. Documenten moeten in de breedste zin des woord genomen worden. Een document kan een artikel zijn, een boek, of in het geval van de vragenbibliotheek voor PTO, een enkele zin. De vraag die aan het systeem wordt gesteld heet een “query”. Ik zal proberen enkele definiërende aspecten van IR-systemen aan te tippen door de verschillen met eenvoudige Database-systemen (DB-systemen) aan te tonen.17 De grens tussen IR-systemen en DB-systemen is soms lastig aan te geven, maar de uitersten helpen om de verschillende uitgangspunten van de systemen duidelijk te krijgen. DB- & IR-systemen Een DB-systeem is de naam die ik geef aan de meest elementaire vorm van een databasebevraging. Een database kun je in dit geval zien als een tabel waarin documenten of referenties naar die documenten zijn opgeslagen. In deze tabel zijn ook herkenbare eigenschappen van die documenten opgeslagen. In bijvoorbeeld een personen-database kan een persoon een nummer, een naam, geboortedatum en adres hebben. Wanneer men in een DB-systeem een record wil zoeken, geeft de query aan op welke herkenbare eigenschappen geselecteerd wordt, en het resultaat van de zoekslag bestaat uit alle documenten die aan de gevraagde eigenschappen voldoen. Een DB-systeem is een goede oplossing wanneer de gebruiker precies weet wat hij zoekt, en precies weet hoe hij de vraag moet stellen.(inclusief de juiste spelling van de zoekeigenschap!)

26

IR-systemen daarentegen zijn de oplossing waaraan je moet denken wanneer de vragensteller niet precies weet wat hij zoekt. Om maar een voorbeeld te nemen dat het verst van eenvoudige DB-systemen staat: in plaats van de query “selecteer uit de Database alle boeken waar hoofdonderwerp is ‘panda’”, zoals je die zou stellen bij een DB-systeem, vraagt de gebruiker van een geavanceerd IR-systeem “Ik zoek een boek over panda’s”. Bij de eerste query krijgt de gebruiker alle boeken waar “panda” als hoofdonderwerp is gedefinieerd. Bij de tweede query hangt het er van af hoe het IR systeem is opgezet. Zo is het mogelijk dat er zoekresultaten zijn zonder panda als hoofdonderwerp, maar met “China”, of “dierentuin” omdat in het IR systeem de algoritmen zitten die deze onderwerpen aan Panda linken. Aan de query’s in het vorige voorbeeld is ook te zien hoe aan het ene uiterste een kunstmatige taal wordt gebruikt bij ons voorbeeld DB-systeem, terwijl het IR systeem aan het andere uiterste van de mogelijkheden een natuurlijke taal bevraagd kan worden. De voorbeelden gingen hier om uitersten. Zoals al eerder gezegd is de grens tussen een DB-systeem en IRsysteem vrij onduidelijk. Een IR-systeem is een specialisatie van een DB-systeem. Modellen & eigenschappen IR Ik heb hierboven het gehad over “de uitersten” vormen DB & IR. Daarnaast heb ik ook al vermeld dat de grens tussen de twee vormen vaak moeilijk te bepalen is. Deze op het oog tegenstrijdige uitspraken wil ik hier toelichten aan de hand van modellen en eigenschappen van IR.18 Wiesman beschrijft in zijn proefschrift 4 modellen voor een IR systeem: 1. Het Booleaans model 2. Het Vector model 3. Het probabilistisch model 4. Het connectionistische model Wat deze 4 modellen gemeen hebben is dat zij allen een score toekennen aan een document (en/of query). De manier waarop verschilt van het wel of niet voorkomen van een term (ook wel keyword of keyterm genoemd, de bepalende woorden in een tekst), zoals ook te herkennen is in wat ik met DB-systemen aanduid, als van het berekenen van de kans dat een document wel of niet bij die query zou horen. Hoewel ik hier niet te diep in wil gaan op het berekenen van de score, maar voor een beter idee hoe zo’n score tot stand komt, geef ik hier enkele veelgebruikte criteria die meegenomen worden in de scoreberekening19

• • • • • •

De frequentie van een term in een document De frequentie van een term in de query Het aantal documenten waarin een bepaalde term voorkomt Het aantal keer dat de term in de totale documentenverzameling voorkomt Het aantal documenten in de verzameling Het totaal aantal termen in de documentenverzameling.

27

Zoals men aan deze criteria kan zien gaat het bij een niet al te omvangrijke documentenverzameling toch al snel over forse aantallen. Hoewel de computer natuurlijk zeer geschikt is om deze tellingen uit te voeren, blijft mensenwerk bij het ontwerpen van een IR systeem onmisbaar. Waarden zoals lidwoorden komen natuurlijk in grote mate voor in documenten, en zouden dus een hoop niet relevante documenten teruggeven als de query ook lidwoorden bevat. Ook de bepaling wat de ondergrens is voor wanneer een frequentie van een term zo klein is dat deze irrelevant wordt moet door een menselijke deskundige bepaald worden. Gelukkig is er een hoop mensenwerk tijdens de ontwikkelingen van IR systemen in de laatste 30 jaar gaan zitten in het oplossen van deze problematiek. Er bestaan algoritmen en lijsten met stopwoorden (de naam voor veel voorkomende woorden in teksten) om dit soort ongewenste effecten tegen te gaan. Naast de keuze welk model er wordt gehanteerd voor de scorebepaling van documenten en query’s, blijven er nog keuzes over voor het ontwerp van het IR systeem. Is er een beperkt aantal termen waarmee de gebruiker zijn query mag bouwen, of worden de termen afgeleid uit natuurlijke taal etc. etc. “Indexing” is de naam voor het proces om de representatie van het document te creëren. Zo’n representatie bestaat uit de score’s van het document voor verschillende termen, eventueel aangevuld met andere informatie (bijvoorbeeld de plaats van de term in het document, met het idee dat belangrijke termen vooral in het begin en einde voorkomen). Indexing is noodzakelijk om de documentenverzameling doorzoekbaar te maken. Een andere optie die een IR systeem kan hebben is de zogenaamde “Full text search”. Wordt de query alleen getoetst op een representatie van het document ( met bijvoorbeeld het lijstje veelgebruikte criteria boven beschreven), of kan ieder woord in het document door het IR systeem geraadpleegd worden? Zo zijn er nog andere eigenschappen en opties te bedenken die wel of niet in een IR systeem verwerkt kunnen worden (zo besprak Wiesman in zijn eerder genoemde boek 18 een niet uitputtende lijst van 12 eigenschappen). Voor al de modellen en eigenschappen geldt: “er is geen beste”. Wanneer de IR ontwerper aan het werk gaat moet hij afwegen welk model het meest toepasselijk is, het best toepasbaar is, voor zijn systeem.

28

2 Opzet en uitvoering van het onderzoek. Er zijn gezien de onderzoeksvragen, twee onderzoeksgebieden in deze scriptie. 1) De eigenschappen van patiënttevredenheid en 2) information retrieval systemen. Van patiënttevredenheid was ik geïnteresseerd in wat het was, hoe het beschreven kan worden en of mijn bevindingen in de literatuur overeenkomen met de realiteit van ons systeem. De resultaten van de zoektocht naar wat patiënttevredenheid is, kunt u terugvinden in 1.6. In hoofdstuk 3 komen de beschrijvingen en de praktijktoets aan de orde. In dit hoofdstuk staat paragraaf 2.1 in het teken van de methoden waarmee ik deze vragen heb beantwoord. Voor het ontwerp van een vragenbibliotheek was het van belang te weten welke grondgedachten achter IR-systemen zitten. In 1.7 zijn die grondgedachten uiteengezet. Daarnaast moesten de wensen van exploitanten en gebruikers geïnventariseerd worden en getoetst op hun haalbaarheid. In paragraaf 2.2 kunt u terugvinden hoe deze vraagstukken zijn aangepakt.

2.1.1 Het literatuuronderzoek In elk systeem waarin objecten worden opgeslagen, moet er een manier zijn om de verschillende objecten van elkaar te onderscheiden en om ze terug te vinden. Een manier om dit snel voor elkaar te krijgen is het toekennen van een uniek identificatienummer. Wanneer er naar objecten gezocht moet worden zonder dat de zoeker de nummer/object combinaties kent, volstaat een nummer als enig discriminerende dimensie echter niet. Meerdere dimensies met meer inhoudelijke informatie over het gewenste object zijn dan nodig. Enige kennis over het domein waarin gezocht wordt is dan wenselijk voor de zoeker, maar absoluut noodzakelijk voor de instantie die de verschillende dimensies van de objecten moet benoemen en toekennen. Om uiteindelijk een bibliotheek met vragen voor patiënttevredenheidonderzoek te kunnen opzetten, is dus grondige domeinkennis een vereiste. Om dit te bereiken is een literatuurstudie naar de verschillende aspecten binnen patiënttevredenheidonderzoek uitgevoerd, waarbij de verschillende dimensies patiënttevredenheid waaruit tevredenheid is opgebouwd. Allereerst is een poging gedaan de nadruk te leggen op Nederlands onderzoek, maar na teleurstellende resultaten is de scope uitgebreid naar internationaal onderzoek. In hoofdstuk 3.1 is een overzicht van de gevonden dimensies binnen patiënttevredenheidonderzoek terug te vinden. Op de website “web of science” is gezocht naar reviewartikelen De resultaten van deze zoektocht staan in hoofdstuk 3.1.

2.1.2 Praktijktoets dimensies Om te toetsen of de gevonden dimensies van tevredenheid ook overeenkwamen met de werkelijk toegevoegde vragen in PTO, is een analyse uitgevoerd van de toegevoegde vragen in één jaar PTOgebruik. Deze vragen zijn door mij gecategoriseerd aan de hand van zelf opgestelde definities van de dimensies, om zo te toetsen of de dimensies toerijkend zijn.

29

2.2 Eisen voor de vragenbibliotheek De literatuurstudie naar IR-systemen is een relatief korte geweest. Een tekstboek begin jaren zeventig17 gaf een goed idee van de concepten die belangrijk zijn bij IR systemen. Een proefschrift eind jaren negentig18 bleek te bevestigen dat hoewel de exacte technieken beter getest waren, de ideeën erachter als vrij onveranderd konden worden beschouwd. Een artikel uit 200619 dat is geschreven als tutorial voor mensen die zelf een IR-systeem willen opzetten was in lijn met de eerder gevonden literatuur en gaf daarmee de laatste stand van zaken weer. Hoewel de werking van IR-systemen een ontzettend interessant onderzoekgebied vormt, en er ook genoeg extra literatuur en tekstboeken over te vinden zijn, bleken de drie bovengenoemde bronnen genoeg antwoorden te geven op de vragen relevant voor dit onderzoek.(zie hoofdstuk 3) Met de literatuur van patiënttevredenheid en IR-systemen in de hand was het tijd de eisen die gebruikers hebben te inventariseren. Deze wensen konden namelijk nu aan de mogelijkheden in de beide gebieden getoetst worden. De eisen zijn verzameld in een serie ongestructureerde gesprekken met de drie partijen binnen PTO: 1. De NVZ (2 personen) 2. De PTO gebruikers (3 gebruikersbijeenkomsten met ongeveer 15 personen) en 3. de ontwikkelaar van het systeem (1 persoon). De wensen van de NVZ zijn hier als voornaamste uitgangspunt genomen. Als laatste stap voordat het ontwerpproces begon, is getest of de dimensies die goed uit de praktijktoets kwamen (zoals beschreven in paragraaf 2.1.2), ook onder de gebruikers herkenbaar waren. Dit is gedaan door hen in een met PTO opgestelde enquête voor te leggen, met daarin 20 reeds aan het systeem toegevoegde vragen. Gebruikers werd verzocht deze vragen in te delen naar de 21 dimensies.

30

3 Resultaten. 3.1 Patiënttevredenheid De meeste resultaten van de literatuurstudie naar patiënttevredenheid heeft u kunnen lezen paragraaf 1.6. Het blijkt een niet onomstreden indicator van kwaliteit, die al lang en veel gebruikt wordt vanwege de relatieve eenvoud van het verkrijgen. Naast dit resultaat, moest de literatuurstudie een antwoord geven welke verschillende onderdelen van tevredenheid uitgevraagd kunnen worden bij patiënten.

3.1.1 De verschillende deelaspecten van patiënttevredenheid In de vragenlijsten die de NVZ al aanbiedt in het PTO-systeem, zijn de vragen gegroepeerd onder verschillende “kopjes”. Deze kopjes staan elk voor een dimensie van patiënttevredenheid, en de vragen (en vooral de antwoorden natuurlijk) die onder die kopjes staan zijn een indicator van die dimensie. De verdeling van de vragenlijsten in deze dimensies leek een goed aspect van tevredenheidvragen waarop vragen gecategoriseerd kunnen worden. Het hoofddoel van de literatuurstudie voor de onderzoeksvraag concentreerde zich op het opsporen van mogelijk nog meer relevante dimensies. De eerste dimensies die al direct beschikbaar waren, zijn de 8 dimensies die al worden uigevraagd in de vragenlijsten die in het PTO systeem zitten. In tabel 1 vindt u nogmaals de namen van die 8 dimensies. Tabel 1. Dimensies in de PTO vragenlijsten Persoonsgegevens 1 2 Ontvangst bij opname 3 Bejegening & verzorg verpleegkundigen 4 Bejegening & behandeling artsen 5 Informatie 6 Zelfstandigheid 7 Het vertrek & de nazorg 8 Totaaloordeel Met deze 8 dimensies als uitgangspunt voor het abstractieniveau waarop dimensies benoemd worden, kreeg de literatuurstudie richting. Op de website “web of science” is gezocht naar reviewartikelen. Keywords gebruikt in de zoekopdracht waren “patient”, “satisfaction”, “hospital”. De 103 resultaten zijn toen handmatig doorgenomen, en na met name de studies over erectiestoornissen te hebben genegeerd (omdat deze slechts vroegen naar de tevredenheid over de medische uitkomst i.p.v. de tevredenheid over het ziekenhuis) werd slechts één duidelijke review gevonden waarin een overzicht met gevonden dimensies werd weergegeven in een online bijlage. In deze bijlage werd van 55 onderzoeken beschreven welke dimensies in dat onderzoek werden uitgevraagd. De totaal 278 dimensies bevatten veel syntactisch gelijke dimensies. Na ontdubbelen bleven er nog 99 syntactisch unieke, maar niet zonder meer semantisch unieke dimensies over.

31

Deze 99 dimensies heb ik gerubriceerd. Eerst naar de 8 dimensies die al tot mijn beschikking waren. (zie de eerste 8 rijen van tabel 2).De 49 dimensies die toen over bleven heb ik geclusterd en van een Nederlandse naam voorzien. Daar bleven toen nog 13 dimensies over (zie rijen 9 t/m 21 van tabel 2) Tabel 2. De 99 dimensies teruggebracht tot 21 1 Persoonsgegevens 2 Ontvangst bij Admission,Booking the appointment and other instructions,Arrival opname at the hospital,First impression 3 Bejegening & Physical care,Daily care,Satisfaction with medical verzorging care,Compassionate patient care,Respectfulness,Approachability verpleegkundigen and availability,Staff to manage emergencies,Affiliation and esteem,Professional and technical quality,Time taken to carry out care,Pain management,Competence,Credibility,Reliability,Courtesy,Communi cativeness,Understanding,Responsiveness,Emotional support/ allevation of fear and anxiety,Antiethical performance 4 Bejegening & Communication with staff,Help from staff,Physical care,Daily behandeling care,Satisfaction with medical care,Compassionate patient artsen care,Respectfulness,Approachability and availability,Staff to manage emergencies,Affiliation and esteem,Professional and technical quality,Time taken to carry out care,Pain management,Competence,Credibility,Reliability,Courtesy,Communi cativeness,Understanding,Responsiveness,Emotional support/ allevation of fear and anxiety,Antiethical performance 5 Informatie Information,Information given to and education of the patient,Imformation about medicines,Medical records and clinical information,Open sharing of information 6 Zelfstandigheid Service personalization,Empowerment,Growth and selfactualization 7 Het vertrek & de Discharge,Discharge planning,Folluw up,Preparation for nazorg discharge,Preparation for coping after discharge,Control of discharge circumstances,Home instructions,Continuity/coordination of care 8 Totaaloordeel Total process,Global satisfaction 9 Hotel functie Satisfaction with noice level,Satisfaction with food service,Satisfaction with housekeeping,Parking/ Directional signs,Hospital environment,Patient amenities,Accesability,Hospital services,Cleanliness,Comfort,Quietness,Time schedule for the meals,Equipment and service needs,Waiting room facilities,Security,Availability 10 Financieel Billing 11 Pre-opname Preadmission 12 Test en onderzoek Tests and operations,Injection Procedure,Imaging Procedure 13 Medicatie Medication, Imformation about medicines 14 Verwachtingen en Expectations,Expectations from nurses,Expectations from andere meningen staff,Patients' views on hospital treatment,Patients perception of quality of care,Patient needs were met,Interpersonal aspects of care,Beliefs about pain,Tendency toward dissatisfaction,Amount of expected post-operative pain 32

Tabel 2 (vervolg) 15 Bejegening door ander personeel 16 Medische uitkomst 17 Logistieke planning 18 Omgang met familie/bezoek 19 pijnbestrijding 20 Aanbevelingen 21 Klachten

Satisfaction with house staff,Satisfaction with nurse's aides,Satisfaction with escort services,Ancillary services Outcome, Life impact Efficiancy in scheduling patient,Coordination of care among providers Compassionate family care,Treatment of family,Involvement of family and friends Pain management,Pain intensity,Extent to wich pain interferes with activities Recommendations Complaints

De definities die ik heb opgesteld voor de verschillende dimensies staan in bijlage 1. Uit de Engelse dimensies in tabel 2 en definities in bijlage 1 is af te leiden dat het terugbrengen van de 99 naar de 21 dimensies soms arbitrair lijkende beslissingen met zich meebrengt. Zo is de dimensie “Imformation about medicines” ingedeeld onder de dimensie informatie, terwijl deze ook onder de dimensie medicatie valt. Een ander voorbeeld: in de dimensies bejegening & verzorging door verpleegkundigen en bejegening en behandeling door artsen komen ook dezelfde subdimensies voor. Deze overlap is een logisch gevolg van de werkpraktijk in ziekenhuizen. Veel processen die ziekenhuisorganisaties uitvoeren, waarover zij de mening van hun klanten willen weten, beslaan meerdere van de dimensies. Zo kan de tevredenheid worden gevraagd over de informatie in het medisch dossier (de juiste diagnose staat erin), de logistieke planning van het dossier (het was aanwezig op het spreekuur), de medicatie vermeldt in het dossier etc. De vraag “Hoe tevreden bent u over uw medisch dossier”, is naast een vraag die weinig concrete informatie oplevert, een vraag die moeilijk is te categoriseren naar de dimensies. Dit probleem heb ik in eerste instantie proberen op te lossen door heldere definities van de 21 dimensies te geven. Daarnaast is de mogelijkheid om meerdere dimensies aan een vraag toe te wijzen geïntroduceerd om zo de keuzes minder zwaar te maken. Na de bovenstaande dimensies geredigeerd te hebben, zijn deze dimensies met 10 vragenlijsten die als bijlage te vinden waren in later gepubliceerde artikelen, vergeleken. Alle vragenlijsten bespraken dimensies die ook in de review waren gevonden. De artikelen die voor deze controle werden gebruikt waren geen reviews, en waren gepubliceerd na de review om zo de referenties van het reviewartikel uit te sluiten. Toen ook een tekstboek20 waarin een hoofdstuk was gewijd aan de elementen van patiënttevredenheid, geen nieuwe dimensies opleverde, is besloten de zoektocht te staken.

3.1.2 De dimensies getest op de nieuwe vragen Of de 21 dimensies een volledig beeld van de tevredenheidaspecten opleverden is getest met de door ziekenhuizen toegevoegde vragen, door de toegevoegde vragen te trachten in te delen naar deze 21 dimensies.

33

In maart 2007 waren de eerste 9 gebruikers van het PTO systeem tussen de 6 en 10 maanden actief met het PTO systeem. Hoewel de meeste gebruikers proefmetingen en pilotprojecten in hun ziekenhuizen hadden gestart om de waarde van PTO voor hun organisatie te kunnen bepalen, bleken er toch 966 vragen te zijn toegevoegd. Vanwege beperkingen van het PTO-systeem, bleken deze vragen niet allemaal uniek. Een zelf toegevoegde vraag wordt door de gebruiker namelijk toegevoegd aan de eigen vragenlijst, en niet aan het totaal aan mogelijke vragen. Wanneer je als gebruiker vervolgens dezelfde vraag in meerdere vragenlijsten terug wil laten komen, moet die vraag weer opnieuw aangemaakt worden. Ook vragen die niet patiënttevredenheidmeting als uitgangspunt hebben droegen bij aan een vertekend beeld hoeveel relevante vragen waren toegevoegd voor de eventuele vragenbibliotheek. Wanneer de dubbele (aantal:454) en niet patiënttevredenheid gerelateerde vragen (aantal:213) werden verwijderd uit het bestand, bleven er 299 relevante vragen over. Bij het categoriseren van deze vragen naar de 21 dimensies bleek dit al snel niet eenvoudig eenduidig te kunnen. Niet zozeer omdat de dimensie ontbrak, maar omdat een vraag zich op het grensvlak van 2 of meerdere dimensies bevond. Er is toen besloten dat vragen ook in meerdere dimensies kunnen vallen. De resultaten van de categorisering vindt u terug in tabel 3. Tijdens het categoriseren is als uitgangspunt genomen dat er niet meer dan 10 seconden nodig hoefde te zijn om een dimensie aan een vraag toe te kennen. Dit om de praktijk van de vooral nieuwe gebruikers van het PTO systeem te simuleren. 3 % van de vragen kon niet binnen die tijd gecategoriseerd worden. Deze vragen konden na de definities van de dimensies te hebben gelezen niet door mij zonder twijfel aan één of meerdere dimensies toegewezen worden. Dit waren met name vragen met betrekking tot de telefonische bereikbaarheid van ziekenhuizen of afdelingen. 240 vragen (80%) konden wel eenduidig gecategoriseerd worden. Dit is een bemoedigend resultaat voor de bruikbaarheid van de gevonden dimensies voor het categoriseren van nieuw toegevoegde vragen. De dimensies “Ontvangst bij opname”, Klachten”, “Omgang met familie/bezoek” en “Medische uitkomst” komen tot nu toe nog niet voor volgens deze categorisering.

34

Tabel 3: De door ziekenhuis toegevoegde vragen gecategoriseerd (v. staat voor “of”) ? Aanbevelingen Bejegening door ander personeel Bejegening & behandeling artsen Bejegening & behandeling artsen v. bejegening & verzorging van Verpleegkundigen v. ander personeel Bejegening & verzorging verpleegkundigen Financieel Het vertrek & de nazorg Hotel functie Hotel functie v. Informatie Hotel functie v. test & onderzoek Informatie Informatie & Test en onderzoek Informatie v. Ander personeel Informatie v. Bejegening & behandeling artsen Informatie v. het vertrek & de nazorg Informatie v. Logistieke planning Informatie v. Medicatie Informatie v. Preopname Logistieke planning Logistieke planning v. Hotel functie Logistieke planning v. Zelfstandigheid Medicatie Persoonsgegevens Pijnbestrijding Preopname Preopname v. Informatie v. Ander personeel Test en onderzoek Totaaloordeel Verwachtingen en andere meningen Zelfstandigheid Zelfstandigheid v. Bejegening & behandeling door artsen Zelfstandigheid v. Informatie

9 18 40 22 2 8 1 6 17 1 1 24 1 3 3 2 10 1 5 31 1 4 1 50 9 1 1 2 5 10 8 1 1 299

35

3.2 Deel Vragenbibliotheek Door meer over het domein (patiënttevredenheid) te weten, weten we welke restricties dat domein aan ons systeem oplegt. De subparagrafen van hoofdstuk 3.2, gaan dieper in op de restricties die verschillende actoren stellen aan het systeem en op de technische restricties die aan het systeem gesteld worden.

3.2.1 Analyse Requirements Er zijn drie partijen (actoren) die belangen hebben bij het ontwikkelen van de vragenbibliotheek. Hieronder staan de drie actoren genoemd samen met de functionaliteiten die zij zouden willen in het systeem. Nederlandse Vereniging van Ziekenhuizen, de opdrachtgever: Inzage in toegevoegde vragen. Inzage in het systeem zoals gebruikers dat zien, om hen te helpen bij eventuele problemen. Weltevrede Markt Onderzoek, de ICT leverancier: Inzage in toegevoegde vragen. Inzage in systeem zoals gebruikers dat zien, om hen te helpen bij eventuele problemen. Mogelijkheid om bepaalde gebruikersacties terug te draaien en/of aan te passen. Ziekenhuizen/gebruikers: Alle vragen in de bibliotheek bekijken. Relevante vragen op kunnen zoeken en voor eigen gebruik kopiëren. De antwoorden of de kwantificatie van deze vragen kunnen inzien Geschikte vragen invoegen in hun vragenlijst. Vraag en antwoordmogelijkheden toevoegen aan bibliotheek voor toekomstig gebruik. Deze korte lijst met wensen geeft aan dat de vragenbibliotheek een functionaliteit is binnen het PTO systeem waar alle betrokken partijen slechts een beperkte tijd mee bezig willen zijn. Deze lijst bestaat namelijk enkel uit de ervaren voordelen. Het is echter de vraag of het bibliotheeksysteem automatisch alle taken moet kunnen uitvoeren. Wanneer een vraag aan het bibliotheeksysteem wordt toegevoegd, moet voor een bepaalde indexering van die vraag gekozen worden. Een indexering op basis van enkel chronologie of auteur is niet wenselijk, met een geschat aantal toegevoegde vragen van 40 per ziekenhuis per jaar levert zo´n ordening met een beoogd aantal ziekenhuizen van 25 tot 50 een lijst met vragen op van een onwerkbare grootte. Om een ordening aan de vragen toe te kennen zou, gezien de wensen van de gebruikers, een automatische vorm van indexeren het onderzoeken waard zijn. Echter enkele aspecten van patienttevredenheidonderzoek-vragen maken het automatisch indexeren van deze vragen een niet te prefereren aanpak.

36

Ten eerste bevatten veel vragen informatie die niet expliciet in de vraag zelf terug te vinden is. Zo worden onderzoeken die met PTO worden uitgevoerd op verschillende niveaus uitgezet. Een enquête kan ziekenhuisbreed worden uitgezet, op afdelingsniveau of zelfs per specialisme. Op welke afdeling het onderzoek wordt uitgevoerd kan wellicht nog uit de antwoorden op de totale vragenlijst gehaald worden (met bijvoorbeeld de vraag:”Door welk specialisme bent u behandeld?”), maar niet uit een enkele vraag. Een mens kan misschien nog uit de betekenis van een vraag halen dat vragen over een mri-scan bij de radioloog terecht komen, de computer weet dat pas nadat het systeem een stuk ingewikkelder is geworden. Als tweede punt kunnen de vragen die toegevoegd worden aan de bibliotheek soms uit slechts enkele woorden bestaan. Geautomatiseerde information retrieval systemen beschreven in de literatuur zijn voornamelijk gericht op het doorzoeken van zeer grote databases die documenten bevatten die groter zijn dan de enkele woorden die een vraag meestal bevat. Omdat de meeste literatuur hier van uitgaat, blijkt literatuur over de minimale lengte van documenten voor indexering schaars. C.J. van Rijsbergen schrijft “Its recommendations are clear, automatic text analysis should use weighted terms derived from document excerpts whose length is at least that of a document abstract.” Hoewel voor het probleem van de impliciete key terms geautomatiseerde oplossingen worden gezocht door middel van Language modeling en Logic models of Information retrieval,21 hebben deze technieken nog steeds het probleem dat een document wel een bepaalde grootte moet hebben voordat het geschikt is voor indexering. Recentelijk wordt er onderzoek gedaan naar het toekennen van key terms door middel van internet zoekmachines.22 Het idee daarachter is dat het korte document eerst als query in een IR systeem voor het internet gebruikt wordt. Van de documenten (internetpagina’s) die dan worden gevonden worden de meest voorkomende keyterms gekopieerd. Deze worden dan als de key terms voor het korte document gebruikt tijdens het indexeren. Deze techniek is nu echter nog zo experimenteel en vraagt dermate veel van het PTO systeem dat dit niet als een werkbare optie is beschouwd. Gezien deze argumenten tegen een geautomatiseerde indexering, blijft de vraag overeind wie er dan de juiste key terms aan de vragen toekent. Terugkijkend naar de functionaliteiten-wensenlijst van de drie partijen, zijn geen van de 3 actoren geïnteresseerd in het uitvoeren van de indexering. De menskracht die nodig is wanneer de indexering wordt uitgevoerd door de NVZ dan wel WMO, is niet beschikbaar zonder een verhoging van het PTO tarief. De NVZ en WMO hebben aangegeven dit niet wenselijk te vinden. Als laatste werkbare optie blijven dan de PTO-gebruikers over. Deze zouden dan hun eigen vragen kunnen indexeren. In de volgende paragraaf gaan we na in hoeverre PTO-gebruikers in staat zijn de vragen relatief foutloos te indexeren.

37

3.2.3Categoriseren door PTO-gebruikers Wanneer de PTO gebruikers hun eigen vragen zouden gaan indexeren, moet dit wel op een eenduidige manier plaatsvinden. Gebeurt dit niet, dan kan een zoeker in de bibliotheek alleen de vragen terugvinden door iemand die op de zelfde manier denkt. Om te testen of de PTO gebruikers inderdaad de vragen op dezelfde manier categoriseren, is een kleine enquête uitgevoerd. Aan 28 contactpersonen is gevraagd een twintigtal vragen te categoriseren met behulp van maximaal 3 dimensies. In totaal hebben 10 personen gereageerd, waarvan 1 persoon slechts de eerste drie vragen heeft gecategoriseerd. In Tabel 4 kunt u de resultaten van de enquête terugzien. In de eerste kolom ziet u de vraag die gecategoriseerd moest worden. De tweede kolom geeft aan welke indeling ik bij die vraag heb gemaakt. De derde en vierde kolom geven de meest (de modus) en op één na meest voorkomende dimensie bij die vraag weer. Bij de vierde kolom is bij elke vraag alleen een dimensie ingevuld wanneer deze meer dan 1 keer was gekozen. Tabel 4: 20 vragen en de aan hen toegewezen dimensies. Vraag: 1. Kunt u hier nog een ander, niet eerder genoemd aspect noemen dat u belangrijk vindt? 2. Hoe tevreden bent u over de begeleiding op de operatiekamer / verkoeverkamer? 3. Was U beperkt in het doen van Uw werk of andere bezigheden? 4. Op welk tijdstip bent u op de SEH aangekomen? 5. Hoe tevreden bent u over de schoonmaak van de afdeling? 6. Hoe tevreden bent u over de mate waarin artsen naar u luisterden? 7. Indien u bent behandeld door de doktersassistente: welke indruk heeft u van de deskundigheid van de doktersassistente? 8. Waarom zou u bij een volgend bezoek wel of niet voor dit ziekenhuis kiezen? 9. Was er sprake van een storende onderbreking tijdens het onderzoek? 10. Ik vond de uitleg voldoende uitgebreid

Eigen categorieindeling

Meest voorkomend bij Meest voorkomend bij gebruikers 1 gebruikers 2

Aanbevelingen

7 Aanbevelingen

3 verwachting en andere meningen

Bejegening door ander personeel

8 Bejegening & verzorging door verpleegkundigen

5 informatie

Persoonsgegevens

4 Zelfstandigheid

3 Preopname

Persoonsgegevens

8 Logistieke planning

Hotelfunctie

9 Hotelfunctie

8 Ontvangst bij opname 5 Bejegening door ander personeel

Bejegening & behandeling artsen

8 Bejegening en behandeling artsen

-

Bejegening door ander personeel

6 Bejegening door ander personeel

-

Verwachtingen en andere meningen

4 Totaaloordeel

4 Aanbevelingen

Test en onderzoek

4 Test en onderzoek

2 Bejegening en behandeling artsen

Informatie

9 Informatie

-

38

Tabel 4 (vervolg) Preopname v. 11. Hoe tevreden bent u over de Informatie v. telefonische bereikbaarheid van Bejegening door ander de afdeling opname? personeel

2 Preopname

2 Hotelfunctie & 2 Ontvangst bij opname

12. Hoe tevreden bent u over de wijze waarop uw privacy is gerespecteerd door de artsen? (bijvoorbeeld gesprekken over anderen in uw aanwezigheid)

Zelfstandigheid v. Bejegening & behandeling door artsen

8 Bejegening en behandeling door artsen

-

Logistieke planning v. Hotelfunctie

4 Logistieke planning

4 Verwachtingen en andere meningen

Logistieke planning v. Zelfstandigheid

6 Logistieke planning

3 Informatie

Informatie v. Logistieke planning

7 Informatie

4 Logistieke planning

7 Hotelfunctie

3 Informatie

7 Bejegening en verzorging verpleegkundigen

7 Bejegening en behandeling artsen

9 Hotelfunctie

-

7 Informatie

3 Preopname

9 Vertrek en nazorg

4 Informatie

13. Hoe tevreden bent u over de openingstijden van de röntgenafdeling? Openingstijden zijn van 8.30 17.00 uur. 14. Bij een jaarlijkse controle krijgt u een afspraak mee voor volgend jaar. Vindt u deze werkwijze prettig? Of maakt u liever zelf 2 tot 3 maanden van tevoren de vervolgafspraak? 15. Indien er sprake was van een wachttijd in de wachtkamer bij de röntgenafdeling: hoe tevreden bent u over de mate waarin u werd geïnformeerd over de reden duur en wachttijd

16. Hoe tevreden bent u over de bewegwijzering binnen het Hotelfunctie v. ziekenhuis? Informatie Bejegening & behandeling artsen v. Bejegening & behandeling door 17. Werd u door iedereen Verpleegkundigen v. respectvol benaderd? Ander personeel 18. Wat vond u van de verzorging van de onderzoeksen/of behandelruimte van de Hotelfunctie v. test & dermatoloog? onderzoek 19. Hoe tevreden bent u over de informatie en voorbereiding in Informatie v. het DagCentrum? Preopname 20. Wanneer werd u geïnformeerd welke maatregelen u thuis moest treffen voor de periode na Informatie v. het ontslag? vertrek & de nazorg

Slechts bij 4 vragen gaven alle gebruikers exact dezelfde dimensie aan een vraag mee (vragen 5, 10, 18 en 20). Die vier vragen zijn dus voor iedereen duidelijk te indexeren. Sommige vragen bleken ook een stuk lastiger te categoriseren. Vooral over de vraag naar de telefonische bereikbaarheid van de afdeling Opname werden zeer diverse labels toegewezen. 39

Bij 5 vragen kon er geen tweederde meerderheid behaald worden voor een bepaald label. Dit was het geval bij vragen 3,8,9,11 en 13. De door mij toegewezen dimensies hierbij waren: • Persoonsgegevens • Verwachtingen en andere meningen • Test en onderzoek • Zelfstandigheid v. Bejegening & behandeling door artsen • Logistieke planning v. Hotelfunctie Bij 16 vragen bleken de 9 PTO-gebruikers en ik dezelfde labels aan de vragen toe te kennen. Dit was het geval bij vragen 1,5,6,7 en 9 t/m 20. Vragen 9,11 en 13 komen echter ook in het rijtje hierboven voor. De dimensie die het meest werd gekozen bij deze vragen kwam wel overeen met mijn indexering. De dimensies die bij die vragen werden toegekend waren: • Aanbevelingen • Hotelfunctie • Bejegening & behandeling artsen • Ander personeel • test en onderzoek • Informatie • Logistieke planning • Bejegening & behandeling door Verpleegkundigen • Het vertrek & de nazorg Wanneer deze 9 dimensies, die de deelnemers hebben toegekend, worden vergeleken met de 7 dimensies die ik aan de 5 vragen heb toegewezen waar geen tweederde meerderheid voor behaald werd, ziet men overlap. Zo waren gebruikers bij de ene vraag unaniem in hun menig dat deze vraag bij de dimensie “Hotelfunctie” thuishoorde, terwijl een andere vraag die op die manier heb geïndexeerd niet vanzelfsprekend in die dimensie valt volgens de gebruikers. Hierdoor kan niet zonder meer gezegd worden dat de moeilijk te categoriseren vragen toe te schrijven zijn aan eventueel gebrekkige definities van de dimensies. De mogelijkheid om een derde label mee te geven aan een vraag werd zeer beperkt gebruikt. Slechts 4 vragen ontvingen van meer dan 1 persoon een derde label.

40

3.2.4 Andere aspecten van vragen. Hoewel de bovengeteste dimensies een goed uitgangspunt lijken voor categorisatie, blijken ze nog niet voldoende voor een volledige categorisatie. Extra (impliciete) eigenschappen van de tevredenheidvragen (en de lijsten waarin zij voorkomen) kunnen meer duidelijkheid over een vraag scheppen. De volgende drie extra labels lijken verstandig om toe te voegen aan vragen in de vragenbibliotheek: Type zorg: 1) Polikliniek, 2) Kliniek, 3) Dagbehandeling 4) Op geen of alle zorgtypes van toepassing. Specialisme: Zoals deze worden uitgevraagd in de standaard lijsten, uitgebreid met de optie “overige”. Patiëntengroep: 1) Volwassenen of 2) Kinderen. Deze drie extra labels zijn uit emailreacties op de enquête en mondeling overleg met stakeholders voortgekomen.

41

4 Discussie. In dit hoofdstuk worden de gevonden resultaten en methoden bediscussieerd. Aangezien er twee onderzoeksgebieden zijn binnen deze scriptie, zal ik de discussie per onderwerp aankaarten. Allereerst zal ik ingaan op patiënttevredenheid, gevolgd door het onderwerp Information Retrieval systemen.

4.1 Patiënttevredenheid Tevredenheid (en zeker die van een patiënt) bleek een lastig begrip om wetenschappelijk vat op te krijgen. Met een goede dissertatie en een eerste blik in de veelheid van publicaties in de hand dacht ik een goed afgebakend vakgebied te hebben gekozen om in te werken. Niets bleek minder waar. In de sociale wetenschappen is tevredenheid een omstreden begrip waar de theorie en de praktijk vaak niet op elkaar lijken aan te sluiten. Al jaren wordt en tot grote tevredenheid van praktisch ingestelde onderzoekers, tevredenheid onder patiënten gemeten. Tijdens mijn stage en werk ben ik dan ook veel geslaagde projecten tegengekomen waar de tevredenheidmeting de start was van een reeks acties met betrekking tot kwaliteitsverbetering en patiëntenparticipatie. De theoretische grondslag van patiënttevredenheid blijft echter discutabel, met een evenveel voor als tegenstanders. De theoretische grondslag van patiënttevredenheid bewijzen was (gelukkig) niet het doel van deze stage. Vandaar dat ik me graag heb willen beperken tot een overzicht van de methodologische vraagtekens, zonder daar een waardeoordeel over te hoeven vellen. Het wel of niet valide zijn van tevredenheidvragen is namelijk niet het doel van het PTOsysteem. Met het uitgangspunt dat de standaardvragenlijsten die worden aangeboden worden valide zijn, moet het systeem helpen eenvoudig onderzoek te kunnen uitzetten. Of die onderzoeken methodologisch kloppen is de verantwoordelijkheid van het ziekenhuis. Vandaar dat de vragen die ik (vooral in het begin van mijn stageperiode) veel kreeg van medestudenten en docenten “Zijn de vragen valide” en “wordt er in het systeem vanuit een empirisch of conceptueel model gewerkt”, niet relevant zijn. De vragenlijsten staan niet ter discussie, de validiteit van toegevoegde vragen ook niet. Helpen onderzoek op te zetten waar vragen over validiteit niet aan de orde komen, stuit wellicht enkele wetenschappers tegen de borst. Ik zou daartegen willen stellen dat voor elke nieuwe vragenlijst voor welk onderzoek dan ook geldt dat deze nog niet door de methodologische mangel is gehaald. Pas nadat je de eerste resultaten van je nieuwe onderzoeksmethode hebt, kun je gaan bepalen of je uitkomsten je een betrouwbaar beeld van je onderzoeksgebied geven. Als PTO gebruikers dit soort berekeningen willen doen, staat hen niets in de weg om dat te doen. De vragenbibliotheek kan op die manier juist bijdragen aan de toekomstige validering van vragen, omdat wanneer de ziekenhuizen dezelfde vragen stellen, je meer proefpersonen hebt om je hypotheses op te testen. De literatuurstudie naar patiënttevredenheid was niet eenvoudig. De meeste artikelen die voldoen aan mijn zoektermen maken alleen melding van hun meting, zonder in te gaan op het

42

meetinstrument zelf. De review kwam als geroepen, maar maakte de zoektocht daarna tot een afweging hoe lang door te gaan. Alle dimensies die ik verder tegenkwam waren al beschreven in de review. Daardoor is er op een redelijk willekeurig moment gekozen te stoppen met zoeken, zonder de garantie dat alle relevante literatuur gevonden is. Helaas is dit een gevoel dat bijna elke onderzoeker zal hebben in dit tijdperk van informatie. Het categoriseren van de toegevoegde vragen is door mij uitgevoerd. Ondanks de lange stageperiode, is het moeilijk te bepalen in hoeverre ik als expert aangemerkt kan/mag worden. Door streng de definities te volgen en vragen die onder meerdere dimensies konden vallen ook meerdere dimensies toe te wijzen, heb ik de invloed van mijn eventuele gebrek aan expertise tot een minimum beperkt. Uiteindelijk bleven er nog 9 vragen over die ik niet kon categoriseren. Omdat ook uit de enquête onder gebruikers naar voren kwam dat sommige gebruikers de dimensies alsnog niet toereikend genoeg vonden voor enkele vragen, is een dimensie “Overig” een nuttige toevoeging aan de lijst met dimensies. Het ideaalbeeld van categorisering zou verkregen kunnen worden door de volledige PTO gebruikersgroep de volledige lijst met toegevoegde vragen te laten beoordelen. Dit bleek echter niet een haalbaar scenario vanwege de tijd die dit zou kosten voor de gebruikers. Ook konden proefpersonen niet gecompenseerd worden voor hun tijd. De beslissing om zelf alles te categoriseren lijkt echter door de resultaten van de enquête geen verkeerde beslissing. De uitgevoerde enquête onder gebruikers, bracht echter wel de vraag naar boven of alle PTO gebruikers in staat zijn vragen op een eenduidige manier op te stellen en te classificeren. Eén van de ideeën achter de enquête was het snel kunnen toevoegen van dimensies. Het snel kunnen uitvoeren zonder verdere training zou de drempel voor PTO gebruikers verlagen voor het categoriseren van hun eigen vragen in de toekomst. De definities van de dimensies zijn meegegeven in de vragenlijst, ik heb echter niet vastgesteld of deze zijn geraadpleegd door de proefpersonen. Ondanks de leidraad die de definities moeten geven aan het indexeren, blijft de indexering bij de vragenbibliotheek mensenwerk. Dit betekend dat er altijd menselijke fouten gemaakt zullen worden tijdens het indexeren. Ook wanneer alle vragen consequent door de NVZ of mijzelf worden geïndexeerd, blijft deze foutencomponent bestaan. Tijdens het bespreken van de resultaten zijn twee suggesties voor dit probleem geopperd, een statistische en een organisatorische. De statistische oplossing bestaat uit het bepalen van de “betrouwbaarheidscoëfficiënt” voor een enquête zoals in 3.2.3, maar dan met maar één dimensie als keuzemogelijkheid. Een betrouwbaarheidscoëfficiënt kan via verschillende statistische toetsen verkregen worden, om verschillende soorten betrouwbaarheid te bepalen. De vorm van betrouwbaarheid relevant voor deze enquête is de “tussen beoordelaar betrouwbaarheid” (hierna afgekort als TOB). De meest basale vorm van TOB-bepaling is het aantal zelfde gegeven antwoorden gedeeld door het totaal aantal antwoorden. Het getal tussen 0 en 1 dat hieruit voortkomt, is een maat voor de TOB. Na een acceptabele waarde voor de TOB te hebben vastgesteld (bijvoorbeeld 0.8) kan er bepaald worden hoeveel mensen dimensies aan een vraag moeten toewijzen, voordat de modus een betrouwbare classificatie oplevert. Omdat in de enquête van 3.2.3 meerdere dimensies aan een vraag toegewezen, kunnen niet volgens de conventionele rekenmethoden de TOB berekend worden. Een nieuwe enquête waar men slechts één dimensie kan toewijzen zal hiervoor uitgevoerd moeten worden.

43

Als organisatorische oplossing werd geopperd elk kwartaal met PTO gebruikers hun commentaar op de indexatie te bespreken (commentaar op vragen die zij zijn tegengekomen in PTO) en nooit of eenmalig gebruikte vragen voor te leggen aan de PTO gebruikers, omdat deze vragen wellicht verkeerd geïndexeerd zijn.

4.2 IR-systemen De resultaten van de zoektocht naar een geautomatiseerde oplossing voor de vragenbiliotheek was licht teleurstellend. De techniek van Information retrieval heeft zich in de laatste decennia bewezen, en die technieken staan ook duidelijk beschreven in de literatuur. Dat de oplossing voor ons probleem niet al beschreven stond kwam daardoor als een verrassing. Er is voorgesteld om alsnog onze documentenverzameling in een IR-systeem vast te leggen om daarna de effectiviteit van query-resultaten te toetsen. De inspanningen om een dergelijke stap te zetten bleken echter dusdanig groot dat dit als onrendabel werd bestempeld. De wensen van de NVZ zijn als uitgangspunt genomen in de requirement-analyse. Dit lijkt wellicht vreemd, omdat de PTO gebruikers toch diegene zijn die het meest met het systeem zullen werken. De NVZ is echter als opdrachtgever de belangrijkste stakeholder, omdat zonder de steun van de NVZ het systeem überhaupt niet levensvatbaar is.

44

5 Conclusie en aanbevelingen. Dit laatste hoofdstuk is de plek waar de resultaten van de stage geïnterpreteerd worden. Om dezelfde opbouw als de rest van de scriptie te behouden, komt eerst patiënttevredenheid aan bod, gevolgd door de behandeling van het geautomatiseerd zoeken door gegevens. Als afsluiting volgt de algemene conclusie waarin deze twee velden bij elkaar komen in deze scriptie.

5.1 Antwoord onderzoeksvraag patiënttevredenheid Om een goed beeld te verkrijgen van het werkdomein waarin ik mij bevond, en om het theoretisch kader in deze scriptie vorm te geven, heeft de volgende vraag als leidraad gediend: “Op welke aspecten die er zijn binnen het domein van patiënttevredenheid, kunnen vragen gekarakteriseerd worden ” Patiënttevredenheid is een omstreden concept. Desondanks wordt het al jaren met succes ingezet door vele ziekenhuizen in Nederland (bijna alle, het is immers ook een prestatieindicator van de Inspectie van de gezondheidszorg), en ver daarbuiten. Een omstreden concept, maar intuïtief makkelijk te begrijpen: je wil als ziekenhuis graag tevreden patiënten in plaats van ontevreden patiënten, als het gaat over de ervaren ziekenhuiszorg. Binnen het concept tevredenheid, in de setting van een ziekenhuis, zijn duidelijk te onderscheiden onderdelen waar patiënten (on)tevreden over kunnen zijn. In de literatuur die voor deze stage is gebruikt zijn 99 verschillende van deze onderdelen in de vorm van tevredenheiddimensies gevonden. Deze 99 dimensies zijn door mij teruggebracht tot 21 verschillende categorieën waarin patiënttevredenheidvragen kunnen worden opgedeeld. Uit de uitgevoerde testen bleek dat sommige dimensies overlappen. Of er dimensies zijn die uitgesplitst moeten worden kan op dit moment nog niet vastgesteld worden. Door deze 21 dimensies te testen op de toegevoegde vragen van het PTO systeem, bleek 97% van de vragen zonder problemen te vangen in categorieën, zij het niet per se in één categorie. De optie “Overig” in de dimensielijst zal moeten worden geïntroduceerd deze 3 procent te kunnen vastleggen. Naast de vastgestelde dimensies, zijn er ook nog impliciete kenmerken van vragen. Deze ook al in het PTO voorkomende kenmerken zijn de afdeling waar de vragenlijst wordt uitgezet, het type zorg dat wordt geleverd (bv poliklinisch) en de patiëntengroep (bv leeftijd) De drie impliciete kenmerken, samen met de 21 dimensies zijn de aspecten, waarmee je een onderscheid tussen patiënttevredenheidvragen kan maken.

45

5.2 Ontwerp Vragenbibliotheek De vragenbibliotheek leek het onderwerp dat de stage een goed (medisch)informatiekundig component zou geven. De erg algemene vraag: “Aan welke randvoorwaarden moet binnen de PTO-omgeving worden voldaan om gebruikers te ondersteunen in het hergebruiken van vragen” werd al snel opgesplitst in de tastbare deelvragen 1) Hoe classificeer je tevredenheidvragen, en 2) Kan de classificatie geautomatiseerd plaatsvinden? Uit het literatuuronderzoek kwam al snel de conclusie naar voren: nee. In ieder geval reikt de theorie geen beproefde manieren aan waarmee zeer korte documenten te indexeren zijn en daarmee doorzoekbaar worden. Dit was teleurstellend, want wat een computer zonder hulp kan, hoeft niet door een mens uitgevoerd te worden. Met dit antwoord op de vraag of een automatische afhandeling mogelijk was in de hand, werd de eerste vraag des te belangrijker. Hoe classificeer je de vragen dan? Het antwoord op de onderzoeksvraag bij het gedeelte van patiënttevredenheid geeft “de taal” waarin de classificatie kan plaatsvinden. Er bestaan dus attributen die met een vraag in een database of IR-systeem kunnen worden opgeslagen, en vooral ook weer kunnen worden opgezocht. Wie dat echter moet doen is tijdens het onderzoek een andere en lastige vraag gebleken. Bij driekwart van de voorgelegde vragen heeft tweederde of meer van de proefpersonen dezelfde dimensies aan de vragen toegewezen. Dit resultaat geeft voldoende vertrouwen voor het opzoeken van vragen. Wanneer de vragen eenmaal geïndexeerd zijn, zal het grootste deel van de gebruikersgroep de juiste labels bij een vraag schatten en het daardoor kunnen opzoeken. De personen die dit kennelijk nog niet intuïtief meteen “goed” doen, zullen iets langer moeten zoeken, of een instructie in de ideeën achter het indexeerproces ontvangen. Dit zijn voor de NVZ overzichtelijke inspanningen voor een werkende bibliotheek. Als we echter zonder instructie gebruikers vragen laten indexeren, dan ontstaat er een grote kansen op verkeerde indexeringen. Een gebruiker die een vraag niet kan vinden ondervindt hier hinder van, maar die hinder blijft beperkt tot die gebruiker. Wanneer een gebruiker een verkeerde indexering toepast, heeft dit gevolgen voor het gehele systeem. Andere gebruikers zullen de vraag niet vinden, en op een andere plaats in de bibliotheek toevoegen. Zo ontstaat een slecht geordende bibliotheek, waar de gebruikers in de toekomst wellicht meer last dan plezier aan beleven.

46

Een anders opgezette enquête zou gebruikt kunnen worden om de tussen beoordelaars betrouwbaarheid vast te stellen, om het minimaal aantal personen dat nodig is voor deze vorm indexering toe te passen. “Hoe classificeer je de vragen?” wordt dus beantwoord met: op een centrale plek, volgens een vast protocol.

5.3 Algemene conclusie De antwoorden op de onderzoeksvragen ten opzichte van patiënttevredenheid zijn gevonden. Ik heb aan het einde van deze stage een goed ontwikkeld begrip van het onderzoeksconcept en de voor- en nadelen die er aan vastzitten. Vanuit dat gebied zijn er geen onoverkomelijke problemen voor vastlegging van vragen in een bibliotheek vast te leggen. Uit deze stage zijn belangrijke randvoorwaarden voor het opzetten van een digitale tevredenheidvragenbibliotheek voortgekomen. Een automatische indexering is geen optie voor het PTO systeem, en een indexering door de gebruikers gezamenlijk blijkt ook niet haalbaar. Hoe dan verder? Ik stel na de bevindingen in dit onderzoek de volgende werkwijze voor: 1. Laat de indexering van vragen op een centraal punt plaatsvinden. 2. Deze centrale plek kan het beste belegd worden bij de NVZ, omdat: a. Uit de enquête blijkt dat er een zeker mate van overeenstemming bestaat tussen de centrale indexering (mijn indexering) en de indexering van PTO gebruikers. b. De NVZ uiteindelijk moeten bepalen of de kosten opwegen tegen de baten. c. Ziekenhuizen zullen verwachten hiervoor bij hun centrale organisatie te kunnen aankloppen. 3. Gebruikers moeten aangeven welke door hen aangemaakte vragen toegevoegd moeten worden aan de bibliotheek. Dit omdat er ook veel niet-patiënttevredenheid gerelateerde of niet-locatiegebonden vragen worden toegevoegd. 4. Voer een kwaliteitscontrole uit op de indexering door elk kwartaal a. met PTO gebruikers hun commentaar op de indexatie te bespreken (vragen die ze zijn tegengekomen) b. Nooit of eenmalig gebruikte vragen voor te leggen aan de PTO gebruikers. Met deze werkwijze kan de vragenbibliotheek een feit worden.

47

Referentielijst 1.

Mark R. Chassin, Robert W. Galvin Journal of the Americam Medical Association, September 16, 1998-Vol 280, No. 11 The Urgent Need to Improve Health Care Quality

2.

http://www.ink.nl

3.

A. Schmitz, Onderzoeksverslag Pilot online patient tevredenheidsonderzoek HagaZiekenhuis Den Haag, november 2005

4.

Julia Neuberger. BMJ 1999;318:1756-1758 ( 26 June ) Do we need a new word for patients?

5.

Veenhoven R Social Indicators Research jan 1996 Volume: 37 Issue: 1 Pages: 146 Developments in satisfaction-research

6.

Babin BJ, Griffin M. Journal of Business Rresearch Volume: 41 Issue: 2 Pages: 127-136 Published: FEB 1998, The Nature of Satisfaction: An Updated Examination and Analysis

7.

Susie Linder-Pelz, Soc. SCi. Med. Vol. 16. pp. 577 to 582. 1982 02779536/82/050577-06503.00/0 Toward a Theory of Patient Satisfaction

8.

Sheila A. Turris Journal of Advanced Nursing, 50(3), 293–298 Unpacking the concept of patient satisfaction: a feminist analysis

9.

Brian Williams Sot. SC;. Med. Vol. 38, No. 4, pp. 509-516, 1994 Patient Satisfaction: a Valid Concept!

10.

Ray Fitzpatrick, Anthony Hopkins Sociology of Health and Illness Vol. 5 No.3 1993 Problems in the conceptual framework of patient satisfaction research: an empirical exploration

11.

A Ph Visser.. In S.E. Kooiker en M. Mootz (red.) Patient en professie VUGA Den Haag Hoofdstuk 3. 1996 Klachten van Patienten: een sociaal-cultureel perspectief.

12.

A Ph Visser. De beleving van het verblijf in het algemene ziekenhuis blz 9 t/m 26. 1984.

13.

Nicholas G. Castle, Julie Brown, Kimberly A. Hepner, and Ron D. Hays Health Research and Educational Trust DOI: 10.1111/j.14756773.2005.00475.x, Review of the Literature on Survey Instruments Used to Collect Data on Hospital Patients’ Perceptions of Care

14.

Drs. A.C.M. Winters - van der Meer, Drs. S.M. Kleefstra, Drs. J.J.A. Stavenuiter, Dr. R.B. Kool mei 2006 Tevredenheid gepeild (2005) De tevredenheid van patiënten van de acht Universitair Medische Centra. 48

15.

Drs. A.C.M. Winters - van der Meer, Drs. S.M. Kleefstra, Dr. R. Steenbeek, Dr. R.B. Kool Prismant en NFU, augustus 2004. Tevreden, maar het kan beter, Tevredenheid van patiënten in Universitair Medische Centra

16.

drs. G.J.C.M Engwirda-Kromwijk, prof. Dr. G.H. Blijham, dr. C.M.A Veldkamp, mw.prof.dr. H. de Haes, Vereniging Academische Ziekenhuizen, mei 2002 De ontwikkeling van een kernvragenlijst Kalnttevredenheid ten behoeve van patiënttevredenheidsonderzoek in academische ziekenhuizen.

17.

C. J. van Rijsbergen, Information Retrieval, Butterworths, 1979, Hoofdstuk 2

18.

Floris Wiesman, Information Retrieval by Graphically Browsing Meta-Information, “Phidippides, Cadier en Keer”, 1998, Hoofdstuk 2

19.

Justin Zobel & Alistair Moffat, ACM Computing Surveys, Vol 38, No.2, Article 6, july 2006, Inverted Files for Text Search Engines

20.

Patrick J. Shelton, Measuring and improving Patient satisfaction, Aspen publishers, inc. 2000

21.

David E. Losadaa,_, Alvaro Barreirob, Information Systems 31 (2006) 610–620 Negations and document length in logical retrieval.

22.

Mehran Sahami, Timothy D. Heilman WWW 2006, May 23.26, 2006 A Web-based Kernel Function for Measuring the Similarity of Short Text Snippets

49

Bijlage 1: Toelichting Antwoordcategorieën 1.Persoonsgegevens In deze categorie worden patiënt specifieke aspecten uitgevraagd. Naast standaard demografische gegevens, kunt u hier ook denken aan vragen over de medische voorgeschiedenis of ervaringen. 2.Ontvangst bij opname Alle vragen die met de eerste momenten van de opname in het ziekenhuis te maken hebben. 3.Bejegening & verzorging verpleegkundigen Alle vragen die betrekking hebben op de contacten tussen verpleegkundig personeel en patiënten, die niet ook expliciet in andere categorieën worden uitgevraagd. 4.Bejegening & behandeling artsen Alle vragen rondom het arts/patiënt contact, die niet al expliciet in andere categorieën worden uitgevraagd. 5.Informatie Vragen over kennis- en gegevensuitwisseling aan de verschillende partijen in het zorgtraject. 6.Zelfstandigheid Vragen over de autonomie van de patiënt en hoe de patiënt ervaart dat die gewaarborgd wordt. 7.Het vertrek & de nazorg Vragen in deze categorie hebben het brede onderwerp rondom het vertrek van de patiënt uit het ziekenhuis, en de zorg die extramurale zorg waarbij het ziekenhui wel een aandeel in heeft, zoals het goed informeren van de extramurale behandelaars en instructies aan de patiënt. 8.Totaaloordeel Rapportcijfers en andersoortige oordeelvragen die over alle aspecten die in de vragenlijst aan de orde komen. 9.Hotel functie Onderwerpen die onder het kopje “hotelfunctie” terecht komen zijn: Vragen over het gebouw, over het eten, over de faciliteiten zoals de telefonie en entertainment voorzieningen. 10.Financieel Vragen over prijs/kwaliteit van zaken, de manier waarop rekeningen worden afgehandeld, etc. 11.Preopname Het traject voordat de daadwerkelijke opname in een ziekenhuis plaatsvindt. 12.Test en onderzoek Vragen over testen en onderzoeken die een patiënt heeft meegemaakt tijdens het diagnostische proces en daarna.

50

13.Medicatie Alle handelingen en ervaringen rondom medicijnen voor de patiënt kunnen hier uitgevraagd worden. 14.Verwachtingen en andere meningen Met welke ideeën, verwachtingen en wensen bestaan bij een patiënt rondom het ziekenhuisbezoek. 15.Bejegening door ander personeel Vragen over medewerkers in het ziekenhuis anders dan artsen en verpleegkundigen. 16.Medische uitkomst De medische uitkomst en hoe de patiënt deze ervaren heeft. 17.Logistieke planning Alle afspraken, ruimtegebruik en doorlooptijden kunnen in deze categorie ondergebracht. 18.Omgang met familie/bezoek Hoe gaat de ziekenhuisorganisatie en de mensen in het ziekenhuis, om met familie en bezoek. 19.Pijnbestrijding Hoe wordt er door de zorgprofessionals gereageerd op pijnklachten van de patiënt. 20.Aanbevelingen Heeft de respondent aanbevelingen voor het ziekenhuis naar aanleiding van zijn ziekenhuisbezoek. 21. Klachten Klachten van de patiënt naar aanleiding van het ziekenhuisbezoek.

51

Bijlage 2 voorbeeld vragenlijst Kliniek Heilig Hart Ziekenhuis: vragenlijst kliniek / 6 A. Uw gegevens Vraag 1

Wat is uw geslacht?


man
vrouw

(slechts 1 antwoord mogelijk)

Vraag 2

Wat is uw leeftijd? (slechts 1 antwoord mogelijk)

Vraag 3

Wat is uw hoogst afgeronde opleiding? (slechts 1 antwoord mogelijk)

Vraag 4

Wat is uw moedertaal?












jonger dan 20 20 t/m 29 jaar 30 t/m 39 jaar 40 t/m 49 jaar 50 t/m 59 jaar 60 t/m 69 jaar 70 t/m 79 jaar 80 t/m 89 jaar 90 jaar en ouder









Lager (beroeps)onderwijs MULO/MAVO/MBO/VMBO HAVO/MMS/HBS/Gymnasium/VWO HBO Universiteit of hoger Geen


nederlands
anders

(slechts 1 antwoord mogelijk)

52

Vraag 5

Voor welk specialisme bent u opgenomen geweest?

(slechts 1 antwoord mogelijk)

























Algemene Inwendige geneeskunde Anesthesiologie Cardiologie Cardiothoracale chirurgie Dermatologie Geriatrie Gynaecologie en Verloskunde Heelkunde Keel- neus en oorheelkunde Kindergeneeskunde Longziekten Maag-Darm en Leverziekten Mondziekten en Kaakchirurgie Neurochirurgie Neurologie Oogheelkunde Orthopedie Plastische chirurgie Psychiatrie Reumatologie Revalidatiegeneeskunde Urologie

Vraag 6

Wat is het subspecialisme waarvoor u bent
noteer subspecialisme 1 behandeld?
noteer subspecialisme 2
noteer subspecialisme 3
etcetera (slechts 1 antwoord mogelijk)

Vraag 7

Op welke verpleegafdeling bent u
opgenomen (zie ook de begeleidende brief)


(slechts 1 antwoord mogelijk)

noteer verpleegafdeling 1 noteer verpleegafdeling 2 noteer verpleegafdeling 3 etcetera

B. Ontvangst bij opname Vraag 8

Hoe tevreden bent u over de ontvangst op
ontevreden de verpleegafdeling?
matig tevreden
redelijk tevreden
duidelijk tevreden (slechts 1 antwoord mogelijk)
zeer tevreden
n.v.t.

Vraag 9

Hoe tevreden bent u over het
ontevreden opnamegesprek door de verpleegkundige?
matig tevreden
redelijk tevreden
duidelijk tevreden (slechts 1 antwoord mogelijk)
zeer tevreden
n.v.t.

53

Vraag 10 Als u een rapportcijfer zou moeten geven voor de ontvangst bij opname welk cijfer zou dit dan zijn?

(slechts 1 antwoord mogelijk)













1 2 3 4 5 6 7 8 9 10

C. Bejegening en verzorging door verpleegkundigen Vraag 11 Hoe tevreden bent u over de persoonlijke
ontevreden aandacht van de verpleegkundigen voor u?
matig tevreden
redelijk tevreden
duidelijk tevreden (slechts 1 antwoord mogelijk)
zeer tevreden
n.v.t. Vraag 12 Hoe tevreden bent u over de deskundigheid
waarmee u door de verpleegkundigen werd
geholpen?


(slechts 1 antwoord mogelijk)


ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.

Vraag 13 Als u een rapportcijfer zou moeten geven voor de bejegening en de verzorging door verpleegkundigen, welk cijfer zou dit dan zijn?

1 2 3 4 5 6 7 8 9 10

(slechts 1 antwoord mogelijk)













D. Bejegening en de behandeling door artsen Vraag 14 Hoe tevreden bent u over de persoonlijke aandacht van de artsen voor u? (slechts 1 antwoord mogelijk)









ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.

54

Vraag 15 Hoe tevreden bent u over de deskundigheid
waarmee u door de artsen werd geholpen?


(slechts 1 antwoord mogelijk)



ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.

Vraag 16 Als u een rapportcijfer zou moeten geven voor de bejegening en behandeling door artsen, welk cijfer zou dit dan zijn?













1 2 3 4 5 6 7 8 9 10









ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.









ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.









ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.

(slechts 1 antwoord mogelijk)

E. Informatie Vraag 17 Hoe tevreden bent u over de duidelijkheid van de door de verpleegkundigen gegeven informatie? (over bijvoorbeeld ziekteverloop, medicijnengebruik, verloop van de behandeling) (slechts 1 antwoord mogelijk)

Vraag 18 Hoe tevreden bent u over de duidelijkheid van de door de artsen gegeven informatie? (over ziekte, medicijnen, behandeling, onderzoek en de uitslag ervan)

(slechts 1 antwoord mogelijk)

Vraag 19 Hoe tevreden bent u over de informatieoverdracht van de ene naar de andere persoon? (bijvoorbeeld van arts naar verpleegkundige)

(slechts 1 antwoord mogelijk)

Vraag 20 Hoe tevreden bent u over de snelheid
ontevreden waarmee (onderzoeks)uitslagen aan u zijn
matig tevreden medegedeeld?
redelijk tevreden
duidelijk tevreden
zeer tevreden (slechts 1 antwoord mogelijk)
n.v.t.

55

Vraag 21 Als u een rapportcijfer zou moeten geven voor informatie die u voor, na en tijdens uw opname hebt ontvangen, welk cijfer zou dit dan zijn? (slechts 1 antwoord mogelijk)













1 2 3 4 5 6 7 8 9 10

F. Zelfstandigheid Vraag 22 Hoe tevreden bent u over de mate waarin u
ontevreden werd gestimuleerd zo zelfstandig mogelijk
matig tevreden te zijn?
redelijk tevreden
duidelijk tevreden
zeer tevreden (slechts 1 antwoord mogelijk)
n.v.t. Vraag 23 Hoe tevreden bent u over de mate waarin u
ontevreden kon meebeslissen over uw behandeling?
matig tevreden
redelijk tevreden
duidelijk tevreden (slechts 1 antwoord mogelijk)
zeer tevreden
n.v.t. Vraag 24 Hoe tevreden bent u over de mate waarin uw privacy werd gerespecteerd? (bijvoorbeeld tijdens gesprekken met artsen, lichamelijk onderzoek, bezoektijd)









ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.













1 2 3 4 5 6 7 8 9 10

(slechts 1 antwoord mogelijk)

Vraag 25 Als u een rapportcijfer zou moeten geven voor de wijze waarop u door het ziekenhuis zelf bij uw behandeling werd betrokken, welk cijfer zou dit dan zijn?

(slechts 1 antwoord mogelijk)

G. Het vertrek en de nazorg

56

Vraag 26 Hoe tevreden bent u over de informatie over de verdere behandeling? (zoals regels voor leefstijl, rust en werken, het gebruik van medicijnen of van hulpmiddelen)









ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.









ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.









ontevreden matig tevreden redelijk tevreden duidelijk tevreden zeer tevreden n.v.t.

(slechts 1 antwoord mogelijk)

Vraag 27 Hoe tevreden bent u over de overdracht van informatie aan bijvoorbeeld huisarts, wijkverpleging, revalidatiecentrum? (indien bekend) (slechts 1 antwoord mogelijk)

Vraag 28 Hoe tevreden bent u over de gang van zaken rondom uw ontslag? (zoals tijdstip, poliafspraak, recepten, regelen van hulp en/of hulpmiddelen voor thuis)

(slechts 1 antwoord mogelijk)

Vraag 29 Als u een rapportcijfer zou moeten geven
voor de nazorg die u hebt ontvangen na het
ontslag uit het ziekenhuis, welk cijfer zou dit
dan zijn?


(slechts 1 antwoord mogelijk)





1 2 3 4 5 6 7 8 9 10

H. Uw totaaloordeel Vraag 30 Als u voor het geheel van uw verblijf in ons
1 ziekenhuis een rapportcijfer zou moeten
2 geven, welk cijfer zou dat dan zijn?
3
4
5 (slechts 1 antwoord mogelijk)
6
7
8
9
10

57

Vraag 31 Als er ten aanzien van uw behandeling en/of verblijf in het ziekenhuis of ten aanzien van de vragenlijst nog zaken zijn die u wilt vermelden, dan kunt u deze hieronder noteren.

noteer uw antwoord ________________________________________ ________________________________________ ________________________________________

58

“I had some regrets, but if I had to do it all again… Well, it's something I'd like to do” Mark Oliver Everett; Things the grandchildren should know

59