Klantonderzoek en mystery guests in de openbare sector

Klantonderzoek en mystery guests in de openbare sector

Voorwoord Collega’s, dienaars van de publieke zaak, Naar elkaar luisteren, laten beoordelen, feedback vragen. Het klinkt zo logisch, maar voelt bijna onnatuurlijk. Van scholier tot ambtenaar tot politicus: hun wereld lijkt zoveel aangenamer zonder de kritische blik van buiten op het werk. Zo blijft de illusie bestaan, dat het eigen perspectief de beste is. Gelukkig zie ik, dat er in de publieke sector een heleboel aan het veranderen is. De oude, gesloten stijl verdwijnt. Kwaliteitshandvesten worden ingevoerd. Hiermee laten publieke organisaties zien dat ze hun cliënten serieus nemen. Een goed kwaliteitshandvest speelt in op de aspecten van de dienstverlening die de burger belangrijk vindt. Organisaties onderzoeken de wensen van de burgers en ondernemers met behulp van klantenpanels en tevredenheidsonderzoeken. Mystery guests worden ingezet om de kwaliteit van de dienstverlening te peilen. Deze brochure biedt handvatten voor het werken met klantonderzoek en mystery guests. De opgenomen voorbeelden geven u inzicht in de vele mogelijkheden. Laat u hierdoor inspireren! Ik wens u veel succes toe bij het verbeteren van uw dienstverlening. Met vriendelijke groet,

Alexander Pechtold Minister voor Bestuurlijke Vernieuwing en Koninkrijksrelaties





Inhoudsopgave 1. Klantonderzoek 2. De mystery guest

4 16



1 Klantonderzoek ‘Werken zonder consultatie is als het kijken naar een tweedimensionaal beeld. Mét consultatie is het 3D. Je ziet niet alleen de achterkant en zijkant, maar ook de voorzijde.’ Jackie Simpson, Aberdeen Royal Hospitals, Engeland

In een kwaliteitshandvest legt een organisatie ondubbelzinnig vast wat cliënten van haar mogen verwachten. Door de duidelijke publicatie van dienstverleningsnormen toont de organisatie respect voor de wensen van de burger. Garanties worden gegeven over de kwaliteit van de dienstverlening en daarmee zet de publieke sector een belangrijke stap naar meer klantgerichtheid en betrouwbaarheid. De ervaring heeft geleerd dat overheidsorganisaties veel baat kunnen hebben bij consultatie van hun cliënten. Zo kunnen ze achterhalen hoe de dienstverlening (beter) kan aansluiten op de wensen van burgers en ondernemers. Voor het opzetten van een onderzoek naar de wensen van cliënten is een aantal noties van belang, die hieronder zijn samengevat. Bedenk dat pragmatisme altijd voorop moet staan. Het klantonderzoek hoeft niet te voldoen aan de eisen van een wetenschappelijke studie.



1.1 Voorbereidingen treffen Tracht zo goed mogelijk te bepalen wat voor informatie nodig is Stem de aard van het onderzoek af op de informatievraag. In Engeland merkte een gemeente dat haar cliënten ontevreden waren over uitkeringen. De gemeente achterhaalde dat er een probleem was met de snelheid van de uitbetalingen. Dus de gemeente ging aan de slag hiermee en wist de verwerking van de uitkeringsaanvragen zo te verbeteren, dat ze sneller waren dan alle andere gemeenten. En toen verschenen opnieuw de resultaten van het tevredenheidonderzoek. De cliënten bleken minder tevreden dan bij de buurgemeente. Er werden gesprekken georganiseerd en daar bleek uit dat het probleem van de cliënten niet primair zat in de snelheid van de betalingen; het zat in de voorspelbaarheid. De mensen hadden liever de zekerheid dat het geld op een van te voren bepaalde datum binnenkwam. Bepaal de doelgroep Weet dat niet alleen frequente afnemers interessante informatie kunnen opleveren, maar ook incidentele afnemers, oud-afnemers en niet-afnemers. Kijk ook naar de kenmerken van de groep. Jong, oud? Opleidingsniveau? Werkend of werkloos of gepensioneerd? Kritische doelgroep of door bepaalde omstandigheden niet zo snel geneigd tot kritiek?



Sta stil bij de beschikbare middelen voor een klantonderzoek Een indruk van de kosten en tijd als wordt gekozen voor:

Jaarlijks klanttevredenheidsonderzoek onder 2000 personen (totaal van de doelgroepen van verschillende diensten), telefonische enquêtes door gespecialiseerd bureau

Een gemeentelijke dienst die een dergelijk onderzoek heeft laten uitvoeren, gaf aan dat de doorlooptijd ca. 3 maanden was. De kosten bedroegen omstreeks € 25.000

Focusgroep (tiental personen die 4 keer per jaar bij elkaar komen)

De logistieke kosten zijn minimaal. De volgende inspanningen zijn vereist per bijeenkomst: • voorbereiding vergadering (8 uur) • vergaderen met focusgroep (3 uur) • verslag en conclusies opstellen (4 uur) • 1 keer per jaar een uitgebreidere terugkoppeling schrijven voor bijvoorbeeld burgerjaarverslag en persbericht (12 uur) Kosten externe voorzitter: ca. € 5.000

Klachten- en meldingenanalyse

De kosten hangen af van de omvang van het aantal klachten en meldingen, maar aangenomen mag worden dat deze beperkt zijn. Uitgaande dat er sprake is van 1000 klachten/meldingen, dan zijn de volgende inspanningen denkbaar: • analyse (40 uur) • rapport en voorlopige conclusie (8 uur) • externe controle door deskundige buitenstaander (1 dag à € 1.000) • eindrapport (4 uur)

In het volgende hoofdstuk staan veel meer vormen van klantonderzoek. De voorbeelden in de bovenstaande tabel zijn bedoeld ter impressie. Zo is bij het klanttevredenheidsonderzoek in deze tabel gekozen voor telefonische enquêtes. Als de cliënten gemakkelijk te benaderen zijn via de balie, kan ook worden gekozen voor schriftelijke formulieren die klanten ter plekke invullen.



Combineer Bedenk dat geen enkele methode ‘de beste’ is. Een combinatie van kwantitatieve en kwalitatieve methoden leidt in sommige gevallen tot betere resultaten. Ga na welke combinatie voor uw organisatie een goede uitkomst zal opleveren. Paragraaf 1.2 biedt een overzicht van de varianten die mogelijk zijn. Snelheid Bepaal hoe snel de resultaten nodig zijn. De doorlooptijd van een groot kwantitatief onderzoek onder een duizendtal cliënten is al snel 12-20 weken (concept vragenlijst, adressen vergaren, script enquêteurs, vragenlijst uitzetten, analyse, eindrapportage met adviezen). Een kwalitatief onderzoek kan sneller verlopen. Daarbij is van belang dat de goede startvragen worden gesteld en dat er de mogelijkheid is om door te vragen. Committeer de organisatie Zorg dat zowel de medewerkers als de managers volledig op de hoogte zijn van de bedoeling en daar ook mee instemmen. Het is essentieel dat het waarom van klantonderzoek voor iedereen duidelijk is. Maak daarom duidelijk wat het belang en de winst voor de organisatie is. Bereid de evaluatie voor Doe dat in een beginstadium en neem het op in de planning. Formuleer van te voren welke informatie u hoopt te verkrijgen middels de consultatie. Zo kunt u achteraf evalueren of u de juiste methode heeft gekozen. Begin klein Start met de voorhoede van de organisatie en zorg ervoor dat het project beheersbaar blijft. Leer van anderen in de organisatie Vanzelfsprekend en toch onderschat: spreek collega’s aan op hun ervaringen. Zij weten verrassend vaak waar de knelpunten in de dienstverlening zitten.



Gebruik eenvoudige en uitnodigende taal Gebruik eenvoudige taal en laat teksten beoordelen door de doelgroep om ambtelijk taalgebruik te voorkomen. Zorg er bovendien voor dat de consultatie een ‘vriendelijke’ en toegankelijke uitstraling heeft. Wees realistisch Belast cliënten niet meer dan nodig. Onderzoek vraagt veel van mensen, dus beperk de hoeveelheid tijd en inzet die van mensen wordt gevraagd. Om mensen te motiveren kan een tegenprestatie worden geboden. Deze moet de onderzoeksresultaten dan niet beïnvloeden. Help mensen te participeren Probeer u te verplaatsen in de positie van een burger (of ondernemer). Het uitsturen van een vragenformulier kan vanuit de organisatie een geschikte oplossing zijn om mensen te benaderen, cliënten laten het formulier rustig liggen als ze deze benadering te weinig persoonlijk vinden. Niet iedereen is vanzelf openhartig Soms hebben culturele of sociaal-economische achtergronden invloed op het kritische gehalte van de antwoorden. Niet iedereen voelt zich vertrouwd met het uitoefenen van kritiek op de overheid. Verzeker in deze gevallen discretie en anonimiteit en communiceer dit naar de doelgroep. Nog belangrijker is dat duidelijk wordt gemaakt dat zowel positieve als negatieve reacties welkom zijn. En spreek af dat alle opmerkingen serieus worden genomen. Verwacht het onverwachte Ga er vanuit dat de uitkomst anders kan zijn dan verwacht. Laat u niet ontmoedigen. Het komt de geloofwaardigheid van de organisatie ten goede als ze laat zien een ongunstige uitkomst aan te kunnen. Zoek daarom niet naar de snelle oplossing, maar kijk naar de lange termijn belangen van de organisatie. Publiceer de resultaten Laat de doelgroep weten wat de resultaten zijn van de peiling. Laat de lessen zien die zijn getrokken. Dan zullen de mensen in de toekomst weer willen deelnemen. Laat ook zien wat niet is overgenomen en waarom niet. Verwerk in het kwaliteitshandvest Verwerk de uitkomsten van het klantonderzoek in de normen van het toekomstige of bestaande kwaliteitshandvest.



1.2 De juiste aanpak kiezen Er is een rijke hoeveelheid methoden om klanten te consulteren. De belangrijkste zijn in deze paragraaf uiteengezet. Niet alle methoden leiden rechtstreeks tot hapklare brokken voor de invulling van een kwaliteitshandvest. Maar ze kunnen zeker tot goede ideeën leiden.

1.2.1 Beginnen bij wat we al weten Vraag naar de ervaringen van medewerkers Bij medewerkers is informatie te vinden over klanten. Het organiseren van feedback van mede­werkers is een snelle en goedkope manier om informatie uit de eerste hand te krijgen over de wensen en ergernissen van cliënten. Een eenvoudige manier voor feedback: op gezette momenten met medewerkers bespreken wat erbij klanten leeft. Verandert de vraag? Verandert de verwachting? Is de manier waarop we ze benaderen de juiste?

Een eenvoudige oplossing De afdeling Parkeren in Den Haag had een aantal jaren geleden een probleem met de wachttijden aan de balie. Vanwege het verstrijken van de halfjaarlijkse vergunningsperiode meldden inwoners uit de hele stad zich op hetzelfde moment in het gebouw aan de Loosduinseweg. En met het uitbreiden van het betaald parkeren gebied waren steeds langere rijen het gevolg. Niet alleen de klanten ergerden zich, ook voor de medewerkers was het niet prettig. Soms was het zo druk, dat de mensen tot in de gangen van de kantoren stonden. Hier moest iets veranderen, maar wát? Een simpel idee van een medewerker bood uitkomst: spreid het vernieuwen van vergunningen per parkeergebied. Dus het ene stadsdeel kan in februari komen, een andere in maart. Met deze gemakkelijk te implementeren suggestie werden de piekperioden aan de balie aangepakt. En de afdeling heeft hiermee zelfs de basis kunnen leggen voor de huidige garantie dat de wachttijd aan de balie niet langer is dan 15 minuten. De kwaliteitsadviseur van Parkeren Den Haag kijkt erop terug als ‘een weinig spannende verandering, héél eenvoudig, maar het positieve effect op onze organisatie en de bedrijfsvoering was enorm! Kortom, luister naar je medewerkers.’

Klachten/meldingenanalyse ‘Uw klacht is voor ons een gratis advies’, is het devies van een moderne overheid. Kortom, een klachten- of meldingenanalyse ligt voor de hand voor iedere organisatie die is geïnteresseerd in de wensen van de klanten. Het grote voordeel van een klachtenanalyse is dat gebruik wordt gemaakt van bestaande gegevens. Voorwaarde is natuurlijk wel dat er voldoende klachten zijn.



1.2.2 Meningen van cliënten peilen Openbare bijeenkomsten Een methode om van burgers te horen hoe zij over onderwerpen denken, is hen op gezette tijden op een herkenbare of ludieke manier te benaderen. Dit kan door ze uit te nodigen aan een theetafel of aan een rijdend terras, het organiseren van een bustoer door de eigen omgeving of gewoon ‘open huis’ te houden. Ook de online chatsessies met een wethouder zijn hier een variant op. Deze methode is bijzonder geschikt voor burgers die ‘kleine’ dagelijkse ergernissen willen melden.

Theeterras In Rotterdam is het ‘rijdend theeterras’ ingezet, een vrachtwagen met trailer. In de vracht­wagen was een op de doelgroep toegespitste expositie ingericht. Het theeterras heeft op zes verschillende plaatsen rond het station gestaan. Medewerkers verleidden voorbijgangers de wagen te betreden, gaven hen vervolgens een toelichting op het initiatief en vroegen naar hun mening. Dit heeft geleid tot 2500 reacties.

Theatervoorstelling: wat zou u doen? De nieuwe burgemeester van Heerlen plaatste een oproep in de Stadskrant: ‘Wat zou u doen als u burgemeester van Heerlen was?’ Vele reacties volgden. Het was onmogelijk iedereen persoonlijk te beantwoorden.Daarom zijn de tien grootste zorgen van de burgers verwerkt in een stadssoap. Deze theatervoorstelling is voor alle brievenschrijvers opgevoerd. Ondertussen zijn er vier verschillende voorstellingen over gemaakt.

Online Stadsdebat Rotterdam Stadsdebat is een online forum met discussiegroepen over zeer uiteenlopende thema’s. De debatten hebben een beperkte looptijd. Zie www.stadsdebat-rotterdam.nl.

10

Buurtsignalement Wijkbewoners geven een beschrijving van hun eigen woon- en leefomgeving en van de knelpunten die ze daarin signaleren en ze noemen mogelijke oplossingen. Het eindproduct wordt aangeboden aan de gemeente en andere instellingen die in de wijk actief zijn. Zij gebruiken de buurtsignalementen voor hun eigen dienstverlening in de betreffende wijk.

Foto’s in Bos en Lommer In de buurten van Bos en Lommer (Amsterdam) zijn buurtteams opgericht van actieve bewoners. De bewoners maken foto’s om te laten zien hoe schoon/vuil de straat is. De foto-opdracht kan ook breder worden geformuleerd door vragen als: wat vindt u een prettige ruimte? Wat vindt u een onveilige ruimte? De foto’s zijn goed bruikbaar voor een debat.

Internet in de buurt Sommige buurten hebben een eigen gemeenschap op het internet. Vaak gaat het om particuliere initiatieven. Voor ambtenaren is het bezoeken van deze sites een eenvoudige manier om te zien waar mensen over praten.

IJbrug.nl voor IJburgers De bewoners van IJburg, een nieuwe wijk in Amsterdam, hebben een eigen site (www.ijbrug.nl). Daarop worden klachten, ontwikkelingen en burgerinitiatieven besproken.

Enquêtes, monitors en opiniewijzers Enquêtes, monitors en opiniepeilingen geven een goed zicht op tevredenheid over dienstverlening. Met een enquête kan worden achterhaald wat de kennis, de behoefte en de ervaring is bij een bepaald onderwerp. De enquête geeft een representatief beeld van de wensen van de doelgroep. Het klanttevredenheidsonderzoek (KTO) is een bekend voorbeeld. Voer eens per twee jaar een KTO uit. In een monitor kunnen ook feitelijke gegevens worden opgenomen. Bijvoorbeeld: de veiligheidsindex in Rotterdam geeft periodiek een momentopname van aantallen delicten. Deze worden gecombineerd met de enquêteresultaten over de burgerperceptie van de veiligheid.

11

Vergelijkende enquêtes Het dienstverleningsniveau van de burgerzakenbalies van de verschillende Amsterdamse stadsdelen zijn onderling vergeleken. Met een enquête is aan bewoners gevraagd wat ze vinden van o.a. de klantvriendelijkheid, de deskundigheid en de wachttijden. Ook is gevraagd hoe belangrijk bewoners deze aspecten vinden. Het resultaat: een goed beeld van de perceptie van de kwaliteit van dienstverlening. Doordat bewoners ook konden aangeven wat ze belangrijk vinden, is er voldoende ruimte voor de deelgemeenten om eigen prioriteiten te blijven stellen.

De nationale VROM-enquête Bij de nationale VROM-enquête (eind 2004) gaven meer dan zevenduizend burgers aan welke onderwerpen zij belangrijk vinden. Burgers konden online via een vragenformulier aangeven welke problemen de minister en de staatssecretaris van VROM volgens hen met voorrang moeten aanpakken. De vijf belangrijkste onderwerpen zijn vervolgens door burgers en ambtenaren samen uitgewerkt in adviezen. Dit leverde zeventig adviezen op, waarvan minister Dekker er zestig overnam. Een aantal hiervan gaan over het gebruik van heldere taal, geen jargon en goede voorlichting. NB De deelnemers aan de enquête zijn positief over het initiatief, máár verwachten nu wel een vervolg.

Opiniewijzer waterschap Rivierenland In het waterschap Rivierenland konden inwoners via het internet reageren op een opiniewijzer met twintig stellingen. De opiniewijzer is o.a. bedoeld om te achterhalen wat mensen belangrijk vinden.

EVA-formulieren gemeente Oisterwijk Eenmaal per kwartaal worden cliënten van de publiekshal via ‘EVA-flyers’ ondervraagd over hun ervaringen. Deze EVA-flyers bestaan uit negen snel in te vullen vragen over de wachttijd, de houding en snelheid van de medewerkers en de klantgerichtheid van de gemeente.Ook interessant is dat klanten moeten aangeven wat ze het meest positief aan het contact vonden: a. geringe wachttijd b. houding van de medewerker c. korte duur van de handeling d. en een lege regel voor ‘vrije’ antwoorden. De uitkomsten van deze EVA-flyers worden gebruikt om een ‘sfeerbeeld’ te schetsen: ‘vinden klanten dat ze professioneel zijn geholpen?’

12

1.2.3 Evalueren en alternatieven onderzoeken 1-1 Interview Een interview biedt de ruimte om dieper in te gaan op specifieke wensen en problemen. Ook worden de persoonlijke ervaringen en onderliggende beweegredenen zichtbaar. Deze persoonlijke en open manier van onderzoek biedt nuttige en diepgaande informatie. Het interview geeft de ondervraagde bovendien de ruimte zelf een onderwerp ter discussie te stellen.

Mogelijke vragen voor een interview 1. 2. 3. 4. 5. 6. 7.

Hoe hebt u het contact met de organisatie zojuist ervaren? Wat verwachtte u van uw bezoek aan de balie van de instelling? Wat was de meest positieve ervaring van uw bezoek? Wat was de meest negatieve ervaring van uw bezoek? Kunt u daar iets meer over vertellen? Wat zouden we kunnen doen om de service te verbeteren? Hebt u van andere mensen ook vergelijkbare ervaringen gehoord?

Focusgroepen en klantengroepen Dit soort bijeenkomsten zijn een soort groepsinterviews met 8 tot 12 personen. In de focusgroep gaat het om een specifieke invalshoek (zoals dienstverlening). De deelnemers kunnen klanten, maar ook niet-klanten zijn. De opzet is hetzelfde als het 1-1 interview en de groep wordt begeleid door getrainde interviewers. Het gesprek begint met een relatief eenvoudig gespreksonderwerp, maar biedt ruimte voor verdieping. Voordeel van deze methode is dat er verhalen loskomen die een samenhang kunnen krijgen (omdat het een groepsbespreking is). De samenwerking in een keten kan in een focusgroep goed worden getoetst. Een klantengroep onderscheidt zich in beperkte zin van de focusgroep. In tegenstelling tot de focusgroep, bestaat een klantengroep alleen uit cliënten. Daarnaast geldt dat een klantengroep is geselecteerd op basis van een specifiek kenmerk (zoals leeftijd).

13

Achterbanconsultatie NPCF De Nederlandse Patiënten Consumenten Federatie (NPCF) maakt gebruik van focusgroepen om haar achterban te consulteren. De NPCF gebruikt het onderzoek als input voor beleid. In deze focusgroep zitten uitsluitend patiënten. De deelnemers hebben een gelijksoortige ervaring met betrekking tot het onderwerp: de leden van de groep - 12 personen - vullen elkaar aan. Bijeenkomsten beginnen met een stelling of een ‘open vraag’: ‘Wat zijn uw wensen op het gebied van…?’ De gespreksleider moet er vervolgens voor zorgen dat de gewenste onderwerpen allemaal aan bod komen. Er wordt in verschillende sessies, met telkens andere mensen, over gesproken. De begeleiders houden bij wat de achtergrond van de deelnemers is. De sessies worden herhaald tot er geen nieuwe zaken meer op tafel komen. Er wordt gezocht naar groepsstandpunten. Bij de analyse wordt een onderscheid gemaakt tussen:

• • • •

feiten: ‘het heeft drie maanden geduurd voordat ik bericht kreeg’ meningen: ‘ik vind dat veel te lang’ emoties: ‘al die tijd verkeerde ik in onzekerheid’ betekenisgeving: ‘daardoor kon ik me niet concentreren op mijn werk’.

Focusgroep dienstverlening gemeente Den Haag Ter verdieping op het (kwantitatieve) klanttevredenheidsonderzoek wilde de gemeente Den Haag meer zicht krijgen op de persoonlijke verhalen en emoties van de Hagenaars over de gemeentelijke dienstverlening. Daarom zijn vier avonden georganiseerd, waar iedere keer twaalf stadsgenoten (uit alle lagen van de bevolking) hun opwachting maakten. Onder leiding van een professionele gespreksleider gingen de bijeenkomsten van start met een voorstelrondje. Daarna werd de deelnemers gevraagd: 1. ‘Wat is jullie algemene beeld van de gemeente Den Haag? Zijn jullie tevreden?’ 2. ‘Wat is zo uniek aan Den Haag?’ 3. ‘Schrijf 3 klachten over de gemeente Den Haag op.’ Veelgehoorde opmerkingen betroffen hondenpoep, parkeerbeleid, bejegening en onduidelijke communicatie.In de zaal waren geen ambtenaren aanwezig: die volgden in een nabijgelegen ruimte via een videocircuit de bijeenkomst. Op deze manier werd getracht een sfeer te creëren, waarbij de deelnemers kritiek durfden te leveren. De resultaten van deze avonden zullen worden gebruikt om de dienstverlening op relevante gebieden zonodig aan te passen.

Toetsing jaarverslag en kwaliteitshandvest in burgerpanel Aan de leden van het burgerpanel van de provincie Groningen worden specifieke vragen gesteld over het burgerjaarverslag en het kwaliteitshandvest: Wat vinden ze ervan? Is het leesbaar? Staat de goede informatie erin? Moeten er dingen bij of uit? Vinden ze de normen redelijk? Zijn er suggesties voor verbetering van het handvest?

14

Huisbezoeken Huisbezoeken zijn arbeidsintensief. Voor de lastig bereikbare groepen is dit evenwel een van de weinige manieren om ze te bereiken. Mensen op een persoonlijke manier benaderen is soms noodzakelijk om te zien wat er bij hen leeft. De gemeente Den Haag probeerde met huisbezoeken te zoeken naar oplossingen voor een betere afstemming tussen school, leerling en ouder. Overigens, ongeacht de reden waarmee de publieke werker aan de deur staat, mensen mogen een huisbezoek gewoon weigeren. Wijk/kantoorschouw In een wijk- of kantoorschouw bezoeken ambtenaren en burgers gezamenlijk een wijk of dienst. Daarbij bekijken ze samen wat er beter kan. Het bezoeken en beoordelen van diensten (zoals stadswinkels) kan samen met klanten, maar ook met collega’s van andere overheden.

Buurtschouw Amsterdam Oud Zuid Bijna alle (41) buurten in Amsterdam Oud Zuid zijn geschouwd. Een groep buurtbewoners en professioneel betrokkenen wandelen door de straten van een buurt. Tijdens de wandeling worden de opmerkingen van gebruikers genoteerd. De schouw wordt gevolgd door een gesprek. Gesignaleerde problemen worden hierin aan de orde gesteld en kleine gebreken binnen twee weken hersteld. Op zaken die meer inspanning vergen, zoals sociale veiligheid, verkeer of maatschappelijke voorzieningen, komt het stadsdeel binnen twee maanden terug middels een verslag met reeds gerealiseerde oplossingen en een aanpak voor de lange termijn.

15

Kwaliteitspanel Een kwaliteitspanel is samengesteld uit burgers en experts. Het is ingesteld om de kwaliteit van de dienstverlening te toetsen. Het kwaliteitspanel kiest zelf een aandachtsgebied binnen een bepaald thema en de bijbehorende onderzoeksinstrumenten (bijvoorbeeld groepsgesprekken of een enquête).

Kwaliteitspanel Rotterdam Het Stedelijk Kwaliteitspanel Rotterdam toetst de kwaliteit van de dienstverlening van gemeentelijke en (semi-)publieke instanties. Het panel bestaat uit negen vrijwilligers. Toetssteen hierbij is de optiek van de burger, de gebruiker. De vrijwilligers van het Kwaliteitspanel verkennen ieder half jaar een - door hen zelf gekozen - aspect van de dienstverlening en toetsen de kwaliteit ervan. Daarbij besteden zij aandacht aan zowel positieve ervaringen met de dienstverlening als de knelpunten die zij tegenkomen. Zij praten daarvoor met veel Rotterdammers. Aan de hand van de toetsing trekt het Kwaliteitspanel conclusies en formuleert het aanbevelingen. De rapportage wordt op ruime schaal verspreid. Het is de bedoeling dat die de betreffende instanties aanspoort tot de gewenste verbeteringen in hun dienstverlening. Inmiddels zijn er 24 boekjes uitgegeven. De resultaten zijn wisselend: van géén opvolging van de aanbevelingen tot aanpassingen. De ene dienst gebruikt het als breekijzer voor verandering, een ander als aanvulling op beleidsontwikkeling. Na een onderzoek vindt er tevens een dialoog plaats met de wethouder.

Creatieve concurrentie Door schaduwbeleid te laten voeren door burgers komt creatieve concurrentie op gang.

Ziekenhuisspel leidt tot beter eten In een spel over de wensen van gebruikers van een ziekenhuis moeten mensen in groepen bedenken op welke wijze de kwaliteit kan verbeteren. De groepen representeren: de patiënten, het management van het ziekenhuis, de concurrent en de gemeente. Alle groepen zochten zelf naar methoden. De groep ‘Het ziekenhuis’ kwam bijvoorbeeld met het instellen van kwaliteitscertificering. De groep ‘Patiënten’ kwam met vaste enquêtes. De ‘Concurrent’ gaf uiteindelijk aan beter eten te gaan verschaffen. Nadat zij hun idee hadden geopperd, schoten de andere groepen in de lach om het idee van ‘het betere eten’. Het idee was te eenvoudig om er zelf op te komen, maar iedereen erkende dat het concreet en werkbaar was, niet veel geld kostte en zeker voldeed aan de vraag van patiënten.

16

2 De mystery guest Steeds meer organisaties werken met kwaliteitshandvesten of zijn bezig deze in te voeren. Het op papier zetten van normen over de kwaliteit van de dienstverlening is één, ze in de praktijk naleven is een andere zaak. Een mystery guest bezoek kan daarbij zeer ondersteunend zijn. Een onderzoek met mystery guests is een aanvulling op klantonderzoek. De ‘echte’ cliënt komt er bij deze werkwijze niet aan te pas. Het zijn (ingehuurde) onbekenden of ‘vermomde’ eigen medewerkers die de dienstverlening gaan toetsen. De kracht van de mystery guest schuilt in de kritische en volledige waarneming (aan de hand van een checklist). De bezoeken leveren een algemeen beeld op van het functioneren van de dienstverlening, bijvoorbeeld juistheid van informatie, snelheid of bejegening. Eveneens kunnen aspecten als digitale contacten, bevestigen van schriftelijke correspondentie en de telefonische bereikbaarheid bij een onderzoek met mystery guests aan de orde komen. Als de daadwerkelijke handeling (zoals aanvraag van een paspoort) niet kan worden uitgevoerd door de mystery guest, dan biedt observatie de mogelijkheid om bepaalde zaken waar te nemen.



17

Waarom mystery guests? In het bedrijfsleven is het al de gewoonste zaak van de wereld: anoniem worden winkels bezocht en het personeel, de inrichting en het assortiment beoordeeld. Steeds meer bedrijven in Nederland leggen zich toe op dit vak. Hun terrein wordt steeds breder. Niet alleen worden winkels beoordeeld. Bioscopen worden bezocht om na te gaan of reclamefilmpjes daadwerkelijk worden vertoond. Restaurants worden bezocht en pizzabakkers onderzoeken hun koeriers. Nieuw is de mysteriedief. Hij steelt in supermarkten om het bewakingssysteem te testen of loopt het magazijn van bijvoorbeeld een bouwmarkt in, laadt spullen in de auto en test hoe lang het duurt voordat beveiligers dit bemerken. Het dagelijks werken in dezelfde omgeving veroorzaakt dat men blind wordt voor gebreken. De dingen gaan zoals ze gaan. Men ziet niet dat de folders zijn verouderd of dat de plastic bekers bij de publieke koffieautomaat op zijn. Er wordt niet opgemerkt dat de indeling van de wachtruimte eigenlijk onlogisch is of dat het aan essentiële informatie voor het publiek ontbreekt. Onderzoek met mystery guests • objectiveert klanttevredenheidsonderzoek • is kijken ‘door de ogen van de cliënt’ • maakt medewerkers bewust van (on)gewenst, (in)efficiënt, (on)zorgvuldig gedrag • vermindert vrijblijvendheid van te volgen werkprocedures en is een spiegel van het eigen functioneren • maakt het mogelijk om gewenst gedrag aan te tonen en te belonen • levert informatie op, die normstelling en toetsing mogelijk maakt (dit geldt natuurlijk ook voor klanttevredenheidsonderzoek) • vergemakkelijkt communicatie tussen management en uitvoering (het lokt een goed gesprek uit) • verhoogt betrokkenheid medewerkers

18

Creëer draagvlak voor uitkomsten Belangrijk is dat de medewerkers van de organisatie met een open vizier tegemoet worden getreden. Er is niets mysterieus aan mystery guests. De eindrapportage zal medewerkers aanknopingspunten bieden om de dienstverlening te verbeteren. Het draait niet zozeer om controleren maar om helpen. Als dit helder wordt gecommuniceerd, zal er draagvlak zijn voor het onderzoek. De ervaring heeft geleerd, dat als niemand op de hoogte is van de mystery guests veel emoties worden opgeroepen.

• licht de OR in • het management moet de keuze voor onderzoek met mystery guests ondersteunen en uitdragen • leg het doel van het onderzoek uit (bijvoorbeeld: testen of de nieuwe processen tot een betere dienstverlening leiden)

• kondig de komst van de mystery guests aan bij betrokkenen (ook de periode, natuurlijk niet exact) • vertel waar de mystery guest op zal letten • maak nooit op individueel niveau misbruik van de uitkomsten (het oordeel van één mystery guest op één moment over één medewerker is een momentopname, niet meer dan dat)

• geef medewerkers de mogelijkheid te reageren en vragen te stellen over de uitkomsten van het onderzoek

• benadruk niet alleen het negatieve, maar ook het positieve

Selectie van de mystery guests is cruciaal Een mystery guest staat los van alle kennis over inspanningen die gedaan zijn om de service te verbeteren. Hij moet niet gehinderd worden door (on)begrip voor bepaalde omstandigheden waarin de organisatie wellicht verkeert. De mystery guest wordt van te voren ingelicht op een need to know basis (niet meer informatie dan noodzakelijk). Belangrijke eigenschappen zijn • een goed geheugen • een goed waarnemingsvermorgen • goed kunnen luisteren (niet teveel zelf aan het woord willen zijn) • kort en bondig commentaar kunnen formuleren (achteraf het bezoek) • bezoek los kunnen zien van eigen belevenissen en ervaringen bij andere bezoeken • de mystery guest moet bij de case passen

19

Sluit toeval uit Zorg voor een gefundeerd oordeel.

• baseer het oordeel op minimaal drie bezoeken • sta stil bij de periode van het bezoek: onderzoek zowel een drukke als een rustige periode

Het doel van het onderzoek Een alledaagse vraag is al moeilijk genoeg. Maak de opdracht eenvoudig en goed vergelijkbaar.

• geef duidelijk aan welke informatie de mystery guest wél en niet mag geven aan de medewerker • de openingszin moet overal hetzelfde zijn • strikvragen voegen weinig toe: routinevragen geven een beter inzicht in het gedrag van medewerkers • zorg voor een goede briefing van de mystery guest: schriftelijk, telefonisch of persoonlijk • laat de mystery guest in ieder geval nagaan of de normen van het kwaliteitshandvest goed zijn gecommuniceerd

De checklist De controlelijst vormt het hart van het onderzoek. Deze wordt na afloop door de mystery guest ingevuld.

• werk vooral met ‘gesloten’ vragen: dit maakt de uitkomsten vergelijkbaar en bekort de verwerkingstijd

• zorg voor een logische opbouw die het gesprek volgt: dit maakt het eenvoudiger voor de mystery guest

• vraag, waar relevant, om toelichting op antwoorden: dit geeft kleur aan de uitkomsten • controleer de vragenlijst op consistentie • de checklist is geen geheim voor de organisatie

20

Rapporteren: vergeet het positieve niet Natuurlijk vindt de mystery guest tekortkomingen, daarvoor is hij ingehuurd. Maar sta ook stil bij de positieve zaken, omdat deze evengoed aanknopingspunten voor de medewerkers bieden. Maak na afronding van het onderzoek een algemeen verslag. Dit algemene beeld wordt voorzien van klantgerichte adviezen om de dienstverlening te verbeteren. De rapportage bevat een algemeen en een specifiek oordeel over de klantvriendelijkheid en correctheid van de medewerkers. Zorg ervoor dat er ruimte is om de uitkomsten te bespreken. Niets is zo zonde als een rapport dat in de lade verdwijnt. Bespreek de uitkomsten en ga na welke verbeteringen er mogelijk zijn. Wat niet direct kan, kan gepland worden. Het onderzoek is niet verblijvend: maak er een project van. Zijn er wijzigingen in het handvest nodig? Moeten er normen toegevoegd worden? Wijs iemand aan die de verantwoordelijkheid heeft om na een jaar te rapporteren over de voortgang: welke adviezen zijn ter hand genomen, wat ligt er nog en is er verbetering te zien? Afhankelijk van de uitkomst kan besloten worden na drie jaar een nieuw onderzoek met mystery guests in te plannen.

• de opdrachtgever bepaalt het belang van te meten aspecten: dit levert een gewogen eindscore op • ga niet alleen op zoek naar negatieve scores, maar gebruik positieve scores voor motivatie van medewerkers

• de rapportage ondersteunt veranderingsbeleid en faciliteert een cultuuromslag (bijvoorbeeld: bewustwording van klantoriëntatie)

• houd er rekening mee dat het management vaak ontevreden is over de resultaten van het eerste onderzoek met mystery guests: het klanttevredenheidsonderzoek levert vaak een rooskleuriger beeld op dan die met de mystery guests

Uitbesteden of zelf doen? De belangrijkste voorwaarde voor een succesvol onderzoek is dat de doelstelling bekend is. Het onderzoek zelf uitvoeren is mogelijk, mits het op kleine en kwalitatieve schaal kan gebeuren. Op grote schaal is voor een betrouwbaar resultaat nodig, dat een professioneel bureau wordt ingeschakeld. Zelf doen lijkt goedkoper, maar bedenk • ook de uren van eigen mensen kosten geld • veel aandacht is nodig voor het draagvlak, de geloofwaardigheid en objectiviteit • het wiel zelf uitvinden kost extra tijd • het berekenen van de scores vereist statistische ervaring

21

Extern mystery guest onderzoek in de provincie Naar de afdelingen van een provincie zijn 5 brieven gestuurd met een eenvoudige inhoudelijke vraag. Ook werden 5 emails verstuurd met een verzoek om informatie. Vervolgens zijn de reacties getoetst aan vooraf opgestelde criteria (mede gebaseerd op het kwaliteitshandvest) en zijn aanbevelingen gedaan voor verbetering. Het onderzoek werd uitgevoerd voor en na de zomervakantie en had een doorlooptijd van ruim een halfjaar. De kosten van dit mystery guest onderzoek bedroegen € 8.800 en waren als volgt opgebouwd: • Veldwerk: 200 mystery shops (100 brieven en 100 emails): € 6.200 • Analyse en eindrapportage: € 2.600

Aan u de keuze om een extern bureau in te huren of eerst zelf op kleine schaal te experimenteren. Onderzoek met mystery guests is een nuttige aanvulling op klanttevredenheidsonderzoek. Dus ‘iets’ is altijd beter dan ‘niets’. We horen graag over uw ervaringen met dit type onderzoek. U bent daarom van harte uitgenodigd contact op te nemen met ons via [email protected].

22

Voor meer informatie

www.kwaliteitshandvesten.nl

23

Colofon

Uitgave Ministerie van Binnenlandse Zaken en Koninkrijksrelaties Directie Arbeidszaken Openbare Sector Postbus 20011 2500 EA Den Haag

Deze brochure is ontwikkeld door het projectteam kwaliteitshandvesten.

Exemplaren van deze brochure kunnen gratis worden opgevraagd via [email protected] of T 070 426 6884

www.kwaliteitshandvesten.nl

ISBN 90-5414-098-4

Fotografie omslag Hester Blankestijn Fotografie

Vormgeving The KEY Agency

Druk Zwaan Printmedia, Wormerveer 1ste druk

April 2006

24