Van evalueren kun je leren

Van evalueren kun je leren Voorwoord Wie zich bezighoudt met cliëntenparticipatie doet er goed aan om van tijd tot tijd stil te staan bij de praktijk van dat moment. Cliëntenparticipatie is niet iets wat je zomaar even doet. Om te beginnen bestaat er nog maar weinig ervaring mee. Belangrijker is dat het voor alle direct betrokkenen meestal nieuw is. Bovendien vindt er nogal eens een wisseling van deelnemers plaats, zowel aan de kant van cliënten als aan de kant van de uitvoerders. Cliëntenparticipatie is een erg ingewikkeld proces, dat heel veel verschillende aspecten kent. Enkele voorbeelden: het overleg, de relatie met de uitvoeringsinstantie, de samenstelling van de cliëntenraad, de samenwerking binnen de cliëntenraad, het organiseren van de inbreng in het overleg, de relatie met en tussen belangenorganisaties, de relatie met de cliënten in het algemeen. Voor al die aspecten moet voldoende aandacht zijn om cliëntenparticipatie echt betekenis te laten krijgen. Cliëntenparticipatie vergt dan ook een (lang) ontwikkelingsproces. Voor alle betrokkenen betekent het een leerproces. Leren kun je op veel manieren. Daarover is een andere brochure beschikbaar bij AanZ. Een goede manier is om te leren van je eigen ervaringen. Kortom, door te evalueren. Daarover gaat deze handreiking. Catrinus Egas, bureau AanZ

Inhoud

Voorwoord • Wat is evalueren en waarom doen we dat? • Evalueren, hoe pakken we dat aan? - Wat is het doel van de evaluatie? - Wie worden bij de evaluatie betrokken? - Wie voert het uit? - Welke vorm is het beste? - Op welke onderwerpen wordt de evaluatie gericht? • Wie gaat dat betalen? • Deskundige hulp gezocht!

1 Juli 2005, Bureau AanZ, Bonkelaarweg 11, 4105 HG Culemborg, 0345 53 16 69, Website: www.aanz.org E-mail [email protected]

Wat is evalueren en waarom doen we dat? Evalueren klinkt misschien ingewikkeld, maar dat hoeft het helemaal niet te zijn. Als je er bij stil staat merk je dat de wereld wemelt van evaluaties. De nabeschouwing van een voetbalwedstrijd is een vorm van evaluatie. Het onderzoek naar de vuurwerkramp in Enschede is een evaluatie. Iedereen evalueert vele malen per dag. Je hebt bijvoorbeeld een gesprek gehad en bedenkt achteraf: heb ik dat wel op een goede manier gezegd, heb ik goed gereageerd, had ik dat niet beter voor me kunnen houden? Je bent naar een feest geweest, of naar een voorstelling, en je staat met enkele mensen nog wat na te praten. Je bent net terug van vakantie, de foto’s zijn klaar, en met je reisgenoten neem je alle gebeurtenissen nog eens door. Je hebt een cake gebakken, maar deze is wel wat erg donker uitgevallen, en je bedenkt dat de oven de volgende keer op een lagere stand moet. Evalueren is niet alleen feiten op een rijtje zetten, alles nog eens de revue laten passeren. Het gaat erom dat de feiten, de gebeurtenissen worden geanalyseerd en dat er conclusies aan worden verbonden. De volgende keer moet de oven op een lagere stand. We hadden eerst veel regen, maar gelukkig hadden we geen camping voor drie weken gereserveerd en konden we naar zonniger oorden doorreizen. Daar moet je in zo’n land inderdaad rekening mee houden. Ik vond de voorstelling niet zo geweldig, maar toen ik hoorde hoe de anderen het hadden ervaren kon ik het toch beter waarderen. Tijdens het gesprek heb ik goed gereageerd. Dat valt me mee van mezelf en ik ben toch wel ad rem. Ik weet niet zeker of ik dat wel had moeten zeggen; daar moet ik toch nog eens op terugkomen. Uit de voorbeelden blijkt wel dat evaluaties vaak spontaan plaatsvinden, niet gepland en niet gestructureerd. Die evaluaties zijn waardevol, maar beperkt. Het leren is overgelaten aan het toeval en vaak had er veel meer uit geleerd kunnen worden. Door de eindeloze aaneenschakeling van evaluaties leren mensen toch veel en valt het misschien niet zo op. De een leert overigens gemakkelijker van deze evaluaties dan de ander. De een heeft aan één fout genoeg om het nooit meer te doen, waar een ander dezelfde fout misschien wel twintig keer maakt. Leren van evalueren kan veel effectiever door het goed voor te bereiden, te structureren en te richten op een bepaald doel. Bij evalueren van cliëntenparticipatie geldt dit niet anders. Iedereen die er bij betrokken is, in de cliëntenraad zelf of op een andere manier, evalueert vaak spontaan. Op deze manier zal men leren hoe iets de volgende keer beter aan te pakken. Door daar anderen bij te betrekken kan dat leren effectiever plaatsvinden. Bovendien is cliëntenparticipatie een collectieve activiteit. De groep als geheel, alle betrokkenen met elkaar, zullen er van moeten leren. Er is dus alle aanleiding om evaluaties collectief uit te voeren. In de volgende hoofdstukken zullen we dit verder uitwerken.


Evalueren, hoe pakken we dat aan? Evalueren kan allerlei vormen aannemen. Voor een belangrijk deel is dat afhankelijk van de aanleiding en het doel. We zullen enkele voorbeelden noemen: Een evaluatie kan incidenteel worden uitgevoerd, als er een speciale aanleiding is. Het kan ook gaan om een voortgangsevaluatie. Het gebeurt bijvoorbeeld dat het functioneren van de cliëntenraad en het overleg met de uitvoeringsinstantie elk jaar wordt geëvalueerd. Dit houdt vooral verband met het ontwikkelen van de participatie en het opstellen van regels. Een evaluatie kan ook worden uitgevoerd bij de afronding van een activiteit. Voorbeeld De cliëntenraad in Z. heeft zich aangewend om voor elke activiteit en elk overleg volgens een plan te werk te gaan. Daarbij worden achtereenvolgens de volgende stappen doorlopen: • Bepalen van het onderwerp. Bijvoorbeeld naar aanleiding van klachten van cliënten. • Vaststellen of er meer over moet worden uitgezocht. Weten we genoeg over dit onderwerp? • Eventueel nader onderzoek. • Formuleren van het signaal of het standpunt en eventuele verbetervoorstellen. • Voorbereiding van het overleg met de gemeente. Wie doet het woord? Moeten we iemand meenemen die veel van het onderwerp weet? Iemand die onze voorstellen kan ondersteunen met een onafhankelijk advies? Wat zijn onze verwachtingen? Wat willen we ten minste als resultaat? • Het overleg. • Terugkoppeling naar de achterban. • Evaluatie van de hele activiteit. Hoe is het overleg gegaan? Was de voorbereiding goed? Is het resultaat voldoende? Had het beter gekund en hoe dan? Worden de cliënten, die klachten hadden, voldoende geïnformeerd over de inzet en het resultaat? Vervolgactiviteit nodig? De voorbereiding begint bij na te gaan wat je (met elkaar) wilt. Daarbij kunnen allerlei zaken worden overwogen, maar er zullen op een aantal punten duidelijke keuzes moeten worden gemaakt: - Wie neemt het initiatief? - Wat is het doel van de evaluatie? - Op welke onderwerpen wordt de evaluatie gericht? - Wie worden bij de evaluatie betrokken? - Wie voert de evaluatie uit? - Welke vorm kiezen we? - Deze punten zullen we in dit hoofdstuk behandelen. Wie neemt het initiatief? De vraag is natuurlijk of u zelf het initiatief moet nemen of dat u kunt aansluiten bij het initiatief van de uitvoeringsinstantie. Het gebeurt nogal eens dat de uitvoeringsinstantie het initiatief neemt om te evalueren, maar dat gebeurt lang niet altijd in overleg of samenwerking met de cliëntenraad of met belangenorganisaties. In sommige verordeningen, convenanten en soortgelijke overeenkomsten tussen de uitvoeringsinstantie en de cliëntenorganisaties, zijn bepalingen en afspraken opgenomen over gezamenlijke evaluaties na een bepaalde periode. Het komt ook wel voor dat de cliëntenraad of een belangenorganisatie het initiatief neemt. Het kan ook gaan om initiatieven die tegelijkertijd en naast elkaar worden genomen. Dat is bijvoorbeeld het geval als betrokken partijen besluiten om eerst in eigen kring te evalueren, voordat de uitkomsten daarvan met elkaar worden vergeleken en besproken. De genoemde voorbeelden gaan met name over het evalueren van het overleg in de cliëntenraad. Een evaluatie kan echter op heel veel zaken betrekking hebben. Een cliëntenraad kan besluiten om een advies met betrekking tot de witgoedregeling te evalueren. Een belangenorganisatie kan evalueren hoe de samenwerking tussen de organisatie en haar vertegenwoordigers in de cliëntenraad is verlopen. Het nemen van het initiatief wil overigens niet zeggen dat men het ook zelf moet uitvoeren. Een gemeente, het UWV of het CWI besteden dat meestal uit aan een onderzoeksbureau. Een cliëntenraad 3 Juli 2005, Bureau AanZ, Bonkelaarweg 11, 4105 HG Culemborg, 0345 53 16 69, Website: www.aanz.org E-mail [email protected]

kan heel goed het initiatief nemen, maar de uitvoering overlaten aan de gemeente of een welzijnsinstelling. Kortom, alle varianten zijn denkbaar. U zult zich als cliëntenorganisatie of cliëntenraad moeten afvragen of er voor u aanleiding is om zo’n initiatief te nemen. Tip Als u zelf het initiatief neemt, maar de evaluatie door anderen laat uitvoeren, is het van groot belang dat u zelf aangeeft wat het doel en het onderwerp van de evaluatie moet zijn. Het is ook van belang dat u wordt betrokken bij het formuleren van de vragen en bij het bepalen van wie bij de evaluatie worden betrokken. Tip Als het initiatief bij de gemeente ligt of bij een uitvoeringsinstantie, kunt u overwegen om daarbij aan te sluiten. In dat geval is het van belang dat u invloed heeft op het doel, het onderwerp en de opzet van de evaluatie. U kunt ook besluiten om zelf een afzonderlijke evaluatie te houden. De uitkomsten kunt u daarna vergelijken en bespreken. Daarover kunt u zelfs vooraf afspraken maken met de gemeente of de betreffende uitvoeringsinstantie. Wat is het doel van de evaluatie? Vooraf moet helder zijn waarop de evaluatie wordt gericht en wat het zou moeten opleveren. Belangrijk is ook in welk kader de evaluatie wordt uitgevoerd. Wordt er veel of weinig gewicht aan toegekend? Is er veel van afhankelijk? Gaat het om een kleine interne evaluatie? Is het voortbestaan van de cliëntenraad er van afhankelijk of de voortzetting van bepaalde financiering? Een vraag die u zult moeten beantwoorden is in welke strategie de evaluatie eventueel moet passen. Voorbeeld De cliëntenraad in gemeente X wil voor de komende jaren een ruim budget om zelf onderzoek te doen en cliënten te consulteren. Daarmee is in het afgelopen jaar ervaring opgedaan. De samenwerking met enkele belangenorganisaties is op poten gezet en er is steun geregeld van het plaatselijke opbouwwerk. De gemeente moet over het verzoek beslissen. De mening van de cliëntenraad heeft de wethouder en ook de gemeenteraad niet overtuigd. De cliëntenraad stelt daarom voor om een onafhankelijke organisatie een evaluatie te laten uitvoeren. Als de cliëntenraad dat zelf zou doen, zal men zeggen dat is toegewerkt naar een positieve uitkomst. De cliëntenraad heeft daar immers belang bij! Een onafhankelijke organisatie kan op basis van de evaluatie een onafhankelijk advies uitbrengen. Dat zal beter worden ontvangen bij de gemeente. Eventueel kan deze organisatie ook nog een bijeenkomst organiseren met vertegenwoordigers van de cliëntenraad, het gemeentebestuur, de gsd, en de gemeenteraad om de uitkomsten en aanbevelingen te bespreken. In dit voorbeeld wordt het doel gekoppeld aan een (beïnvloedings- of overtuigings-) strategie. Dat bepaalt in belangrijke mate de keuze voor de vorm en de uitvoering. Begin in ieder geval duidelijk te formuleren wat de aanleiding is. Van daaruit kunt u de centrale evaluatievraag of vragen formuleren en kunt u aangeven wat de evaluatie aan inzichten en antwoorden zou moeten opleveren. Op welke onderwerpen wordt de evaluatie gericht? Ook dit is weer een vraag die u van tevoren met elkaar zult moeten beantwoorden. Soms is het goed om daarin scherpe keuzes te maken om te voorkomen dat de evaluatie over van alles en nog wat gaat en het te omvangrijk wordt. We zullen hier volstaan met een opsomming van mogelijke onderwerpen. Deze lijst is uiteraard niet volledig. Het kan u echter op gedachten brengen. • Functioneert het overleg met de uitvoeringsinstantie goed? • Hoe is de samenwerking binnen de cliëntenraad? • De verhouding tussen de vertegenwoordigers van de uitvoeringsinstantie en de cliëntenvertegenwoordigers. • De houding van de uitvoeringsinstantie. • De doelstelling van het overleg en de cliëntenparticipatie. • De inhoud van de verordening, het convenant, de overeenkomst, het reglement. • De structuur en de samenstelling van de cliëntenraad. • De werkwijze van de cliëntenraad. 4 Juli 2005, Bureau AanZ, Bonkelaarweg 11, 4105 HG Culemborg, 0345 53 16 69, Website: www.aanz.org E-mail [email protected]

• • • • • • • • • •

De wijze waarop ervaringsgegevens worden verzameld. De relatie met de "achterban" en de belangenorganisaties. Het activiteitenplan. De gespreksonderwerpen van het overleg. De resultaten van het overleg. Worden er voldoende resultaten geboekt? Eén aspect van de participatie, één onderwerp, één activiteit, het laatst gehouden overleg Een snelle controle of de verwachtingen nog wel kloppen met de werkelijkheid. Een tussentijdse evaluatie of een grondige evaluatie, omdat het niet gaat zoals men zou willen. De ondersteuning van de cliëntenraad. De faciliteiten van de cliëntenraad en de participatie in het algemeen.

Wie worden bij de evaluatie betrokken? Afhankelijk van wat u met de evaluatie wilt, kunt u bepalen wie u daarbij wilt betrekken. Dat kan gaan van beperkt tot zeer omvangrijk: • Alleen de leden van de cliëntenraad • De huidige en de vroegere leden van de cliëntenraad • De cliëntenraad en de overlegpartner (gemeente, gsd, UWV, CWI) • De cliëntenraad en de belangenorganisaties, die cliëntenraadsleden leveren • De belangenorganisatie en haar vertegenwoordigers in de cliëntenraad • De cliëntenraad en alle organisaties die zijn betrokken bij het verzamelen van ervaringsgegevens • De cliëntenraad en alle cliënten • Andere combinaties Wie voert het uit? Het antwoord op deze vraag is voor een belangrijk deel afhankelijk van welk soort evaluatie u wilt plegen. • Zelf doen U besluit als cliëntenraad om het overleg, dat u die ochtend hebt gehad met de directeur van de gsd en de wethouder, na te bespreken, te evalueren. Met elkaar bespreekt u vragen als: Hebben we het gedaan zoals we ons hadden voorgenomen? Hebben we onze zaken goed gepresenteerd? Hebben we goed gereageerd op de argumenten van de wethouder? Waren de taken goed verdeeld? Wat hebben ze nu echt toegezegd? Moeten we nog iets uitzoeken? Welke conclusies trekken we? Hoe gaan we hiermee verder? • Hulp bij zelfevaluatie De cliëntenraadsleden willen met elkaar hun gezamenlijk functioneren evalueren. Daarbij komen vragen aan de orde als: Werken we goed samen? Zijn de taken goed verdeeld? Maken we voldoende gebruik van ieders sterke punten? Komt iedereen voldoende aan bod? Zijn er geen mensen of belangenorganisaties dominant? Wie bepaalt de onderwerpen? Laten we ons niet teveel intimideren door de wethouder? Weten we goed onze eigen invalshoek vast te houden of laten we ons afleiden door technische verhalen van de ambtenaren? Bereiden we het overleg goed genoeg voor? Doen we wel genoeg om aan ervaringsgegevens van cliënten te komen? In dit voorbeeld gaat het om een serieuze evaluatie, waarbij bovendien het functioneren van elk lid van de cliëntenraad aan de orde komt, en ook de onderlinge verhoudingen. In zo’n geval is het raadzaam om een onafhankelijke, maar deskundige gespreksleider aan te trekken. Deze moet bovendien het vertrouwen van alle cliëntenraadsleden hebben. Afhankelijk van de vorm, die wordt gekozen, zal deze persoon ook veel moeten doen aan de voorbereiding. • Laten doen De cliëntenraad bestaat nu twee jaar. Er zijn wat leden vertrokken, anderen zijn er bij gekomen. Met vallen en opstaan heeft de raad een werkwijze ontwikkeld voor het overleg met de uitvoeringsinstantie. Het wordt tijd om eens uitvoerig stil te staan bij de gang van zaken. Zitten we op het goede spoor? Bereiken we iets? Hoe is onze relatie met de belangenorganisaties? Weten de cliënten voldoende van ons bestaan en ons werk? Voelen ze zich daarbij betrokken? Hoe wordt bij de uitvoeringsinstantie tegen onze inbreng aangekeken? 5 Juli 2005, Bureau AanZ, Bonkelaarweg 11, 4105 HG Culemborg, 0345 53 16 69, Website: www.aanz.org E-mail [email protected]

Dat zijn heel veel vragen, die bovendien betrekking hebben op heel veel verschillende groepen. Om goede conclusie te kunnen trekken voor de toekomst, is kwaliteit van de evaluatie van groot belang. Kortom, er is alle aanleiding om de evaluatie uit te besteden aan een onafhankelijk en deskundig bureau. • Gezamenlijk De wethouder, de gsd en de cliëntenraad willen na een jaar hun gezamenlijk overleg evalueren. Ze doen dat in een gezamenlijke bijeenkomst. Ze zijn zo verstandig geweest om daarvoor een onafhankelijke gespreksleider uit te nodigen. Als voorbereiding hebben de gemeentelijke delegatie en de clientenraad eerst in eigen kring geëvalueerd. Voorbeeld Enkele jaren geleden nam de gemeente Y het initiatief tot het instellen van een cliëntenraad. Lokale cliëntenorganisaties werden benaderd met het verzoek daar aan mee te werken. Bij deze aanpak had de gemeente zich goed laten adviseren. Alvorens formeel van start te gaan werd een proeftraject ingericht. Dat hield in dat de betrokken medewerkers van de gsd en de cliëntenvertegenwoordigers eerst twee dagen doorbrachten in een vormingsinstituut. Daar werd, onder leiding van een adviseur, kennis gemaakt en werden ieders verwachtingen besproken. Daarna is men eerst maar eens informeel gaan overleggen met de afspraak om na een half jaar weer met elkaar in het vormingsinstituut bijeen te komen. De ervaringen werden met elkaar besproken en geëvalueerd. Op basis daarvan werden conclusies getrokken voor de formele opzet van een cliëntenraad. Na enkele maanden werd deze dan ook officieel geïnstalleerd en werd een verordening en een reglement vastgesteld. Een afspraak die werd vastgelegd, was dat eenmaal per jaar het functioneren van het overleg zal worden geëvalueerd. Dat heeft tot nu toe tweemaal plaatsgevonden. Dit gebeurt ook weer gezamenlijk met alle betrokkenen in een bijeenkomst op het vormingsinstituut en onder leiding van dezelfde adviseur. • Een combinatievariant Een combinatie van bovengenoemde varianten is ook mogelijk. Zo kan bijvoorbeeld de zelfevaluatie onderdeel uitmaken van een grotere evaluatie die wordt uitbesteed aan een onafhankelijk bureau. Welke vorm is het beste? Het zal u niet verbazen dat we daarop geen algemeen antwoord kunnen geven. Ook dit hangt weer af van de aanleiding, het onderwerp, het doel, de bereidheid tot medewerking en de (budgettaire) mogelijkheden. We zullen enkele vormen bespreken. U kunt uw eigen keuze maken, maar zeker bij belangrijke en meer omvangrijke evaluaties is het goed om u deskundig te laten adviseren. Daarover meer in het laatste deel van deze brochure. • Schriftelijke enquête of vragenlijst Als de enquête wordt gericht op het cliëntenbestand, kunnen de cliënten worden aangeschreven via een mailing van de uitvoeringsinstantie. Zorg dan wel voor een begeleidend schrijven van de cliëntenraad! Langs deze weg kunnen veel cliënten worden betrokken bij een evaluatie. Er kan worden gevraagd of ze bekend zijn met de cliëntenraad, of ze wel eens klachten of ideeën hebben aangedragen, of ze wel eens worden geconsulteerd en of ze worden geïnformeerd over het werk van de cliëntenraad en de resultaten die worden geboekt. De vragen kunnen gesloten zijn, dat wil zeggen dat alleen met ja of nee hoeft te worden geantwoord of dat een cijfer of andere waardering moet worden gegeven. Dat heeft het voordeel van gemakkelijk invullen en gemakkelijke verwerking. Het nadeel is dat het resultaat wordt gestuurd. De vragen bepalen namelijk welke informatie wordt verkregen. Ook blijven de antwoorden oppervlakkig. Als iemand aangeeft niet tevreden te zijn, weet je nog niet waarom dat zo is. Daarom kunnen er ook open vragen worden opgenomen. Dan kunnen de mensen zelf aangeven wat ze belangrijk vinden en dat eventueel toelichten. Het nadeel daarvan is dat de resultaten moeilijker te verwerken zijn. De antwoorden worden verwerkt in scores: bijvoorbeeld 60% heeft nee ingevuld en 40% ja. Dat is allemaal nog relatief gemakkelijk. Daarna moeten de uitkomsten echter worden geïnterpreteerd, wor6 Juli 2005, Bureau AanZ, Bonkelaarweg 11, 4105 HG Culemborg, 0345 53 16 69, Website: www.aanz.org E-mail [email protected]

den beoordeeld op hun betekenis. De wijze waarop dit gebeurt beïnvloedt het eindresultaat in hoge mate. Tip Zorg dat u zelf invloed heeft op welke vragen worden gesteld en ook hoe ze worden gesteld. Zorg ook dat u betrokken wordt bij het interpreteren van de uitkomsten. U zult daar immers anders tegenaan kijken dan iemand van een uitvoeringsinstantie of een onderzoeker. Tip Denk aan het gemak van degene die de vragen moet beantwoorden. Omvangrijke vragenlijsten leveren meestal minder respons op dan korte. Als men maar een paar dingen hoeft aan te kruisen doet men dat eerder dan als wordt gevraagd heel uitvoerige antwoorden te leveren. Het bijvoegen van een gefrankeerde retourenveloppe scheelt ook veel. Soms wordt een beloning in het vooruitzicht gesteld als men de vragenlijst ingevuld terugstuurt. Eventueel wantrouwen kan worden weggenomen door het mogelijk te maken om de cliëntenraad te bellen om opheldering. Tegenover de voordelen van een groot bereik staan ook nadelen. Zo mag u geen al te hoge verwachting hebben van de respons. Bovendien zal sprake zijn van selectieve respons. Cliënten, die niet zo taalvaardig zijn en moeite hebben met het invullen van formulieren, zullen niet reageren. Datzelfde geldt voor mensen die de Nederlandse taal niet of onvoldoende machtig zijn, zoals veel oudere allochtonen. Bepaalde categorieën cliënten zullen moeilijk of helemaal niet worden bereikt. Dat geldt bijvoorbeeld voor dak- en thuislozen en verslaafden. Zo leidt de vorm van schriftelijke enquête meestal vanzelf tot een selectie van het resultaat. Het levert geen compleet beeld op. Daar kunnen dan heel verkeerde conclusies uit worden getrokken, of conclusies die maar voor een deel van het cliëntenbestand gelden. Ook kan er sprake zijn van wenselijke antwoorden. Cliënten kunnen de indruk hebben dat de enquête wordt uitgevoerd door, of in opdracht van de uitvoeringsinstantie. Bijvoorbeeld omdat de mailing via de uitvoeringsinstantie gaat. Veel mensen zullen dan geneigd zijn antwoorden in te vullen waarvan ze denken dat de instantie ze graag wil. Dat levert dan eveneens geen betrouwbaar beeld op. Dit wordt nog eens versterkt als men niet helemaal overtuigd is van het feit dat de enquête volstrekt anoniem gebeurt. • Mondelinge enquête Dit kan telefonisch gebeuren, door huisbezoek of in de wachtkamer van de uitvoeringsinstantie. Veel overwegingen die bij de schriftelijke enquête werden genoemd, gelden ook hier. Als voordeel kan worden genoemd dat men minder gemakkelijk medewerking zal weigeren. Dat wordt versterkt als de enquêteur of enquêtrice vriendelijk is en vertrouwen schept. Een belangrijk voordeel kan zijn dat de cliënt geen vragenformulier hoeft in te vullen. Soms wordt daarom ook wel een combinatie van schriftelijke en mondelinge enquêtes toegepast. In de begeleidende brief bij de vragenlijst kan worden aangeboden om de vragen mondeling tijdens een huisbezoek te komen stellen. Een nadeel kan zijn dat het veel tijd vergt. Daarom wordt het vaak toegepast bij een steekproef. Dit nadeel wordt tegenwoordig weer opgeheven door de antwoorden meteen digitaal in te voeren in de computer. Zo kan zelfs tijdwinst worden geboekt bij de verwerking van de gegevens. • Interview Bij een interview heeft de geïnterviewde doorgaans al veel meer invloed dan bij een enquête. Als de interviewer het gesprek erg stuurt met het stellen van vragen is die invloed veel minder dan wanneer het een heel open interview betreft. In dat laatste geval heeft de geïnterviewde alle ruimte om zelf te bepalen wat hij of zij van belang vindt of kwijt wil. Het afnemen van interviews kan heel veel informatie opleveren. Het is minder oppervlakkig dan een enquête. Het zal echter duidelijk zijn dat het veel meer tijd vergt en dat de verwerking ingewikkelder is. Het is dan ook geen vorm voor grote aantallen. Het gaat meer om de kwaliteit van de opbrengst dan om de kwantiteit. De uitkomst biedt dan ook een kwalitatieve indicatie. Een nadeel kan zijn dat een beperkt aantal personen worden geselecteerd voor een interview. In die selectie kan dus een sturend element zitten voor de uitkomst. De selectie kan echter ook willekeurig zijn of juist zo ingericht dat het een doorsnee oplevert van de groep, waarop het onderzoek wordt gericht.


• Groepsgesprek of groepsinterview Een variant is het houden van een groepsinterview of groepsgesprek. Net als bij een interview kan dit erg worden gestuurd door van tevoren opgestelde vragen, die door de gespreksleiding naar voren worden gebracht. Er zijn echter ook allerlei methoden voor heel open gesprekken, waarbij de gespreksdeelnemers zelf bepalen wat ze belangrijk vinden. Anders dan bij een interview beïnvloeden de deelnemers elkaar, en daarmee het verloop en de uitkomst. Dat kan nadelig zijn als enkelen het gesprek bepalen. Het kan voordelig zijn als men elkaar op gedachten brengt, waardoor er op creatieve wijze collectieve gedachtevorming ontstaat. Daarbij hoeft men het overigens niet allemaal eens te zijn of te worden. Combinaties van de genoemde vormen zijn mogelijk. Enkele voorbeelden zijn: • Enquête + groepsgesprek Na het houden van een enquête kan de uitkomst heel goed worden besproken met een geselecteerde groep. De groep wordt dan als het ware benut om de uitkomsten (de scores) te interpreteren. Het werken met een vragenlijst hoeft niet alleen gericht te zijn op een grote groep (cliënten). Het kan ook kleinschaliger. Bijvoorbeeld bij een interne evaluatie van de cliëntenraad. De leden van de cliëntenraad vullen dan allemaal zelf (eventueel anoniem) antwoorden in. Dit heeft het voordeel dat elk lid in alle rust en op het moment dat het uitkomt de vragen kan beantwoorden. In een gesprek reageer je vaak op wat een ander zegt en kun je heel gemakkelijk worden afgeleid van wat je zelf zou hebben ingebracht. Het kan daarmee ook voorkomen dat de meest dominante leden de uitkomst van de evaluatie bepalen. Meestal zal het dan nog nodig zijn om de uitkomsten met elkaar te bespreken, maar dan heeft iedereen in elk geval een inbreng kunnen hebben. Een belangrijk aandachtspunt bij groepsgesprekken is de mate van onderling vertrouwen. Als er weinig vertrouwen is zal men niet snel het achterste van de tong laten zien. Vertrouwen wordt niet gemakkelijk gekweekt en dat kan soms lang duren. Het anoniem laten invullen van vragenlijsten kan een hulpmiddel zijn om toch allerlei zaken boven tafel te krijgen die anders niet zouden worden genoemd. Met een goede en onafhankelijke gespreksleiding kunnen deze zaken dan toch aan de orde worden gesteld. • Interviews + enquête + groepsgesprek Als variant op het voorgaande kan worden gestart met interviews. Deze interviews hebben dan vooral betekenis om te achterhalen wat belangrijk is, waar knelpunten zitten. Kortom, wat vooral aandacht zal moeten krijgen in de evaluatie en de vragenlijst. Bij grotere evaluaties kan eventueel worden gewerkt met deelevaluaties, waarbij verschillende vormen worden toegepast. De deelevaluaties worden later samengevoegd in een totaalevaluatie.


Wie gaat dat betalen? Evalueren zal altijd kosten met zich meebrengen, zelfs als het gaat om het nabespreken van het overleg. Je moet over een ruimte beschikken om bij elkaar te komen. Er zal koffie en thee worden geschonken. Wellicht zal er een verslag worden gemaakt, dat misschien ook nog moet worden rondgestuurd. In dit geval gaat het om relatief bescheiden kosten en vaak zullen deze wel worden vergoed door de uitvoeringsinstantie. Als dat niet zo is, doet u er goed aan om dit soort kosten op te nemen in uw algemene begroting. Als de evaluatie wat omvangrijker wordt gaat het al gauw om relatief grote bedragen. Als de evaluatie samen met de uitvoeringsinstantie of de gemeente wordt uitgevoerd, zal men daar de kosten wel dragen. Maar ook dan doet u er goed aan om de kosten die u zelf in dat kader zult maken goed te begroten en te regelen dat ze kunnen worden gedeclareerd. Als u zelf het initiatief neemt en de evaluatie uitvoert of laat uitvoeren, wordt het een ander verhaal. Mogelijk zult u niet goed in staat zijn om alle kosten te overzien en te begroten. U doet er dan verstandig aan om daar hulp bij in te schakelen, bijvoorbeeld van een welzijnsinstelling of een onderzoeksbureau. Als u, met hulp, de noodzaak van de evaluatie, een goed plan en een duidelijke begroting weet te presenteren kunt u daarvoor waarschijnlijk wel bij de gemeente terecht. Als u met het UWV of het CWI te maken heeft, ligt dat moeilijker. U bent dan eerder aangewezen op een of andere subsidiepot. Als u toch hulp inschakelt bij het opstellen van het plan en de begroting kunt u de betreffende organisatie ook vragen om u te helpen bij het vinden van het benodigde geld. Afhankelijk van de omvang van de kosten kan het zelfs zijn dat de welzijnsinstelling deze voor zijn rekening neemt. Soms zijn commerciële onderzoeksbureaus ook wel bereid om kosteloos of tegen een gering bedrag hun medewerking te geven. Dat is dan een vorm van sponsoring. Er zijn ook onderzoeksinstituten die gesubsidieerd worden en daarom gemakkelijker op uw verzoek kunnen ingaan. De zogenaamde Wetenschapswinkels bij universiteiten en hogescholen worden ook nog wel eens ingeschakeld. In dat geval gaan studenten onder begeleiding van een docent voor u aan de slag. Zeker als er sprake is van geplande evaluaties, is het van belang om deze in een activiteitenplan en begroting op te nemen en daarover van tevoren afspraken te maken.

Deskundige hulp gezocht! Op diverse plaatsen in deze brochure hebben we aangegeven dat het zoeken van hulp noodzakelijk is of op zijn minst aan te bevelen. Vooral het plaatselijke of provinciale welzijnswerk kan daarbij een belangrijke rol spelen. Dat geldt overigens niet alleen met betrekking tot evalueren. Over ondersteuning is bij AanZ een afzonderlijke brochure beschikbaar. Als er bepaalde onderzoeken moeten worden uitgevoerd in het kader van een evaluatie, kan ook worden gedacht aan de assistentie van een onderzoeksinstituut of universiteit. Dat kan zowel betrekking hebben op het opzetten en inrichten van het onderzoek als op de uitvoering ervan. Om u te helpen bij uw oriëntatie op mogelijke vormen van hulp, geven wij u een kleine opsomming. U kunt denken aan hulp bij: • Het verhelderen van de aanleiding en het doel • Opzet en vormgeving • Overleg met andere betrokkenen bij gezamenlijk initiatief • Uitvoering van onderzoek en rapportage • Gespreksleiding bij bespreking • Assistentie bij analyse en het trekken van conclusies en bij het formuleren van verbeterpunten • Het opstellen van een plan van actie om verbeteringen in de participatiepraktijk te bewerkstelligen


Van evalueren kun je leren

Recommend Documents