Academiseren en evalueren

Academiseren en evalueren Hoe evaluatie kan bijdragen aan de academisering van de publieke gezondheidszorg Marjan Hoeijmakers1, Maria Jansen 1

Gelijktijdig met de uitvoering van het programma van de Academische Werkplaats Publieke Gezondheid Limburg wordt een evaluatiestudie gedaan. Deze evaluatie heeft zowel een procesvolgend als beoordelend karakter. De academische werkplaats beoogt de samenwerking tussen beleid, onderzoek en praktijk te bevorderen en daarmee de kennisontwikkeling en -implementatie in de publieke gezondheidszorg. Het betreft een complex veranderingsproces waarbij veel actoren betrokken zijn. De vraag is hoe dit proces en de resultaten ervan goed in kaart gebracht kunnen worden zonder dat de succescriteria vooraf bekend zijn. We beschouwen het gebruik van programmatheorie in deze situatie als een hulpmiddel. Programmatheorie biedt in evaluatie houvast om stapsgewijs te bekijken of het programma daadwerkelijk werkt zoals het verondersteld wordt te doen en of het daardoor de beoogde resultaten behaalt. Aannames over wat de academische werkplaats volgens betrokken actoren moet doen en moet opleveren zijn in Limburg echter nog nauwelijks gee¨xpliciteerd. Het hier gepresenteerde onderzoeksdesign voor de evaluatie biedt daarom ruimte om betrokkenen met elkaar in dialoog te brengen over hun ervaringen met de samenwerking in kennisontwikkeling en hun wensen en ideee¨n ten aanzien van de academische werkplaats. Dit artikel presenteert verder de voorlopige programmatheorie van de Academische Werkplaats Publieke Gezondheid Limburg die in deze dialoog verder gee¨xpliciteerd zal worden.

Trefwoorden: academische werkplaats, evaluatie, programmatheorie

I n l ei d i n g Voor een succesvolle aanpak van de actuele, vaak complexe volksgezondheidsproblemen wordt een effectieve samenwerking tussen beleid, onderzoek en praktijk als noodzakelijk beschouwd.1,2 Deze functioneren echter als tamelijk gescheiden domeinen.2-4 Dit stagneert de ontwikkeling van een adequate ‘evidence base’ voor het beleidsmatig en uitvoerend handelen in de (lokale) public health.4-7 In Nederland is daarom ingezet op academisering van de publieke gezondheidszorg ofwel van de GGD, gestimuleerd door academische werkplaatsen.8 In mei 2006 is de Academische Werkplaats Publieke Gezondheid Limburg van start gegaan. Deze academische werkplaats heeft (als enige in het land) gekozen om een meerjarige evaluatiestudie uit te voeren, naast het programma gericht op de bevordering van de samenwerking tussen beleid, onderzoek en praktijk. Men wil, zoals in de subsidieaanvraag beschreven staat, namelijk inzicht verkrijgen in de rol van de academische werkplaats en de effecten van zijn functioneren op lokaal gezondheidsbe1

Academische Werkplaats Publieke Gezondheid Limburg, GGD Zuid Limburg

leid en evidence-based werken van de GGD.9 Een andere vraag is wat het effect van de werkplaats is op het werk van de universiteit. In feite is het doel van de evaluatie tweeledig: 1) formatief: procesvolgend en in opbouwende zin bijdragen aan het proces van academisering en 2) summatief: vaststellen hoe succesvol de academische werkplaats (in de gekozen vorm) is. Het was op voorhand echter niet zo duidelijk wa´t precies gee¨valueerd moet worden in de samenwerking tussen beleid, onderzoek en praktijk. Dit heeft verschillende redenen. De eerste reden is dat de samenwerkingspartners in beleid, onderzoek en praktijk gescheiden van elkaar werken. De tweede reden is dat academisering van de publieke gezondheidszorg een breed concept is waarvan de reikwijdte in deze setting nog niet duidelijk is. Derde punt is dat de samenwerkingspartners (op zowel bestuurlijk, institutioneel en individueel niveau) ieder een eigen rol moeten vervullen en daarmee samenhangend specifieke verwachtingen, wensen en ideee¨n bij de academische werkplaats hebben en wat deze op termijn moet opleveren. Deze verschillende perspectieven zijn in

tsg jaargang 86 / 2008 nummer 6 Academiseren en evalueren - pagina 334 / www.tsg.bsl.nl

TSG 86 / nummer 6

334

2 Hoe ziet het samenwerZuid-Limburg nog nauweKernpunten kingsnetwerk eruit en lijks door de partners behoe verandert dit in de sproken, laat staan met elk. De Academische Werkplaats Publieke Gezondtijd? aar in overeenstemming heid Limburg is gericht op de bevordering van de 3 Hoe succesvol is de acagebracht. samenwerking tussen beleid, onderzoek en prakdemische werkplaats in Samengevat betreft het tijk in de publieke gezondheidszorg. Een evaluahet bevorderen van de een complex veranderingstiestudie begeleidt het programma van deze acasamenwerking en ontproces waarbij de vraag demische werkplaats. wikkeling van een effecvoorligt hoe dit proces en . Voor de evaluatie is gekozen voor een casestudy tieve aanpak in de pude opbrengsten goed in met voldoende ruimte voor de participatie van blieke gezondheidszorg? kaart gebracht kunnen belanghebbenden. De studie is procesvolgend en In dit artikel beschrijven we worden, zonder dat vooraf meet de effecten van de academische werkplaats. de manier waarop we deze de succescriteria of een . De evaluatie maakt gebruik van programmatheovragen over enige tijd willen standaard waartegen berie: een set van aannames waarop een programma beantwoorden. oordeeld kan worden beis gebaseerd. Er is door de onderzoeker een voorkend zijn. Het gebruik van lopige programmatheorie opgesteld die met programmatheorie kan hier O n d e r z o e k s o pz e t belanghebbenden verder zal worden ontwikkeld. een handvat bieden. De gegeven situatie en onEen programmatheorie derzoeksvragen vragen om of logisch model is een set een onderzoeksdesign dat van aannames (beliefs, hypotheses) waarop een proruimte laat voor een participatieve, responsieve benadegramma is gebaseerd. Het verklaart de (oorzakelijke) ring. De betrokkenheid en actieve bijdrage van stakeholverbindingen tussen input en te verwachten uitkomders bij (evaluatie) onderzoek wordt om uiteenlopende sten.10-12 Evaluatie maakt gebruik van programmatheorie redenen steeds meer gewaardeerd.11,14-21 In deze specidoor te bekijken of het programma daadwerkelijk werkt fieke evaluatiestudie is de participatie van stakeholders zoals het verondersteld wordt te doen en of het daardoor uit beleid, onderzoek en praktijk gewenst om: . te ontdekken wat academisering van de publieke gede beoogde resultaten behaalt. In evaluatieonderzoek wordt veelal gepleit voor het gebruik van programmazondheidszorg inhoudt, . hun wensen en ideee ¨n over de academische werkplaats theorie omdat evaluatie het meest ideaal kan verlopen indien de verschillende stappen in detail in de praktijk te leren kennen, . in combinatie met theoretische noties over de samengevolgd en beoordeeld kunnen worden.13 werking tussen beleid, onderzoek en praktijk en aan de Het gebruik van programmatheorie lijkt dus nuttig hand van een ‘blauwdruk’, de programmatheorie te maar de programmatheorie waar de Academische Werkformuleren, plaats Publieke Gezondheid Limburg op rust is niet op . resultaten te genereren die waardevol zijn voor het voorhand duidelijk. Er is namelijk niet e´e´n onderscheidende theorie die van toepassing is op het samenwerveranderingsproces waar betrokkenen in zitten, . draagvlak voor de resultaten te cree ¨ren, kings- en veranderingsproces dat de academische werk. bij te dragen aan de koers van de academische werkplaats wil bevorderen. De Academische Werkplaats Publieke Gezondheid Limburg steunt op dertig door Janplaats. sen,2 op basis van theoretische inzichten geı¨dentificeerde We kiezen voor een casestudie omdat dit design: 1) aandacht geeft aan sociale interacties en de betekenis die praktische strategiee¨n die de determinanten van samendeelnemers aan het bestudeerde verschijnsel en aan elkwerking beı¨nvloeden. Afhankelijk van de context, het aar geven,22 2) recht doet aan de gegeven hoe en waarom actieniveau (bestuurlijk, institutioneel en individueel), wordt een strategie gekozen. De aannames over de vragen over de (samenwerkings)relaties tussen actoren en werking en resultaten van een programma zitten naast hun zienswijzen, 3) de verwevenheid van het verschijnsel een theoretische onderbouwing ook voor een belangrijk met de natuurlijke omgeving waarin het zich voordoet als deel in de hoofden van betrokkenen en andere belanguitgangspunt neemt en niet los van elkaar ziet of door de hebbenden bij het programma. Deze, vaak impliciete onderzoeker wil laten controleren,22,23 en 4) een intenaannames behoeven in de Limburgse academische werksieve, procesvolgende werkwijze hanteert waarin diverse plaats nog verdere uitwerking. methoden en databronnen worden gebruikt wat goed Op basis van voorgaande probleemstelling(en) hebben aansluit bij de formatieve doelstelling van de studie. we de volgende onderzoeksvragen geformuleerd. De Case studies maken verder gebruik van analytische centrale vraagstelling luidt: Hoe draagt de Academische generalisatie. Dit betekent dat empirische gegevens worWerkplaats Publieke Gezondheid Limburg bij aan het den vergeleken met vooraf geformuleerde theorie. In deze academiseringsproces in de publieke gezondheidszorg en studie wordt daarvoor een programmatheorie ontwikhoe succesvol is de academische werkplaats? keld en de realisatie ervan gevolgd en beoordeeld. De De subvragen zijn: resultaten (interpretatie van de data) worden, ten slotte, 1 Welke programmatheorie ligt aan de basis en hoe met de onderzochten gedeeld en gecheckt op relevantie wordt deze gerealiseerd? en juistheid.24 We gaan in deze studie nog een stap verder


TSG 86 / nummer 6

335

door de bevindingen actief te laten bijdragen aan de koers van de academische werkplaats. Evaluatie in fasen De evaluatiestudie verloopt in vier fasen. De eerste fase is een verkenning van het samenwerkingsnetwerk tussen beleid, onderzoek en praktijk, en een verkenning met belanghebbenden van hun ideee¨n, wensen en verwachtingen ten aanzien van academisering en de academische werkplaats. Hiervoor worden netwerkanalyse (aan de hand van vragenlijsten), interviews en focusgroepen ingezet. De fase daarna is gericht op verdere explicitering en aanscherping van onderliggende aannames bij het functioneren van de academische werkplaats en de formulering van intermediaire en finale uitkomstmaten. Dit gaat gebeuren in focusgroepen waarin betrokkenen met elkaar in dialoog gebracht worden. Deze fase wordt naar verwachting afgesloten met een Delphi-ronde onder een grotere groep belanghebbenden. In de derde fase wordt met de vastgestelde indicatoren de voortgang en effecten van het academiseringsproces en de samenwerking tussen beleid, onderzoek en praktijk gemeten. De vierde en laatste fase is bedoeld voor afsluitende rapportages. De procesevaluatie, gericht op wat is geı¨mplementeerd en hoe (goed) dit is gebeurd, is een continue activiteit. Hierin worden zowel de ervaringen van betrokken actoren als feitelijkheden opgenomen. Deze evaluatie loopt wel gedurende het hele onderzoek maar kan in fase drie veel gerichter uitgevoerd worden nadat de programmatheorie is gee¨xpliciteerd. Het doel van procesevaluatie is verbetermogelijkheden aangeven en voorzien in interpretatie van opgetreden effecten. De eerste fasen van de evaluatie kunnen door hun participatieve en dialogische karakter in positieve zin bijdragen aan het academiseringsproces. Dit geldt ook voor de procesevaluatie waarin de tussentijdse resultaten worden gedeeld met direct betrokkenen bij de academische werkplaats. P r ogr a m m at h e o r i e Ac a d e m i s c h e We r k plaats Publ ieke Gezondh ei d Li mb urg Een programmatheorie is het resultaat van een interactief en iteratief proces van de onderzoeker met belanghebbenden bij het programma. Het combineert literatuur (theoretische modellen) met de aannames van belanghebbenden over de werking van het programma.25 Een programmatheorie bevat volgens Weiss11 de volgende onderdelen: 1) programma input: de randvoorwaarden zoals geld, personeel, 2) programma activiteiten: de manier waarop het programma uitgevoerd wordt, 3) intermediaire uitkomsten: de reactie die de activiteiten veroorzaken en die vervolgens leiden tot 4) de gewenste eindresultaten. Rossi et al (2004) specificeren deze componenten nog verder. Zij delen de programmatheorie eerst in tweee¨n: de procestheorie en de impacttheorie, en vervolgens in kleinere componenten. In de procestheorie gaat het om de aannames over het organisatieproces (welke middelen en organisatie van het programma zijn adequaat om de beoogde activiteiten, diensten te kunnen leveren), het leveringsproces (wat nodig is om de pro-

grammaonderdelen te implementeren of wel de gewenste output te leveren) en de output. De impacttheorie bevat de aannames over het veranderingsproces die de interventies teweeg zullen brengen. Met andere woorden hoe worden de gewenste resultaten stapsgewijs behaald. Aan de hand van de indeling van Rossi et al. is een voorlopige programmatheorie opgesteld voor de Academische Werkplaats Publieke Gezondheid Limburg Deze programmatheorie, gepresenteerd in figuur 1, is een vereenvoudigd model waar de belangrijkste processen, output en uitkomsten in zijn opgenomen. Dit voorlopige model is ontwikkeld op basis van de huidige structuur en werkwijze, literatuur, gesprekken met belanghebbenden en analyse van bestaande documenten over de academische werkplaats. Alvorens naar deze programmatheorie te gaan presenteert de volgende paragraaf kort het principe van de academische werkplaats in Limburg. Beschrijving Academische Werkplaats Publieke Gezondheid Limburg De Academische Werkplaats Publieke Gezondheid Limburg is een samenwerkingsverband tussen de negentien Zuid-Limburgse gemeenten, de GGD Zuid-Limburg inclusief de 0-4 jarige jeugdgezondheidszorg (JGZ) van de thuiszorgorganisaties (noot 1), de ‘Faculty of Health, Medicine and Life sciences’ van de Universiteit Maastricht (UM) en het academische ziekenhuis Maastricht (azM). Deze kernpartners hebben een gezamenlijk programma opgesteld onder de titel ‘‘Promoting physical and mental fitness. Evidence into practice and practice into evidence: closing the circle’’. De focus van de academische werkplaats ligt op de jeugdgezondheidszorg en gezondheidsbevordering. De gedachte achter het programma is dat beleid, praktijk en onderzoek zouden moeten toegroeien naar een structurele samenwerking. Het gaat hierbij enerzijds om de academisering van de GGD ofwel de wetenschappelijke onderbouwing van de publieke gezondheidszorg en anderzijds om de vermaatschappelijking van de universiteit waardoor het wetenschappelijk onderzoek meer maatschappelijke betekenis en nut krijgt. De doelstelling van de academische werkplaats is daarmee te onderscheiden in een organisatorische en een inhoudelijke. Organisatorisch gezien beoogt de academische werkplaats een infrastructuur te realiseren die concrete samenwerking gemakkelijk maakt: waarbinnen de partners met elkaar in dialoog komen, cultuurverschillen overbruggen en een gezamenlijke aanpak van vraagstukken in de volksgezondheid realiseren. Deze infrastructuur ziet u hierna verder uitgewerkt in de procestheorie. Inhoudelijk gezien streeft de werkplaats naar wetenschappelijk onderbouwd gezondheidsbeleid en ‘evidence-based’ handelen in de praktijk om zo doende de kwaliteit van de publieke gezondheidszorg te verbeteren en het effect op de gezondheid van de Zuid-Limburgse burger te vergroten. Deze doelstelling ziet u verder uitgewerkt in de impacttheorie.


TSG 86 / nummer 6

336

PROGRAMMATHEORIE Academische Werkplaats Publieke Gezondheid Limburg Procestheorie

Organisatieproces

Leveringsproces

Algemene organisatie

Bevorderen determinanten van samenwerking op bestuurlijk, institutioneel en individueel niveau

Stuurgroep- DB Samenwerkingsovereenkomst Programmaleider Begeleidingsgroepen Ambassadeurs Communicatie, PR Input Geld, ICT, cursus, positie programmaleider, dubbelaanstelling

Scholing: referaten, aio-onderwijs, Matserclass

Output In samenwerking onderzoek uitvoeren: van promovendi en masterclass studenten Ontwikkeling gezamelijke data-infrastructuur

Afdelingen GGD en UM stimuleren en faciliteren: onderzoeksassistentie, laptop, promotoren, overleg Georganiseerde bijeenkomsten: begeleidingsgroepen, uitwisseling expertise en kennis

Impacttheorie

Proximale uitkomsten

Intermediaire uitkomsten

Finale uitkomsten

Betrokkenen weten elkaar te vinden, kennen elkaars expertise en weken concreet samen, gezamelijk onderzoek, nieuwe aanvragen, adviezen

Structurele, continue samenwerking tussen wetenschap, beleid en praktijk in aanpak nieuwe vraagstukken en gedeelde datainfrastructuur

De kwaliteit van de publieke gezondheidszorg in Zuid-Limburg is verbeterd

Nieuwe, toegepaste kennis Bruikbare producten voor professionals in praktijk en beleid Artikelen, presentaties Cultuur GGD/ gemeente waarin wetenschappelijke onderbouwing de norm is, cultuur UM is meer gericht op toegepast onderzoek

De gezondheid van de ZuidLimburgse bevolking is verbeterd

Samenwerkings netwerken zijn geïntegreerd Academisering geïntegreerd binnen GGD/ gemeente Wetenschappelijk onderbouwde beroepsuitoefeningen en lokaal gezondheidsbeleid

Onderzoekskennis aanwezig en over organisatie verdeeld, voldoende ondersteuningscapaciteit UM en GGD-afdelingen

Figuur 1 Programmatheorie Academische Werkplaats Publieke Gezondheid Limburg

Procestheorie De procestheorie staat in figuur 1 aan de linker zijde, verdeeld over drie kolommen. We beschrijven deze componenten van links naar rechts. Output Output betreft de programmaonderdelen die afgeleverd moeten worden om de gewenste veranderingen (uitkomsten) te realiseren. De belangrijkste output van het programma van de Academische Werkplaats Publieke Gezondheid Limburg zijn promotie- en masterclassonderzoeken, en een gezamenlijk toegankelijke data-infrastructuur. Begin 2007 zijn vanuit de ZonMw-subsidie zes, en vanuit additionele financiering nog eens drie promovendi

aangesteld om in een deel van hun aanstelling als professional onderzoek te doen vanuit de GGD-praktijk. In deze onderzoeken staat de ‘dialoog met data’ centraal. Met de term data worden hier niet alleen epidemiologische gegevens over de volksgezondheid bedoeld maar alle typen gegevens en kennis die uit onderzoek beschikbaar zijn of komen. Voor de periode tot eind 2010 zijn onderzoeksvoorstellen geselecteerd die voortkomen uit praktijkvragen van GGD en gemeenten. Deze onderzoeken zijn gericht op: verbetering van het gebruik van de JGZ-data door jeugdartsen en -verpleegkundigen, het gebruik van schooldata om schoolgezondheidsbeleid te bevorderen, het vinden van succesvolle indicatoren waarmee een wijkgerichte aanpak ingebed kan worden in


TSG 86 / nummer 6

337

regulier beleid, en het initie¨ren van een proces om tot integraal beleid voor overgewicht te komen. Daarnaast is in 2008 een Masterclass Wetenschappelijke Vorming voor Professionals in de Publieke Gezondheid gestart: 21 Limburgse en Brabantse professionals waarvan twee gemeentelijke beleidsmedewerkers, acht jeugdartsen en elf preventiemedewerkers nemen deel. Universitaire medewerkers verzorgen op interactieve wijze het onderwijs en bieden individuele begeleiding. In deze Masterclass zijn praktijk- en beleidsvragen uitgangspunt. De deelnemers identificeren een probleem uit de eigen setting en vertalen dit vervolgens in een onderzoeksopzet die ze zelf uitvoeren. Het onderzoek wordt afgerond met een publicatie. Het doel van de in ontwikkeling zijnde data-infrastructuur is meerledig. De door onderzoek en in de professionele praktijk (routinematig) verzamelde data moeten ondersteunend zijn aan het zorgproces en op geaggregeerd niveau snel toegankelijk te maken zijn voor beleidsmakers en onderzoekers. Het moet bovendien kunnen fungeren als een steekproefregister voor specifiek wetenschappelijk onderzoek. Leveringsproces Om de voorgestane output (onderzoeken en data-infrastructuur) te kunnen leveren dienen specifieke activiteiten ondernomen te worden. Het betreft hier hoofdzakelijk de activiteiten die de samenwerking bevorderen en structureren. Het leveringsproces onderscheidt drie actieniveaus. Aangenomen wordt dat alle drie de niveaus tegelijkertijd maar met verschillende acties bediend moeten worden. Het eerste actieniveau is het bestuurlijke niveau, hier worden strategische beslissingen genomen. Of op dit niveau de samenwerking goed verloopt wordt vooral bepaald door macht, leiderschap en middelen.26,27 Hiervoor dient onder andere de stuurgroep als onderdeel van het hierna beschreven organisatieproces continue actief onderhouden te worden. Op institutioneel niveau leveren afdelingsmanagers en vakgroepvoorzitters vooral de randvoorwaarden voor samenwerking in onderzoek en onderwijs. Dit vraagt om ontwikkeling van de organisatie naar een andere werkcultuur, het opbouwen van capaciteit om tot samenwerking te komen en leiderschap.28-31 Concreet gaat het bijvoorbeeld om het ter beschikking stellen van tijd en middelen om relevante vraagstukken te laten onderzoeken of bij te dragen aan scholing en begeleiding van onderzoek in de praktijk. Op het individuele niveau, tot slot, leveren onderzoekers, beleidsmedewerkers en praktijkprofessionals een gezamenlijke bijdrage aan kennisontwikkeling en -implementatie. In deze samenwerking zijn kennis, houding, ervaren sociale norm, uitkomstverwachting, bekwaamheid en vertrouwen in eigen kunnen belangrijke aspecten.32 Begeleidingsgroepen, scholing en andere (uitwisselings)bijeenkomsten bieden gelegenheid om actief te leren en om bovengenoemde aspecten in de juiste richting te beı¨nvloeden (noot 2).

Organisatieproces Om het leveringsproces gericht op het bevorderen van de samenwerking tussen beleid, onderzoek en praktijk succesvol te laten verlopen is een passende organisatie en voldoende input noodzakelijk. De organisatie van de Academische Werkplaats Publieke Gezondheid Limburg is gebaseerd op empirische bevindingen en ziet er als volgt uit: . een paritair samengestelde stuurgroep met zes leden: GGD-directie/gemeente en vakgroepvoorzitters van Universiteit Maastricht (UM)/Academisch ziekenhuis Maastricht (AzM), en een dagelijks bestuur . een samenwerkingscontract waarin de inbreng van elk van de partijen is vastgelegd . een programmaleider die een brugfunctie vervult tussen de actoren uit de drie domeinen, randvoorwaardelijke zaken organiseert en over de werkplaats communiceert . (onderzoek)begeleidingsgroepen waarin ten minste een wethouder, een gemeentelijke beleidsmedewerker, universitair medewerker, (co)promotor en afdelingshoofd participeren en die gelegenheid bieden tot uitwisseling en actief leren van elkaar . ‘ambassadeurs’: wethouders volksgezondheid treden op als verbindende schakel tussen de verschillende actieniveaus . een communicatieplan met onder andere een officie ¨ le kick-off in 2007 en een maandelijkse digitale nieuwsbrief Naast deze organisatiestructuur zijn ook een aantal randvoorwaarden georganiseerd (de input voor het programma). Deze bestaan voornamelijk uit: financie¨le middelen o.a. subsidie, ICT, opleiding, onderzoeksassistentie en dubbelaanstellingen (van GGD- en gemeentelijke medewerkers bij de UM zodat bijvoorbeeld toegang tot de universiteitsbibliotheek en een werkplek mogelijk is). Uitgangspunt is dat de deelnemende partners (ook) eigen middelen en menskracht vrijmaken om het programma uit te kunnen voeren. Impacttheorie In figuur 1 is de rechter helft de impacttheorie. Deze bevat de beoogde uitkomsten en de veranderingen die geacht worden hieraan vooraf te gaan. We lichten de drie kolommen toe van links naar rechts. Proximale uitkomsten De proximale uitkomsten zijn de directe reacties die de geleverde output oproept. In de onderzoeken van de promovendi en masterclassstudenten en de ontwikkeling van een gezamenlijke data-infrastructuur werken onderzoekers, beleidsmedewerkers en professionals concreet samen. Dit betekent dat men elkaar regelmatig ontmoet en met elkaar van gedachten wisselt. Hier is de veronderstelling dat men meer kennis krijgt van elkaars expertise en elkaar hierdoor gemakkelijk weet te vinden voor advies en nieuwe aanvragen voor onderzoek. Betrokkenen worden gestimuleerd om kennis te delen, kennis te wegen, kennis te ontwikkelen en kennis te gebruiken.7 Dit proces resulteert, zo is de aanname, in


TSG 86 / nummer 6

338

nieuwe, toegepaste kennis die verwerkt wordt tot bruikbare producten voor beleidsmakers en praktijkprofessionals en tot artikelen, proefschriften en presentaties voor de academische wereld. De onderzoeken van GGD-medewerkers en masterclassdeelnemers zullen een proces van cultuurverandering in de bestaande organisaties in gang zetten. De betrokkenheid bij onderzoeksactiviteiten zal zich uitspreiden naar collega’s, managers en bestuurders. De wetenschappelijke onderbouwing van het handelen in gezondheidsbeleid en praktijk zal de norm worden in de gemeentelijke en GGD organisatie. De cultuur op de universiteit zal zich meer gaan richten op toegepast onderzoek die om een sterkere waardering voor maatschappelijk relevant onderzoek vraagt. Ten slotte zal al doende meer onderzoekskennis aanwezig zijn in de gemeentelijke- en GGD-organisatie en weten universitaire medewerkers beter hoe gebruik te maken van de professionele organisatie. De afdelingen van zowel GGD/gemeenten en universiteit nemen de ondersteuningscapaciteit op in hun routine.

gaan. Deze dialoog resulteert naar verwachting in een helder beeld over het programma van de academische werkplaats en draagt tegelijkertijd bij aan het academiseringsproces.

Intermediaire uitkomsten Deze directe veranderingen, indien gecontinueerd, leiden op hun beurt tot een structurele samenwerking tussen beleid, onderzoek en praktijk in de aanpak van nieuwe vraagstukken in de volksgezondheid. Dit geldt ook voor het onderhoud en gedeeld gebruik van de opgezette datainfrastructuur. Aangenomen wordt dat regelmatige samenwerking resulteert in geı¨ntegreerde samenwerkingsnetwerken, veronderstellende dat de actoren uit alle drie de domeinen (gelijkwaardig) zullen participeren. De veranderende organisatiecultuur in zowel de academische als professionele en bestuurlijke organisatie wordt in eerste instantie verwacht te leiden tot een organisatie die academisering geı¨ntegreerd heeft in missie, doelen, jaarplannen en uitvoering. Cultuurveranderingen in combinatie met de in bruikbare producten verpakte nieuwe kennis worden geacht te resulteren in wetenschappelijk onderbouwde beroepsuitoefening en lokaal gezondheidsbeleid.

Abstract How evaluation research contributes to the development of academic public health Closely connected to the programme of the Academic Collaborative Centre for Public Health Limburg (ACC) an evaluation study is implemented. The purpose of this evaluation is formative and summative. The ACC aims to bridge the gap between policy, practice and research in public health and to improve the collaboration between these domains. It concerns a complex process of change in which many actors are involved. The question is how to come to grips with this process and to assess its results, without knowing beforehand the criteria of success. We argue that the concept of programme theory can be an aid for this situation. Programme theory helps to find out whether the theories on which the programme is based are realised in action and if the desired results are achieved. However, the assumptions of stakeholders on the functioning of the ACC and its benefits are not clear yet. Therefore the chosen design for the evaluation study presented here gives room to the participation of stakeholders. The study brings stakeholders in policy, practice and research together in dialogue on their collaboration experiences and views on the ACC. This paper also presents the tentative programme theory of the ACC which will be elaborated further in dialogue. Keywords: Academic Collaborative Centre - evaluation programme theory

Finale uitkomsten De intermediaire uitkomsten leiden naar verwachting tot een verbeterde kwaliteit van de publieke gezondheidszorg en daarmee positieve effecten op de gezondheid van de burger in Zuid-Limburg. Het meten van deze finale uitkomsten valt echter buiten het bestek van de evaluatiestudie omdat deze uitkomsten zich pas op lange termijn zullen voordoen. Bovendien zijn die effecten van veel meer factoren afhankelijk dan de interventies van de academische werkplaats. Tot slot De programmatheorie van de Academische Werkplaats Publieke Gezondheid Limburg zoals die hier (in concept) beschreven is dient als input voor de tweede fase van de evaluatiestudie. Belanghebbenden uit beleid, onderzoek en praktijk werkzaam op bestuurlijk, institutioneel en individueel niveau zullen hierover met elkaar in gesprek

Noot 1 Waar GGD of JGZ staat vermeld wordt de 0-19 jarige JGZ bedoeld, inclusief de 0-4 jarige JGZ die in Zuid Limburg door de thuiszorg wordt uitgevoerd. 2 Zie ook elders in dit TSG nummer: Jansen MWJ, De Vries NK, Kok G, Van Oers JAM. Samenwerking tussen beleid, praktijk en onderzoek in de publieke gezondheidszorg: resultaten van een multiple-case studie. Dankwoord Wij danken ZonMw voor de verleende subsidie om de beschreven evaluatiestudie uit te kunnen voeren (projectnr 7125.0001) en dr. Janneke Harting voor haar kritische blik en opbouwende suggesties bij het schrijven van dit artikel.

L i t e r at u u r 1. RVZ. Publieke Gezondheid. Den Haag: Raad voor de Volksgezondheid en Zorg, 2006. 2. Jansen M. Mind the gap: Collaboration between practice, policy and research in local public health. Maastricht: Maastricht University, 2007. 3. Leeuw E de, Mc Ness A, Stagnitti K, Crisp B. Acting at the Nexus. Integration of Research, Policy and Practice. Melbourne: Deakin University, 2007.


TSG 86 / nummer 6

339

4. RGO. Advies kennisinfrastructuur Public Health: kennisverwerving en toepassing. Den Haag: Raad voor Gezondheidsonderzoek, 2003. 5. McQueen DV. Strengthening the evidence base for health promotion. Health Promot Int 2001;16:261-8. 6. Nutbeam D. Getting evidence into policy and practice to adress health inequalities. Health Promot Int 2004 b;19:137-40. 7. Saan H, Haes W de. Gezond effect bevorderen. Het organiseren van effectieve gezondheidsbevordering. Woerden: Uitgeverij NIGZ, 2005. 8. ZonMw. Programma Academische Werkplaatsen Publieke Gezondheid 2005-2008. Aan tafel! Den Haag: ZonMw, 2005. 9. Jansen M, Hagenouw R, Vries NK de, Spreeuwenberg C. Van praktijk naar bewijsvoering en beleid en vice versa. Subsidieaanvraag ZonMw nr4946. 2006. 10. Rossi PH, Lipsey MW, Freeman HE. Evaluation. A Systematic Approach. 7th ed. Thousand Oaks, London, New Dehli: SAGE Publications, 2004. 11. Weiss C. Evaluation. Methods for studying Programs and Policies. 2nd ed. New Jersey: Prentice Hall, 1998. 12. Julian DA. The utilization of the logic model as a system level planning and evaluation device. Evaluation Program Planning 1997;20(3):251-7. 13. Birckmayer JD, Weiss CH. Theory-based evaluation in practice. What do we learn? Evaluat Rev 2000;24(4):407-31. 14. Abma TA, Widdershoven GAM. Responsieve methodologie. Interactief onderzoek in de praktijk. Den Haag: LEMMA, 2006. 15. Butterfoss FD, Francisco VT, Capwell EM. Stakeholder Participation in Evaluation. Health promotion Practice 2001;2(2): 114-9. 16. Hoeijmakers M. Local health policy development processes. Health promotion and network perspectives on local health policy-making in the Netherlands. Maastricht: University Maastricht, 2005. 17. Koelen MA, Vaandrager, L., Colome´r, C. Health promotion research: dilemmas and challenges. J Epidemiol Commun Health 2001;55:257-62. 18. Potvin L, Richard L. Evaluating community health promotion programmes. In: Rootman I, Goodstadt M, Hyndman B et al (eds). Evaluation in health promotion Principles and perspectives. first ed. Copenhagen: WHO (EURO), 2001. p. 213-40. 19. Schwandt TA. Understanding Dialogue as Practice. Evaluation 2001;7(2):228-37.

20. Springett J. Participatory approaches to evaluation in health promotion. In: Rootman I, Goodstadt, M, Hyndman B et al (eds). Evaluation in health promotion Principles and perspectives: World Health Organisation, 2001b. p. 83-105. 21. Wallerstein N, Polascek M, Maltrud K. Participatory Evaluation Model for Coalitions: The development of Systems Indicators. Health Promot Pract 2002;3:361-73. 22. Swanborn PG. Case-study’s: Wat, wanneer en hoe? 2 ed. Amsterdam/Meppel: Boom, 2000. 23. Yin RK. Case Study Research. Design and Methods. second ed. London, new Dehli, Thousand Oaks: Sage Publications, Inc, 1994. 24. Hammersley M, Gomm R. Introduction. In: Gomm R, Hammersley M, Foster P, (eds). Case Study Method Key Issues, Key Texts. London, Thousand Oaks, New Delhi: SAGE Publications Ltd., 2000. 25. Donaldson SI, Gooler, L.E. Theory-driven evaluation in action: lessons from a $20 million statewide Work and Health Initiative. Evaluation Planning 2003(26):355-66. 26. Greiner LE, Schein VE. Power and organization development: mobilising power to implement change. Addison-Wesley: Reading Mass, 1998. 27. Plsek PE, Wilson T. Complexity, leadership, and management in healthcare organisations. BMJ 2001 29;323(7315):746-9. 28. Cummings TG, Worley CG. Organization development and change. Australia: South-Western College Publishing, 2001. 29. Fleuren MAH, Wiefferink CH, Paulussen TGW. Determinants of innovations within health care organizations: Literature review and Delphi-study. Int J Quality Health Care 2004:107-23. 30. Hawe P, Noort M, King L, Jordens C. Multiplying health gains: the critical role of capacity-building within health promotion programs. Health Policy 1997;39:29-42. 31. Steckler A, Goodman RM, Kegler MC. Mobilizing organizations for health enhancement In: Glanz K, Rimer BK, Lewis FM (eds). Health behavior and health education Theory, research and practice. 3 ed. California: Jossey-Bass, 2002. p. 335-60. 32. Glanz K, Rimer BK, Lewis FM, editors. Health behavior and health education. Theory research and practice. 3 ed. San Francisco: Jossey-Bass, 2002.

Corr e sp ond enti ea dre s Mevr. M. Hoeijmakers, GGD-ZL, Postbus 2022, 6160 HA Geleen, tel. 0468505550, e-mail: [email protected] Voor publicatie aanvaard in augustus 2008.


TSG 86 / nummer 6

340

Academiseren en evalueren

Recommend Documents