De Evidence Based Beleidsmaker en Toezichthouder Een master voor professionals in Evidence Based Policy and Evaluation
• Module A: Werken met evidence – Introductie • Module B: De eigen praktijk door een evidence based bril (Deel 1) • Module C: De eigen praktijk door een evidence based bril (Deel 2) • Module D: Thesis rond evidence based werken
Top Institute for Evidence Based Education Research © 2011
Dutch Teachers and Policymakers Academy (DTPA) De Dutch Teachers and Policymakers Academy verzorgt opleidingen en cursussen voor beleidsmedewerkers en toezichthouders vanuit de gedachte dat problemen in het onderwijs alleen opgelost kunnen worden door een creatieve en slimme aanpak. Een belangrijk aspect daarbij is de evidence based-benadering: veranderingen in het onderwijs worden pas doorgevoerd als bewezen is dat ze effectief zijn. En als dat bewijs er nog niet is, moeten veranderingen worden gekoppeld aan onderzoek. Dat vraagt van beleidsmedewerkers en toezichthouders niet alleen een specifieke aanpak, kennis en vaardig heden, maar ook een passende houding. De Dutch Teachers and Policymakers Academy is nauw verbonden met TIER, het Top Institute for Evidence Based Education Research. De drie partners binnen TIER – de Universiteit Maastricht, de Universiteit van Amsterdam en de Rijksuniversiteit Groningen – streven naar kwaliteitsverbetering van het Nederlandse onderwijs door te bevorderen dat evidence based werken de leidraad wordt in onderwijsbeleid en -praktijk.
TIER Het Top Institute for Evidence Based Education Research (TIER) is een interuniversitair onderzoeksinstituut dat onderzoek verricht op het gebied van evidence based onderwijs. TIER kent drie partners: de Universiteit Maastricht, de Universiteit van Amsterdam en de Rijksuniversiteit Groningen.
1
Modules voor professionals in Evidence Based Policy and Evaluation Beleidsinnovatie
analyseren. U kunt bijvoorbeeld een onderzoek doen
Evidence based policy – wetenschappelijk onderbouwd
waarin geëxperimenteerd wordt met teambeloning; u
beleid – houdt in dat beleidsmakers, toezichthouders
analyseert in de PISA-data de prestaties van leerlingen
en andere medewerkers binnen de publieke sector zich
in scholen met een dergelijke beloningsstructuur; of u
niet laten leiden door veronderstellingen of vooroor
bestudeert de onderwijskwaliteit van scholen die onder
delen maar door feiten. Ondanks de vele ideeën voor
geïntensiveerd toezicht vallen. In module B en C
beleidsvernieuwing is er immers steeds de vraag:
(De eigen praktijk door een evidence based bril) bestaat
wat werkt en wat werkt niet? Hoe komt u daar achter?
hiervoor de mogelijkheid.
Welke vernieuwingen zijn echt effectief en leiden tot meer kwaliteit en beter beleid? Die vragen vormen het
Opbouw modules en master
uitgangspunt van deze modules en de bijhorende
De modules A en B kunnen afzonderlijk en onafhanke-
master.
lijk van elkaar gevolgd worden. Module A geeft een introductie op verkennend en intuïtief niveau. Deze
Wat is evidence based beleid?
module is geschikt voor beleidsmakers, toezichthou-
Evidence based beleid houdt in dat een beleidsmaker
ders en andere medewerkers binnen de publieke sector
of andere medewerker binnen de publieke sector zich
die zich het begrippenkader van evidence based werken
steeds laat inspireren door de best mogelijke evidence
willen eigen maken, zelfstandig evidence willen
die aanwezig is. De deelnemers leren verschillende
distilleren uit wetenschappelijke literatuur en de
soorten van evidence onderscheiden, beoordelen en
resultaten op een systematische manier willen over-
interpreteren. Door kritisch het werk van onderzoekers
brengen naar collega’s. Module A beslaat 6 maanden
te bespreken en de achterliggende theorie te verkennen,
van 2 contactdagen per maand. Aan het eind van de
worden een specifieke aanpak en attitude eigen
module heeft u, onder begeleiding van een ervaren
gemaakt.
onderzoeker, een systematisch literatuuronderzoek geschreven over uw specifieke vraag.
Aanpak Stel, u vraagt zich af: kan Nederland beter presteren op
Modules B en C gaan meer de diepte in. Module C kan
de PISA-indicatoren dankzij de invoering van team
slechts worden aangevat na succesvolle afronding van
beloning voor leraren? Of: kan de onderwijskwaliteit
module B. In modules B en C leert de deelnemer zelf
verbeteren als gevolg van geïntensiveerd inspectie
gegevens verwerken en interpreteren. Deze modules
toezicht? In de modules Evidence Based Policy and
zijn geschikt voor beleidsmakers, toezichthouders en
Evaluation kunnen we de beantwoording van
andere medewerkers binnen de publieke sector die zelf
dergelijke vragen op twee manieren aanpakken.
graag onderzoek willen initiëren, onderzoek nauwgezet willen opvolgen, statistische modellen willen interpre-
Eén manier is: een systematische analyse maken van de
teren en/of zelf een verkennende analyse willen maken.
beschikbare publicaties over het onderwerp. Daarbij
U leert er een brede waaier van onderzoeksmethodes
komen vaardigheden kijken als: hoe selecteer ik
kennen en gebruiken. Denk aan effectstudies, proces
bruikbare onderzoeksresultaten uit het grote aanbod?
evaluaties en natuurlijke experimenten. Ook relevante
Hoe beoordeel ik de methodologische kwaliteit van de
beleidskaders zoals organisatietheorieën, theorieën over
gevonden publicaties? Welke zijn geschikt voor mijn
overheidsbeleid en ambtelijk gedragsmanagement
eigen (beleids)praktijk? Deze wijze komt in module A
(waaronder human resources management), kosten-
(Werken met evidence – Introductie) aan bod.
batenanalyse en welvaartsfuncties komen er aan bod. Module B en C beslaan 6 maanden van 2 contactdagen
Een tweede manier om de gestelde vraag te beantwoor-
per maand. Aan het eind van de modules hebt u een
den bestaat uit zelf onderzoek doen en gegevens
artikel geschreven dat zowel inzicht brengt in de
2
wetenschappelijke literatuur als analyses beschrijft over
aangevangen indien de deelnemer succesvol modules A,
een beleidsonderwerp naar keuze.
B en C heeft afgerond.
Beleidsmakers en toezichthouders die zich volledig
Doelstellingen module A – Werken met evidence –
willen onderscheiden kunnen na afloop van module A,
Introductie:
B en C, en onder begeleiding van een ervaren onder-
De deelnemers kunnen:
zoeker, een thesis rond ‘evidence based werken’
• Op een systematische manier zelfstandig de beschik-
schrijven. Na een succesvolle afronding van de thesis
bare wetenschappelijke informatie verzamelen die
ontvangt de beleidsmaker/toezichthouder de master-
aansluit op praktische vraagstukken (‘wat werkt?’).
graad in Evidence Based Policy and Evaluation.
• Deze informatie beoordelen op de kwaliteit en de toepasbaarheid in hun eigen werksituatie.
Systematische voorstelling
• De beleidstheorie of interventietheorie formuleren en als kader voor een wetenschappelijke evaluatie
Semester 1
Module A - Werken met evidence Introductie
gebruiken. • Een bijdrage leveren aan wetenschappelijk onderzoek, gericht op de ontwikkeling van
Semester 2
Module B - De eigen praktijk door een evidence based bril (deel 1)
Semester 3
Module C - De eigen praktijk door een evidence based bril (deel 2)
nieuwe praktijkrelevante kennis. • Collega’s informeren over nieuwe en bruikbare wetenschappelijke kennis en ontwikkelingen die nuttig zijn voor de innovatie van beleid. • De verschillende elementen in de kennispiramide
Semester 4
Module D - Thesis rond evidence
(zoals kwalitatief onderzoek, natuurlijke
based werken
experimenten en gerandomiseerde experimenten) kritisch bespreken.
Master in Evidence Based Policy and Evaluation Doelstellingen modules B en C – De eigen praktijk door een evidence based bril (deel 1 en 2): Voor wie zijn deze modules bedoeld?
De deelnemers kunnen:
De modules Evidence Based Policy and Evaluation
• Een probleem of vraag uit de werksituatie
maken deel uit van een academisch programma, bedoeld voor beleidsmakers, mensen die werkzaam zijn op het terrein van toezicht, naleving en inspecties en andere medewerkers binnen de publieke sector en
vertalen in een onderzoekbare vraag. • Beoordelen of de onderzoeksvraag met de beschikbare data beantwoord kan worden. • Een korte onderzoeksopzet schrijven waarin de
met relevante werkervaring. Daarnaast zijn de modules
onderzoeksvraag wordt geïntroduceerd en de aanpak
bedoeld voor hen die aan ‘kennis en strategie’ doen in
van het onderzoek wordt omschreven.
de publieke sector. Met de modules willen we mensen en organisaties bereiken die de wisselwerking tussen wetenschappelijke kennis en de beleidspraktijk willen verbeteren door evidence based te werken. De modules
• Met hulp van een begeleider data analyseren en interpreteren (via beschrijvende statistieken en via multivariate regressies). • De voor data-analyse gebruikelijke commando’s in
richten zich op professionals die willen investeren in
statistische software (Stata) hanteren, en zelfstandig
hun loopbaan en graag een bijdrage leveren aan de
nieuwe functies opzoeken en gebruiken.
ontwikkeling van hun vakgebied.
• De kwaliteit van de gevonden resultaten beoordelen. • De kwaliteit van kwalitatief en kwantitatief onder-
Module A kan aangevangen worden door deelnemers met een beperkte achtergrond (maar wel interesse) in statistiek. Voor module B is er enige voorkennis van
grondslagen van evidence based theorie onderschei-
beschrijvende statistiek nodig. Module C kan slechts
den.
worden aangevangen indien de deelnemer succesvol module B heeft afgerond. Module D kan worden
3
zoek beoordelen. • De kenmerken en theorie van de methodologische
• De belangrijkste theoretische modellen in verband met Human Resource Management duiden.
• De politieke cultuur onderzoeken via haar vorm componenten: de informatie, de publieke opinie, het strijdpunt en de strijdpuntbesluitvorming, de ideologie. • Verschillende theorieën m.b.t. het overheids management weergeven.
Doelstellingen module D – Thesis rond evidence based werken De deelnemers kunnen: • Onder begeleiding en op wetenschappelijke manier een literatuuroverzicht schrijven. • Empirisch onderzoek uitvoeren en rapporteren. • Beleidsconclusies maken op basis van een wetenschappelijk onderzoek. • Resultaten uit evaluatieonderzoek benutten voor de eigen praktijk.
4
Structuur van het programma Collegedagen
Capita selecta
Maandelijks komen alle deelnemers twee aaneen
Beleidsmakers en toezichthouders zijn in wissel
gesloten contactdagen bijeen. Op deze dagen zijn
werking met de bredere samenleving. De capita selecta
onder andere de volgende activiteiten gepland:
bieden een theoretische achtergrond bij evoluties binnen de samenleving. Via verschillende onderwerpen
Methodologie en Statistiek
(van human resources management, via de sociologie
Theoretisch en praktisch wordt in het Methodologie-
van de politieke cultuur tot aan kosten-baten analyse)
en Statistiekprogramma de basis gelegd voor het
maken de deelnemers kennis met een breed palet aan
kunnen interpreteren en op waarde schatten van eerder
maatschappelijk relevante theorieën.
gepubliceerd onderzoek of eerder gedane evaluaties. In de tweede module wordt dit uitgebreid naar het uitvoeren van onderzoek en evaluaties. In deze module wordt het M&S-onderwijs ook individueel afgestemd op specifieke technieken die aansluiten op individuele onderzoeksvragen. Actualiteitencolleges Beleidsinnovatie en Evaluatie In actualiteitencolleges en workshops wordt de stand van zaken op het gebied van onderwijs- en inspectie beleid en beleidsinnovatie toegelicht. Experts uit verschillende wetenschapsgebieden zullen ingaan op beleidskundige, maatschappelijke en politieke ontwikkelingen op relevante terreinen en speciaal aandacht besteden aan de rol van de wetenschap hierin.
5
Vaardigheidstrainingen: Organisatie van innovatie
Workshops: Onderzoek in en voor de praktijk
Deelnemers aan de modules worden getraind in het
Ervaren onderzoekers binnen het Top Institute for
toepassen van evidence based principes bij beleids
Evidence Based Education Research (TIER) geven
innovaties en -evaluaties. Maar van hen wordt ook
workshops over het opzetten en uitvoeren van
verwacht dat zij bij dit onderwerp een voortrekkersrol
projecten die zijn gericht op innovaties en onder
gaan spelen binnen de eigen organisatie waarin zij
steuning van beleid.
werkzaam zijn. Daartoe worden ze getraind in vaardigheden die deze rol ondersteunen, zoals leiderschapskwaliteiten en sociale vaardigheden.
6
Inhoud Module A Deze module is bedoeld voor professionals die op zoek
het derde blok. We gaan dieper in op het detecteren
zijn naar een algemene inleiding op het gebied van
van good practices and benchmarks en geven
empirisch onderzoek en de toepassing daarvan binnen
voorbeelden van wetenschappelijk geanalyseerde
beleid en evaluatie gebaseerd op evidence. Onder-
beleidsinterventies. Tot slot staan we stil bij het
staande geeft een kernachtige beschrijving van de
belang van procesevaluatie: wat maakt dat overheids-
leerinhouden per blok.
interventies niet altijd werken zoals beoogd?
Blok 1: Evidence based beleid en evaluatie
Blok 4: Kosten-baten analyse
In dit blok gaan we in op de kern van Evidence Based
Dit blok gaat in op sociale welvaartsfuncties, het
beleid: wat is dit nu? Verder bekijken we de maat-
maken van een kosten-batenanalyse, alsook op de
schappelijke effecten en vormen van toezicht en hoe
vraag rond de mogelijkheden van beleidsevaluatie
we effectief beleidsimplementaties kunnen monitoren.
indien strikte effectstudies niet mogelijk zijn.
Blok 2: Beleidstheorieën
Blok 5: Voorbeelden van vertalingen van kennis naar
In dit tweede blok bespreken we diverse beleidstheo-
beleid
rieën als basis voor leren rond effecten van beleid.
Wat is de invloed van management en managementin-
Hierbij wordt stilgestaan bij de manieren waarop de
strumenten op effectiviteit en doelmatigheid van
beleidstheorie ge(re)construeerd kan worden, inclusief
overheidsbeleid? We bespreken verder de consequen-
de mechanismen die met beleid of beleidsinterventies
ties van onderzoeksdesigns voor beleidsontwerpen.
in gang gezet zouden moeten worden. Ook behande-
Met andere woorden: hoe moet u beleid ontwerpen
len we de wijze waarop een beleidstheorie als kader
zodat het nadien goed geëvalueerd kan worden.
kan dienen voor plan-, proces- en effectevaluaties. Blok 6: Presentatie van reviewstudies Blok 3: Internationale vergelijkingen
Elke deelnemer van de module stelt kort zijn eigen
Internationale samenwerkingsverbanden en het nut
onderzoek voor.
van internationale vergelijkingen komen aan bod in
Inhoud Module B Deze module is bedoeld voor professionals die de
beleidstheorieën: hoe werkt een interventie (M),
vaardigheden uit module A al beheersen en op zoek
onder welke omstandigheden (C), en met welke resul-
zijn naar een verdieping van hun begrip en vaardighe-
taten (O)?
den op het gebied van empirisch onderzoek en de toepassing daarvan binnen evidence based beleid en
Blok 2: Multivariate regressie & Economische theorie
evaluatie. Let wel: mits er voldoende voorkennis
van politiek
aanwezig is, kan een deelnemer module B ook
Hoe kunnen verbanden tussen gegevens geanalyseerd
starten zonder aan module A te hebben deelgeno-
en geïnterpreteerd worden? Wat kunnen we leren uit
men. Onderstaande geeft een kernachtige beschrij-
correlaties? Hoe kunnen indicatoren (vb. uit de
ving van de methodologie en de bredere vorming in
Europe 2020 Agenda) geaggregeerd worden? Hoe
elk blok.
kunnen ‘ex ante’ evaluaties vormgegeven worden en wat zijn ‘mechanism experiments’?
Blok 1: Het CMO model & Formuleren van onderzoeksvraag Wat kunnen we wel en niet leren uit beschrijvende statistiek? Het reconstrueren, testen en verfijnen van
7
Blok 3: Gerandomiseerde experimenten & Kosten-
onderzoek het best opgezet worden? Hoe past
baten analyse
effectonderzoek binnen de beleidscyclus?
De causale relatie tussen een interventie en de uitkomstvariabele kan het
Blok 5: Difference-in-Differences & Contextanalyse
duidelijkst geanalyseerd worden via een experiment.
in de beleidsketen
Waar moet op gelet worden bij het opzetten van een
Als een groep van observaties een interventie krijgt en
experiment, en hoe kunnen de gegevens geanalyseerd
een andere groep niet, kan, mits aan enkele voorwaar-
worden? Wegen de kosten van een interventie op
den is voldaan, het beleid geëvalueerd worden.
tegen de opbrengsten?
Bijvoorbeeld evaluatie via verschillen tussen regio’s. Welke digitale methoden bestaan er om de assumpties
Blok 4: Kwalitatief onderzoek & Politieke economie
over mechanismen en contexten die aan beleid ten
van conflicten
grondslag liggen op te sporen?
Wat is het belang en de complementariteit van kwalitatief onderzoek? Hoe kan een kwalitatief
Blok 6: Presentatie van eigen onderzoek
Inhoud Module C Deze module is bedoeld voor professionals die de vaardigheden uit module A en B beheersen en op
Blok 3: Panel-data modellen & Politieke cultuur
zoek zijn naar een verdieping van hun begrip en
via haar vormcomponenten
vaardigheden op het gebied van empirisch onderzoek
Observaties die door de tijd heen gevolgd kunnen
en de toepassing daarvan binnen evidence based
worden. Wat kunnen we daaruit leren en hoe moeten
beleid en evaluatie.
deze geanalyseerd worden? Blok 4: Regressie-discontinuïteit & Overheids
Blok 1: Natuurlijke experimenten & Organisatie
management
psychologie
Een interventie die op basis van strikte criteria voor
Soms creëert een beleidsmaker/toezichthouder
een groep wordt aangeboden. Evaluatie vindt
(ongewild) exogene variatie die nodig is om causale
bijvoorbeeld plaats via overinschrijving.
interpretaties te kunnen maken. Dit blok geeft aan hoe dit kan en welke gevolgen dit heeft voor de
Blok 5: Instrumentele variabelen & Ketenmanage-
evaluatie.
ment binnen de overheid Hoe kunnen de diverse schakels in de publieke
Blok 2: Matching analyses & Human resources
managementketen geoptimaliseerd worden?
management Hoe kunnen vergelijkbare observaties gezocht en
Blok 6: Presentatie van eigen onderzoek
geanalyseerd worden? Kritische bespreking van voorgaande literatuur.
8
Waarom kiezen voor evidence based policy and evaluation? • Door de modules verwerft u een bredere kijk op
• De inhoudelijke en organisatorische band met TIER,
de beleidspraktijk. Bovendien kunt u efficiënter en
het Top Institute for Evidence Based Education
effectiever onderzoek aansturen, controleren,
Research, zorgt voor een directe link met weten-
opvolgen en begrijpen.
schappelijk toponderzoek.
• De modules verscherpen uw inzicht in (wetenschap-
Omvang en studiebelasting
pelijke) evidentie. U verwerft een attitude voor het
De vier modules omvatten elk een periode van zes
zoeken naar en beoordelen van de best mogelijke
maanden. In de modules wordt elke maand aandacht
evidence. Daardoor onderscheidt u zich als
geschonken aan een afzonderlijk thema tijdens twee
beleidsmedewerker of toezichthouder.
aaneengesloten contactdagen. Naast de contactdagen is zelfstudie gepland waarin gebruik kan worden gemaakt
• De modules Evidence Based Policy and Evaluation
van een elektronische leeromgeving. De studiebelasting
nemen de praktijk als uitgangspunt: het programma
bedraagt 15 ECTS per module, ofwel 420 studie-uren.
wordt gestuurd door de leervragen van de deelne-
De studieleiding adviseert deelnemers rekening te
mers. De modules besteden ook expliciet aandacht
houden met circa 8-10 uur zelfstudie per week.
aan de verspreiding van de verworven kennis binnen de eigen organisatie.
Certificaat en masterdiploma Bij succesvolle afronding van een module ontvangen
• De modules worden gegeven in een flexibele leeromgeving. Door een efficiënte inzet van
studiepunten op die eventueel later kunnen worden
e-learning kan de opleiding eenvoudiger ingepast
ingezet als de deelnemer de ‘Mastergraad Evidence-
worden in een drukke agenda. U kunt uw studie-
Based Policy and Evaluation’ wenst te behalen.
tempo in overleg versnellen of vertragen. De flexibele
De gehele master, waarvoor een NVAO accreditatie in
opzet maakt het bovendien gemakkelijk om vanuit
voorbereiding is, omvat 60 ECTS.
elke locatie in Nederland deel te nemen aan de opleiding. • De modules worden gegeven in een learning community. Individuele begeleiding wordt gecombineerd met intensieve samenwerking in kleine groepen, en al het materiaal dat gemaakt wordt, is na toetsing vrij beschikbaar voor iedereen. Door maandelijkse contactdagen neemt u deel aan de academische cultuur. In actualiteitscolleges en workshops zullen hoogleraren en (top)praktijkdocenten uit de wereld van beleid, toezicht en inspectie participeren.
9
de deelnemers een certificaat. Dit certificaat levert
Dutch Teachers and Policymakers Academy De modules Evidence Based Policy and Evaluation zijn
based werken is daarbij het uitgangspunt. Daarmee
een programma van de Dutch Teachers and Policymakers
wordt bedoeld dat het vaststellen van de effecten van
Academy.
de interventies plaatsvindt via evaluatie. De Dutch
De Dutch Teachers and Policymakers Academy
Teachers and Policymakers Academy is nauw verbon-
verzorgt opleidingen en cursussen vanuit de gedachte
den met TIER, het Top Institute for Evidence Based
dat problemen in wetenschap, onderwijs, gezondheid,
Education Research van de universiteiten van Maas-
veiligheid, ontwikkelingssamenwerking en andere
tricht, Amsterdam en Groningen.
velden alleen door een creatieve en slimme wetenschap-
www.dtpa.nl
pelijke aanpak opgelost kunnen worden. Evidence
www.tierweb.nl
Aanmelding Toelatingseisen
Meer informatie?
Toelaatbaar tot de opleiding is iedereen die een diploma
Voor meer informatie en aanmelding voor de modules
bezit van een erkende universiteit, en/of werkzaam is
Evidence Based Policy and Evaluation kunt u zich
in een beleidsfunctie en over relevante werkervaring
wenden tot:
beschikt.
Top Institute for Evidence Based Education Research / Dutch Teachers and Policymakers Academy
Kosten
Telefoon: (020) 525 44 32
Kosten voor elke module bedragen e 3750,- euro p.p.
Email:
[email protected] www.dtpa.nl www.tierweb.nl
10
Contactinformatie Top Institute for Evidence Based Education Research / Dutch Teachers and Policymakers Academy p/a Universiteit van Amsterdam/Faculteit Economie en Bedrijfskunde Roetersstraat 11, 1018 WB Amsterdam Telefoon: (020) 525 44 32 Email:
[email protected] www.dtpa.nl www.tierweb.nl
