Opbrengsten en aanbevelingen

KO RT L O P E N D O N D E RW I J S O N D E R Z O E K

Opbrengsten en aanbevelingen

15

De praktijk van onderzoek 15 jaar Kortlopend Onderwijsonderzoek

Dr. Anje Ros Drs. Anne ter Beek m.m.v. Anita Zeeman

De praktijk van onderzoek

15 jaar Kortlopend Onderwijsonderzoek

Dr. Anje Ros Drs. Anne ter Beek m.m.v. Anita Zeeman

Bestelnummer: 210046

Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of op enige andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever.

Uitgave: Vereniging de Samenwerkende Landelijke Pedagogische Centra (VSLPC) p/a Postbus 482, 5201 AL ’s-Hertogenbosch Telefoon: 073 - 6247354 E-mail: [email protected] Copyright © VSLPC, 2013

Inhoud

Woord vooraf 1 Inleiding3 1 Opzet en werkwijze van het Kortlopend Onderwijsonderzoek 5 1.1 Uitgangspunten 5 1.2 Programmalijnen 9 1.3 Selectie van aanvragen en aantallen 13 1.4 Uitvoering en resultaten 18 2 Ervaringen van aanvragers en onderzoekers 21 2.1 Evaluatie van het Kortlopend Onderwijsonderzoek 21 2.2 Invloed van praktijkgericht onderzoek op schoolontwikkeling 21 2.3 Onderzoeksopzet  28 2.4 Resultaten ervaringen van aanvragers 30 2.5 Ervaringen en meningen van de koepelorganisaties 37 2.6 Ervaringen en meningen van onderzoekers 40 2.7 Ervaringen en meningen van onderzoeksmanagers 48 3 Conclusies en aanbevelingen 55 3.1 Opzet en werkwijze 55 3.2 Ervaringen en meningen 55 3.3 Beschouwingen van de projectleiding  57 3.4 Aanbevelingen voor het NRO 63 Literatuur67 Coördinatie en informatie Kortlopend Onderwijsonderzoek 71 Bijlage 1 Aanvragers met wie gesprekken zijn gevoerd Bijlage 2 Formulier aanvraag Kortlopend Onderwijsonderzoek Bijlage 3 Interviewleidraad Kortlopend Onderwijsonderzoek: voor aanvragers Bijlage 4 Interviewleidraad Kortlopend Onderwijsonderzoek: voor onderzoekers (groepsinterview) Bijlage 5 Interviewleidraad Kortlopend Onderwijsonderzoek: voor managers/coördinatoren onderzoeksbureaus Bijlage 6 Overzicht publicaties Kortlopend Onderwijsonderzoek van 1997 tot en met 2012

72 74 76 78 80 81

Woord vooraf

Van ‘Stappen langs het water’ via de ‘Grafische rekenmachine’ en met ‘Morele moed’ naar ‘Veilig Internetgebruik’. Het zijn slechts vier van de ruim driehonderd brochuretitels die 15 jaar Kortlopend Onderwijsonderzoek heeft opgeleverd. Hoe verschillend ook van inhoud en thematiek, de brochures hebben gemeen dat zij het resultaat zijn van praktijkgericht onderzoek dat is uitgevoerd op basis van vragen uit het onderwijsveld. Met tevredenheid kijken wij terug op deze periode, waarin wij het Kortlopend Onderwijsonderzoek hebben gecoördineerd. De samenwerking met APS en CPS en de goede contacten met onder andere de onderzoeksinstellingen hebben geleid tot effectieve en goed werkbare procedures. Door scholen is deze vorm van onderzoek altijd zeer hoog gewaardeerd, zoals blijkt uit de evaluatiegesprekken met aanvragers die plaatsvonden na afloop van elk onderzoek. Voorliggende rapportage vormt de afsluiting van het Kortlopend Onderwijsonderzoek, maar daarmee houdt deze vorm van onderzoek op basis van vraagsturing niet op. Het Nationaal Regieorgaan Onderwijsonderzoek (NRO) neemt het stokje over en zal vanaf 2014 gaan zorgen voor een samenhangende programmering van fundamenteel, beleidsgericht en praktijkgericht onderzoek. Dit rapport heeft daarom mede als doel de leerervaringen die onderzoekers en aanvragers, maar ook wijzelf hebben opgedaan ten aanzien van de procedures en werkwijze van het Kortlopend Onderwijsonderzoek, systematisch te beschrijven. We kunnen hiermee wellicht bijdragen aan een vliegende start voor het NRO. Daarnaast zullen wij ons blijven inzetten voor praktijkgericht onderzoek in Nederland dat daadwerkelijk bijdraagt aan de verbetering van het onderwijs. Johan van der Horst Algemeen Directeur KPC Groep

1

2

Inleiding

De brochure die voor u ligt is geschreven in het kader van het vijftienjarig bestaan en vormt tevens de afsluiting van het Kortlopend Onderwijsonderzoek. Het Kortlopend Onderwijsonderzoek betreft onderzoek dat sinds 1997 op verzoek van het veld wordt uitgevoerd met een looptijd van maximaal een jaar. Doel brochure

Met deze brochure worden de volgende doelen beoogd. • De lezer inzicht geven in de kenmerken van en procedures en ontwikkelingen binnen het Kortlopend Onderwijsonderzoek. • Het delen van de verkregen kennis over de invloed van Kortlopend Onderwijs­ onderzoek op schoolontwikkeling. • Het doen van aanbevelingen voor het programma praktijkgericht onderzoek van het Nationaal Regieorgaan Onderwijsonderzoek. “Onderzoek en innovatie zijn de motor voor (toekomstige) welvaart en welzijn van Nederland. Om internationaal concurrerend te blijven, moeten we de ambitie behouden én realiseren om als Nederland tot de top vijf kenniseconomieën van de wereld te behoren. Nederland zit daartegenaan, maar zal extra stappen moeten zetten om daar te komen. Dat vraagt vooral om investeringen in onderzoek en innovatie, zowel publiek als privaat.” (VNO-NCW, NWO, KNAW, HBO-raad, MKB-Nederland, VSNU en TNO in hun Manifest kenniseconomie, 2012) Het opleidingsniveau van de bevolking en dus de kwaliteit van het onderwijs is een belangrijk criterium bij de beoordeling of een land een kenniseconomie is. Echter, in het Nederlandse onderwijs wordt in de dagelijkse praktijk nauwelijks gebruikgemaakt van wetenschappelijke inzichten (Akkermans, Bronkhorst & Zitter, 2011). Innovatie van de sector onderwijs en de daarmee samenhangende beleidsdoelstellingen lopen gevaar niet bereikt te worden. Een oplossing die in dit verband vaak genoemd is, betreft het zogeheten praktijkgericht onderzoek of educational design research (Van den Akker, Gravemeijer, McKenney & Nieveen, 2006; Akkermans e.a., 2011). Praktijkgericht onderzoek heeft als doel daadwerkelijk een bijdrage te leveren aan de verbetering van de onderwijspraktijk. Er is recent veel belangstelling voor de vraag op welke wijze praktijkgericht onderzoek kan bijdragen aan schoolontwikkeling en onder welke condities (Ros, Amsing, Ter Beek, Beek, Hessing, Timmermans & Vermeulen, 2013).

3

Bij het Kortlopend Onderwijsonderzoek hebben we een aantal maatregelen genomen, waardoor het onderwijsveld gebruik kan maken van de onderzoeksresultaten en het onderzoek een bijdrage kan leveren aan de verbetering van de kwaliteit van het onderwijs. In deze brochure leggen we de werkwijze van het Kortlopend Onderwijsonderzoek uit. Daarnaast beschrijven we een aantal ervaringen van aanvragers en onderzoekers, om te laten zien op welke wijze onderzoek een positieve impuls kan geven aan schoolontwikkeling. Opzet brochure

Deze brochure bestaat uit drie delen, die parallel lopen met de drie bovengenoemde doelstellingen. In het eerste deel worden de werkwijze, procedures en programmalijnen geschetst van het Kortlopend Onderwijsonderzoek. Ook worden enkele overzichten gegeven over aanvragen in de vijftien jaar dat het Kortlopend Onderwijsonderzoek bestaat. In deel twee worden ervaringen van aanvragers en onderzoekers van de laatste vijf jaar beschreven bij de uitvoering en het gebruik van de resultaten van het Kortlopend Onderwijsonderzoek. Tot slot worden in deel drie conclusies getrokken en aanbevelingen gedaan voor het programma praktijkgericht onderzoek van het NRO.

4

1 Opzet en werkwijze van het Kortlopend Onderwijsonderzoek

1.1

Uitgangspunten

Het Kortlopend Onderwijsonderzoek heeft als doel onderzoeksresultaten te genereren waarmee scholen voor primair onderwijs, voortgezet onderwijs en middelbaar beroepsonderwijs de kwaliteit van het onderwijs kunnen verbeteren. Jaarlijks stelde het ministerie van OCW zo’n € 900.000 beschikbaar voor het Kortlopend Onderwijsonderzoek. De coördinatie van het Kortlopend Onderwijsonderzoek lag in handen van de LPC, waarbij KPC Groep was belast met de dagelijkse uitvoering. De onderzoeken zijn uitgevoerd door allianties van gerenommeerde onderzoeksinstellingen. In het Kortlopend Onderwijsonderzoek is getracht een werkwijze te realiseren die enerzijds leidt tot onderzoeken die optimaal zijn afgestemd op de behoeften van scholen en die anderzijds een hoge kwaliteit waarborgt. Om dit te bereiken is een aantal uitgangspunten gehanteerd. Deze uitgangspunten lichten we hierna kort toe. 1. Scholen vragen aan

Jaarlijks zijn scholen en instellingen uitgenodigd aanvragen in te dienen voor de uitvoering van Kortlopend Onderwijsonderzoek. Op deze wijze sloot het Kortlopend Onderwijsonderzoek aan bij de knelpunten en vragen die leven in de onderwijspraktijk. Op een gestandaardiseerd aanvraagformulier (zie bijlage 2) gaven de aanvragers aan welke vraag zij hadden en hoe ze de resultaten wilden gaan gebruiken. Een selectiecommissie (bestaande uit onderzoekers en onderwijsadviseurs van de LPC) selecteerde jaarlijks een twintigtal aanvragen. De geselecteerde aanvragen betroffen een problematiek die een groot aantal scholen deelde en waaraan onderzoek daadwerkelijk een bijdrage kon leveren. 2. Uitvoering door allianties met veel expertise

De onderzoeken zijn ondergebracht in drie programmalijnen. Deze zijn in 2005 en 2010 geactualiseerd en bijgesteld. Ook de titels zijn gewijzigd: • Vormgeving van Leerprocessen (tot 2005 Authentiek Leren); • Onderwijs en Samenleving (tot 2005 Pedagogische doelstellingen van de school; tot 2011 Pedagogische Kwaliteit);

5

• Professionele Organisatie (tot 2005 De school als professionele organisatie). Deze drie programmalijnen dekten alle relevante vragen uit het veld af. Binnen het Kortlopend Onderwijsonderzoek is per programmalijn gewerkt met één of twee vaste allianties van onderzoeksinstellingen, waarmee voor een periode van vier jaar een raamcontract is afgesloten. De selectie van de allianties (via een open aanbestedingsprocedure) gebeurde op basis van: • bewezen expertise op het gebied van de inhoudsdomeinen van de betreffende programmalijn; • ervaring met praktijkgericht onderzoek (zicht op problemen waar scholen tegenaan lopen, betrekken van scholen bij het onderzoek, gerichtheid op verbetering); • ervaring met het opleveren van ‘implementatietools’ (instrumenten voor scholen die hen behulpzaam zijn bij de implementatie, zoals checklists, stappenplannen, videomateriaal met voorbeelden, lesuitwerkingen); • de beschikbare onderzoekscapaciteit. Op basis van deze criteria bracht een commissie bestaande uit drie onafhankelijke deskundigen een advies uit ten aanzien van de te honoreren allianties. Het werken met allianties bevorderde kennisdeling en (multidisciplinaire) samenwerking tussen universiteiten en onderzoeksinstellingen. Het afsluiten van een overeenkomst voor een langere periode bood de allianties de mogelijkheid hun expertise op de programmalijn verder te ontwikkelen en uit te dragen. 3. Scholen zijn betrokken bij het onderzoek

Om het onderzoek zo goed mogelijk te laten aansluiten bij de behoeften van de aanvragers is intensief contact tussen onderzoekers en aanvragers noodzakelijk. Bij het Kortlopend Onderwijsonderzoek was de betrokkenheid van de aanvrager bij het onderzoek op verschillende momenten in procedures vastgelegd. Zo vond contact plaats tussen onderzoeker en aanvrager zodra een aanvraag door de eerste selectie was gekomen. De onderzoeker kreeg zo informatie over de achtergronden van de aanvraag en samen overlegden ze welke bijdrage onderzoek kon leveren aan de oplossing van het probleem. Op basis van dit gesprek stelde de onderzoeker een offerte op die werd ingediend bij KPC Groep. Ook vond overleg plaats tussen onderzoeker en aanvrager tijdens het onderzoek en over de eindrapportage, die vóór het drukken aan de aanvrager ter goedkeuring werd voorgelegd. Vaak was de aanvrager object van onderzoek, dat wil zeggen dat het onderzoek (mede) op de betreffende school werd uitgevoerd en leerlingen, leraren en/of managers participeerden.

6

Tot slot vond na afloop van het onderzoek een gesprek plaats tussen onderzoeker en aanvrager. De onderzoeker lichtte hierin de resultaten toe en gaf suggesties voor het gebruik hiervan. 4. Scholen krijgen snel resultaten

Onderzoeksresultaten kunnen alleen dan bijdragen aan de oplossing van problemen in de onderwijspraktijk als de tijd tussen aanvraag en resultaten relatief kort is. Bij het Kortlopend Onderwijsonderzoek is daarom gekozen voor een snelle aanbestedingsprocedure: • aanvragen konden jaarlijks worden ingediend tot 1 november; • de selectie van de aanvragen vond plaats vóór 1 januari daaropvolgend; • de gesprekken tussen onderzoekers en aanvragers werden gehouden in januari; • waarna de offertes werden ingediend bij KPC Groep en de onderzoeken werden aanbesteed; • vanaf maart konden de onderzoeken starten. De looptijd van de onderzoeken was maximaal één jaar. Het onderzoeksprogramma is jaarlijks voorgelegd aan het ministerie van OCW en aan NWO. 5. De onderzoeksresultaten zijn bruikbaar

De kans op het daadwerkelijk gebruik van de onderzoeksresultaten van het Kortlopend Onderwijsonderzoek is relatief groot, vanwege de afstemming van het onderzoek op de wensen en verwachtingen van de aanvragers. De mate waarin onderzoeksresultaten daadwerkelijk zijn gebruikt, hangt ook af van de wijze waarop de resultaten gepresenteerd werden. De onderzoeksinstellingen is gevraagd beknopte, goed leesbare, praktijkgerichte brochures op te leveren. Hierin staan de resultaten van het onderzoek, aangevuld met concrete aanbevelingen voor scholen die met het betreffende thema aan de slag willen. Vaak zijn tevens ‘implementatietools’ opgenomen, instrumenten die scholen helpen bij de implementatie, zoals een stappenplan, een vragenlijst, een checklist, videomateriaal met voorbeeldgedrag, lesuitwerkingen, etc. De projectleiding van het Kortlopend Onderwijsonderzoek trachtte het daadwerkelijk gebruik van de resultaten te bevorderen door in het aanvraagformulier de volgende vraag op te nemen: ‘Op welke wijze denkt u de resultaten van het onderzoek straks te gebruiken?’ Dit dwong de aanvragers vooraf na te denken over de implementatie. Tevens is aan de onderzoeksinstellingen gevraagd in de offertes een passage op te nemen over de wijze waarop scholen de resultaten later konden gebruiken. Hierdoor werden ook de onderzoekers gedwongen vooraf na te denken over de aard van de op te leveren resultaten en de implementatie van de resultaten.

7

6. De onderzoeksresultaten zijn beschikbaar

Het Kortlopend Onderwijsonderzoek heeft niet alleen als doel nuttige resultaten op te leveren voor de aanvrager, maar ook voor andere scholen en instellingen. Binnen de mogelijkheden (hiervoor was geen budget beschikbaar) zijn zoveel mogelijk scholen en instellingen hiervan in kennis gesteld. De volgende verspreidingskanalen zijn hiertoe benut1. • Via het vakblad Didactief, hierin zijn de belangrijkste resultaten van praktisch alle onderzoeken in het kader van het Kortlopend Onderwijsonderzoek opgenomen, ook zijn nieuwe onderzoeken aangekondigd. • Via de onderzoeksinstellingen, die regelmatig zijn gevraagd om lezingen of workshops te houden over de resultaten van een onderzoek. • Via de adviseurs van de LPC, die de resultaten van het onderzoek gebruiken in hun werk. • Via de website: http://www.kortlopendonderzoek.nl waarop de opbrengsten van alle uitgevoerde onderzoeken kort staan beschreven. • Via netwerken van aanvragers die zelf voor verdere verspreiding zorgden. Regelmatig is door de onderzoekers ook in internationale wetenschappelijke tijdschriften gepubliceerd over het Kortlopend Onderwijsonderzoek. 7. De resultaten zijn van goede kwaliteit

Alle aanvragers zijn na afloop van het onderzoek bevraagd door een onderzoeker van KPC Groep over hun ervaringen en de bruikbaarheid van de resultaten. De resultaten zijn jaarlijks uitgegeven in een evaluatierapport. Hieruit blijkt dat ruim 80% van de aanvragers tevreden tot zeer tevreden is over het Kortlopend Onderwijsonderzoek. Ook geeft zo’n 80% aan dat de resultaten voor hen direct bruikbaar zijn (zie ook paragraaf 1.4). De wijze waarop de resultaten worden gebruikt, hangt uiteraard af van het type vraag dat is gesteld en de aard van de aanbevelingen. Daarnaast vond op verzoek van de LPC drie keer een kwaliteitsbeoordeling van de onderzoeksrapporten plaats door een extern deskundige, namelijk respectievelijk prof. dr. Wynand Wijnen, prof. dr. Jules Peschar en prof. dr. Douwe Beijaard. Zij beoordeelden de kwaliteit van de rapporten als ruim voldoende. 8. Een groot aantal onderzoeken voor lage kosten

Het budget voor Kortlopend Onderwijsonderzoek was relatief laag (rond € 900.000 op jaarbasis). Er is voor gekozen om veel verschillende onderzoeken uit te laten voeren

1  De opbrengsten van Kortlopend Onderwijsonderzoek worden zo mogelijk opgenomen op de website KNOW.

8

voor een relatief laag gemiddeld budget (ruim € 40.000), zodat zoveel mogelijk aanvragers van deze subsidieregeling konden profiteren. Omdat desondanks jaarlijks ruim de helft van de aanvragers afgewezen moest worden, is beperkt publiciteit gegeven aan de mogelijkheid om aanvragen in te dienen. Daarnaast is getracht de beoordelings- en offerteprocedures licht te houden, zodat er zoveel mogelijk tijd voor het onderzoek zelf beschikbaar was.

1.2

Programmalijnen

De onderzoeken zijn zoals in paragraaf 1.1 gesteld, ondergebracht in drie zogeheten programmalijnen. Het doel van de programmalijnen was het inspireren van aanvragers tot het indienen van vragen en het kunnen clusteren van de aanvragen. De programmalijnen worden hierna achtereenvolgens beschreven. Omwille van de leesbaarheid hebben we de beschrijvingen niet omgezet naar de verleden tijd. Vormgeving van Leerprocessen

Onderzoek dat scholen ondersteunt bij het inrichten van goed onderwijs Er zijn veel initiatieven in het veld om het onderwijs beter aan te laten sluiten bij het niveau en de behoeften van leerlingen en om het onderwijs betekenisvoller en aantrekkelijker te maken. Tegelijkertijd wordt veel nadruk gelegd op onderwijsresultaten, vooral in de basisvaardigheden, taal en rekenen/wiskunde. Scholen worden geacht opbrengstgericht te werken en toetsresultaten te gebruiken om hun onderwijs te optimaliseren. Bij de inrichting van het onderwijs wordt van leraren tevens gevraagd dat ze zich bij de keuzes die ze maken (ook) laten leiden door wetenschappelijke kennis en inzichten. Vernieuwingen, en dus ook vragen gericht op het verbeteren van de kwaliteit van het onderwijs, hebben bijvoorbeeld betrekking op: • het verbeteren van het taal- en/of reken/wiskundeonderwijs, bijvoorbeeld door geïntegreerd in het curriculum, ook in andere vakken systematisch aandacht aan taal- en rekenvaardigheden te besteden; • een andere inrichting van het onderwijs, waarbij beoogd wordt leerlingen meer intrinsiek te motiveren, door bijvoorbeeld meer variatie in opdrachten, meer uitdagende en authentieke taken en meer keuzemogelijkheden voor leerlingen bij de uitvoering van leeractiviteiten; • een effectieve inzet van ICT in het reguliere curriculum;

9

•

• •

het aanleren van specifieke vaardigheden die van belang worden geacht, zoals metacognitieve vaardigheden, samenwerkingsvaardigheden, informatieverwerking en onderzoeksvaardigheden; competenties van leraren, bijvoorbeeld het coachen van leerlingen en het geven van effectieve feedback; het optimaal volgen van de ontwikkeling en resultaten van leerlingen en daaruit conclusies trekken voor de aanpassing van het onderwijs.

Onderzoek in deze programmalijn dient scholen te ondersteunen bij het maken van keuzes en het uitvoeren en evalueren van innovaties op bovengenoemde onderwerpen. Vragen van scholen in dit verband kunnen betrekking hebben op de wijze waarop zij hun leeromgeving optimaal kunnen inrichten, gekoppeld aan de leerdoelen die ze nastreven, bijvoorbeeld bij taal en rekenen/wiskunde. Daarnaast zijn vragen denkbaar over de effecten van bepaalde leeractiviteiten en bij welke mate van sturing, structuur en keuzemogelijkheden leerlingen zich optimaal ontwikkelen. Verder kunnen vragen worden gesteld over mogelijke problemen waar leraren tegenaan lopen, bijvoorbeeld bij het hanteren van leerlijnen, de inrichting van het curriculum, het ontwerpen van leeractiviteiten en de beoordeling van leerlingen. Meer specifiek kunnen vragen worden gesteld over de ontwikkeling van vaardigheden bij leerlingen, zoals samenwerken, metacognitieve vaardigheden, omgaan met multimedia, en onderzoeksvaardigheden. De benodigde competenties van leraren, bijvoorbeeld het geven van effectieve feedback, het zorgen voor een goed klassenmanagement en het voeren van (reflectie)gesprekken met leerlingen, kunnen eveneens aanleiding geven voor onderzoeksvragen. Tot slot zijn vragen mogelijk over de manier waarop leraren de ontwikkeling van de leerlingen kunnen volgen en toetsen. Onderwijs en Samenleving

Onderzoek dat scholen ondersteunt bij de verbinding van onderwijs aan de maatschap­ pelijke context Scholen hebben de taak om leerlingen voor te bereiden op een goede rol in de samenleving. Die samenleving verandert snel en wordt steeds meer gefragmenteerd en pluriform. Hierbij is het vinden van een goede balans tussen eigenbelang, belang van anderen en gemeenschapsbelang een belangrijke opgave. De bevordering van actief burgerschap en sociale integratie krijgt steeds meer aandacht in scholen. Ook morele, sociale en persoonlijke vorming dienen expliciet en geïntegreerd in het onderwijs opgenomen te zijn. Scholen hebben daarbij rekening te houden met verschillende

10

achtergronden van leerlingen en met maatschappelijke ontwikkelingen. Tegelijkertijd wordt van scholen verwacht dat zij een bijdrage leveren aan de oplossing van maatschappelijke problemen zoals criminaliteit, veiligheid, duurzaamheid en een gezonde levensstijl. Scholen dienen daarbij zowel kansen te creëren als eigen grenzen te bewaken. Zij staan in de uitvoering van hun taak niet geïsoleerd, maar werken in toenemende mate samen met verschillende partners. Ook de samenwerking met ouders is hierbij essentieel. Daarnaast vervullen scholen steeds vaker een belangrijke rol in de buurt, bijvoorbeeld als het gaat om afstemming, veiligheid of ontmoeting. In het basisonderwijs hebben zogenaamde brede scholen hier nadrukkelijk een taak in. Er leven echter nog veel vragen over de pedagogische doelen, de optimale samenwerking en inrichting van de brede school. In het beroepsonderwijs zien we een toenemende samenwerking met stagebedrijven en andere organisaties bij de voorbereiding van leerlingen op een beroep. Verder wordt steeds meer nadruk gelegd op het realiseren van een doorgaande lijn tussen schoolsoorten. Dit vraagt van scholen aandacht voor een goede overdracht en afstemming bij transitiemomenten, zoals van VVE naar basisonderwijs, van basisonderwijs naar voortgezet onderwijs en van VMBO naar MBO. Voor het realiseren van passend onderwijs voor alle leerlingen werken scholen samen met allerlei partners in de regio. Het doel daarbij is leerlingen zoveel mogelijk onderwijs in de eigen omgeving te bieden, aansluitend bij hun onderwijsbehoeften, zodat zij zich optimaal kunnen ontwikkelen. Door de verbeterde toetsing en diagnostiek worden specifieke problemen van leerlingen vaak (maar niet altijd) eerder zichtbaar en is de druk op scholen om het onderwijs hierop aan te passen, groot. Veel scholen vinden het moeilijk om leerlingen met zeer diverse problemen op een goede manier op te vangen en slagen daar alleen in door een nauwe samenwerking met REC-scholen, jeugdzorg, maatschappelijk werk en andere partners. Er leven veel vragen bij scholen hoe ze de interne zorgstructuur en de samenwerking met verschillende partners in dit kader op een goede manier kunnen organiseren en de kwaliteit bewaken. Aan de samenwerking met ouders daarbij wordt steeds meer belang gehecht. Het onderzoek dat in deze programmalijn wordt uitgevoerd, moet scholen helpen bij het vervullen van hun pedagogische en maatschappelijke opdracht in samenwerking met verschillende partners.

11

Professionele Organisatie

Onderzoek dat scholen ondersteunt bij de ontwikkeling naar een professionele en lerende organisatie In de afgelopen jaren zien we een verschuiving in de verantwoordelijkheden tussen besturen, directeuren en middenmanagers in alle lagen van het onderwijs. Besturen worden meer nadrukkelijk afgerekend op de opbrengsten van hun scholen en worden geacht horizontaal en verticaal verantwoording af te leggen over hun resultaten. Dit proces vraagt om nieuwe bestuursvormen en een andere taakverdeling tussen de managementlagen, waarin ook het financiële aspect steeds meer aandacht krijgt. De wet ‘Goed onderwijs, goed bestuur’ kan aanleiding geven tot een andere informatiebehoefte van besturen of tot vragen over bijvoorbeeld het vormgeven van het intern toezicht. Tegelijkertijd is er vanuit de overheid veel aandacht voor de positie van de leraar. Het handelen van de leraar bepaalt in belangrijke mate de kwaliteit van het onderwijs en daarom krijgt de versterking van de professionaliteit van de leraar veel aandacht. De lerarenbeurs, aanpassingen in de salarisschalen en mogelijkheden voor beloningen, de ontwikkeling van een beroepsgroep en de ontwikkeling van standaarden voor de kwaliteit van het beroep van leraar moeten bijdragen aan een verbetering van de status van het beroep en de versterking van de professionaliteit van leraren. Kenmerkend voor een professionele organisatie is dat de verschillende beleidsterreinen zoals het onderwijskundig beleid, personeelsbeleid en financieel beleid op elkaar zijn afgestemd. Daarnaast wordt een professionele organisatie gekenmerkt door een gedeelde visie, een open en lerende cultuur, en een externe gerichtheid op samenwerking met de omgeving. Een dergelijke professionele cultuur is echter niet eenvoudig te realiseren en roept bij scholen veel vragen op. Ook vraagstukken ten aanzien van een effectieve inrichting van de schoolorganisatie behoren tot deze programmalijn. Het onderzoek dat in deze programmalijn wordt uitgevoerd, helpt scholen en besturen bij de verdere ontwikkeling tot een professionele organisatie. Verschillende soorten onderzoek kunnen daar een bijdrage aan leveren: • onderzoek naar de ontwikkeling van een gedeelde visie op goed onderwijs en het realiseren van integraal beleid; • onderzoek naar de afstemming van taken en verantwoordelijkheden tussen verschillende geledingen in de organisatie en de wijze waarop besturen en scholen op een transparante manier verantwoording af kunnen leggen;

12

• •

1.3

onderzoek naar de versterking van de professionaliteit van leraren en de ontwikkeling van een professionele cultuur; onderzoek naar een efficiënte en effectieve schoolorganisatie, met een functionerend systeem van kwaliteitszorg.

Selectie van aanvragen en aantallen

Scholen, onderwijsinstellingen en vertegenwoordigers van het onderwijsveld kregen jaarlijks de mogelijkheid om een aanvraag voor onderzoek in te dienen. Hiervoor is een eenvoudig format opgesteld (zie bijlage 2). In de afgelopen 15 jaar zijn in totaal 940 aanvragen ingediend. Een selectiecommissie, bestaande uit onderzoekers en onderwijsadviseurs van de LPC, maakte hieruit een selectie, zoals gesteld in paragraaf 1.1. Selectie van onderzoeksvragen

Bij de selectie van de aanvragen is eerst bekeken in hoeverre de aanvragen pasten bij de voorgestelde programmalijn en in hoeverre ze onderzoekbaar waren in het kader van het Kortlopend Onderwijsonderzoek. Wat dit laatste betreft is nagegaan of de vraag via onderzoek te beantwoorden was (onderzoeksvraag versus een vraag om advies of begeleiding) en zo ja, of de vraag te beantwoorden was via een praktijkrelevant en in de tijd beperkt onderzoek dan wel of het meer een vraag was die thuishoorde in het programma van NWO of het programma van het beleidsonderzoek van het ministerie van OCW. Daarna volgden meer specifieke criteria: • het onderzoek levert een actieve en logische bijdrage aan het proces van ontwikkeling en innovatie van het Nederlandse onderwijs als totaliteit; • het is gericht op kwaliteitsverbetering en daarbij met name op implementatieaspecten van gewenste veranderingen; • het draagt bij aan vergroting van het inzicht in implementatieprocessen bij onderwijsinnovatie; • het heeft een schooloverstijgende en als regel een landelijke betekenis; • het is ontwikkelingsgericht, hetgeen betekent dat de resultaten voor herkenbare doelgroepen beschikbaar komen en door deze groepen kunnen worden benut ten behoeve van de eigen activiteiten (in tegenstelling tot onderzoek naar ‘de stand van zaken’). Gehonoreerde en afgewezen aanvragen

Van de 940 aanvragen zijn er in totaal 384 gehonoreerd. Dat betekent dat jaarlijks ruim

13

de helft van de aanvragen moest afvallen. Het aantal uitgevoerde onderzoeken ligt iets lager, omdat aanvragen soms zijn geclusterd, waarbij in één onderzoek meerdere aanvragen zijn opgenomen. Bij de beoordeling van de aanvragen heeft de wijze van formulering een ondergeschikte rol gespeeld. Gezocht is naar ‘de vraag achter de vraag’ en zo nodig is telefonisch contact opgenomen om na te gaan of de interpretatie van de aanvraag correct was. De meest voorkomende redenen voor afwijzing waren: a. de vraag kan al beantwoord worden op basis van bestaand onderzoek; b. de vraag is niet direct een onderzoeksvraag, maar meer een begeleidingsvraag; c. er wordt al onderzoek uitgevoerd naar het betreffende onderwerp door de inspectie of in opdracht van NWO; d. het onderzoek behoort tot het landelijk innovatiebeleid van de overheid; e. het onderzoek is niet binnen één jaar uitvoerbaar; f. relatief geringere relevantie gelet op het beschikbare budget. Het niet inhoudelijk passen binnen één van de drie programmalijnen is nooit als reden voor afwijzing gehanteerd. De afgewezen aanvragers kregen per brief een toelichting en als regel literatuurverwijzingen en/of een advies of doorverwijzing om hen verder te helpen. In tabel 1.1 staat een overzicht van het aantal ingediende en gehonoreerde aanvragen per jaar. Tabel 1.1 Aantal ingediende en gehonoreerde aanvragen Jaar 1997/1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012

14

Aantal aanvragen totaal 130 95 91 61 43 54 39 56 45 48 56 40 45 50 50

Aantal aanvragen gehonoreerd 48 29 32 21 23 22 21 19 30 19 20 19 20 22 21

Jaar 2013 Totaal

Aantal aanvragen totaal 37 940

Aantal aanvragen gehonoreerd 18 384

Uit de tabel blijkt dat het aantal aanvragen de eerste drie jaren erg groot was en zich daarna stabiliseerde tot een aantal rond de 50 aanvragen. De afname van het aantal aanvragen na de eerste drie jaren zou mede veroorzaakt kunnen zijn door het feit dat sommige aanvragers enkele malen zijn afgewezen en daardoor ontmoedigd zijn geraakt. Verder moet nog vermeld worden dat in de eerste tranche (1997/1998) het budget voor twee jaren in een keer is aanbesteed. Daarnaast was in 2006 eenmalig een extra budget beschikbaar. Nadere analyse van de aanvragen

Als we nagaan door wie de aanvragen zijn ingediend, kunnen we onderscheid maken in twee typen aanvragers: • scholen (bestuur, management, afdeling of school); • andere organisaties in het onderwijs, zoals verenigingen, koepelorganisaties, besturenorganisaties, landelijke werkverbanden, onderwijsbegeleidingsdiensten, sectorraden, etc. Uit tabel 1.2 blijkt dat gemiddeld ruim de helft van de aanvragen rechtstreeks afkomstig was van scholen. In 2004 was het percentage aanvragen vanuit scholen beduidend lager. De reden daarvoor is onduidelijk. Tabel 1.2 Percentage aanvragen ingediend door scholen en instellingen Jaar 1997/1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010

% aanvragen ingediend door scholen 57 42 56 49 42 54 38 55 53 63 57 49 55

% aanvragen ingediend door andere organisaties 43 58 44 51 58 46 62 45 47 37 43 51 45

15

Jaar 2011 2012 2013

% aanvragen ingediend door scholen 54 50 50

% aanvragen ingediend door andere organisaties 46 50 50

In tabel 1.3 en 1.4 staan de aantallen aanvragen per sector weergegeven. In tabel 1.3 gaat het om de ingediende aanvragen, in tabel 1.4 om de gehonoreerde aanvragen. Een deel van de aanvragen heeft betrekking op meerdere sectoren (PO/VO, VO/MBO of PO/VO/MBO). Tabel 1.3 Aantal ingediende aanvragen per sector Jaar

PO

VO

MBO

1997/1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 Totaal

47 36 21 18 12 16 8 24 20 12 23 9 17 12 15 7 297

47 35 28 30 18 20 18 22 19 24 15 23 21 25 18 15 378

23 15 34 8 4 6 6 4 6 3 9 5 1 3 3 3 133

PO/VO/ MBO 13 9 8 5 9 12 7 6 0 9 9 3 6 10 14 12 132

Totaal

PO/VO/ MBO 3 7 4 3

Totaal

130 95 91 61 43 54 39 56 45 48 56 40 45 50 50 37 940

Tabel 1.4 Aantal toegekende aanvragen per sector Jaar

PO

VO

MBO

1997/1998 1999 2000 2001

15 9 7 5

21 12 10 10

9 1 11 3

16

48 29 32 21

Jaar

PO

VO

MBO

2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 Totaal

3 2 4 8 11 2 5 1 7 5 5 3 92

12 10 13 7 13 10 9 15 11 9 5 10 177

2 3 2 2 6 2 3 2 0 2 2 1 51

PO/VO/ MBO 6 7 2 2 0 5 3 1 2 6 9 4 64

Totaal 23 22 21 19 30 19 20 19 20 22 21 18 384

Uit tabel 1.3 blijkt dat het aantal aanvragen (alleen) gericht op het MBO beduidend minder is (in totaal 133) dan het aantal aanvragen gericht op het PO (in totaal 297) en VO (in totaal 378). Een van de oorzaken hiervoor is dat het MBO een kleinere sector is. Daarnaast zijn er ook andere onderzoeksmiddelen voor deze sector. Binnen het PO worden relatief meer aanvragen afgewezen dan in het VO en het MBO (31% PO versus 47% VO, respectievelijk 38%). Bij de aanvragen uit het PO komt het vaker voor dat de vragen niet door middel van onderzoek opgelost kunnen worden, omdat het in feite om begeleidingsvragen gaat. Tabel 1.5 geeft een overzicht van het aantal ingediende aanvragen per programmalijn. Tabel 1.5 Aantal ingediende aanvragen per programmalijn per jaar Jaar 1997/1998 1999 2000 2001 2002 2003 2004 2005 2006

Vormgeving van Leerprocessen 66 54 30 25 14 27 15 19 15

*Onderwijs en Samenleving 28 14 21 14 13 13 14 16 10

Professionele Organisatie 36 27 40 22 16 14 10 21 20

Totaal 130 95 91 61 43 54 39 56 45

17

Jaar 2007 2008 2009 2010 2011 2012 2013 Totaal

Vormgeving van Leerprocessen 18 19 14 20 25 26 9 396

*Onderwijs en Samenleving 14 9 13 12 9 13 14 227

Professionele Organisatie 16 28 13 13 16 11 14 317

Totaal 48 56 40 45 50 50 37 940

* Deze programmalijn heette tot 2011 Pedagogische Kwaliteit We zien dat het aantal aanvragen dat betrekking heeft op de programmalijn Onderwijs en Samenleving duidelijk lager is (in totaal 227), dan het aantal aanvragen op het gebied van de programmalijn Vormgeving van Leerprocessen (in totaal 396) en de programmalijn Professionele Organisatie (in totaal 317). Het totaal aantal uitgevoerde onderzoeken per programmalijn is echter ongeveer gelijk. Hieruit blijkt dat de meeste afwijzingen plaatsvonden in Vormgeving van Leerprocessen. In deze programmalijn kwam het vaker voor dat de aanvragen meer het karakter hadden van begeleidingsvragen dan onderzoeksvragen. Opvallend is het lage aantal aanvragen voor deze programmalijn in 2013. De reden hiervoor is onbekend. Het bestuderen van de inhoud van de aanvragen per programmalijn heeft niet geleid tot duidelijke trends. De aanvragen waren zeer divers van aard.

1.4

Uitvoering en resultaten

Jaarlijks zijn rond de 20 onderzoeken in uitvoer genomen door vijf of zes allianties. Voor elk onderzoek was gemiddeld ruim € 40.000 beschikbaar. De resultaten van elk onderzoek zijn gepubliceerd in een brochure. Tot en met 2012 zijn bijna 300 publicaties verschenen (zie bijlage 6). De publicaties vanaf 2006 zijn ook in te zien of te downloaden op www.kortlopendonderzoek.nl. Tabel 1.6 geeft een overzicht van het aantal publicaties per programmalijn en per sector.

18

Tabel 1.6 Aantal publicaties per programmalijn en per sector van 1997 – 2012 Vormgeving van Leerprocessen Onderwijs en Samenleving Professionele Organisatie Totaal

PO 28 36 41 105

VO 64 62 55 55

MBO 17 12 21 21

N.B. Sectoroverstijgende publicaties zijn meegeteld in elke sector waarvoor ze van belang zijn Standaardevaluatie bij aanvragers

In de procedure van het Kortlopend Onderwijsonderzoek is een aantal uitgangspunten gehanteerd om het gebruik van de resultaten te bevorderen, zoals: • relatief korte doorlooptijd; • de afstemming tussen onderzoeker en aanvrager voorafgaand aan de opstelling van het onderzoeksplan, zodat wederzijdse verwachtingen konden worden bijgesteld; • de nadruk op korte leesbare ‘brochures’ als eindrapport, met bruikbare aanbevelingen, handreikingen en instrumenten. Uit de evaluatiegesprekken met de aanvragers na afloop van het onderzoek blijkt onder meer dat deze aanpak in ruim 80% van de onderzoeken heeft geleid tot tevredenheid bij de aanvragers. Ruim de helft van de aanvragers had gedurende het onderzoek meer dan vijf keer contact met de onderzoeker. De uitvoering van het onderzoek verliep volgens ruim 75% van de aanvragers helemaal of grotendeels naar verwachting. De meeste aanvragers vonden de resultaten van het onderzoek in hoge of voldoende mate relevant en bruikbaar. De resultaten zijn onder meer gebruikt voor professionalisering, als basis voor de implementatie van beleid, voor een draaiboek, stappenplan of het schoolplan. De onderzoeken leidden echter niet altijd tot daadwerkelijk gebruik van de resultaten door de aanvrager. De reden daarvan lag soms aan de kant van de onderzoeker, die er dan toch niet in was geslaagd om door middel van onderzoek een bijdrage te leveren waar de school of het bestuur daadwerkelijk iets mee kon. Soms lag de reden aan de kant van de aanvrager, bijvoorbeeld doordat de kartrekker achter de aanvraag een andere baan had gekregen, de schoolleiding andere prioriteiten moest stellen, etc. Soms was meer geld nodig voor de implementatie, waarin het Kortlopend Onderwijsonderzoek helaas niet kon voorzien. Het is niet bekend in welke mate andere scholen kennisnemen van de resultaten van de onderzoeken en deze gebruiken bij de inrichting van hun onderwijs.

19

20

2

Ervaringen van aanvragers en onderzoekers

2.1

Evaluatie van het Kortlopend Onderwijsonderzoek

Per 1 januari 2014 houdt de wet SLOA op, waaronder ook de bekostiging van het Kortlopend Onderwijsonderzoek valt. De middelen voor (praktijkgericht) onderzoek zullen worden ondergebracht bij het NRO. Na 15 jaar Kortlopend Onderwijsonderzoek is het tijd om de balans op te maken van deze vorm van praktijkgericht onderzoek, zodat het NRO van deze ervaringen kan profiteren. Om deze reden is een evaluatieonderzoek uitgevoerd onder aanvragers en onderzoekers. In het evaluatieonderzoek staan de volgende vragen centraal. 1. Hebben de onderzoeken bijgedragen aan schoolontwikkeling bij de aanvragers? En zo ja, op welke wijze? 2. Hoe worden de procedures en uitgangspunten van het Kortlopend Onderwijsonderzoekers ervaren door aanvragers en onderzoekers? 3. In welke mate en op welke wijze zijn de onderzoekers erin geslaagd te voldoen aan kwaliteitscriteria voor praktijkgericht onderzoek? 4. Welke knelpunten, succesfactoren en kansen zien zij? Voordat we overgaan op de onderzoeksopzet, lichten we eerst toe vanuit welk theoretisch model we met name de eerste onderzoeksvraag hebben onderzocht en welke kwaliteitscriteria we in de derde onderzoeksvraag hanteren.

2.2

Invloed van praktijkgericht onderzoek op schoolontwikkeling2

In deze paragraaf gaan we in op de vraag op welke wijze praktijkgericht onderzoek kan bijdragen aan schoolontwikkeling, om vervolgens te bevragen of dit in het Kortlopend Onderwijsonderzoek heeft plaatsgevonden. Schoolontwikkeling kan

2  Deze paragraaf is grotendeels overgenomen uit de rapportage Gebruik van onderwijs­ onderzoek door scholen. Onderzoek naar de invloed van praktijkgericht onderzoek op schoolontwikkeling, door Ros e.a. (2013).

21

opgevat worden als een proces van collectief leren, dat wil zeggen een gezamenlijk ontwikkelingsproces met gezamenlijke opbrengsten (Dixon, 2002; Castelijns, Koster & Vermeulen, 2009). Praktijkgericht onderzoek kan op verschillende manieren bijdragen aan schoolontwikkeling. In de eerste plaats kan onderzoek bijdragen aan het meer planmatig uitvoeren van verbeteringen of innovaties, waardoor deze een meer systematisch en transparant karakter krijgen. Onderzoeksresultaten houden de school een spiegel voor en geven feedback op het functioneren van de school. Dit noemen we de feedbackfunctie van onderzoek. In de tweede plaats kan de uitvoering van onderzoek leiden tot het ontwikkelen van een onderzoekende houding van leraren en het ontwikkelen van een onderzoekscultuur op school, door het gezamenlijk beantwoorden van vragen die het onderzoek oproept. Hierdoor ontstaat interactie en communicatie. Dit noemen we de dialoogfunctie van onderzoek. De beide functies van onderzoek, feedback en dialoog, zijn complementair en vormen de focus van onderzoeksvraag 1. Aan beide functies van onderzoek liggen verschillende perspectieven op schoolontwikkeling ten grondslag. Bij de feedbackfunctie ligt de nadruk op de resultaten van het onderzoek en gaat het bij schoolontwikkeling om de ontwikkeling naar gezamenlijk gestelde doelen door stapsgewijze verbeteringen of een meer revolutionaire verbetering, ook wel innovatie genoemd. Bij de dialoogfunctie van onderzoek, gericht op het onderzoeksproces, past een perspectief op schoolontwikkeling waarbij de school zich ontwikkelt in de richting van een professionele leergemeenschap (Verbiest, 2011). De kern bij de dialoogfunctie is gelegen in de onderlinge interactie tussen de leraren die de schoolontwikkeling aanjaagt en een basis legt voor continu ontwikkelen. We hanteren daarom in dit onderzoek het volgende model.

22

Figuur 2.1 Mechanismes waarop praktijkgericht onderzoek bij kan dragen aan schoolontwikkeling Deze twee functies, de feedback- en de dialoogfunctie, lichten we hieronder toe. Feedbackfunctie van onderzoek

Onderzoek kan bijdragen aan schoolontwikkeling via het product, de onderzoeksresultaten en de aanbevelingen. In dit kader gebruiken we de definitie van schoolontwikkeling van Brandsma (2011, 14), gebaseerd op Mijs (2007): ‘schoolontwikkeling is een systematische strategie om het functioneren van leerlingen te verbeteren door de ontwikkeling van de professionaliteit van de leraren, schoolleiding en schoolorganisatie en door de ontwikkeling van het vermogen van de school om veranderingen te hanteren en te versterken’. Van belang hierbij is dat in de school een infrastructuur wordt opgebouwd (qua competenties, cultuur en structuur) die faciliteert en stimuleert dat de school eigen innovaties kan ontwikkelen, implementeren en borgen (Brandsma, 2011). We weten inmiddels dat dit niet eenvoudig is; uit onderzoek blijkt namelijk dat veel innovaties mislukken (Parlementaire Commissie Onderwijsvernieuwingen, 2008; Van den Berg & Vandenberghe, 1995). Het gaat in deze paragraaf om de vraag hoe praktijkonderzoek een bijdrage kan leveren aan duurzame schoolontwikkeling. Als we spreken over een ‘school’ bedoelen we daarmee een functionele eenheid in de vorm van een onderwijsteam dat gezamenlijk verantwoordelijk is voor een duidelijk af te bakenen gedeelte van de organisatie, zodat onderwijskundig beleid min of meer zelfstandig ontwikkeld en uitgevoerd kan worden. In het voortgezet onderwijs kan dit dus ook een afdeling of een locatie betreffen. Bij veel innovaties gericht op de verbetering van het onderwijs gaat het om een

23

gedrags­verandering van leraren. Het realiseren van een gedragsverandering is niet eenvoudig. Hierbij spelen de opvattingen en motivatie van leraren (‘wil ik dit’) een rol, het zelfvertrouwen en de capaciteit van leraren (‘kan ik dit’) en de gelegenheid en mogelijkheden om een innovatie in te voeren (‘hoe doe ik het’) (Poiezs, 1999). Ajzen en Fishbein (1980) voegen hier een element aan toe, namelijk de ervaren druk van de omgeving om het gedrag te vertonen, bijvoorbeeld druk van de schoolleider of van ouders om een andere aanpak in school te hanteren. Daarbij is het gevoel van eigenaarschap over de eigen ontwikkelingen een bepalende factor bij het realiseren van gedragsverandering (Pierce & Jussila, 2010). Naast gedragsfactoren en psychologische factoren is er nog een andere oorzaak aan te wijzen voor het feit dat veel innovaties mislukken. Deze is gelegen in de handelwijze van scholen, namelijk dat scholen in het algemeen niet erg planmatig werken. Vaak worden ad hoc beslissingen genomen zonder een gedegen analyse of vooronderzoek. Ook worden beslissingen zelden gemonitord en geëvalueerd zowel voor wat betreft het proces als de opbrengst. Dat betekent ook dat er niet wordt geleerd voor een volgende keer (Schildkamp, 2012; Hargreaves, 2007). Het gebeurt nogal eens dat er verschillende nieuwe zaken tegelijk gestart worden, zonder een duidelijke visie waar dit alles toe moet leiden (Fullan, 2001). Leraren hebben vaak geen inzicht in de rationale achter een vernieuwing en geen overzicht over de wijze waarop de verschillende interventies met elkaar samenhangen en wat deze zouden moeten opleveren. Soms lijken verschillende vernieuwingen voor hen zelfs tegengestelde bewegingen. Dit leidt er dan toe dat leraren een maatregel ‘optisch’ invoeren, dat wil zeggen dat leraren alleen voldoen aan de uiterlijke verschijningsvormen, maar de essentie van de vernieuwing wordt niet opgepakt (Van den Berg, 2012). Praktijkgericht onderzoek kan een bijdrage leveren aan meer doelgerichte en planmatige innovaties door wat door Brandsma (2011) is benoemd als de feedbackfunctie van onderzoek bij schoolontwikkeling. De veronderstelling daarbij is dat onderzoeksresultaten feedback geven door beantwoording van een of meer feedbackvragen zoals onderscheiden door Hattie en Timperly (2007): • Waar gaan we naar toe, wat zijn onze doelen? • Wat is de stand van zaken met betrekking tot het bereiken van de doelen? • Hoe nu verder om de doelen te behalen? Door de feedback die de school ontvangt op basis van de onderzoeksresultaten in de verschillende fasen van een innovatie, kan de school meer doelgericht en planmatig invulling geven aan de innovatie en deze waar nodig tussentijds bijsturen.

24

Dialoogfunctie van onderzoek

Naast de feedbackfunctie kan onderzoek bijdragen aan schoolontwikkeling via de dialoogfunctie. Dit betekent dat onderzoek een stimulans kan zijn voor gezamenlijke reflectie tussen leraren en het voeren van een professionele dialoog. De vragen waar leraren mee geconfronteerd worden als er een onderzoek wordt uitgevoerd naar een probleem waar zij tegenaan lopen, kan leiden tot gesprekken over de visie op onderwijs, de beoogde resultaten, de huidige praktijk en mogelijke verbeteringsacties. Professionele dialoog kan daardoor bijdragen aan een kritische, onderzoekende houding (Windmuller, 2012). Leraren met een kritische, onderzoekende houding stellen zichzelf voortdurend de vraag of een bepaalde veronderstelling wel juist is en of de aanpak die zij hanteren wel werkt bij bepaalde leerlingen en bespreken dit met collega’s. Zij zullen eerder zelf systematisch gegevens verzamelen om daarmee hun aanpak bij te stellen en te verbeteren. Zij bevragen leerlingen bijvoorbeeld naar hun oplossingsstrategieën en observeren de wijze waarop ze samenwerken of een taak aanpakken. Ook de uitkomsten en de conclusies die ze daaruit trekken, bespreken ze met collega’s en vragen hen om feedback. Schön (1983) noemt deze leraren, die over een dergelijke reflectieve, onderzoekende houding beschikken, ‘reflective practitioners’. Hoyle (1975) maakt onderscheid tussen een beperkte en uitgebreide professionaliteit. Leraren met een uitgebreide professionaliteit worden gekenmerkt door een vakoverstijgende oriëntatie, gerichtheid op klas- en schoolniveau, betrokkenheid bij professionele activiteiten ook buiten de eigen klas, betrokkenheid ook op niet-onderwijzende taken en een behoefte aan theorie om meer onderbouwde keuzes te kunnen maken. Deze leraren nemen hun eigen professionele ontwikkeling serieus en willen zichzelf voortdurend verbeteren door met anderen samen te werken, het (eigen) onderwijs systematisch te evalueren en zichzelf met anderen te vergelijken. De reflectieve dialoog is daarnaast van belang om een gedeelde visie te ontwikkelen over goed onderwijs. Leraren praten over de problemen waar ze tegenaan lopen en de keuzes die ze daarbij maken bij de inrichting van het onderwijs. Door de dialoog wordt het impliciete interpretatiekader en de subjectieve onderwijstheorie (Kelchtermans, 1994) als het ware geëxpliciteerd, bespreekbaar gemaakt en ter discussie gesteld. Door de dialoog en het onderzoeksproces kunnen leraren hun subjectieve onderwijstheorieën en ervaringskennis toetsen aan wetenschappelijke theorieën en modellen en onderzoeksresultaten. Hiermee ontwikkelen leraren een gemeenschappelijke taal en visie en stemmen ze hun handelen beter op elkaar af. Dit leidt tot een meer professionele cultuur in de school. In elke fase van het onderzoek doen zich andere vragen voor die leraren binnen een professionele leergemeenschap aanzetten tot reflectie en dialoog.

25

Kwaliteitscriteria

Een belangrijke conditie voor het optreden van de feedbackfunctie is dat het praktijkgericht onderzoek resultaten oplevert die betrouwbaar en valide zijn en die bruikbaar zijn voor scholen. Dit betekent dat het onderzoek aan dezelfde standaarden en eisen moet voldoen als elk ander onderzoek. Daarbij komt echter nog dat het onderzoek ook moet leiden tot resultaten die direct bruikbaar zijn voor de onderwijspraktijk. Gebaseerd op Verschuren (2009) zijn door Ros en Vermeulen (2010) en Martens, De Laat, Kessels en Ros (2012) twee soorten kwaliteitscriteria onderscheiden: basiscriteria voor onderzoek die in principe voor elk onderzoek gelden (wetenschapsinterne eisen) en bruikbaarheidcriteria die meer specifiek voor het praktijkgericht onderzoek gelden (wetenschapsexterne eisen). Basiscriteria van onderzoek 1. Interne validiteit

Datgene wat de onderzoeker vindt op basis van het materiaal dat daadwerkelijk is onderzocht (meestal een steekproef), dient geldig zijn voor dit materiaal zelf. (Heeft hij onderzocht en gevonden wat hij wilde weten?) 2. Externe validiteit

De kennis die is gegenereerd op basis van materiaal dat daadwerkelijk is onderzocht (de steekproef), moet ook gelden voor de grotere populatie waaruit deze steekproef getrokken is. Verschuren (2009) geeft aan dat dit voor praktijkgericht onderzoek beperkt geldt, gezien de kenmerken van het object van onderzoek. Bij praktijkgericht onderzoek gaat het erom dat geprobeerd wordt de generaliseerbaarheid te maximaliseren. 3. Controleerbaarheid

De resultaten van onderzoek moeten voor anderen goed navolgbaar en controleerbaar zijn. 4. Cumulativiteit

Onderzoekers bouwen zoveel mogelijk voort op elkaar en op zichzelf en werken zodoende systematisch aan een steeds groeiende ‘body of knowledge’. Dit stelt tal van eisen aan de manier waarop gepubliceerd wordt, van dataweergave tot preferenties. Deze eisen gelden ook voor praktijkonderzoek en leiden tot generaliseerbaarheid, mits ervoor wordt gezorgd dat dit niet ten koste gaat van de bruikbaarheid (zie hierna).

26

5. Ethische aspecten

Alle vormen van wetenschappelijk onderzoek moeten voldoen aan de basiseisen van goede onderzoeksethiek. Hierbij kan bijvoorbeeld gedacht worden aan het op een goede manier behandelen van vertrouwelijke onderzoeksgegevens en mensen niet buiten hun weten in voor hen mogelijk ongunstige condities zetten, zoals leerlingen een onderwijsvorm aanbieden waarvan je als onderzoeker vermoedt dat die sterk demotiverend werkt. Bruikbaarheidcriteria 1. Begrijpelijkheid van de onderzoeksresultaten

De resultaten moeten voor het onderwijsveld (en voor het beleid) begrijpelijk en toegankelijk zijn. Dat lukt wat gemakkelijker bij kwalitatieve vormen van dataverzameling, zoals observatie, open interviews en kwalitatieve inhoudsanalyse van tekstuele en audiovisuele documenten. Over het algemeen zijn de resultaten van kwantitatief onderzoek voor niet-ingewijden moeilijker te interpreteren. Hier is dus extra inspanning van de onderzoekers vereist (zie ook bij disseminatie in paragraaf 3.3). In de praktijk zal eerder gekozen worden voor meerdere manieren van disseminatie, waarbij de weergave van de resultaten geschikt zal worden gemaakt voor een bepaalde groep lezers. 2. Acceptatie en ervaren legitimiteit

Het onderwijsveld moet de resultaten als waar, relevant en legitiem ervaren. De doelgroepen moeten geen morele, praktische of inhoudelijke bezwaren hebben tegen de onderzoeks­resultaten. Een complicerende factor hierbij is dat er meerdere doelgroepen zijn (bijvoorbeeld leraren en managers of directeuren en besturen) met verschillende belangen. Belangrijk bij de acceptatie en legitimiteit is ook dat er vanaf de totstandkoming van het onderzoek tot en met de disseminatie van de resultaten sprake is van tweerichtingsverkeer. 3. Leermogelijkheden

Het criterium leermogelijkheden betekent onder meer dat het onderzoek handvatten moet opleveren om de onderwijspraktijk te verbeteren. Het praktijkgericht onderzoek heeft als doel om een bijdrage te leveren aan problemen in het onderwijsveld. De kennis die het onderzoek oplevert, moet zijn voorzien van tools voor de wijze van implementatie van deze kennis.

27

2.3 Onderzoeksopzet Om de onderzoeksvragen te beantwoorden, zijn interviews gehouden met aanvragers die de laatste vijf jaar een gehonoreerde onderzoeksvraag hebben ingediend. We hebben ons daarbij beperkt tot aanvragers waar het scholen betrof (dus geen landelijke organisaties of verenigingen, onderwijsbegeleidingsdiensten, etc.). Een bijzondere groep aanvragers vormen de vertegenwoordigers van de koepelorganisaties, omdat zij (in alle 15 jaren) niet alleen de rol van aanvrager op zich namen, maar ook een intermediaire rol vervulden naar het onderwijsveld. Met drie vertegenwoordigers (namens alle koepelorganisaties en besturenorganisaties) is een groepsinterview gehouden. Daarnaast hebben we interviews gehouden met onderzoekers over de uitvoering van praktijkgericht onderzoek en met de managers/coördinatoren van de onderzoeks­ instellingen over hun beleid ten aanzien van praktijkgericht onderzoek en hoe zij aankijken tegen de programmering van het Kortlopend Onderwijsonderzoek. Tabel 2.1 Bevraagde respondenten per onderzoeksvraag Onderzoeksvraag 1 Hebben de onderzoeken bijgedragen aan schoolontwik­ keling bij de aanvragers? En zo ja, op welke wijze? 2 Hoe worden de procedures en uitgangspunten van het Kortlopend Onderwijsonderzoekers ervaren door aanvragers en onderzoekers? 3 In welke mate en op welke wijze zijn de onderzoekers erin geslaagd te voldoen aan kwaliteitscriteria voor praktijk­gericht onderzoek? 4 Welke knelpunten, succesfactoren en kansen zien zij?

Respondenten Aanvragers Koepelorganisaties Aanvragers Koepelorganisaties Onderzoeksmanagers Onderzoekers

Onderzoekers Onderzoeksmanagers

Respondenten

Aanvragers Alle (28) gehonoreerde aanvragen door scholen van 2008 tot en met 2011 zijn geselecteerd. Na aftrek van de nog lopende onderzoeken (drie) en de aanvragen die om uiteenlopende redenen niet in dit onderzoek betrokken konden worden (vier), heeft over 21 onderzoeken (75%) een gesprek plaatsgevonden met 19 aanvragers (twee daarvan met twee gehonoreerde aanvragen). In bijlage 2 staan de aanvragers met wie gesprekken zijn gevoerd, de titels van de desbetreffende onderzoeken en door welke onderzoeksinstelling deze zijn uitgevoerd. Ook is vermeld op welke onderwijssoort de aanvraag betrekking had.

28

Koepelorganisaties Om de onderzoeksvragen 1 en 2 te beantwoorden, is een groepsinterview gehouden met drie personen die gezamenlijk de NABS,VBS, CBOO, AOB en Besturenraad vertegenwoordigen. Onderzoekers en onderzoekmanagers Om onderzoeksvraag 2, 3 en 4 te beantwoorden zijn (groeps)interviews gehouden met onderzoekers en met onderzoeksmanagers van zes onderzoeksinstituten, zoals weergegeven in onderstaand overzicht. Tabel 2.2 Respondenten onderzoeksinstituten Onderzoeksinstituut IVA ITS ESoE Kohnstamm instituut GION Oberon

Aantal onderzoekers 3 3 2 3 1 2

Aantal managers 1 1 1 1 1 2

Totaal 4 4 3 3 2 4

Ten behoeve van de leesbaarheid spreken wij hier over onderzoeksmanagers, maar in feite wordt in de verschillende onderzoeksinstellingen de hiermee bedoelde functie verschillend aangeduid; bijvoorbeeld met coördinator, sectormanager, directeur onderzoek of projectleider. N.B. Aangezien een manager tevens onderzoeker kan zijn, is het totaal niet altijd de optelsom van de vermelde aantallen bij de functies. Instrumenten en analyse

Op basis van het theoretisch kader zijn semi-gestructureerde interviewleidraden opgesteld om de onderzoeksvragen te kunnen beantwoorden (zie bijlage 3, 4 en 5). Bij elk van deze thema’s zijn vragen geformuleerd die letterlijk zijn gesteld en daarnaast een aantal mogelijke ‘doorvraagvragen’. De interviewleidraad voor de aanvragers heeft betrekking op: • de aanleiding van het onderzoek (belang van het onderzoeksthema); • de uitvoering van het onderzoek (taakverdeling, knelpunten); • de impact van het onderzoek (feedback­functie, dialoogfunctie en condities);

29

•

de toekomst ten aanzien van onderzoek (plannen om in de toekomst betrokken te zijn bij onderzoek).

De vragen aan de koepelorganisaties waren gericht op hun rol als intermediair in de vraagarticulatie van scholen. Daarnaast stelden we hen de vraag hoe zij aankijken tegen de programmering van het Kortlopend Onderwijsonderzoek en vroegen we hen hoe de opbrengsten van het praktijkgericht onderzoek in een toekomstige programmering kunnen worden verhoogd. Voor de interviewleidraad voor de onderzoekers zijn de kwaliteitscriteria voor praktijkgericht onderzoek als uitgangspunt genomen (zie paragraaf 2.1). De vragen aan de onderzoekers hadden betrekking op de mate waarin en de wijze waarop onderzoekers erin slagen de onderzoeken in het kader van Kortlopend Onderwijsonderzoek te laten voldoen aan de basiscriteria (interne en externe validiteit, controleerbaarheid, cumulativiteit en ethische aspecten) en de bruikbaarheidcriteria (acceptatie en legitimiteit; begrijpelijke en toegankelijke onderzoeksresultaten). Tevens is gevraagd naar de impact van het onderzoek en naar door hen ervaren voordelen/winstpunten, alsmede nadelen/knelpunten van de organisatie van Kortlopend Onderwijsonderzoek en de indeling in programmalijnen. De interviewleidraad voor de onderzoeksmanagers heeft betrekking op hun beleid ten aanzien van praktijkgericht onderzoek en hoe zij aankijken tegen de programmering van het Kortlopend Onderwijsonderzoek. De interviews zijn gehouden door onderzoekers van KPC Groep en deze gesprekken zijn op band opgenomen. De interviews met aanvragers vonden in de helft van de gevallen telefonisch plaats. De geluidsopnamen zijn vervolgens uitgewerkt en als tekstbestand gebruikt voor analyse en verwerking met behulp van MAXQDA. De resultaten zijn samengevat en geïllustreerd met representatieve citaten.

2.4

Resultaten ervaringen van aanvragers3

Aanleiding van de onderzoeksvraag

Van de 19 aanvragers noemen zeven als aanleiding voor hun aanvraag de behoefte aan evaluatie, effectmeting of onderbouwing met betrekking tot al ingezette schoolont3  Een deel van deze resultaten is tevens opgenomen in de rapportage Gebruik van onderwijsonderzoek door scholen. Onderzoek naar de invloed van praktijkgericht onderzoek op schoolontwikkeling, door Ros e.a. (2013).

30

wikkeling. Voor vijf van de 19 aanvragers was het voortbouwen op eerder verricht onderzoek de directe aanleiding voor het formuleren van een aanvraag. Min of meer in samenhang daarmee wordt behoefte aan wetenschappelijke legitimering van (te nemen) beslissingen inzake schoolontwikkeling door enkele aanvragers expliciet genoemd. Slechts in een enkel geval vormt een probleem of handelingsverlegenheid de directe aanleiding tot het aanvragen van onderzoek. ‘De reden was dat we een aantal jaren op pad waren en wilden onderzoeken of dat wat we daar mee wilden - dat leraren niet alleen meer ruimte kregen maar dat ze die ook zouden nemen - of dat er aan het uitkomen was’ (Valuascollege). ‘Wij waren bezig met teamontwikkeling en de onderzoeksvraag ging daar over. Hoe kunnen we dat stimuleren? Hoe functioneert een groep docenten in een team? Waar moet je dan op letten? Wat is succesvol, wat minder succesvol? Dus de aanleiding was de invoering van de teamstructuur’ (Blariacumcollege). ‘Wij zijn innoverende scholen en wij hebben behoefte aan een wetenschappelijke basis die ons kwaliteit garandeert’ (SG Huizermaat). ‘En de vraag was hoe zouden we het beter kunnen doen. Dat is de onderzoeksvraag’ (Herman Wesselink College). Het indienen van de aanvraag gebeurde in bijna tweederde van de gevallen door een directeur of teamleider, al dan niet in overleg met leraren en/of beleidsmedewerkers. In ruim de helft van de gevallen was het thema van de vraagstelling een speerpunt of, zoals een aanvrager het formuleerde, core business van de school: ‘Het curriculum van het praktijkonderwijs bestaat voor ongeveer 50% uit arbeidstoeleiding en stage is daar in principe belangrijk bij’ (Hooghuislyceum). In die gevallen speelde het thema al langer of gedurende meerdere jaren binnen de school. In enkele gevallen was het thema weliswaar geen speerpunt binnen de school, maar kwam de vraag voort uit een recente ontwikkeling of discussie binnen de school of

31

de sector, zoals rond zelfsturing in het MBO of docentvaardigheden in het kader van de functiemix. De insteek van de onderzoeksvraag was in die gevallen niet schoolspecifiek en dat gold dan ook de verwachtingen ten aanzien van de uitkomsten van het onderzoek, die bijvoorbeeld gericht waren op good practices landelijk gezien of een bevestiging dat een bepaalde aanpak voor een specifieke groep leerlingen werkt. Het krijgen van bevestiging voor bepaalde aannames of legitimering van ambities werd overigens door de meeste aanvragers geformuleerd als de belangrijkste verwachting ten aanzien van de uitkomst van het onderzoek. ‘Een bevestiging dat de aanpak voor deze specifieke groep leerlingen werkt en dat het een positief effect heeft op ontwikkelingskansen van leerlingen’ (OSG Singelland). ‘De verwachting was of wij een verantwoorde aanpak gekozen hadden met het programma havisten competent’ (Cambreur College). ‘Je hoopt natuurlijk dat wat je ingezet hebt als positief uit het onderzoek komt’ (Blariacumcollege). ‘We wilden toch wel graag weten of dat wat wij deden het goede was’ (Symbion). ‘Dan heb ik gewoon meer bewijs in de hand; daarom doen we het, daarom is het belangrijk’ (PC basisschool de Ploeg). ‘Het speelt op al die scholen die in het landelijke netwerk zitten als speerpunt een rol, maar ook bij mijn eigen school. Het is voor ons een van de manieren waarop wij ons onderwijs onderscheiden in de regio’ (Anna van Rijn College). Uitvoering van het onderzoek

Onder uitvoering van het onderzoek wordt hier het proces verstaan van het uitwerken van een onderzoeksopzet op basis van de onderzoeksvraag, de planning en dataverzameling tot aan de analyse en oplevering van de resultaten, en de samenwerking tussen aanvrager en onderzoeker(s). Tien van de 19 aanvragers stellen dat de uiteindelijke onderzoeksvraag niet of nauwelijks afweek van de door hen geformuleerde vraag. Overwegend spreken zij

32

van een goede en gelijkwaardige dialoog met de onderzoeker en zij waarderen diens grote betrokkenheid bij het formuleren van de uiteindelijke onderzoeksvraag. In een enkel geval stelt de aanvrager dat de onderzoekers weliswaar ‘de neiging hadden het onderzoek zodanig te modelleren dat zij er ook wat mee kunnen’, maar dit had hen niet het gevoel gegeven er onvoldoende invloed op te hebben gehad. Ten aanzien van de methode van onderzoek en de uitvoering ervan, beperkt de betrokkenheid zich volgens de meeste aanvragers overwegend tot overleg over aanpassingen in bijvoorbeeld taalgebruik in vragenlijsten en de planning. Enkele aanvragers zeggen in dit verband dat het opzetten van het onderzoek wat hen betrof bij uitstek tot de expertise van de onderzoekers moest worden gerekend. In de meeste gevallen spreken aanvragers niettemin over een goede dialoog, regelmatig contact en een prettige samenwerking met de onderzoekers. Voor zover er sprake was van knelpunten, hadden die vrijwel steeds betrekking op de planning in de tijd of de continuïteit in de uitvoering van het onderzoek. ‘Het heeft met name te lang geduurd, er is ook personele wisseling geweest waardoor de onderzoeker het onderzoek moeilijk af kon krijgen. Maar er is op zich goed overleg over geweest’ (Helen Parkhurst Daltonschool). ‘Een onderzoek kost nou eenmaal tijd en docenten hebben het altijd druk. En dat botst dan een beetje’ (Blariacumcollege). ‘Afspraken met docenten die op het laatst worden verzet omdat het mensen niet uitkomt en zijn ze de vragenlijsten vergeten in te vullen. Dat vereist flexibiliteit en die hebben de onderzoekers opgebracht’ (Werkplaats Kindergemeenschap). ‘Het was een heerlijke wetenschapper, je moest af en toe zorgen dat hij op het rechte pad bleef om het zo maar eens te zeggen. Hij wilde nog wel eens uitweiden, maar ik vond het een prima samenwerking’ (Valuascollege). ‘Het zijn heel deskundige en prettige mensen’ (SG Huizermaat). ‘Wat mij betreft een compliment voor de onderzoekster om heel veel met ons te overleggen en ook de rapportage al op papier te zetten en dat met mij te bespreken, niks dan lof’ (OSG Singelland).

33

‘Ze (de onderzoekers, red.) kwamen ook vaak hier, dan trokken ze gewoon weer een halve dag uit om hier met ons te praten’ (ODBS Westerschool). Impact van het onderzoek

Met betrekking tot de feedbackfunctie van onderzoek blijkt dat in bijna alle gevallen de onderzoeksrapportage ter beschikking is gesteld aan betrokkenen en belanghebbenden binnen de school. In ongeveer de helft van de gevallen is tijdens een presentatie de onderzoeksrapportage besproken en toegelicht. Daarbij was dan een groep van direct belanghebbenden aanwezig, soms het hele schoolteam en in één geval vier scholen. Ook heeft via bijvoorbeeld (interne) nieuwsbrieven informatieverspreiding plaatsgevonden. In hoeverre de onderzoeksresultaten schoolbreed zijn gelezen en begrepen, is volgens de meeste aanvragers moeilijk te beoordelen, met name in het voortgezet onderwijs en het middelbaar beroepsonderwijs. Afhankelijk van de onderzoeksvraag wordt ten aanzien van resultaten, aanbevelingen en concrete handreikingen overwegend gesproken over bevestiging of onderbouwing van (al ingezet) beleid, inzicht en in die zin over steun in de rug om op een ingeslagen weg door te (kunnen) gaan. Over het algemeen bleek het lastig om concrete ontwikkelingen of beslissingen binnen de school(organisatie) een-op-een toe te schrijven aan (uitkomsten van) het onderzoek. Daar waar het onderzoek praktische tools of instructies had opgeleverd voor de (onderwijs)praktijk zijn die gebruikt. Als belangrijkste knelpunt bij het gebruik van de resultaten van het onderzoek wordt door aanvragers genoemd dat het moeite kost het op de agenda te houden, onder meer vanwege de waan van de dag, tijdgebrek en wisselingen in de organisatie. ‘Het onderzoek heeft wel een plek in het proces. Na het onderzoek is de school verder gegaan met waar het mee bezig was. Dat heeft wel invloed op ontwikkelingen gehad: aanpassen van lesgeven, jaarplanning, van handelingsplannen naar groepsplannen’ (Antoniusschool). ‘Het heeft bijgedragen aan de praktijk van het lesgeven’ (Aletta Jacobscollege). ‘De handigheid om met digiborden en met digitale materialen om te gaan is wel vergroot’ (ODBS Westerschool).

34

‘Het is nog steeds een levend document; het is geen papieren tijger geworden’ (Anna van Rijn College). Met betrekking tot de dialoogfunctie van onderzoek is gevraagd of het onderzoeksproces in de school tot dialoog of ander gedrag aanleiding heeft gegeven. De antwoorden lopen uiteen van ‘helemaal niet’ via ‘vooral de mensen die bij het onderzoek waren betrokken’ tot ‘veel uitwisseling tussen teams’. Dit hangt vooral samen met de mate waarin tussentijds terugkoppeling plaatsvond door de onderzoekers en het aantal mensen dat feitelijk bij het onderzoek betrokken was. De aanzetten tot dialoog en reflectie, die in de meeste gevallen door de onderzoeksrapportage zijn gegeven, zijn wisselend benut voor verbetering van de aanpak of de organisatie. Dit had enerzijds te maken met de mate waarin de onderzoeksvraag rechtstreeks betrekking had gehad op het primaire proces, anderzijds soms met het feit dat slechts een kleine groep mensen binnen de school bij het onderzoek was betrokken en/of dat de aandacht voor het thema sowieso was verslapt door het tijdsverloop of bijvoorbeeld personeelswisselingen. ‘Er was dus gewoon heel veel uitwisseling tussen teams over manieren waarop zij overleg hebben met hun collega’s’ (ROC Zadkine). ‘Ik denk wel dat dit erg heeft bijgedragen aan hoe mensen op dit moment met groepen en met kinderen aan het werk zijn, zonder dat ze dat zelf systematisch kunnen aangeven of zelfs maar zonder dat ze zich dat zelf bewust zijn. Maar het heeft daartoe zeker bijgedragen’ (Werkplaats Kindergemeenschap, Bilthoven). Condities en voor- en nadelen van onderzoek

In de gesprekken is gevraagd naar door de aanvragers ervaren voor- en nadelen van de organisatie van het Kortlopend Onderwijsonderzoek. Belangrijke succesfactoren die aanvragers noemen zijn dat de onderzoeksvraag direct uit hun praktijk voortkomt; het feit dat het onderzoek wordt uitgevoerd door een onafhankelijk onderzoeksinstituut; dat de organisatie van het onderzoek uit de handen van de school wordt genomen; het kortlopende karakter dat maakt dat resultaten betrekkelijk snel beschikbaar kunnen zijn; het contact met onderzoekers en de mate waarin dat contact verbreding en verdieping geeft aan het eigen denken.

35

‘Je kunt gewoon echt kijken wat er leeft binnen je eigen organisatie. Omdat het kortlopend is en binnen een jaar in principe afgerond kan zijn, kun je heel concreet met de vragen aan de slag en het levert ook meteen iets op waar je dan weer mee verder kunt. Het is te overzien’ (ROC Mondriaan). ‘Wat werkt is scholen die in welk verband dan ook zaken aan het ontwikkelen zijn, of wij dat nou zijn of die gymnasia die zich aan het profileren zijn, dat maakt niet uit’ (Werkplaats Kindergemeenschap). ‘Het is een heel actueel probleem en daar doe je onderzoek naar en je hebt binnen een aantal maanden in elk geval een analyse van het probleem. Dus je weet hoe je een en ander kan gaan aanpakken, waar je je op moet focussen’ (Drenthe College). Als knelpunten of nadelen van het Kortlopend Onderwijsonderzoek noemen de aanvragers dat het kortlopende karakter soms ten koste gaat van de diepgang en van de tijdsinvestering die het onderzoek van de school zelf vergt. Daarnaast vinden zij de tijdsplanning soms lastig, bijvoorbeeld als de dataverzameling rond de zomervakantie moest plaatsvinden. De tijd die lag tussen de aanvraag en de feitelijke start van het onderzoek noemen enkele aanvragers als nadeel. ‘Je levert voor 1 november de vraag in en het duurt tot in december eer je wat weet. En dan moet het eerste gesprek nog plaatsvinden met de onderzoeker. Voor je het weet, ben je vijf maanden verder. Dat is natuurlijk voor een school best wel lang’ (ROC Zadkine). ‘Het nadeel is dat bij dit type onderzoek de eigen inbreng daarin niet gefaciliteerd wordt en dat moet je je wel goed realiseren’ (Helen Parkhurst Daltonschool). ‘Het zou beter zijn bijvoorbeeld een half jaar uit te trekken om de onderzoeksvraag definitief te maken en dan het onderzoek uit te voeren. Dus een jaar voor de uitvoering, dat zou beter zijn’ (Symbion).

36

2.5

Ervaringen en meningen van de koepelorganisaties

Rol bij vraagarticulatie

Waar scholen of besturen zich wenden tot de organisaties met vragen, gebeurt dat veelal naar aanleiding van voorlichting en in ledenvergaderingen. Op verzoeken om aanvragen te helpen formuleren, is door hen positief gereageerd, zeker als die (aan-) vragen aansloten bij thema’s op de eigen onderzoeksagenda. De organisaties dienden op basis van hun contacten met het onderwijsveld ook zelf aanvragen in die aansloten bij actuele thema’s. ‘We zijn ook wel het land in geweest om wat voorlichting te geven bij leden die eerst eens wilden weten wat het nou was en wat de mogelijkheden waren en ook om misverstanden weg te nemen.’ ‘Omdat het een geledingenorganisatie betreft met directeuren PO en VO, onderwijspersoneel PO, onderwijspersoneel VO, plus natuurlijk HAVO en GVO, dat waren natuurlijk ook verrijkende elementen, ontstonden ook in die discussie vragen.’ ‘Dat waren dan meestal aanvragen waar we op kwamen in de netwerkcontacten. Dat speelt er een rol bij, maar ik stelde net al dat je daar ook contact met scholen had waardoor je dat een beetje voedde.’ ‘Je hebt het voorrecht in een wereld te verkeren van soorten specialisten met vele invalshoeken en dat vind ik ook het verrijkende van dit werk. Het is de unieke kans om vanuit verschillende invals­ hoeken met deze materie bezig te zijn en die in vragen vorm te geven.’ Rol bij verspreiding resultaten

De resultaten van uitgevoerde onderzoeken zijn in de onderscheiden media van de koepelorganisaties onder de aandacht gebracht en zij zijn toegelicht en besproken op bijvoorbeeld netwerkbijeenkomsten. ‘Als er toch een uitvoering was van een thema dat er één van ons resonansgroepje was geweest, dan nodigen wij de onderzoeker ook uit als het rapport er lag. Dat is dus wat er met dat onderzoek naar burgerschap is gebeurd. Een bijeenkomst van die resonansgroep,

37

waar dus ook alle schoolleiders kennis van namen en dat ook nabestelden.’ ‘Dus een wat meer omvattend project, dat we daar een bijeenkomst over beleggen en daar nodigen we dan schoolleiders voor uit, van wie we denken dat ze interesse kunnen hebben voor dit type onderzoek en dat wordt dan ook gepresenteerd.’ ‘Ik heb, denk ik, ook wel eens een extra doosje boekjes besteld van een onderzoek, want die hebben we echt kunnen uitdelen. Het was buitengewoon interessant voor de thematiek.’ Opvattingen over procedure

Over de programmalijnen en de wijze van vraagsturing zijn de koepelorganisaties tevreden. De laagdrempeligheid wordt zowel door de brede programmalijnen als door de wijze van aanvragen indienen gewaarborgd, wat door de respondenten als een pluspunt wordt gezien. Als een pluspunt wordt ook het hanteren van raamcontracten met onderzoeksallianties voor vier jaar genoemd, waardoor specialisatie en expertise binnen de onderzoeksinstellingen konden worden gewaarborgd. ‘Ze (de programmalijnen, red.) zijn wel steeds weer een discussie geweest, maar we zijn uiteindelijk toch op het stramien van deze drie blijven zitten.’ ‘Ze zijn in eerste plaats natuurlijk vrij breed, zeker als je de toelichting er op leest. Daar valt heel veel onder, dan zijn er niet zo heel veel lacunes.’ ‘Ik denk dat je een aantal van die belangrijke ontwikkelingen ook best onder de kopjes van die programmalijnen kunt plaatsen, zeker omdat ze ook zo breed uitgewerkt zijn. Nu denk ik dat ze best goed de spelende thema’s dekken.’ ‘Ik vind die wat open programmalijnen, die geven naar mijn mening meer ruimte voor articulatie door scholen zelf.’

38

‘Het onderwijsonderzoek moet echt van onderop gestimuleerd worden, de onderzoekende school, onderzoekende leerkrachten, dat wordt van belang geacht en dat is ook zo denk ik. Nou, dan is het juist van belang dat ze niet bij voorbaat al in een bepaalde mal worden gestuurd.’ ‘Het zijn ook gerenommeerde instellingen die daar in participeren, dus die borgen vaak de kwaliteit.’ Aanbevelingen en condities

Op de vraag hoe de opbrengsten voor de scholen in de toekomst zouden kunnen worden verhoogd, wordt met name genoemd de optie om aanvragers, meer dan nu het geval is, vooraf te laten expliciteren wat met de opbrengst van het beoogde onderzoek zal worden gedaan. Meer nadruk geven aan een brede verspreiding van de resultaten is een andere aanbeveling die wellicht zou kunnen leiden tot een verhoging van de opbrengsten. De koepelorganisaties zouden daarbij een rol kunnen spelen en wellicht ook de onderzoeksinstellingen zelf. ‘Een aanvraag moet dan gewoon door een bredere groep gesteund worden.’ ‘Zo zou je in de procedure aanvragen kunnen beoordelen op de mate waarin je ook dit deelt in het netwerk met andere scholen die ook geïnteresseerd zijn.’ ‘Als scholen zelf in staat zijn om ook anderen erbij te betrekken: wat is straks de waarde als het onderzoek er ligt en de onderzoeks­ resultaten; die is groter als het gedragen wordt door meer scholen of een intermediaire organisatie.’ ‘Waarom zou een school bezig moeten zijn met hoe help ik de sector vooruit? Maar onze rol is nou net hoe we er bekendheid aan kunnen geven, want we zijn een netwerkorganisatie.’ ‘Ik denk ook dat het in de formulering zelfs zo ver kan gaan dat het straks bij de toewijscriteria ook een soort verplichting is die dat onderzoeksinstituut op zich neemt, om bij de uitvoering van het onderzoek ook maximaal de kennis en expertise van de aanvrager zelf te benutten.’

39

‘Je zou misschien wat meer committent van het bevoegd gezag kunnen vragen als criterium.’

2.6

Ervaringen en meningen van onderzoekers

Met de onderzoekers zijn groepsgesprekken gevoerd over basis- en bruikbaarheidcriteria van praktijkgericht onderzoek. Ook is gevraagd naar hun oordeel over de organisatie van het Kortlopend Onderwijsonderzoek. Voldoen aan basiscriteria

Het voldoen aan basiscriteria als interne en externe validiteit, controleerbaarheid, cumulativiteit en ethische aspecten is voor vrijwel alle onderzoekers een vanzelfsprekendheid. Dat neemt niet weg dat zij nogal eens tegen specifieke problemen aanlopen die te maken hebben met bijvoorbeeld geringe aantallen respondenten. Dit wordt door een meerderheid van de onderzoeksinstituten expliciet genoemd als een risicofactor ten aanzien van de externe validiteit. Zij trachten dit risico te ondervangen door bijvoorbeeld toch zoveel mogelijk respondenten te betrekken of beproefde meetinstrumenten in te zetten waarmee vergelijkbare onderzoeken zijn uitgevoerd. ‘Maar het feit dat de problematiek herkenbaar is, wil nog niet zeggen dat de antwoorden op de vraag, de oplossing, dat die hetzelfde is op die andere scholen. En daarom vind ik wel dat waar N=1 is, probeer er dan waar het kan te zorgen dat je meer dan alleen die ene school in het onderzoek betrekt’ (onderzoeker IVA). ‘Als er niet twee of drie scholen waren geweest die gezegd hadden: ‘wij willen hier mee in zee en zorgen er samen voor dat dit instrument er komt’, dan hadden we het niet gered want praktijkonderwijs is zo’n apart geval onder de scholen’ (onderzoeker ITS). ‘Dus omvang speelt zeker een rol, methodologische kwaliteit niet per se. Als je het netjes hebt gedaan, zou dat best wel de toets der kritiek kunnen doorstaan. Maar ja, je had bijvoorbeeld geen mooie controlegroepen of je had geen, noem maar eens wat, de N is gewoon te klein, ja, het is gewoon de omvang’ (onderzoeker Kohnstamm Instituut).

40

‘Omdat het vaak erg kleinschalig en selectief is in keuze van scholen, dan zit je altijd met de generaliseerbaarheid en dat is dan ook vaak problematisch. Je doet heel specifiek, in een bepaalde context onderzoek. Het is de vraag in hoeverre je die context kan generaliseren’ (onderzoeker GION). Ten aanzien van transparantie en aansluiten op en voortbouwen aan de ‘body of knowledge’ doen zich volgens de meeste onderzoekers weinig specifieke problemen voor. Bruikbaarheidcriteria

Het komen tot een onderzoekbare onderzoeksvraag en de betrokkenheid vanuit de scholen daarbij, krijgt bij vrijwel alle onderzoekers veel aandacht. In de eerste fase van het onderzoek wordt daar dan ook expliciet bij stilgestaan. ‘Je ziet duidelijk dat ze moeite hebben om de goede vraag te stellen en daar kom je vaak toch pas echt helemaal achter op het moment, soms heb ik het gevoel pas op het moment dat je start’ (onderzoeker IVA). ‘In de dialoog, in het voortraject. Ik denk dat in het voortraject heel wat gebeurt’ (onderzoeker IVA). ‘Als het gaat om die dialoog dan hebben we het vooral over het voortraject, maar eigenlijk gedurende het hele jaar, dat je in het begin al je projectorganisatie als het ware deugdelijk neerzet. Dat je al vrij snel de contactmomenten inplant; dat je weet of het nu gaat om tussentijdse bijstelling of die betrokkenheid, dat je het echt samen doet, vind ik wel een charme van dit type onderzoek’ (onderzoeker IVA). ‘Ik denk dat het in de beginfase wel heel belangrijk is om veel met elkaar te overleggen en duidelijk te maken bedoel je dit, als je literatuur leest, gewoon om het daar over te hebben. Ja, ik denk communicatie is het allerbelangrijkste, overleg daarover en openheid aan beide kanten’ (onderzoeker ESoE). ‘Dus het lukt niet altijd in die vraagverheldering om het echt in één keer scherp te krijgen. Het komt omdat mensen niet zo scherp

41

denken en dat ze second thoughts hebben en dat het voortschrijdend inzicht is. Dat hoort erbij. Dat is inherent aan dit soort onderzoeken’ (onderzoeker Kohnstamm Instituut). Of aanvragende scholen ook bij de uitvoering daadwerkelijk worden ingeschakeld hangt onder meer af van de vraag en het type onderzoek, maar hun betrokkenheid gedurende het onderzoek wordt zonder uitzondering van groot belang geacht. ‘Ik denk ook dat je het niet redt als niet binnen de organisatie die het aangevraagd heeft, je niet iemand hebt die er zich mee bezighoudt. Als dat niet zo is dan kun je het ook eigenlijk vergeten’ (onderzoeker ITS). ‘Dat ze bijvoorbeeld voor contactpersonen op scholen zorgen of aanleveren van gesprekspartners, uittesten van vragenlijsten, hangt er helemaal vanaf wat voor functie iemand heeft. Binnen de organisatie dan laten uittesten, maar echt het onderzoek uitvoeren, dat niet’ (onderzoeker ITS). ‘De scholen voeren zelf geen onderzoeksactiviteiten uit, maar lezen wel conceptversies van instrumenten en rapportage tegen’ (onderzoeker Oberon). ‘In Venlo zijn docenten betrokken geweest bij het ontwikkelen van een vragenlijst door zelf een stukje literatuurstudie te doen en mee te denken over de vraagstellingen. Dus ze hebben ook echt een actieve bijdrage geleverd aan het ontwikkelen van het Instrument’ (onderzoeker IVA). Het op begrijpelijke en toegankelijke wijze rapporteren over de onderzoeksresultaten is voor vrijwel alle onderzoekers een belangrijk kenmerk van het Kortlopend Onderwijsonderzoek. ‘Ik vind Kortlopend Onderwijsonderzoek altijd wel bij uitstek iets wat zo anders is dan bijvoorbeeld een artikel in een wetenschappelijk tijdschrift, want je schrijft het zo direct voor de praktijk dat je toch, tenminste ik in ieder geval wel, mijn schrijftaal daar wel echt op aanpas. Want het moet taal zijn die de docenten begrijpen en

42

dat is ook weer anders dan dat we het apart schrijven voor OCW bijvoorbeeld, je schrijft toch wel anders vind ik’ (onderzoeker IVA). ‘Het enige wat ik als onderzoeker kan doen denk ik, is het zo helder mogelijk en toegankelijk mogelijk opschrijven’ (onderzoeker ITS). ‘Nou, ik denk toch wel door de praktische insteek, zeker vanuit ons gedacht, dat je toch ook echt schrijft voor die doelgroep, je schrijft eigenlijk wel voor onderzoekers maar je schrijft vooral voor mensen in de school en ook met duidelijke aanbevelingen en dat het herkenbaar is’ (onderzoeker ESoE). ‘Ik denk in ieder geval dat je naast het rapport ook andere kanalen moet gebruiken, een beetje op de website, een leuk stukje moet maken waar je heel erg op de resultaten inzoomt, en dat je iets in Didactief moet doen. Dus dat rapport wijst zich natuurlijk ook gewoon, daar zitten verplichte onderdelen in die het voor een deel ook wat moeilijker leesbaar maken, maar ik denk ook wel goed letten op hoe je schrijft, hoe je dingen gaat uitleggen en citaten, dat maakt toch dat het wel aanspreekt’ (onderzoeker Kohnstamm Instituut). Gedurende de uitvoering van het onderzoek en naast het opleveren van de onderzoeksrapporten worden regelmatig de resultaten van onderzoeken ook op andere toegankelijke wijzen gepresenteerd en toegelicht met het oog op bruikbaarheid en dialoog. ‘Ja, en dan zie je mensen soms in die bijeenkomsten, dat vind ik altijd van die mooie momenten: ja daar gaat het om, ja hier hebben we wat aan. Of in die sessie zelf zie je ook allerlei uitwisseling, dialoog, kennisvermeerdering’ (onderzoeker IVA). ‘Dus hoe interpreteer je hier de resultaten van die monitor. Als daar een drietje staat en het gemiddelde is een viertje, wat betekent dat dan? Is dat dan belangrijk of niet’ (onderzoeker IVA). ‘En we hebben bijvoorbeeld ook extra tabellen en extra teksten aangeleverd waar ze dan intern, binnen de groep die daarmee aan de slag ging, verder mee konden en daar dialoog over konden hebben, die dan weer niet in de rapportage stonden’ (onderzoeker IVA).

43

‘In de vorm van de conferentie was het heel duidelijk erg georganiseerd ook echte dialoog, dus ik had gelegenheid iets te vertellen over het project en ook inhoudelijk over termen als disposities en persoonlijke professionaliteit en daarna was er gelegenheid tot discussie. Ja, en in kleine groepjes aan de slag met zo’n opdracht, dus dat was echt georganiseerd op die manier’ (onderzoeker ESoE); De impact van het onderzoek op de school zelf en met name de mate waarin de onderzoeksresultaten impact hebben op de school(ontwikkeling) is voor de onderzoekers overwegend een lastig te beantwoorden vraag, aangezien zij na de afronding van het onderzoek uit beeld verdwijnen. Dit laatste vinden zij over het algemeen weliswaar jammer, maar het is inherent aan de wijze waarop het Kortlopend Onderwijsonderzoek is ingericht, aldus de onderzoekers. ‘Ja kijk, zeker waar het gaat om bruikbaarheid is natuurlijk het bijzondere van het Kortlopend Onderzoek dat het maar een jaar duurt. Dus dan ben je ook weer weg. Terwijl het dan in de praktijk eigenlijk nog misschien wel zijn effect moet hebben’ (onderzoeker IVA). ‘Een aantal mensen wilde het ook gaan gebruiken, of ze dat dan bij thuiskomst gaan doen, nee helaas heb ik er geen mailtjes over gehad, of vragen. Dat was wel leuk geweest. Maar of er iets mee gebeurd is, is ook weer afhankelijk van het feit of er een vragende instantie of persoon binnen die organisatie is’ (onderzoeker ITS). ‘Dan komt er wel iets op gang in de school. Maar of dat dan daad­ werkelijk leidt tot veranderingen binnen die school, dat ja, dat is niet aan ons denk ik’ (onderzoeker ITS). ‘Dat vraagt wel weer om een context en aansturing en al die dingen die bij implementatie een rol spelen. Maar dat is dan de bijdrage die je daar als onderzoeker aan kan leveren en dat is maar beperkt, want je hebt niet veel tijd. Je kunt een klusje doen voor de school of een aanvrager, dan moet je een antwoord geven op een vraag die ze hebben. Maar hoe ze daar verder mee gaan werken, dat is aan hen. Daar ben je dan niet meer bij betrokken’ (onderzoeker Kohnstamm Instituut).

44

‘Of ze er wat mee doen, dat hangt niet zo erg af van de onderzoeker en het onderzoek, maar van diegene die het aanvraagt en daar heb je uiteindelijk toch niet de regie in als onderzoeker. En dat komt natuurlijk ook omdat je weer vertrekt als onderzoeker. Op het moment dat dat gaat spelen, dan ga je weer naar je volgende onderzoek. Dus die continuïteit die kun je eigenlijk niet waarmaken’ (onderzoeker Kohnstamm Instituut). ‘De impact van het proces op de school; dat durf ik niet te zeggen. Het blijft dat scholen na het onderzoek aan de slag moeten gaan met de vertaling van de uitkomsten naar de praktijk van de school. We weten allemaal dat dat geen gemakkelijk proces is. Daarin moeten ze hun eigen weg vinden’ (onderzoeker Oberon). Organisatie van Kortlopend Onderwijsonderzoek

Aan de onderzoekers is gevraagd wat zij winst- en knelpunten vinden van de organisatie van het Kortlopend Onderwijsonderzoek, zoals het indienen van aanvragen, het komen tot een onderzoeksopzet en de uitvoering binnen een jaar. Een belangrijk winstpunt dat door de meeste onderzoekers wordt genoemd, is het feit dat het om praktijkgericht onderzoek gaat dat individuele scholen mogelijkheden biedt om eigen vragen te laten onderzoeken. Het in dialoog met de aanvrager komen tot een onderzoeksopzet wordt door de onderzoekers ook als winstpunt genoemd. ‘Als je kijkt naar de kracht van kortlopend onderzoek, zit die natuurlijk in het praktijkgerichte maar ook in het helpen structureren. Dus in zo’n planfase ook hoofd- en bijzaken structureren en het dan ook nog doelgroepgericht opschrijven’ (onderzoeker IVA). ‘Ik denk dat het op een bepaalde manier verfrissend is voor mensen om ook een keer in aanraking te komen met de academische wereld en met mensen die vanuit het onderzoeksperspectief denken’ (onderzoeker ESoE). ‘Aan de andere kant denk ik wel dat dit soort onderzoek wel dichter bij de scholen is dan allerlei andere vormen van onderwijsonderzoek. In die zin dat je ze wel meer bereikt’ (onderzoeker Kohnstamm Instituut).

45

‘Het voordeel is dat het heel dicht tegen de praktijk aan ligt, dat het praktijkonderzoek is en dat je het gevoel hebt dat mensen er iets aan hebben. Dat is bij wetenschappelijk onderzoek vaak iets abstracter’ (onderzoeker GION). ‘Dat je makkelijk medewerking krijgt, dat je makkelijk scholen in komt, dat mensen echt geïnteresseerd zijn in wat je komt doen. Zeg maar een coöperatieve houding’ (onderzoeker GION). ‘Juist scholen, omdat die anders achter het net vissen. Dat je als éénpitter ook een kans maakt is een pluspunt’ (onderzoeker Oberon). Een knelpunt dat onderzoekers veel noemen is de beperkte tijd die voor het onderzoek staat en de beperkingen die dat oplevert uit een oogpunt van diepgang en implementatiemogelijkheden. ‘Er mist wel een stuk nog in de implementatie daarna. Ik zou zelf nog wel willen dat je nog vaker daarna uitgenodigd werd om daar dus ook mee te denken, toe te lichten’ (onderzoeker IVA). ‘Dat je soms onderzoeken krijgt of mag gaan doen, waarbij feitelijk nog niet zo heel veel in de praktijk gebeurt en dan wordt het gelijktijdig een soort van implementatietraject en een evaluatie en dan vind ik een jaar, daarmee doe je concessies aan generaliseerbaarheid, aan de validiteit, want je weet niet zeker meer wat datgene is wat jouw antwoord heeft beïnvloed. En dat vind ik wel een nadeel, maar dat heeft dus twee kanten. Dat is enerzijds het nadeel van een jaar, anderzijds het nadeel van het type vraag en de aanvrager en hoe die iets heeft geformuleerd. Soms zou het handig zijn als het langer kon dan een jaar’ (onderzoeker IVA). ‘Het is natuurlijk een Kortlopend Onderzoek met een zeer beperkt budget. Het komt er meestal op neer dat je zo’n onderzoek in 40 dagen moet draaien. En er wordt heel veel geobserveerd en geïnterviewd, en je moet ook veel bezoeken afleggen en dan blijft er voor dat natraject bijzonder weinig tijd over. Meestal kom je al tijd tekort om het onderzoek een beetje voor elkaar te krijgen. Dat is wel een groot probleem, vind ik van die onderzoeken’ (onderzoeker GION).

46

Toekomst en condities

Tijdens de gesprekken met onderzoekers zijn - in relatie tot winst- en knelpunten van de organisatie van het Kortlopend Onderwijsonderzoek - impliciet of expliciet ook aanbevelingen gedaan en suggesties gegeven voor toekomstige inrichting van praktijkgericht onderzoek. Zo wordt de indeling in brede programmalijnen door een aantal onderzoekers gewaardeerd vanwege de laagdrempeligheid, terwijl anderen de keuze voor een indeling in thema’s bepleiten om de herkenbaarheid voor scholen te vergroten. Aanvragers zouden zich dan meer focussen op een gerichte vraagstelling. Over het algemeen wordt de brede toegankelijkheid voor aanvragers als belangrijk pluspunt van de (huidige) programmalijnen genoemd. ‘Programmalijnen zijn laagdrempelig; als je het klein voor scholen wilt houden zijn thema’s misschien duidelijker voor de herkenbaarheid. Het overzicht van eerder gedaan onderzoek (op de site, red) geeft een goede indicatie om scholen over de streep te trekken’ (onderzoeker Oberon). ‘Ik weet niet zo goed wat ik daarvan vind, maar ik denk toch, het is niet zo dat die programmalijnen eerst worden bekeken en dan de vraag wordt geformuleerd, het is altijd andersom. En je probeert altijd je vraag onder een van die programmalijnen onder te brengen. maar dat lukt eigenlijk altijd wel’ (onderzoeker ESoE). Verschillende onderzoekers refereren tijdens het gesprek aan het feit dat het formuleren van goede, onderzoekbare vragen voor veel scholen lastig is. Zij suggereren dat een verbinding met onderzoekers in een eerdere fase van de aanvraagprocedure, wellicht ook gezamenlijk optrekken in het aanvragen van onderzoek wenselijk zou zijn. Daarnaast zouden aanvragers bijvoorbeeld ook zelf hun onderzoeksinstituut moeten kunnen kiezen ‘Je ziet wel welke aanvragen zijn ingediend waarbij al is meegedacht door een onderzoeksbureau. Ik vind wel dat daar een groot kwaliteitsverschil in zit’ (onderzoeker IVA). ‘Ik zou het wel goed vinden dat de aanvraag ook uit naam van de school is, maar mijn ervaring is vooral dat de aanvragen die gebeuren voor basisscholen, dat die heel weinig ervaringspraktijk hebben met überhaupt dit soort aanvragen en dat dat, het kost

47

gewoon tijd, niet effectief is om ze dat zelf te laten doen’ (onderzoeker ESoE). ‘Het is nu zo individueel, maar schooldirecteuren of mensen bij schoolorganisaties (….) kunnen eigenlijk geen goede vragen stellen. Daar zou je ze bij moeten helpen’ (onderzoeker GION). ‘Geef scholen de kans zelf hun onderzoeksinstituut te mogen kiezen; ook in verband met de klik en het opstellen van een plan’ (onderzoeker Oberon).

2.7

Ervaringen en meningen van onderzoeksmanagers

Met de onderzoeksmanagers van zes onderzoeksinstellingen zijn in (op één na) alle gevallen individuele interviews gehouden. In één geval nam de onderzoeksmanager (ook) deel aan het groepsgesprek met de onderzoekers. In die gesprekken ging het over het beleid van de instituten ten aanzien van praktijkgericht onderzoek, hun oordeel over de programmering van het Kortlopend Onderwijsonderzoek en over de wijze waarop de opbrengsten van praktijkgericht onderzoek in de toekomst, naar hun mening, zouden kunnen worden verhoogd. Beleid ten aanzien van het Kortlopend Onderwijsonderzoek

Het aandeel van het door de verschillende instellingen uitgevoerde onderzoek dat als praktijkgericht onderzoek kan worden bestempeld, varieert van 10% tot 80%. Elke onderzoeksmanager benoemt desgevraagd specifieke kwaliteiten van het instituut ten aanzien van praktijkgericht onderzoek. Samengevoegd leveren die kwaliteiten als het ware een ideaalprofiel van een praktijkgericht onderzoeker: • de taal spreken van de praktijk; goed kunnen structureren (IVA); • weten waar je informatie kunt halen en iets van het beleid weten (ITS); • sterke wetenschappelijke inslag, gewend aan klant-is-koning (ESoE); • veel ervaring en gevoeligheid voor wat de klant wil (Kohnstamm Instituut); • denken over hoe innovaties echt te verankeren (GION); • op het snijvlak staan van onderzoek, begeleiding en advisering (Oberon). De programmering van het Kortlopend onderwijsonderzoek

De indeling in brede programmalijnen wordt door vrijwel alle onderzoeksmanagers

48

positief gewaardeerd, met name het feit dat die laagdrempelig zijn. Enige aanscherping of de keuze voor een thematische indeling wordt door een enkeling wel in overweging gegeven. ‘Ik vind het wel mooi dat vrij brede thema’s zijn gekozen, daar stond ik ook achter en daar sta ik nog steeds achter. Ik vind dat een goed idee’ (manager GION). ‘Ik zou er vier thema’s van maken. Ik vind nu dat de professionaliteit van de docent niet herkenbaar genoeg is. Die zit of bij het primaire proces of bij de organisatie, maar hij is nergens als centraal thema aan de orde’ (manager Oberon). ‘Wetenschappelijk gezien ben ik voor programmalijnen en voor thema’s. Omdat dat gemakkelijker in de programmering is en dat is gemakkelijker bij aanbesteding. Dan kun je makkelijker kijken welke mensen voldoende deskundig zijn op een bepaald gebied’ (manager Kohnstamm Instituut). ‘Ja, ik ben altijd meer voor een beetje vaag, in die zin dat je ook wat meer speelruimte hebt en dat is speelruimte naar twee kanten, want je ziet vaak als je het specifiek maakt, dan kan het zijn dat iemand zegt dat het daar niet inpast’ (manager ITS). ‘Als ik die thema’s naast elkaar zie, dan vind ik ze niet gelijkwaardig. Een groot voordeel van algemene thema’s is dat je er van alles onder kan vatten’ (manager ESoE). Wijze van vraagsturing

Het vraagarticulatieproces met de aanvrager wordt door vrijwel alle onderzoeksmanagers als een essentieel onderdeel gezien. Zij onderstrepen dat het voor de meeste aanvragers heel lastig is om een goede, onderzoekbare vraag te formuleren. Diverse keren wordt als alternatieve mogelijkheid genoemd dat scholen al in een voorstadium in contact met onderzoekers vragen zouden kunnen exploreren, ook om de generaliseerbaarheid van uitkomsten van dit type praktijkgericht onderzoek te vergroten. ‘Je zou er ook voor kunnen kiezen dat scholen in combinatie met onderzoeksinstellingen kunnen aanvragen’ (manager GION).

49

‘Dat zou dan misschien kunnen door je oor te luisteren leggen in het veld, en door iets meer te specificeren. Dan is het mogelijk vragen rond een bepaald thema te identificeren. Dan zou je bijvoorbeeld ook beter kunnen kijken of je daar iets gezamenlijks op zou kunnen zetten. Dan haal je ook weg dat het allemaal op een school plaatsvindt, want dat vind ik soms weleens het jammere dat het zo schoolspecifiek blijft en dat vaak de kennis alleen maar in die school blijft’ (manager Oberon). ‘Voordeel is dat je betere onderzoeksvragen krijgt, want er zijn natuurlijk vaak aanvragen waarvan je zegt: ‘wat is dit nou weer voor een onderzoeksvraag’. Nadeel is dat het dan misschien te snel vervormd wordt tot de vraag die de onderzoeker interessant vindt en niet de vraag die de school eigenlijk beantwoorden wil. Ik weet niet hoe je dat moet oplossen, want daar zit je altijd tussenin’ (manager Kohnstamm Instituut); ‘Die laagdrempeligheid is mooi, ik denk dat scholen er echt iets mee kunnen, het voortraject is natuurlijk belangrijk, ja en die overdraagbaarheid dat blijft een issue’ (manager IVA). Planning

De onderzoeken kennen een looptijd van maximaal een jaar. Op zichzelf is dat volgens de meeste respondenten goed. Al maken zij daar vrijwel zonder uitzondering de aantekening bij dat dit de omvang en reikwijdte van een onderzoek per definitie beperkt. Daar staat tegenover dat, volgens hen, voor de aanvragers die looptijd van een jaar soms juist erg lang is. ‘Op zich vind ik het goed. Alleen het lastige eraan is, en daar heb ik ook geen oplossing voor, dat het voor aanvragers heel lang duurt voordat er eindelijk iets komt. Zij moeten voor 1 november een aanvraag indienen en dan ligt er 1 februari een definitief plan. Nou, dat is al heel erg lang’ (manager Oberon). ‘Kijk, de scholen zijn er ook niet bij gebaat om heel lang te moeten wachten, want ze vinden een jaar al lang over het algemeen’ (manager ITS).

50

‘Je merkt soms dat je tegen dingen aanloopt in een onderzoek waardoor je toch altijd te krap begroot. En dat is met name een probleem met onderzoeken die op het einde van het jaar aflopen, want dan wil je nog weleens net over het jaar heen gaan. Maar tot nu toe lukt het ons wel heel aardig om dat te doen. Maar het is soms krap’ (manager ESoE). Allianties

Het opereren in onderzoeksallianties wordt door de meeste onderzoeksmanagers als een pluspunt gezien als het gaat om het gebruikmaken van elkaars deskundigheid en netwerken. Het uitgaan van een raamcontract geeft bovendien de mogelijkheid voor specialisatie binnen de alliantie. De tijd die in afstemming en samenwerking gaat zitten, wordt daarentegen soms als nadeel genoemd. ‘(..) Die hebben veel contact over de vraagstukken die voorlagen en nou heb je die projecten verdeeld. En ook elkaar geholpen als het even niet liep’ (manager Kohnstamm Instituut). ‘Ja, ik ben wel voor allianties in die zin, het doet ook iets met je eigen deskundigheid’ (manager IVA). ‘Zij hadden gewoon heel veel meer ervaring met dit soort onderzoek. Dus je ziet dan dat zij een aantal procedures hebben, maar ook een aantal netwerken waar je dan handig gebruik van kan maken en omgekeerd hadden wij dat ook. We hadden andere netwerken, we hadden dan weer het voordeel dat we vanuit het domein heel gemakkelijk dingen konden inbrengen en je ziet toch dat je met twee meer achtergrondinformatie kunt afdekken en een groter netwerk kunt maken, dus dat zijn allemaal voordelen. Ja, het is soms juist vanwege die tijdsdruk heel lastig om dat allemaal heel goed afgestemd te krijgen. Dan merk ik dat het in de praktijk heel lastig is om de alliantie ook echt een alliantie te laten zijn, dat vind ik wel eens jammer’ (manager ESoE). Opbrengsten van praktijkgericht onderzoek verhogen

De samenwerking tussen onderzoeksinstituten en scholen zou volgens de respondenten, met het oog op een optimaal leerproces op de scholen en gebruik van de onderzoeksresultaten, kunnen worden verbeterd door bijvoorbeeld scholen te koppelen aan

51

onderzoeksinstituten die samen aanvragen. Daarnaast zou het volgens hen goed zijn de mogelijkheden voor overdracht van de resultaten uit te breiden, bijvoorbeeld door een deel van het budget daarvoor vrij te houden of te bestemmen. In dat verband zouden tevens meer expliciete criteria voor honorering van aanvragen kunnen worden gesteld, zoals co-financiering of het inbrengen van een netwerk van scholen die ook belangstelling hebben voor de resultaten. ‘Verspreiding gaat niet zomaar, maar dat is een klus op zich. En ik denk dat dat onderschat wordt. (…) in vakpublicaties, maar daarmee wordt een idee niet verspreid of op grotere schaal bruikbaar gemaakt. Daar is een hele slag voor nodig en dat is een voorwerp voor onderzoek naar mijn idee’ (manager GION). ‘Dus geen grote dingen, geen grote schoolconcepten bestuderen of iets dergelijks, maar echt dat onderdeel. Ja, en probeer het zo te brengen dat ze ook direct het nut ervan kunnen ervaren’ (manager GION). ‘Je worstelt dus een beetje met de tweeslag van de schoolspecifieke en schooloverstijgende vraagstukken. En de onderwijsinspraak in vraagstukken lijkt me in ieder geval een voorwaarde’ (manager Kohnstamm Instituut). ‘Of je laat de school samen met de begeleiders zo’n aanvraag­ formulier invullen. En je zegt dat dat garant moet staan voor het feit dat er daarna iets mee moet gebeuren’ (manager Kohnstamm Instituut). ‘Ik kan me bij wijze van spreken ook voorstellen dat scholen, maar dat is een toekomstscenario, dat scholen weten: als jullie een vraag hebben waar je onderzoekscapaciteit bij nodig hebt, dan is dit bureau jullie aanspreekpunt’ (manager IVA). ‘En het zou misschien ook mede moeten worden opgepakt door een of ander pedagogisch centrum of zo, om het echt te laten landen’ (manager ITS). ‘Wat ik me kan indenken is dat in de toekomst het budget niet helemaal opgaat aan onderzoek, maar dat bij elk onderzoek een

52

apart deelbudgetje wordt gemaakt voor implementatie in de praktijk, van de organisatie, hoe je het ook wilt noemen. Dat dat gedeelte naar de scholen gaat, maar dat de scholen in een aanvraag ook moeten aangeven hoe ze daar gebruik van gaan maken’ (manager ESoE).

53

54

3

Conclusies en aanbevelingen

3.1

Opzet en werkwijze

Het Kortlopend Onderwijsonderzoek heeft als doel een laagdrempelige voorziening voor scholen en aanverwante organisaties te zijn, waarin door middel van onderzoek antwoorden worden verkregen op vragen die leven in het veld. De uitgangspunten die voor de opzet en organisatie zijn gehanteerd, waren erop gericht de kans op daadwerkelijk relevante en bruikbare resultaten voor de onderwijspraktijk te vergroten. Dit heeft geleid tot een tamelijk stabiel aantal aanvragen van rond de 50 per jaar, waarbij steeds ongeveer tweederde van de aanvragen moest worden afgewezen. Uit het voortgezet onderwijs kwamen de meeste aanvragen. De programmalijn Vormgeving van Leerprocessen was het meest populair, bij Onderwijs en Samenleving (c.q. Pedagogische Kwaliteit) zijn de minste aanvragen ingediend.

3.2

Ervaringen en meningen

Uit de gesprekken met de aanvragers is gebleken dat het onderzoeksthema waarop de onderzoeksvraag betrekking heeft in alle gevallen van belang is voor de schoolontwikkeling. Zij het dat dit niet altijd direct gericht is op het primaire proces. De aanleiding is in veel gevallen de behoefte aan evaluatie, effectmeting of onderbouwing met betrekking tot al ingezette schoolontwikkeling. Hier werd (wetenschappelijke) legitimering van bepaalde beleidskeuzes door de meeste aanvragers als de belangrijkste verwachting ten aanzien van de uitkomsten van het onderzoek genoemd. Een concreet probleem of handelingsverlegenheid vormde slechts in een enkel geval de directe aanleiding tot het aanvragen van onderzoek. De vraagstelling betrof in ongeveer de helft van de gevallen een speerpunt dat al langer of gedurende meerdere jaren binnen de school speelde. Waar het onderzoeksthema niet direct een speerpunt binnen de school vormde, kwam de vraagstelling vooral voort uit recente ontwikkelingen of discussie binnen de school of de sector. En de verwachtingen ten aanzien van de uitkomsten zijn dan ook minder schoolspecifiek, maar bijvoorbeeld gericht op good practices.

55

Over de uitvoering van het onderzoek, waaronder de vertaling van de onderzoeksvraag naar een onderzoeksopzet en de samenwerking met de onderzoekers gedurende het onderzoek, zijn aanvragers over het algemeen positief. Er is regelmatig contact en terugkoppeling van tussentijdse resultaten. In wisselende mate gaf het onderzoek gedurende het proces binnen de scholen aanleiding tot dialoog en/of discussie. Als zich knelpunten voordeden, hadden die met name betrekking op de tijdsplanning, bijvoorbeeld inzake de dataverzameling. Over de impact van het onderzoek op de schoolontwikkeling zijn de reacties het meest verdeeld. De presentatie en/of verspreiding van de onderzoeksresultaten binnen de scholen vond vrijwel altijd plaats, maar het aantal betrokkenen daarbij verschilt sterk en ook het beeld van de impact op het beleid en de schoolontwikkeling liet een grote verscheidenheid zien. De feedbackfunctie van het onderzoek voor hun school is door de meeste aanvragers onderschreven, de dialoogfunctie kwam niet altijd sterk tot uiting, omdat de aanvragers slechts beperkt bij het onderzoek betrokken waren. Wel worden de besprekingen aan het begin (probleemanalyse) en de bespreking van de resultaten met de onderzoekers door de aanvragers als waardevol beschouwd. Het belang van Kortlopend Onderwijsonderzoek wordt daarmee door vrijwel alle aanvragers onderschreven. Belangrijke succesfactoren daarbij zijn dat de onderzoeksvraag direct uit de (school)praktijk voortkomt, dat het onafhankelijk is en dat resultaten betrekkelijk snel voorhanden zijn. De koepelorganisaties hebben ieder jaar aanvragen ingediend. Zij vervulden een rol bij de vraagarticulatie van hun leden en bij de verspreiding van de onderzoeksresultaten van de projecten waar zij bij betrokken waren. Zij staan achter de in het Kortlopend Onderwijsonderzoek gehanteerde procedures. Wel achten zij het kansrijk om aanvragers, meer dan nu het geval is, vooraf te laten expliciteren wat met de opbrengst van het beoogde onderzoek zal worden gedaan. Ook zou nog meer aandacht aan een brede verspreiding van de resultaten, volgens de vertegenwoordigers van de koepelorganisaties, een mogelijk verbeterpunt zijn. Net als de aanvragers hechten ook de onderzoekers veel waarde aan een goede dialoog tussen aanvragers en onderzoekers. Dit geldt vooral in het voortraject, waarin de vraag wordt verkend en een onderzoeksplan wordt opgesteld en na afloop van het onderzoek, bij de bespreking van de resultaten. De onderzoekers proberen naast het opleveren van een onderzoeksrapport ook via andere toegankelijke wegen de resultaten te presenteren en toe te lichten. Zij hebben echter meestal geen zicht op het feitelijke gebruik van de resultaten van hun onderzoek, omdat ze dan niet meer bij de

56

school betrokken zijn. Het punt van implementatie zou meer aandacht moeten krijgen volgens de onderzoekers. De onderzoekers vinden het van belang dat bij het Kortlopend Onderwijsonderzoek individuele scholen de kans krijgen een onderzoeksvraag in te dienen, omdat dit in een behoefte voorziet. Zij ervaren veel medewerking van scholen bij de uitvoering en dat maakt het voor hen waardevol om te doen. Wel ervaren zij vaak tijdsdruk bij de uitvoering van het Kortlopend Onderwijsonderzoek. Evenals de onderzoekers en de koepelorganisaties, beschouwen ook de onderzoeks­ managers de laagdrempeligheid van het Kortlopend Onderwijsonderzoek als een pluspunt. Zij staan daarom achter de keuze voor brede programmalijnen. Het proces van vraagarticulatie zien de onderzoeksmanagers als een wezenlijk onderdeel van het Kortlopend Onderwijsonderzoek, waarin gekomen wordt tot een goede onderzoeksvraag, waar zowel de aanvrager als de onderzoeker zich in kan vinden. Zij noemen als mogelijk alternatief dat de onderzoeksinstellingen en de aanvrager al eerder met elkaar in contact zijn en gezamenlijk een vraag indienen. De overdraagbaarheid van de resultaten zien zij in een aantal projecten als een probleem. De meeste onderzoeksmanagers ervaren het werken in allianties als positief, omdat ze gebruik kunnen maken van elkaars deskundigheid en netwerken en het de onderzoeksinstellingen mogelijkheden biedt voor specialisaties binnen de programmalijn. Om de opbrengsten van praktijkgericht onderzoek nog verder te verhogen, stellen enkele onderzoeksmanagers voor de samenwerking tussen onderzoeksinstelling en aanvrager nog verder te intensiveren. Ook stellen zij voor een deel van het budget vrij te maken voor de implementatie.

3.3

Beschouwingen van de projectleiding

Bij het Kortlopend Onderwijsonderzoek zijn een aantal maatregelen genomen, waardoor het onderwijsveld beter gebruik kan maken van de onderzoeksresultaten en het onderzoek een bijdrage kan leveren aan de verbetering van de kwaliteit van het onderwijs. Kenmerkend in dit verband zijn bijvoorbeeld de aanvraagprocedure, de raamcontracten met onderzoeksallianties, de programmalijnen en de uitvoering binnen een jaar. Gedurende vijftien jaar is aan de hand van deze elementen uitwerking gegeven aan de coördinatie van het Kortlopend Onderwijsonderzoek. De door de projectleiding ervaren voor- en nadelen van die elementen worden in deze paragraaf op een rij gezet.

57

Programmering van het Kortlopend Onderwijsonderzoek

Er is voor gekozen om de aanvragen niet sterk in te kaderen. De programmalijnen waren vooral bedoeld om de aanvragen onder te kunnen brengen bij de onderzoeksinstellingen met de meeste expertise op het betreffende gebied en om kennisopbouw te bevorderen. Daarnaast hadden de programmalijnen het doel om scholen op ideeën te brengen voor mogelijke onderzoeksvragen. Een belangrijk voordeel hiervan is dat er voor aanvragers geen beperkingen zijn voor wat betreft potentiële - voor scholen belangrijke - onderzoeksthema’s. Alle onderzoeksvragen die leven in (een grote groep) scholen konden worden gehonoreerd en scholen liepen niet het risico dat hun onderzoeksvraag niet in een thema zou passen. Aanvullend hierop is gebleken dat door de brede programmalijnen eenvoudig kon worden aangesloten bij de actualiteit. Hierdoor hoefden de programmalijnen niet vaak aangepast te worden en was is er sprake van continuïteit. Een nadeel is dat er sprake was van een grote diversiteit aan onderzoeksthema’s binnen de programmalijn. Hierdoor is het moeilijker aan kennisopbouw te doen, door cumulatie van de kennisconstructie in de verschillende onderzoeken. Over de typering van de uitgevoerde onderzoeken kan worden geconcludeerd dat deze zeer divers is, van casestudies tot surveys, van ontwikkelonderzoek tot experimenteel onderzoek. In het algemeen kunnen we stellen dat bij de aanvragen van scholen het onderzoek zich vaak richtte op één of een beperkt aantal scholen, terwijl bij aanvragen van ‘schooloverstijgende aanvragers’ het vaker om grootschaliger onderzoek ging. Ook is de ervaring dat bij grootschaliger onderzoek de respons van scholen vaak laag is en de kans op vertraging van het onderzoek toeneemt. Het gevoel van eigenaarschap bij scholen die zelf aanvrager zijn en die belang hebben bij het onderzoek, vergroot de medewerking aan het onderzoek. Wijze van vraagsturing

Bij het Kortlopend Onderwijsonderzoek is het uitgangspunt gehanteerd dat individuele scholen en instellingen een aanvraag kunnen indienen, door een beknopt format in te vullen. Het belangrijkste voordeel hiervan is dat de procedure laagdrempelig is: scholen hoefden slechts enkele vragen te beantwoorden, waarvan de belangrijkste zijn: ‘Op welke vraag wilt u antwoord hebben?’ en ‘Wat gaat u met de uitkomsten doen?’. Scholen die geen relaties hebben met onderzoeksinstituten kunnen op deze wijze ook aanvragen indienen. Het is voor scholen niet eenvoudig om na te gaan welk onderzoeksinstituut expertise heeft op een bepaald gebied. Ook wordt met deze wijze van vraagsturing maximaal aangesloten bij de vragen die

58

leven op scholen, waardoor de kans op het gebruik van de resultaten wordt vergroot en de feedbackfunctie van onderzoek gerealiseerd kan worden. De snelheid van de procedure is een derde voordeel. Scholen kunnen direct als zij een vraag hebben een aanvraag indienen, zonder dat zij eerst op zoek hoeven gaan naar en in onderhandeling moeten met onderzoeksinstellingen. Tot slot wordt met deze procedure bevorderd dat onderzoeksinstellingen al voor de start van het onderzoek intensief in gesprek gaan met de aanvragers, waardoor zij de dialoogfunctie van onderzoek kunnen stimuleren. Aan de aanvraagprocedure zijn echter ook enkele nadelen verbonden. Scholen hebben vaak moeite met het formuleren van goede vragen, waardoor het risico wordt gelopen dat relevante thema’s worden afgewezen, vanwege de gebrekkige formulering van de vraag. In het Kortlopend Onderwijsonderzoek is veel aandacht besteed aan het proberen te achterhalen van ‘de vraag achter de vraag’. De feitelijke vraagarticulatie vond plaats in de offertefase. In sommige gevallen zijn door onderzoeksinstellingen initiatieven genomen om contact met scholen op te nemen en hen te bewegen een aanvraag in te dienen. In deze situaties is er minder eigenaarschap bij de scholen en daardoor minder kans op daadwerkelijk gebruik van de resultaten. Een ander nadeel is dat niet direct zichtbaar is of aan de voorwaarden voor onderzoek bij een aanvragende school voldaan is (bijvoorbeeld of de implementatie van een innovatie van de school voldoende ver is om deze te kunnen onderzoeken). Om deze reden zijn aanvragen eerst ‘voorlopig gehonoreerd’ en pas na de offerte van de onderzoeksinstelling ‘definitief gehonoreerd’. Daarnaast is het zo dat bij deze aanvraagprocedure, gebaseerd op individuele aanvragen van scholen en instellingen, het risico bestaat dat onderzoek wordt uitgevoerd naar thema’s die niet breed spelen in het onderzoeksveld. Dit is voorkomen doordat vertegenwoordigers van de LPC (die veel in scholen komen) de aanvragen hierop beoordeelden. Ook konden aanvragers zelf aangeven welke (andere) scholen of instellingen de aanvraag ondersteunde. Niet alleen scholen zijn in het Kortlopend Onderwijsonderzoek als aanvragers geaccepteerd, ook verenigingen, onderwijsbegeleidingsdiensten en andere schooloverstijgende organisaties (zoals de koepelorganisaties) waren in de gelegenheid aanvragen in te dienen, mits de aanvraag betrekking had op de praktijk van het primair onderwijs, voortgezet onderwijs of middelbaar beroepsonderwijs. Het voordeel hiervan is dat deze ‘schooloverstijgende aanvragers’ (ruim de helft) vaak goed zicht hebben op de vragen die leven in scholen en meestal beter in staat zijn om een onderzoeksvraag te

59

formuleren. Een nadeel is dat het onderwijsveld op meer afstand staat bij deze vragen en daardoor de kans op daadwerkelijk gebruik van de resultaten kleiner is, evenals de kans op het op gang komen van een proces van reflectieve dialoog. Planning

De deadline voor aanvragers is soepel gehanteerd: alle aanvragen tot het moment van bespreking (rond half november) zijn in behandeling genomen. Een nadeel van de gehanteerde procedure is dat slechts eenmaal per jaar een beoordeling en selectie van de aanvragen plaatsvond, terwijl de vragen van scholen zich natuurlijk gedurende het hele schooljaar voor kunnen doen. Er is naar gestreefd de selectie- en offerteprocedure zo kort mogelijk te houden, zodat de onderzoeken snel konden starten. Echter, voor sommige onderzoeken was het belangrijk om rekening te houden met het schooljaar (bijvoorbeeld in het geval van een interventie). Deze onderzoeken startten dan in september en liepen tot maximaal september het jaar erna. Om beter rekening te kunnen houden met het ritme op scholen, zou het wellicht beter zijn geweest als scholen konden aanvragen voor 1 mei, waarbij dan in juni de beslissing voor honorering van de aanvragen genomen had kunnen worden en de onderzoeken na de zomervakantie startten. Het Kortlopend Onderwijsonderzoek heeft een looptijd van maximaal een jaar. Door de projectleiding is veel nadruk gelegd op het voorkomen van overschrijding van de onderzoekstermijn. De onderzoeksinstellingen werden geacht tijdig een verzoek in te dienen voor uitstel, met redenen omkleed en in overleg met de aanvrager (op straffe van een boete). Toch liep jaarlijks een groot deel van de onderzoeken vertraging op om uiteenlopende redenen. Ongeveer 35% van de onderzoeken was op tijd klaar of liep een vertraging op van een of twee maanden, eveneens 35% liep een vertraging op tot een half jaar en 30% zelfs langer. Er zijn overigens grote verschillen zichtbaar tussen de onderzoeksinstellingen in de gemiddeld opgelopen vertraging van de onderzoeken. Raamcontracten met allianties van onderzoeksinstellingen

Onderzoeksinstellingen konden gezamenlijk als allianties eens per vier jaar een offerte indienen voor een raamovereenkomst voor het uitvoeren van Kortlopend Onderwijsonderzoek. Met de geselecteerde allianties zijn raamcontracten gesloten voor vier jaar, met de toezegging dat gestreefd werd minimaal 80% van het budget bij de allianties te besteden. Dit liet ruimte voor andere, door aanvragers gewenste onderzoeksfaciliteiten. De volgende voordelen van het werken met raamcontracten met allianties zijn door de projectleiding ervaren.

60

•

•

•

•

Doordat de uitvoerende instituten vooraf bekend zijn, kunnen onderzoekers worden betrokken bij de selectie van de aanvragen. Hierdoor kunnen zij expertise inbrengen met betrekking tot onderzoek dat eerder is uitgevoerd. Ook kan direct een idee worden gegeven van de wijze waarop het onderzoek kan worden uitgevoerd en de bijbehorende kosten. Doordat vervolgens volstaan kan worden met een ‘lichte’ beoordeling van de jaarlijkse onderzoeksoffertes kan snelheid in de procedure gehouden worden. Ook kost het schrijven en beoordelen minder tijd en geld, zodat zoveel mogelijk tijd en geld beschikbaar is voor het feitelijke onderzoek. Doordat het onderzoek binnen een programmalijn gedurende langere tijd door dezelfde allianties wordt uitgevoerd, kan er cumulatie van kennis optreden. Uitingen hiervan hebben we gezien in bijvoorbeeld ORD symposia over verschillende onderzoeken binnen de programmalijn Onderwijs en Samenleving. De onderzoeken binnen de andere twee programmalijnen waren hiervoor te divers. Er is sprake van samenwerking tussen onderzoeksinstellingen binnen de allianties, maar ook tussen de allianties. Daarnaast is bij het werken met allianties de kans groter dat het onderzoek wordt uitgevoerd door gespecialiseerde onderzoekers. Dit bevordert de kwaliteit van het onderzoek. Ook is er sprake van korte lijnen tussen projectleiding en de onderzoekers.

Het werken met raamcontracten met allianties bracht ook nadelen met zich mee. Veelal dezelfde allianties zijn bij het onderzoek betrokken, sommige zelfs alle 15 jaren. Doordat steeds dezelfde onderzoekers onderzoek doen, zien we soms de stijl en voorkeuren van de onderzoekers terug in de rapporten. Meer variatie in invalshoek, aanpak en perspectief was soms wenselijk. Het gemiddelde budget (ruim € 40.000) is tamelijk laag, opdat zoveel mogelijk aanvragen gehonoreerd konden worden. Een nadeel is echter dat de onderzoeken soms wat kleinschalig of oppervlakkig zijn. Opbrengsten van Kortlopend Onderwijsonderzoek

Het Kortlopend Onderwijsonderzoek heeft gedurende haar looptijd 300 onderzoeken opgeleverd over uiteenlopende thema’s, geclusterd in drie programmalijnen. De meest zichtbare resultaten van het Kortlopend Onderwijsonderzoek zijn de onderzoeksrapporten (hier brochures genoemd om de praktijkgerichtheid te benadrukken). Er is veel nadruk gelegd op de leesbaarheid van deze brochures in de communicatie met de onderzoeksinstellingen. Dat wil zeggen: beknopt, begrijpelijke taal, niet te zwaar methodologisch ingestoken, heldere lay-out, en met gebruik van concrete voorbeelden en toepassingen. Ook is er een publicatielijn met herkenbare kaften per

61

programmalijn en met een format voor de inhoudelijke opbouw. Daarnaast is veel waarde gehecht aan duidelijke en concrete aanbevelingen, aangevuld met voorbeelden en instrumenten. De brochures zijn dan ook beduidend leesbaarder dan een gemiddeld onderzoeksrapport. Echter, er zijn grote verschillen te constateren in de mate waarin de onderzoekers erin geslaagd zijn een aantrekkelijk en bruikbaar rapport te schrijven. Naast de brochures is over elk onderzoek (mits relevant, beoordeeld door de redactie) een artikel in Didactief verschenen en soms ook in andere vaktijdschriften. Over een aanzienlijk deel van de onderzoeken is en wordt tevens gepubliceerd in internationale wetenschappelijke tijdschriften, waaruit blijkt dat deze onderzoeken theoretisch van een hoog niveau zijn. Uit de evaluaties die met aanvragers zijn gehouden, blijkt dat de wijze waarop de resultaten worden gebruikt zeer divers is. Dit loopt uiteen van het doorvoeren van verbeteringen, het ontwikkelen of bijstellen van beleid, het onderbouwen of legitimeren van een innovatie tot het leggen van nieuwe contacten en samenwerkingsverbanden. De ‘schooloverstijgende aanvragers’ gaven meestal aan dat zij de resultaten zullen bespreken met of verspreiden onder de beoogde doelgroep. Hoewel bij de selectie van de aanvragen en bij de beoordeling van offertes de gerichtheid op verbetering een belangrijk criterium voor honorering is, gaf slechts een klein deel van de aanvragers aan dat zij met de resultaten het onderwijs zullen verbeteren. Een nog grotere betrokkenheid van aanvragers en scholen bij het onderzoek zou de opbrengsten in de zin van verbetering van het onderwijs, wellicht verder kunnen verhogen. Ook is ons gebleken dat een onderzoeksrapportage op zich voor scholen vaak onvoldoende is om de aanbevelingen daaruit te implementeren. In veel gevallen vraagt het extra begeleiding om de aanbevelingen te vertalen in concrete actiepunten. Hiervoor was binnen het Kortlopend Onderwijsonderzoek echter geen budget beschikbaar. De disseminatie vond plaats via verschillende kanalen: • via de website, waarop een korte samenvatting staat van alle publicaties, die tevens te downloaden zijn; • via de onderzoekers (presentaties, conferenties, pers); • via artikelen in vaktijdschriften en wetenschappelijke tijdschriften; • via de aanvragers die hun eigen communicatiekanalen benutten; • via de adviseurs van de LPC die de resultaten gebruiken in hun advisering en ondersteuning van scholen. De mate waarin andere scholen (buiten de aanvragers) gebruik hebben gemaakt van de resultaten is niet bekend. De indruk is dat dit zeer verschilt per onderzoek en dat daarbij cruciaal is of er sprake is van een vraag of probleem ten aanzien van het onderzoeksthema, op het moment dat een school met het onderzoek in aanraking komt. Als

62

een school via google zoekt naar een thema dat via Kortlopend Onderwijsonderzoek is onderzocht, wordt meestal vrij snel de brochure gevonden (afhankelijk van het thema en de titel van het onderzoek). Binnen het Kortlopend Onderwijsonderzoek zijn in het kader van kwaliteitszorg een aantal maatregelen genomen om de kwaliteit van de rapportages te borgen. Voorbeelden hiervan zijn: de selectie van allianties op basis van duidelijke criteria door een commissie van ‘wijze heren’, duidelijke richtlijnen voor de onderzoeks­ offertes en een (lichte) beoordeling daarvan en evaluatie bij de aanvragers, enkele maanden nadat een brochure is opgeleverd. Aanvullend hierop is eens per vijf jaar een onafhankelijke deskundige gevraagd om de prijs-kwaliteit verhouding van de afzonderlijke onderzoeken te beoordelen. Hieruit blijkt dat de onderzoeken doorgaans positief, maar ook wel wisselend beoordeeld worden. Geconcludeerd kan worden dat de combinatie van theoretische opbrengsten en praktische aanbevelingen niet altijd eenvoudig te maken is. Ook het tevreden stellen van individuele aanvragers en het tegelijkertijd opleveren van resultaten waar ook andere scholen veel aan hebben, blijkt vaak geen eenvoudige opgave.

3.4

Aanbevelingen voor het NRO

Op basis van de interviews met aanvragers, onderzoekers, onderzoeksmanagers, koepelorganisaties en onze eigen beschouwingen ten aanzien van de gehanteerde procedures bij Kortlopend Onderwijsonderzoek komen we tot de volgende aanbevelingen voor het NRO, dat vanaf januari 2014 praktijkgericht onderzoek zal uitzetten. 1. Snelle procedure en korte onderzoeksduur

Uit de reacties van scholen is gebleken dat de kans op het gebruik van de resultaten toeneemt als een vraag van een school (nog) urgent is. Als er te veel tijd zit tussen het moment van aanvragen en het uiteindelijke onderzoeksresultaat, is het risico groot dat de resultaten niet meer relevant zijn voor een school. Bijvoorbeeld omdat de school inmiddels een besluit heeft moeten nemen, al voor een bepaalde oplossing heeft gekozen of andere zaken inmiddels meer prioriteit hebben gekregen. Ook neemt bij een langere tijd tussen aanvraag en resultaat de kans toe dat de kartrekker achter de aanvraag een andere positie binnen of buiten de school heeft gekregen. We raden daarom aan te kiezen voor een snelle beoordelingsprocedure van de aanvragen en korte looptijd van de onderzoeken. Indien niet alle vragen beantwoord kunnen worden in een korte periode (maximaal een jaar), zou een vervolgonderzoek mogelijk moeten

63

zijn. Bij de planning (zowel bij het moment van aanvragen als bij de uitvoering van onderzoek) is het belangrijk rekening te houden met het jaarritme in de scholen. 2. Laagdrempelige aanvraagprocedure

Om de aanvraag te kunnen indienen op het moment dat er een vraag ligt of probleem speelt en om veel scholen te bereiken, is het van belang dat de aanvraagprocedure voor scholen laagdrempelig is. Algemeen bekend is dat scholen problemen ondervinden met het uitvoeren van een goede probleemanalyse en het formuleren van een onderzoeksvraag. Indien gekozen wordt voor een procedure met consortia van scholen en een onderzoeksinstelling, is het van belang zich te realiseren dat het voor scholen complex is om op basis van expertise een onderzoeksinstelling te kiezen. De kans is groot dat de initiatieven voor het indienen van aanvragen vooral afkomstig zullen zijn van onderzoeksinstellingen. Het is ongewenst als zij een eigen onderzoeksagenda nastreven, die tot gevolg kan hebben dat de onderzoeksvragen niet voortkomen uit problemen en behoeften van scholen. ‘ 3. Focus op onderwijsverbetering en schoolontwikkeling

De focus ligt bij praktijkgericht onderzoek niet op het opleveren van onderzoeksresultaten, maar op het daadwerkelijk verbeteren van het onderwijs en op schoolontwikkeling. Betrokkenheid en gevoel van eigenaarschap van leraren en managers binnen scholen is daarvoor cruciaal, gedurende het gehele onderzoeksproces. In de aanvraagprocedure kan dit benadrukt worden door relatief weinig nadruk te leggen op de onderzoeksopzet (en dit aan de professionaliteit van de onderzoeker over te laten) en veel aandacht te besteden aan de aard van de resultaten die opgeleverd worden (urgentie van het onderzoeksthema, beoogde doelgroep, beoogde wijze van gebruik, beoogde implementatietools, zoals checklists en voorbeelden) en de voorgenomen wijze waarop de resultaten zullen worden ingezet. Ook kan in de aanvraagprocedure een vraag worden gesteld over de rol en positie van de onderzoeker in de school en de rol die deze wil spelen in het stimuleren van de dialoog op school. 4. Aandacht voor implementatie

Praktijkgericht onderzoek kent grofweg drie fasen: de probleemanalyse, de uitvoering van het onderzoek en de implementatie van de resultaten. Uit de resultaten van het Kortlopend Onderwijsonderzoek blijkt dat ondersteuning bij de implementatie gewenst is. Om de implementatie van praktijkgericht onderzoek te bevorderen zou een (klein) deel van het budget gereserveerd kunnen worden voor ondersteuning bij de implementatie. Scholen zouden hiertoe na afloop van het onderzoek een plan van aanpak kunnen indienen.

64

Daarnaast is de verspreiding van de publicaties naar andere scholen een belangrijk aandachtspunt. Korte leesbare brochures, met duidelijke aanbevelingen, aangevuld met concrete voorbeelden en instrumenten, waarbij ook aandacht is voor de context van de onderzochte scholen, zijn voor andere scholen aantrekkelijk om te gebruiken op het moment dat zij tegen eenzelfde probleem aanlopen. 5. Niet te smalle thema´s/programmalijnen

Scherp gedefinieerde onderzoeksthema’s waarbinnen aanvragen kunnen worden gedaan zijn vooral handig voor onderzoekers, maar dienen op zichzelf niet de onderwijspraktijk. Voor het gebruik van de onderzoeksresultaten in de praktijk is het van groot belang dat de onderzoeksthema’s aansluiten bij de problemen en vragen waar leraren en schoolleiders in de praktijk tegenaan lopen. Deze vragen zijn niet altijd vooraf te rubriceren en ook kunnen ze verschuiven in de loop van de tijd. De vragen kunnen bijvoorbeeld voortkomen uit het bezoek van de inspectie, uit vraagstukken die door nieuw beleid op scholen afkomen, door externe bedreigingen (zoals krimp) of ontwikkelingen (zoals social media), of voortkomen vanuit ervaren leemtes of knelpunten in de uitvoering van het onderwijs. 6. Keuze voor aanvragers

Bij het inrichten van de aanvraagprocedure is een belangrijke vraag wie een aanvraag kan indienen. Indien gekozen wordt voor de school, dient bepaald te worden of hiermee het bevoegd gezag wordt bedoeld, de schoolleider (directeur of ook afdelingsleider) of dat ook initiatieven van individuele leraren worden gehonoreerd. Vanuit het perspectief van schoolontwikkeling is het van belang dat de directeur of afdelingsleider de aanvraag steunt en zorgt voor draagvlak in de school. Daarnaast is het de vraag of ook onderwijsbegeleidingsdiensten, verenigingen (bijvoorbeeld vakverenigingen), opleidingen, gemeenten en samenwerkingsverbanden gelegenheid krijgen om aanvragen in te dienen (al dan niet samen met een onderzoeksinstituut). Een andere vraag in dit verband is het minimum aantal scholen dat betrokken moet zijn bij een aanvraag. Gezien het belang van eigenaarschap bevelen wij aan dat ook één school de mogelijkheid zou moeten hebben om een aanvraag in te dienen. Uit onze ervaring blijkt dat onderzoek uitgevoerd op één school niet minder waardevol is voor andere scholen dan onderzoek uitgevoerd op een groot aantal scholen. Als de context van de school goed wordt beschreven, kunnen andere scholen nagaan in hoeverre de beschreven resultaten (en vooral het beschreven proces en leerervaringen) ook voor hen van toepassing zijn.

65

66

Literatuur

Ajzen, I. & Fishbein, M. (1980). Understanding attitudes and predicting social behavior. Englewood Cliffs, NJ: Prentice Hall. Akker, J. van den, Gravemeijer, K., McKenney, S. & Nieveen, N. (2006). Introducing educational design research. In J. van den Akker, K. Gravemeijer, S. McKenney & N. Nieveen (Eds.), Educational design research (1-8). London: Routledge. Akkermans, S.F., Bronkhorst, L.H. & Zitter, I. (2011). The complexity of educational design research. Quality & Quantity, 47(1), 421-439. Berg, R. van den (2012). Duurzaam innoveren binnen smalle marges. Deventer: Kluwer. Berg, R. van den & Vandenberghe, R. (1995). Wegen van betrokkenheid. Reflecties op onderwijsvernieuwing. Tilburg: Zwijsen. Brandsma, H. (2011). Brugfunctie van onderzoek bij schoolontwikkeling. Lectorale rede. Leeuwarden: NHL. Castelijns, J, Koster, B. & Vermeulen, M. (2009). Vitaliteit in processen van collectief leren. Samen kennis creëren in basisscholen en lerarenopleidingen. Apeldoorn: Garant Uitgevers Dixon, N. (2002). De organisatie leercyclus. Hoe we collectief kunnen leren. Amsterdam: Uitgeverij Nieuwerzijds. Fullan, M. (2001). Leading in a culture of change. San Francisco: Jossey-Bass. Fullan, M.G. (2007). The new meaning of Educational Change (4th edition). New York: Teachers College Press. Hargreaves, A. (2007). Sustainable Leadership and Development in Education: creating the future, conserving the past. European Journal Of Education: Research, Development And Policies, 42(2), 223-233. Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77, 81-112. Hoyle, E. (1975). Professionality, professionalism and control in teaching. In V.

67

Houghton (Ed.), Management in Education: The Management of Organisations and Individuals. London: Ward Lock Educational in association with Open University Press. Kelchtermans, G. (1994). De professionele ontwikkeling van leerkrachten basisonderwijs vanuit het biografisch perspectief. Leuven: Universitaire Pers Leuven. Martens, R., Laat, M. van de, Kessels, J. & Ros, A. (2012). Manifest praktijkgericht wetenschappelijk onderwijsonderzoek. Heerlen: LOOK. Mijs, D. (2007). Effectieve schoolverbetering. Een studie naar de empirische evidentie voor uitgangspunten van effectieve schoolverbetering. Utrecht: Universiteit Utrecht. Parlementaire Commissie Onderwijsvernieuwingen (2008). Tijd voor Onderwijs: Eindrapport van de Commissie Dijsselbloem in vogelvlucht. ’s-Gravenhage: Sdu Uitgevers. Pierce, J.L. & Jussila, I. (2010). Collective psychological ownership within the work and organizational context: Construct introduction and elaboration. Journal of Organizational Behavior, 31(6), 810-834. Poiesz, T. (1999). Gedragsmanagement. Waarom mensen zich (niet) gedragen. Wormer: Inmerc bv. Ros, A., Amsing, A., Beek, A. ter, Beek, S., Hessing, R., Timmermans, R. & Vermeulen, M. (2013). Gebruik van onderwijsonderzoek door scholen. Onderzoek naar de invloed van praktijkgericht onderzoek op schoolontwikkeling. ’s-Hertogenbosch: KPC Groep. Ros, A. & Vermeulen, M. (2010). Praktijkgericht onderzoek: het perspectief van de onderzoeker en de gebruiker. Paper gepresenteerd op de ORD in Maastricht. Schildkamp, K. (2012). Opbrengstgericht werken: data-geïnformeerd onderwijs voor schoolverbetering. In R. Zwart, K. van Veen & J. Meirink (red). Onderzoek in de school ter discussie: doelen, criteria en dilemma’s (29-36). Leiden: Universiteit Leiden. Schön, D.A. (1983). The Reflective Practitioner. How Professionals Think in Action. Bodmin: MPG Books Ltd.

68

Stoll, L., Bolam, R., McMahon, A., Wallace, M. & Thomas, S. (2006). Professional Learning Communities: a Review of the Literature. Journal of Educational Change, 7, 221-258. Verbiest, E. (2011). Leren innoveren. Een inleiding in de onderwijsinnovatie. Antwerpen: Garant. Verschuren, P.J.M. (2009). Praktijkgericht onderzoek: Ontwerp van organisatie- en beleidsonderzoek. Den Haag: Boom Lemma. VNO-NCW, NWO, KNAW, HBO-raad, MKB-Nederland, VSNU en TNO, 3 september 2012. Manifest kenniseconomie. Retrieved 20-02-2013 http:// www.vno-ncw.nl/publicaties/Brieven_en_commentaren/Pages/Manifest_ kenniseconomie_1064.aspx Windmuller, I. (2012). Versterking van de professionaliteit van de leraar basisonderwijs. Proefschrift. Heerlen: Open Universiteit.

69

70

Coördinatie en informatie Kortlopend Onderwijsonderzoek

Coördinatie Algemeen Directeuren LPC Anje Ros Anne ter Beek Gee Janssen Anita Zeeman Martin van Os (APS) Linda Odenthal (CPS) Contactpersonen onderzoeksallianties

Beleidsgroep Onderzoek Projectleiding Secretaris selectiecommissie Projectmanagement Voorzitter selectiecommissie Evaluatie Ondersteuning selectiecommissie Lid selectiecommissie Lid selectiecommissie Lid selectiecommissie

Meer informatie www.kortlopendonderzoek.nl Anje Ros Anne ter Beek

[email protected] [email protected]

71

Bijlage 1 Aanvragers met wie gesprekken zijn gevoerd

Titel onderzoek Feedback en individuele ontwikkeling

Integratie taal- en vakonderwijs in TTO

PO/VO/ School MBO VO Werkplaats Kindergemeenschap, Bilthoven VO Herman Wesselink College, Amstelveen PO ODBS Westerschool, Wildervank

Geïnterviewde(n)

Uitgevoerd

Rector

IVLOS

Docent Engels

RUU

(toenmalig) Directeur; Leerkracht

GION

PC Basisschool de Ploeg, Apeldoorn ROC Zadkine, Rotterdam

IB-er en leerkracht

SCOKohnstamm

Lector

IVA

Dr. Aletta Jacobscollege, Hoogezand SG Huizermaat, Huizen

Teamleider Praktijk- GION onderwijs

Effectief geschiedenisonderwijs met interactieve Whiteboards Consequent pedagogisch PO handelen Professionalisering van ROC-docenten: zoeken naar verbinding Scaffoldinginstructie in het Praktijkonderwijs

MBO

Fundering van gewenst docenthandelen op vernieuwende scholen Onderwijs op maat. De schakelklas vóór het vmbo en de schoolloopbaan daarna Meetbaar maken van zelfsturing in het MBO

VO

Doorstroom allochtone leerlingen

MBO

Ervaringen met het programma Havisten Competent

VO

72

VO

Rector

RUU/ IVLOS

MBO

OSG Singelland, Manager Zorg Drachten

GION

MBO

Drenthe College, Assen ROC Mondriaan, Den Haag Cambreur College, Dongen

Beleidsmedewerker onderwijs

GION/ UOCG

Beleidsmedewerker

SCOKohnstamm

Teamleider HAVO bovenbouw

SCOKohnstamm

Titel onderzoek Ruimte van de leraar. Helpt LINC om de ruimte van de leraar vorm te geven? Werken in teams

PO/VO/ School MBO MBO Valuascollege, Venlo

VO

Dalton op weg naar PO evidence-based onderwijs. Wat werkt bij taal- en rekenonderwijs? Taken van VO onderwijsassistenten in het voortgezet onderwijs Proud to be tvmbo VO

Stages in het praktijkonderwijs

VO

Vaststellen van de kwaliteit van een soschool Virtuele praktijkvoorbereiding in AOC Terra. Digitaal onderwijs op een mbo-groen school Aan het werk in de Liemers

PO

Lesgeven aan leerlingen op mbo-niveau 1 en 2 Een competentieprofiel voor docenten

MBO

MBO

VO

Geïnterviewde(n)

Uitgevoerd

Procesmanager onderwijs; (voormalig) Sectordirecteur VMBO Coördinator kwaliteit en innovatie

ITS

(toenmalig) Directeur; Leerkracht

GION

Helen Parkhurst Daltonschool, Almere Anna van Rijn College, Nieuwegein Hooghuis Lyceum, Oss Antoniusschool, cluster 4, Castricum AOC Terra, Assen

Rector

UU

Senior Beleidsmedewerker

RUU

Directeur

IVA

Directeur

ITS/ Kohnstamm

Teamleider MBO

GION / UOCG

Symbion, school voor PrO, Didam ROC Zadkine, Rotterdam

Voorzitter directie scholen voor praktijkonderwijs Lector

IVA / UvT

Blariacum­ college, Venlo OBS voor Daltononderwijs, Wildervank

IVA

Kohnstamm

73

Bijlage 2 Formulier aanvraag Kortlopend Onderwijsonderzoek

Uitvoerend Secretariaat LPC Onderwijsonderzoek (USO) KPC Groep Mevrouw dr. A.A. Ros Telefoon 073-6247247 Fax 073-6247294 E-mail [email protected]

AANVRAAG KORTLOPEND ONDERWIJSONDERZOEK 1 AANVRAGER Naam: Soort school, instelling of organisatie: Postadres: Plaats: Telefoon: Fax: E-mail: Contactpersoon: Andere scholen / instellingen die de aanvraag mede ondersteunen c.q. bij het onderzoek betrokken willen worden: Datum aanvraag: 2 OP WELKE VRAAG MOET HET ONDERZOEK EEN ANTWOORD GEVEN?

3 KUNT U DEZE VRAAG TOELICHTEN?

4 OP WELK NIVEAU VAN ONDERWIJS HEEFT DE VRAAG BETREKKING? O basisonderwijs O voortgezet onderwijs O middelbaar beroepsonderwijs 5 HOE GAAT U DE RESULTATEN GEBRUIKEN?

74

6  WAT IS HET SCHOOLOVERSTIJGEND KARAKTER, MET ANDERE WOORDEN: WIE KUNNEN OOK VAN DE RESULTATEN PROFITEREN EN OP WELKE WIJZE?

7 O O O

TOT WELKE PROGRAMMALIJN BEHOORT DE VRAAG? Vormgeving van Leerprocessen Onderwijs en Samenleving Professionele Organisatie

8 OVERIGE NAAR UW MENING RELEVANTE INFORMATIE

De aanvrager verklaart bereid te zijn, alle gewenste informatie over het gebruik van de onderzoeksgegevens te verstrekken. Het aanvraagformulier indienen vóór 1 november bij KPC Groep, USO, mevrouw dr. A.A. Ros, Postbus 482, 5201 AL ’s-Hertogenbosch ([email protected]).

75

Bijlage 3 Interviewleidraad Kortlopend Onderwijsonderzoek: voor aanvragers

Achtergrondgegevens - Aanvrager/onderzoek - Functie van respondent en relatie tot onderzoek 1 Wat is de relatie tussen de onderzoeksvraag en de schoolontwikkeling? A Wat was de aanleiding voor het indienen voor een onderzoeksvraag? B Behoort het thema tot de speerpunten van de school? C Welke andere (schoolontwikkelings)activiteiten vonden plaats in het kader van dit thema? D Speelde dit thema al lang op uw school? NB Probeer zicht te krijgen op fase van vernieuwing bij start van het onderzoek: net gestart (adoptiefase), ……onderdeel van dagelijkse werk van alle leraren (integratiefase) E Is bij de omzetting van de aanvraag tot onderzoeksvraag door het onderzoeksinstituut het karakter van de vraag veranderd? (evt verschil laten zien). Wat vindt u daarvan? Sluit de onderzoeksvraag (nog steeds) goed aan bij uw schoolontwikkeling? F Wat verwachtte u van het onderzoek? Welke bijdrage aan de schoolontwikkeling? Op welke wijze? NB: betere begrippenkader, meer dialoog, verbeterpunten, professionalisering, nieuwe ideeën, verantwoorde keuze, verantwoorde aanpak, … 2 Heeft de uitvoering van het onderzoek op school impact gehad op de schoolontwikkeling? A Heeft de school invloed kunnen uitoefenen op de onderzoeksmethode? Bijvoorbeeld qua planning, taalgebruik, specifieke vragen of knelpunten van de school. B Heeft de school geparticipeerd in de uitvoering van het onderzoek? Bijvoorbeeld Dataverzameling, instrumentconstructie, aanbevelingen. C Heeft de onderzoeker tussentijds resultaten teruggekoppeld? D Bracht de uitvoering van het onderzoek op de school gesprekken of discussies te weeg over het onderzoeksthema? E Heeft er een verandering in denken of gedrag bij leraren plaatsgevonden doordat het onderzoek op school werd uitgevoerd (onderzoeksproces)?

76

3 Waar zit de school op de schaal van mate van gebruik van resultaten? A Hoeveel mensen in de school (welke) hebben de resultaten ontvangen (rapport, samenvatting of uitnodiging tot presentatie)? Reception: informatie is binnen bereik B Hoeveel hebben het gelezen/presentatie bij gewoond? Cognition: lezen, opnemen en informatie begrijpen. C Hoeveel hebben erover gepraat? Discussion: aanpassen van referentiekader aan nieuwe informatie. D Hoeveel hebben op basis daarvan hun manier van lesgeven aangepast of zijn op een andere manier beïnvloed? Reference: kennis beïnvloedt acties. NB Adoption, implementation en impact laten we zitten. Komt zelden voor. 4 Hebben de opbrengsten van het onderzoek geleid tot schoolontwikkeling? A Tot welke inzichten/aanbevelingen heeft het onderzoek geleid, waar de school iets mee kon? B Welke instrumenten (checklist, stappenplan, vragenlijst, voorbeeldlessen, …) heeft het onderzoek geleid, waar de school iets aan had? C Heeft het onderzoek geleid tot meer dialoog (inhoudelijke gesprekken) over het thema, omdat leraren door het onderzoek beter kunnen aangeven wat ze bedoelen (begrippenkader)? D Heeft het onderzoek geleid tot verbeteringen van de aanpak of organisatie? E Heeft het onderzoek geleid tot ander leraargedrag? F Heeft het onderzoek geleid tot beleidskeuzes? G Welke condities hebben ervoor gezorgd dat opbrengsten van het onderzoek zijn gebruikt? H Welke knelpunten deden zich voor bij het gebruik van de resultaten? 5 Wat vindt u van de organisatie van Kortlopend Onderwijsonderzoek (indienen van aanvraag, gesprek met onderzoeker, onderzoeksopzet, uitvoering binnen een jaar). NB Extra vragen voor OCW. A Wat vindt u voordelen/winstpunten van deze organisatie? B Wat vindt u nadelen/knelpunten van deze organisatie?

77

Bijlage 4 Interviewleidraad Kortlopend Onderwijsonderzoek: voor onderzoekers (groepsinterview)

Achtergrondgegevens - Functie, rol bij KLOO - Aantal jaren betrokken bij KLOO - Andere ervaring met praktijkgericht onderzoek NB Het gaat ons vooral om de aanvragen die direct van scholen of besturen komen. Graag voorbeelden. A Kwaliteitscriteria In hoeverre voldoen de onderzoeken doorgaans aan de volgende kwaliteitscriteria, vinden jullie zelf? (Toelichting bij bruikbaarheidcriteria). Hoe zorgen jullie daarvoor? Tegen welke problemen lopen jullie aan? Basiscriteria: 1 Interne validiteit: betrouwbaarheid en validiteit? 2 Externe validiteit: generaliseerbaarheid? 3 Controleerbaarheid: transparantie? 4 Cumulativiteit: aansluiten op en voortbouwen aan de body of knowledge? 5 Ethische aspecten: op ethische manier omgaan met proefpersonen? Bruikbaarheidcriteria: 6 Acceptatie en legitimiteit a Hoe komen jullie vanuit de vraag van de aanvrager naar een onderzoekbare onderzoeksvraag? Is de oorspronkelijke vraag daarmee nog voldoende herkenbaar? b Wat is doorgaans de achtergrond van de vraag? Bijvoorbeeld onderwijsverbetering, evaluatievraag, ervaren probleem, profilering c Worden er mensen vanuit de scholen betrokken bij de uitvoering van het onderzoek? 7 Begrijpelijke en toegankelijke onderzoeksresultaten a Hoe zorgen jullie voor begrijpelijke en toegankelijke onderzoeksresultaten (en daarmee voor een zo groot mogelijk kans op implementatie van de onderzoeksresultaten)? Bijvoorbeeld presentatie, verspreiding, eventuele andere zaken. 8 Leermogelijkheden proces: stimuleren van reflectieve dialoog a Proberen jullie de dialoog op scholen over het onderzoeksthema te stimuleren tijdens het onderzoek en na afloop? Hoe? b Welke impact heeft de uitvoering van het onderzoek op de school zelf op de scholen? Bijvoorbeeld gesprekken of discussies te weeg over het onderzoeksthema.

78

9 Leermogelijkheden product: verbetersuggesties voor het handelen en tools voor implementatie a Hoe zorgen jullie ervoor dat de leermogelijkheden van de onderzoeksresultaten zo groot mogelijk is? Ten aanzien van aanbevelingen en instrumenten. b Welke impact hebben de onderzoeksresultaten doorgaans op de scholen? Bijvoorbeeld keuzes, verbeteraanpakken, beleidswijziging, professionalisering. B Wat vinden jullie van de organisatie van Kortlopend Onderwijsonderzoek (indienen van aanvraag, gesprek met school, onderzoeksopzet, uitvoering binnen een jaar). 1 Wat vinden jullie voordelen/winstpunten van deze organisatie? 2 Wat vinden jullie nadelen/knelpunten van deze organisatie? 3 Wat vinden jullie van de indeling in programmalijnen (met name eigen programmalijn)?

79

Bijlage 5 Interviewleidraad Kortlopend Onderwijsonderzoek: voor managers/coördinatoren onderzoeksbureaus

Achtergrondgegevens - Functie - Betrokkenheid bij KLOO - Aantal jaren in deze functie 1 Wat is het beleid van dit onderzoeksinstituut ten aanzien van praktijkgericht onderzoek? A Welk aandeel van het onderzoek dat jullie uitvoeren zou je willen bestempelen als praktijkgericht onderzoek? B Wat is het door jullie gewenste aandeel? (meer of minder dan nu het geval is) C Wat zijn de sterke punten van jullie instituut als het gaat om praktijkgericht onderzoek? D Wat zijn verbeterpunten? E Wat zijn jullie plannen ten aanzien van praktijkgericht onderzoek? 2 Hoe kijk je aan tegen de programmering van het Kortlopend Onderwijsonderzoek? A Indeling in de drie programmalijnen? Bijvoorbeeld Zijn dit de drie belangrijkste thema’s? Zijn er lacunes? Overlap? Meer of minder programmalijnen? Afbakening? B Wijze van vraagsturing (scholen geven laagdrempelig aan welke vragen zij graag beantwoord zouden hebben, selectie, vraagarticulatieproces met aanvrager)? Bijvoorbeeld Voordelen? Nadelen? Alternatieven? C Planning (jaarlijkse indienrondes, binnen drie maanden offertes, looptijd maximaal eenjaar)? Bijvoorbeeld Voordelen? Nadelen? Alternatieven? D Allianties (raamcontract voor 4 jaar, samenwerking met andere alliantie op programmalijn)? Bijvoorbeeld Voordelen? Nadelen? Alternatieven? Meerwaarde van samenwerking? E Condities (omvang rond € 40.000, totaal € 250.000 per programmalijn, eigen tarieven, verantwoording)? 3 Hoe zouden de opbrengsten van praktijkgericht onderzoek (in de zin van impact van de onderzoeken wat betreft proces en product op de scholen) in een toekomstige programmering kunnen worden verhoogd? A Hoe kan de samenwerking tussen onderzoeksinstituut en scholen worden verbeterd met het oog op een optimaal leerproces op de scholen en gebruik van de onderzoeksresultaten? B Welke criteria voor honorering van aanvragen/voorstellen zouden moeten worden gesteld? C Welke condities zouden vervuld moeten zijn?

80

Bijlage 6 Overzicht publicaties Kortlopend Onderwijsonderzoek van 1997 tot en met 2012

De publicaties vanaf 2006 zijn te downloaden via www.kortlopendonderzoek.nl

Programmalijn ‘Vormgeving van Leerprocessen’ (voorheen Authentiek leren) Batenburg, T.A. van (2002) Een instrument voor het observeren van leerkrachten bij technisch lezen in groep 3 en een eerste indicatie over effecten van het Groninger Experiment Achterstands­ bestrijding: GEA. Groningen: GION. Batenburg, T.A. van (2009). Leren met het digitale schoolbord op de basisschool. Op zoek naar een didactiek voor Daltononderwijs. Groningen: GION. Batenburg, T.A. van (2001) De ontwikkeling van een monitorsysteem voor zelfstandig leren in het MBO op het ROC Gelders Rivierengebied te Tiel. Groningen: GION. Batenburg, T.A. van (2012) Het signaleren en aanpakken van onderpresteren op de basisschool. Groningen, GION. Batenburg, T.A. van m.m.v. Keuning, T. (2011). Dalton op weg naar evidence-based onderwijs. Wat werkt bij taal- en reken­ onderwijs? Groningen: GION Batenburg, T.A. van m.m.v. Keuning, T. & Hannink, A. (2010). Didactiek voor het Praktijkonderwijs. Onderzoek naar een didactisch alternatief. Groningen: GION

81

Batenburg, T.A., Dijkstra, N.J. & Harskamp, E.G. (2004) Begeleiding in Afstandsleren (BVE-Leren). Groningen: GION Batenburg, T.A. & Werf, M.P.C. van der (2003) Niet Schoolse Cognitieve Vaardigheid Test. Verantwoording, normering en handleiding. Groningen: GION Blik, H. & Harskamp, E. (2005) Kwaliteit van lesmateriaal voor het praktijkonderwijs. Groningen: GION. Blik, H. & Naayer, H. (2012) Groepsinstructie versus tweetalinstructie in het Praktijkonderwijs. Groningen: GION/RUG. Boon, P. & Drijvers, P. (2005). Algebra en applets, leren en onderwijzen. Utrecht: Universiteit Utrecht: Freudenthal Instituut en ICO-ISOR. Boot, M. & Houtveen, T. (2006) Vast en Zeker. Borgen van verworvenheden op onderwijskansenscholen. Utrecht: Universiteit Utrecht. Bouhuijs, P.A.J., Gulikers-Dinjens, M.T.H., Ummels, N.H.D.B. & Rienties, M.E. (2003) Actief en Zelfstandig Leren in niveau 1 en 2 MBO-opleidingen. Maastricht: Universiteit Maastricht, Expertise Centrum Actief Leren. Breetvelt, I., Meijer, J. & Koopman, P. (2012) Effectonderzoek VWO-plus. Onderzoek naar effecten van het Atheneum-plus programma van College De Heemlanden. Amsterdam: Kohnstamm Instituut. Collas, J.R.L. & Bouhuijs, P.A.J. (2002) De betekenis van leertheorieën voor ‘good practices’ op praktijkscholen. Maastricht: Expertise Centrum Actief Leren Universiteit Maastricht. Drijvers, P. m.m.v. Moerbeek, S. & Zijlstra, J. (1998) De symbolische rekenmachine in de wiskundeles. Utrecht: Freudenthal Instituut, ISOR, Onderwijskunde, Universiteit Utrecht.

82

Duijkers, H.M., Gulikers-Dinjens, M.T.H. & Boshuizen, H.P.A. (2000) Begeleiden van leerlingen bij het zoeken, selecteren en beoordelen van informatie: een praktische studie naar het aanleveren van selectievaardigheden in het VWO Maastricht: Capaciteitsgroep Onderwijsontwikkeling en Onderwijsresearch, Expertisecentrum Actief Leren, Universiteit Maastricht. Edelenbos, P. (2003) Realisatie en effecten van ontwikkelingsgericht reken-wiskundeonderwijs. Groningen: GION Edelenbos, P. (red) (2004). Slash 21 in de praktijk. Groningen/Maastricht: GION/ECAL. Graaf, M. de, Graaff, R. de, Koopman, G., Lykles, A. & Tanner, R. (2009). Integratie van taal- en vakonderwijs in TTO. Ervaringen en toepassingen van integratie van taal- en vakonderwijs in tweetalig onderwijs. Utrecht: IVLOS. Graaff, R. de & Koopman, G. (2006) Didactische richtlijnen bij tweetalig onderwijs; onderzoek naar didactische gedra­ gingen van docenten bij tweetalig onderwijs. Utrecht: IVLOS, Universiteit Utrecht. Gulikers-Dinjens, M.T.H., Duijkers, H.M., Pans, R.H.M.C. & Boshuizen, H.P.A. (1999) Begeleiden van leerlingen bij het uitvoeren van opdrachten en werkstukken. Een praktische studie naar het aanleren van onderzoeksvaardigheden in de Tweede Fase van het VO. Maastricht: Capaciteitsgroep Onderwijsontwikkeling en Onderwijs­ research/ECAL. Gulikers-Dinjens, M.T.H., Huveneers, W.J.M., Kuppenveld, P.C.M. van & Bouhuijs, P.A.J. (2007) Intake een hulpmiddel? Een praktische studie naar een doorlopende leerlijn van VMBO naar MTRO. Maastricht: ECAL. Gulikers-Dinjens, M.T.H.,Ummels, N.H.D.B., Boshuizen, H.P.A. & Bouhuijs, P.A.J. (2001) De invloed van doceergedrag en de leeromgeving op zelfstandig leren in het MBO. Maastricht: Capaciteitsgroep Onderwijsontwikkeling en Onderwijsresearch/ECAL.

83

Harms, G.J. (2002) Anders leren met minder handen voor de klas. Groningen: GION. Harms, G.J. (2002) Zelfstandig en samenwerkend leren: van incident naar gewoonte? Een onderzoek naar de toepassing van elementen uit ‘Teamleren’ en ‘Vaardig’ in de tweede klassen van het Olympus College te Arnhem. Groningen: GION. Harms, G.J. (2010) Zelfsturing meetbaar maken. Ontwikkeling van een instrument om zelfsturing in mbo-opleidingen in kaart te brengen. Groningen: GION. Harms, G.J. & Wiel-Slof, J. van der (2008) SintLucas op maat. Een vakcollege voor mbo op weg naar competentiegericht onderwijs. Groningen: GION. Harskamp, E., Haan, D. de & Streun, A. van (2000) Praktijkbrochure praktische opdrachten wiskunde. Groningen: GION. Harskamp, E. & Kuyper, H. (1999) Het studiehuis door de ogen van de leerling. Groningen: GION. Harskamp, E. & Linge, P. van (2007) Engels leren spreken in het vmbo. Groningen: GION. Harskamp, E., Schaaf, M. van der & Stokking, K. (1999) Zelfstandig leren in studiehuis en beroepseducatie : een handreiking voor scholen. Groningen: GION. Harskamp, E. & Slof, B. (2006) Ervaringsgericht leren lezen in het speciaal basisonderwijs. Groningen: GION. Harskamp, E. & Slof, B. (2006) Invoering van individuele ontwikkelingsplannen in het praktijkonderwijs. Groningen: GION.

84

Harskamp, E., Smeenk, R. & Spruijt, L. (2008) Deeltaak- versus hele-taakinstructie. Een onderzoek in het Praktijkonderwijs. Groningen: GION. Harskamp, E. & Suhre, C. (2000) Praktijkbrochure ontwikkelingsgericht lezen : lesportretten en leerresultaten Groningen: GION. Harskamp, E. & Suhre, C. (1999) Software voor rekenen en wiskunde in de brugklas : onderzoek naar de implemen­ tatie en de effecten van het Wiskieprogramma. Groningen: GION. Harskamp, E., Suhre, C. & Tjeerdema, S. (2000) Onderzoek zelfstandig leren en leermotivatie in het VMBO : een handreiking voor leraren. Groningen: GION. Harskamp, E., Suhre, C. & Zomerman, E. (2005) Op weg naar krachtige didactische modellen voor internationale uitwisselingen. Groningen: GION. Helms-Lorenz, M. & Jong-Heeringa, J.L.de (2006) Ontwikkelingsgericht Woordenschatonderwijs. De implementatie en effecten bij Marokkaanse kleuters. Groningen, GION. Houtveen, A.A.M., Riel, M. van, Aalsvoort, G.M. van der & Weerdenburg, M.W.G. van. (1999) Observatie-instrumenten voor kleuters: overzicht van instrumenten voor het obser­ veren van Kleuters. Utrecht: ISOR. Houtveen, T., Kuijpers, J. & Mijs, D. (2004) Kansrijk. Verbeteren van leerlingprestaties door schoolontwikkeling. Utrecht: ICO-ISOR. Houtveen, T., Kuijpers, J. & Vernooy, K. (2005) Meer kansen voor kinderen. Evaluatie van het project leesimpuls speciaal basison­ derwijs. Utrecht: Universiteit van Utrecht/ICO-ISOR

85

Houtveen, T., Mijs, D., Peeters, G. & Vlamings, T. (2002) FLEXIT, adaptief onderwijs door samenwerking. Utrecht: ISOR. Houtveen, T., Mijs, D., Vernooy, K. & Roelofs, E.C. (2000) Omgaan met verschillen bij beginnend lezen. Utrecht: ISOR. Houtveen, T., Mijs, D., Vernooy, K, Grift, W. van de & Koekebacker, E. (2003) Risicoleerlingen bij technisch lezen. Beschrijving en evaluatie van het project ‘Beginnend lezen en omgaan met verschillen’. Utrecht: ISOR Onderwijsresearch. Houtveen,T. & Reezigt, G. (2000) Succesvol adaptief onderwijs : handreikingen voor de praktijk. Utrecht/Groningen: Universiteit van Utrecht, Onderwijskunde, ISOR, GION. Jacobse, A. (2009) Metacognitieve Training in het Basisonderwijs. Effecten van metacognitieve instructie en computerondersteuning op probleemoplossen en metacognitieve vaardigheid bij rekenen in groep 6 en 7. Groningen: GION. Jacobse, A. (2007) De Takentrap - Training van metacognitieve vaardigheden bij leerlingen in het basisonderwijs. Groningen: GION. Jong-Heeringa, J.L. de (2003) Het programma SpelenderWijs. Implementatie en analyse in de gemeente Huizen. Groningen: GION. Jong-Heeringa, J.L.de & Helms-Lorenz, M. (2007) “Stappen langs het water”. Van schip naar school met het onderwijsleerpakket voor varende kleuters. Groningen, GION. Jonker, V. & Wijers, M. (2007) Digitaal authentiek toetsen van wiskunde. Utrecht: Freudenthal Institute for Science and Mathematics Education Universiteit Utrecht i.s.m. Onderzoekscentrum Leren in Interactie Langeveld Instituut voor Pedagogisch en Onderwijskundig Onderzoek Universiteit Utrecht.

86

Kemme, S. & Wijers, M. (2004). Steunlessen Wiskunde en NaSk binnen de praktijklessen. Utrecht: Freudenthal Instituut en ICO-ISOR. Kemme, S., Wijers, M. & Jonker, V. (2003) Authentieke contexten in wiskundemethoden in het VMBO. Utrecht: ICO-ISOR en Freudenthal Instituut Universiteit Utrecht. Kieft, M., Donker, A., Walraven, M. & Gramberg, P. (2012) On Stage. Loopbaanleren in het vmbo. Utrecht: Oberon. Kock, W. de (2011). Invoering van metacognitieve hulp in het rekenonderwijs. Groningen: GION. Leenders, F. (2003) Invoering van algemene vaardigheden: mogelijkheden van een vakoverstijgende aanpak. Utrecht: ICO-ISOR/Onderwijsresearch Universiteit Utrecht. Leenders, F.J. (2001) OSB in methoden : een onderzoek naar de aandacht voor Oriëntatie op Studie en Beroep in methoden voor de tweede fase van het voortgezet onderwijs. Utrecht: ICO Utrecht / ISOR Universiteit Utrecht. Leenders, F.J. (2002) Reflectie-instrumenten en loopbaanoriëntie en -begeleiding. Utrecht: ICO-ISOR/ Onderwijsresearch Universiteit Utrecht. Mullender-Wijnsma, M. J. (2011). Kleuters leren rekenen met digitale prentenboeken. Verslag van een onderzoek in groep 2 van de basisschool. Groningen: GION. Mijs, D., Houtveen, T. & Vernooy, K. (2001) Op weg naar adaptief onderwijs bij beginnend lezen. Utrecht: ICO/ISOR. Oomens, M., Aarsen, E. van & Kooij, D. (2012) Onderwijskundig rapport nieuwkomers. Utrecht, Oberon.

87

Reeuwijk , M. van (red.) (2005) De Grafische rekenmachine in het vmbo. Utrecht: Freudenthal Instituut & ICO-ISOR. Schaaf, M. van der (2001) Maatregelen bij zelfstandig leren : handreiking bij een onderzoek naar didactische en organisatorische maatregelen ten behoeve van zelfstandig werken en leren in het Studiehuis. Utrecht: ICO Utrecht / ISOR Universiteit Utrecht. Schaaf, M.F. van der (2000) Vaardig in het begeleiden van zelfstandig leren? : monitoringinstrument. Utrecht: ISOR. Schaaf, M. van der, Goris, M. & Stokking, K. (2000) Praktische opdrachten bij Grieks en Latijn : richtlijnen en keuzemogelijkheden ten aanzien van doelen, opdrachten, begeleiding, en beoordeling. Utrecht: Universiteit van Utrecht, Onderwijskunde, ISOR. Schaaf, M. van der & Stokking, K.M. (1999) Didactiek en organisatie bij zelfstandig leren : een inventarisatie van verande­ ringen en ervaringen rond de invoering van het Studiehuis. Utrecht: Universiteit van Utrecht, Onderwijskunde, ISOR. Scheeres, L. & Stokking, K.M. (2002) Docenten Nederlands maken schoolexamens schrijfvaardigheid. Utrecht: Universiteit Utrecht, ICO-ISOR. Serail, T. (2007) Succesvolle leerlingen van het Overbosch College in Den Haag. Tilburg: IVA. Sol, Y. & Stokking, K. (2010) Gewenst docenthandelen in het voortgezet onderwijs. Vernieuwingen, perspectieven, keuzes en gronden. Utrecht: IVLOS en de afdeling Onderwijskunde (Faculteit Sociale Wetenschappen) van de Universiteit Utrecht.

88

Sol, Y. & Stokking, K. (2008) Het handelen van docenten in scholen met een vernieuwend onderwijsconcept. Ontwikkeling, gebruik en opbrengsten van een instrument. Utrecht: IVLOS, i.s.m. Onderwijskunde Universiteit Utrecht. Sol, Y. & Stokking, K. (2008) Keuzewerktijd en verandering van leercultuur. Invoering van keuzewerktijduren en effecten op leerlingen en docenten in een school voor voortgezet onderwijs. Utrecht: IVLOS, i.s.m. Onderwijskunde Universiteit Utrecht. Sol, Y. & Stokking, K. (2008) Leerlingenparticipatie in het VO. Vormen, processen, effecten. Utrecht: IVLOS. Sol, Y. & Stokking, K. (2011) Leren van beoordelingen. Leerlingen en docenten in het voortgezet onderwijs over maken en beoordelen van toetsen en opdrachten. Utrecht: Universiteit Utrecht, Onderwijskunde. Sol, Y. & Stokking, K. (2009) Mondelinge feedback bij zelfstandig werken. Interactie tussen docenten en leerlingen in het VO. Utrecht: IVLOS en Afdeling Onderwijskunde, Universiteit Utrecht. Sol, Y.B. & Stokking, K.M. (2007) Tutoren in het voortgezet onderwijs. Utrecht: UU Onderwijskunde. Stokking, K.M. (2000) Ontwikkeling en beoordeling van schrijfvaardigheden : aanwijzingen en suggesties voor docenten Nederlands rond het werken met het ‘schrijfdossier’ in de Tweede Fase. Utrecht: ICO-ISOR. Stokking, K., Harskamp, E. & Houtveen,T. (2003) Authentiek onderwijs: verkenningen, ervaringen en perspectieven. Opbrengsten van vijf jaar Kortlopend Onderwijsonderzoek (1998-2002). Utrecht: ICO-ISOR; Groningen: GION.

89

Stokking, K.M., m.m.v. Rive Box, A.D.M. de la & Mooij, A.M. de (2004). Spelen met je toekomst. Ervaringen van leerlingen met het programma The Real Game. Utrecht: ICO-ISOR. Stokking, K.M. & Schaaf, M.F. van der (1999) Beoordelen van onderzoeksvaardigheden van leerlingen : richtlijnen, alternatieven en achtergronden. Utrecht: Universiteit van Utrecht, Onderwijskunde, ISOR. Stokking, K. & Sol, Y. (2010). Van participatie naar dialoog. Voorwaarden voor het realiseren van meer leerling­ betrokkenheid. Utrecht: Universiteit Utrecht, Onderwijskunde. Stokking, K. & Vandyck, I. (2011). Taken van onderwijsassistenten in het voortgezet onderwijs. Inventarisatie, ordening, uitvoering, beoordeling. Utrecht: Universiteit Utrecht. Suhre, C. (2002) Praktijkbrochure ontwikkelingsgericht leesonderwijs. Functioneel lezen en schrijven in de groepen 3 en 4. Groningen: GION. Suhre, C. (2001) Praktijkbrochure ontwikkelingsgericht reken-wiskundeonderwijs : continuïteit in het reken-wiskundeonderwijs in de groepen 3 en 4. Groningen: GION. Suhre, C. & Harskamp, E. (1999) Nieuwe didactiek en zelfstandig werken in de zorgopleiding. Groningen: GION. Suhre, C. & Harskamp, E. (2002) Praktijkbrochure ICT in het onderwijs. Een onderzoek naar de mogelijkheden van ICT-gebruik in het basis- en voortgezet onderwijs. Groningen: GION. Tanner, R. & Graaff, R. de (2011). Proud to be tvmbo. Teachers’ and students’ opinions about good practice in bilingual junior secondary vocational education (tweetalig vmbo). Utrecht. Centre for Teaching and Learning, Utrecht University.

90

Valk, A.E. & Soest , M.F.N. van (2004). Onderzoek leren doen in de bètavakken. Elementen van een leerlijn in de onderbouw van twee scholen. Utrecht: ICO-ISOR Onderwijs Research / Centrum voor Bèta Didactiek. Verbeek, F. (2013) De ontwikkeling van een itembank voor Wetenschapsoriëntatie. Amsterdam, Kohnstamm Instituut. Verheul, C.C. (2006) Metacognitieve vaardigheden: Docentpercepties en beschikbare meetinstrumenten. Utrecht: CLU-Universiteit Utrecht i.s.m. ICO-ISOR Onderwijsresearch. Verheul, C.C. & Dijk, W. van (2007) Effecten van een nieuw onderwijsconcept bij stagebieders. Utrecht: CLU/ICO-ISOR. Vries, A.M. (2011). Digitaal onderwijs op een mbo-groenschool. Een evaluatie. Groningen: GION Vries, A.M. de (2003) Ervaringen met een elektronische leeromgeving in havo en vwo. Groningen: GION. Vries, A.M. de (2001) Evaluatie van de invoering van een Programma gericht op zelfstandig leren op een ROC. Groningen: GION. Vries, A.M. de (2007) Leerzame lessen van voormalige middenscholen. Groningen: GION, RuG Vries, A.M. de (2009). Na de rebound. Schoolloopbanen na de Rebound; belemmerende en bevorderende factoren. Groningen: GION. Vries, A.M. de (2002) De methodische werkbespreking binnen een juridische mbo-opleiding: een veelbe­ lovend perspectief. Groningen: GION.

91

Vries, A.M. (2009) Na de Rebound. Schoolloopbanen na de Rebound; belemmerende en bevorderende factoren. Groningen: GION. Vries, A.M. de (2005) Natuurlijk leren en motivatie in VMBO-BB, de start. Groningen: GION. Vries, A.M. de (2001) De opzet van een Talencentrum aan een ROC : een handreiking voor scholen. Groningen: GION. Vries, A.M. de & Dijk, M. (2007) Leerlingen met problemen op groene mbo-scholen. Groningen: GION. Vries, A.M. de & Rijsbergen, G.D. van (2010). De schakelklas vóór het vmbo en de schoolloopbaan daarna. Het onderwijsconcept Onderwijs Op Maat in de praktijk en effecten van de schakelklas op de leerlingen. Groningen: GION. Zeles, G.J.P. & Gulikers-Dinjens, M.T.H. (2007) De leertuin in het VMBO. Fysieke leeromgeving of meer? Een onderzoek naar de TL-leerling in de Leertuin. Maastricht: ECAL.

92

Programmalijn ‘Onderwijs en Samenleving’ (voorheen Pedagogische Kwaliteit, daarvoor Pedagogische Doelstellingen) Blok, H., Derriks, M. & Kat, E. de (2005) Werken aan een veilige school; vereisen homodiscriminatie en antisemitisme afzon­ derlijk beleid? Amsterdam: SCO-Kohnstamm Instituut. Boogaard, M. & Roede, E. (2006) Het meten van waarden en normen in interculturele context. Amsterdam: SCO-Kohn­ stamm Instituut. Derriks, M. & Kat, E. de (2007) De leerlingen de baas. Amsterdam: SCO-Kohnstamm Instituut. Derriks, M. & Kat, E. de (2009). Maatjesaanpak in een Jenaplanschool. Tutoring en mentoring in het basisonderwijs. Amsterdam: SCO-Kohnstamm Instituut. Derriks, M. & Kat, E. de (1999) ‘Mij maakt het niets uit’ : homo- en vrouwonvriendelijk gedrag in het voortgezet onderwijs. Amsterdam: SCO-Kohnstamm Instituut, Universiteit van Amsterdam. Derriks, M. & Roede, E. (1999) De gouden draad : tevredenheid over en effecten van een brochure over relationele Vorming. Amsterdam: SCO-Kohnstamm Instituut. Derriks, M. & Roede, E. (2001) Observeren & registreren : invoering en gebruik van het Montessori kindvolg­ systeem. Amsterdam: SCO-Kohnstamm Instituut. Derriks, M. & Roede, E. (2004) Sociaal leren in de praktijk. Amsterdam: SCO-Kohnstamm Instituut. Derriks, M. & Roede, E. (2009). Verscheidenheid en uniformiteit. Niet consequent handelen van leerkrachten. Amsterdam: SCO-Kohnstamm Instituut, Universiteit van Amsterdam.

93

Derriks, M., Roede, E. & Veugelers, W. (2003) Betekenisvol leren in het lwoo. Amsterdam: SCO-Kohnstamm Instituut. Derriks, M., Roede, E. & Veugelers, W. (2002) Samenwerkingsscholen. Van richtingenbundeling tot verantwoorde identiteit. Amsterdam: SCO-Kohnstamm Instituut. Derriks, M. & Vergeer, M. (2010). Doorstroom in het ROC. Een kwestie van goed kiezen en doorzetten? Amsterdam: Kohnstamm Instituut. Derriks, M. & Vergeer, M. (2010). Van havo naar hbo. Ervaringen met het programma Havisten Competent. Amsterdam: SCO Kohnstamm Instituut. Derriks, M., Vergeer, M., Roede, E. & Felix, C. (2011). Preventie van pesten. Implementatie van de methode Leefstijl. Amsterdam: Kohnstamm Instituut. Emans, B.S. & Roede, E. (2005) Hoe katholiek zijn katholieke scholen? Specifiek katholieke accenten in beleid, praktijken en activiteiten op katholieke scholen. Amsterdam: SCO-Kohnstamm Instituut. Emans, B.S. & Roede, E. (2006) Sanctioneren of Argumenteren. Onderzoek naar de beleving van schoolregels en normoverschrijdend gedrag op school. Amsterdam: SCO-Kohnstamm Instituut. Geboers, D., Knippenberg, T. van & Schilderman, H. (1999) ‘Op verkenning’ : onderzoeksrapport. Tilburg: Centrum voor Religieuze Communicatie; Theologische Faculteit Tilburg. Klaassen, C. (2009). Begeleiden van waardegericht onderwijs. Uitdagingen en problemen in onder andere multiculturele settings. Nijmegen. Pedagogiek en Onderwijskunde, Radboud Universiteit.

94

Klaassen, C. (2003) Het Beroepsethos van de Docent. Nijmegen: Sectie Onderwijs en Educatie, Katholieke Universiteit Nijmegen. Klaassen, C. (2005) Identiteit en Diversiteit. Een onderzoek naar de pedagogische, levensbeschouwe­ lijke en interculturele identiteit van een school. Nijmegen: Radboud Universiteit Nijmegen, onderwijskunde, pedagogische wetenschappen. Klaassen, C. (2005) Leren in een Waarde(n)volle Schoolcontext. Nijmegen: Radboud Universiteit Nijmegen, sectie Onderwijs en Educatie. Klaassen, C. (2008) Morele Moed. Een onderzoek onder ROC-docenten. Nijmegen: Radboud Universiteit, Pedagogiek en Onderwijskunde. Klaassen, C. (2008) Pedagogische Opvang. Een studie naar pedagogische aspecten van buitenschoolse opvang. Nijmegen: Radboud Universiteit, Pedagogiek en Onderwijskunde. Klaassen, C. (2012) De pedagogische voorbeeldfunctie van de leerkracht. Nijmegen: Radboud Universiteit, Vakgroep Sociologie. Klaassen, C. (2008) Scholen op weg naar educatief partnerschap met ouders. Nijmegen: Radboud Universiteit, Pedagogiek en Onderwijskunde. Klaassen, C. (2005) Waardengestuurd handelen van docenten. Een onderzoek naar opvattingen van ROC deelnemers. Nijmegen: Radboud Universiteit, Pedagogiek en Onderwijskunde. Klaassen, C. & Broek, A. van den (2010). Morele moed en de pedagogische taak van schoolleiders. Nijmegen: Pedagogiek en Onderwijskunde Radboud Universiteit/Amsterdam: Instituut voor de Lerarenopleiding, Universiteit van Amsterdam.

95

Klaassen, C. & Huwaë, S. (2006) Scholen die werken aan burgerschap. Nijmegen: Radboud Universiteit, Pedagogiek en Onderwijskunde. Klaassen, C. & Linden, P.W.J. van der (2002) De pedagogische schoolleider. Schoolleiders basisonderwijs over het pedagogisch Schoolbeleid. Nijmegen: KUN, Sectie Onderwijs en Educatie. Klaassen, C. & Linden, W. van der (2006) Waardengericht onderwijs in authentieke contexten. Een verkenning. Nijmegen: Radboud Universiteit, Pedagogiek en Onderwijskunde. Klaassen, C. & Linders, W. (2003) Religie op School. Een exploratief onderzoek naar het functioneren van docenten godsdienst/ levensbeschouwing in het voortgezet onderwijs. Nijmegen: Sectie Onderwijs en Educatie. Klaassen, C. & Moll, B. (2005) Kwaliteitsbeleid Montessori onderwijs. Uitgangspunten, kenmerken, procedures. Nijmegen: Radboud Universiteit, sectie Onderwijs en Educatie. Klaassen, C. & Schouten, C. (2000) Leerlingen over het nieuwe leren : een onderzoek door leerlingen naar de beleving van het studiehuis. Nijmegen: Katholieke Universiteit Nijmegen (KUN), Sectie Onderwijs en Educatie. Klaassen, C., Schouten, C. & Leeferink, H. (1999) Werken aan de school als gemeenschap : ontwerp voor een pedagogisch school­ beleid voor scholen voor voortgezet onderwijs. Nijmegen: Sectie Onderwijs en Educatie, Katholieke Universiteit Nijmegen (KUN). Klaassen, C., Theunissen, M., Veen, K. van & Sleegers, P. (1999) “Het is bijna je hoofdtaak” : een serie pedagogische portretten, motieven en praktijken van docenten in verband met de pedagogische opdracht van de school. Nijmegen: Sectie Onderwijs en Educatie, Katholieke Universiteit Nijmegen(KUN).

96

Klaassen, C., Tolsma, B. & Veugelers, W. (2000) Hier is de start van je toekomst. Een onderzoek naar de relatie tussen jeugd­ cultuur en zelfsturing in het onderwijs op ROC Drenthe-College. Nijmegen: Sectie Onderwijs en Educatie, Katholieke Universiteit Nijmegen. Klaassen, C. & Veugelers, W. (2009). Verantwoording van waardegericht onderwijs. Nijmegen: Pedagogiek en Onderwijskunde Radboud Universiteit. Klaassen, C. & Vreugdenhil, B. (2012) Nieuwe Nederlanders op het gymnasium. Nijmegen: Radboud Universiteit, Vakgroep Sociologie. Klaassen, C. & Vreugdenhil, B. (2012) Onderwijs en vermaatschappelijking. Nijmegen: Radboud Universiteit, Vakgroep Sociologie. Klaassen, C., Vreugdenhil, B. & Boonk, L. (2011) Ouders en de loopbaanoriëntatie van hun kinderen. Nijmegen: Vakgroep Sociologie Radboud Universiteit. Klaassen, C. & Vreugdenhil, B. m.m.v. Visser, T. (2011). Vakkenintegratie en godsdienst/levensbeschouwing. Nijmegen: Radboud Universiteit, Vakgroep Sociologie. Klaassen, C. & Wessels, J. (2010). De voorbeeldfunctie van de docent in het vakcollege. Nijmegen: Radboud Universiteit. Leeferink, H. (2000) Waarden op school. Een onderzoek onder ouders en docenten. Nijmegen: Sectie Onderwijs en Educatie, Katholieke Universiteit Nijmegen. Leeferink, H. & Klaassen, C. (2000) De waardevolle leerling: leerlingen van katholieke scholen over waarden, levens­ beschouwing en opvoeding op school. Nijmegen: Sectie Onderwijs en Educatie, Katholieke Universiteit Nijmegen.

97

Oud, W. & Derriks, M. (2011). Onderzoek naar de effecten van de pilot ‘Trajectklas’. Amsterdam: Kohnstamm Instituut. Prins, G., Vos, M. & Pilot, A. (2011) Leerlingpercepties van Onderzoek & Ontwerpen in het technasium. Utrecht: Freudenthal Instituut voor Didactiek van Wiskunde en Natuurwetenschappen, Universteit Utrecht. Roede, E. (2003) Emoties van leerlingen en de rol van de school. Amsterdam: SCO-Kohnstamm Instituut. Roede, E. (1999) Geweld : wat kan de school? Amsterdam: SCO-Kohnstamm Instituut. Roede, E. (2004) De ontwikkeling van respect bij dove leerlingen, wat kan de school? Amsterdam: SCO-Kohnstamm Instituut. Roede, E. (2007) Signalering en aanpak van geweld. Amsterdam: SCO-Kohnstamm Instituut. Roede, E. Bijstra, J.O., Derriks, M. & Moorlag, H. (2001) Cool-down en RAM : twee programma’s voor het verminderen van agressie bij kinderen. Amsterdam: SCO-Kohnstamm Instituut. Roede, E. & Derriks, M. (2000) Dat maak ik zelf wel uit : het ontwikkelen van zelfbeschikking bij seksuele vorming in het Onderwijs. Amsterdam: SCO-Kohnstamm Instituut. Roede, E. & Derriks, M. (2007) Zijn Montessori scholen toekomstbestendig ingericht? Amsterdam: SCO-Kohnstamm Instituut. Roede, E., Derriks, M. & Klaassen, C. (2000) Montessori gemeten? Amsterdam: SCO-Kohnstamm Instituut.

98

Roede, E., Derriks, M. & Veugelers, W. (2002) De inbedding van waarden in de school. Amsterdam: SCO-Kohnstamm Instituut. Roede, E. & Felix, C. (2009). Het einde van pesten op school in zicht? De effectiviteit van antipestaanpakken op basisscholen. Amsterdam: SCO Kohnstamm Instituut. Roede, E. & Gijtenbeek, J. (2002) Zelfstandigheid en mondigheid, ook op islamitische scholen. Amsterdam: SCO-Kohn­ stamm Instituut. Roede, E., Klaassen, C. & Veugelers, W. (2003) Tussen wens en werkelijkheid. De pedagogische dimensie van het onderwijs. Opbrengsten van vijf jaar Kortlopend onderwijsonderzoek (1998-2002). Antwerpen/ Apeldoorn: Garant. Roede, E., Klaassen, C., Veugelers, W., Derriks, M. & Schouten, C. (1999) Andere kwaliteiten van de school . Amsterdam: SCO-Kohnstamm Instituut, Universiteit van Amsterdam. Roman, B. & Vijfeijken, M. van (2011) Aan het werk in de Liemers. Tilburg: IVA. Schuitema, J., Radstake, H. & Veugelers, W. (2011). Docenten en de actieve participatie van leerlingen in klassikale discussies. Amsterdam: Department of Child Development and Education, Universiteit van Amsterdam. Schuitema, J. & Veugelers, W. (2008) Multiculturele contacten in het onderwijs. Leerlingen ontmoeten elkaar. Amsterdam: Instituut voor de Lerarenopleiding, Universiteit van Amsterdam. Tonnaer, J. & Janssen, J. (2003) Luisteren naar de stilte. Ervaringen van jongeren in Taizé. Nijmegen: Katholieke Universiteit Nijmegen, sectie Cultuur- en Persoonlijkheidspsychologie.

99

Vergeer, M. (2012) Goed op weg met de BLOS-klas. Amsterdam: Kohnstamm Instituut. Veugelers, W. (2006) Docenten en waardenvormende dialogen. Amsterdam: ILO, Universiteit van Amsterdam . Veugelers, W. (2008) Levensbeschouwing en onderwijs. Amsterdam: ILO, Universiteit van Amsterdam. Veugelers, W. (2000) De waarde van een mentor-mentee relatie. Amsterdam; ILO. Veugelers, W. et al. (2007) Dimensies van morele ontwikkeling. Amsterdam: ILO. Veugelers, W. & Derriks, M. (2012) Positieve emoties van de leraar. Bronnen van emoties in het lesgeven. Amsterdam: Universiteit van Amsterdam; Department of Child Development and Education. Veugelers, W., Derriks, M. & Kat, E. de (2004) Aandacht voor geestelijke stromingen in het openbaar onderwijs. Amsterdam: ILO. Veugelers, W., Derriks, M. & Kat, E. de (2005) Actieve participatie leerlingen en burgerschapsvorming. Amsterdam: ILO, Universiteit van Amsterdam. Veugelers, W., Derriks, M., Kat, E. de (2007) Gevoel van erkenning en binding bij leerlingen. Amsterdam: ILO, Universiteit van Amsterdam. Veugelers, W., Derriks, M., Kat, E. de (2008) Mondiale vorming en wereldburgerschap. Amsterdam: ILO, Universiteit van Amsterdam. Veugelers, W., Derriks, M. & Kat, E. de (2003) Onderwijs en ingrijpende gebeurtenissen. 11 september en het onderwijs. Amsterdam: ILO, Universiteit van Amsterdam.

100

Veugelers, W., Derriks, M., Kat, E. de & Leenders, H. (2006) Burgerschapsvorming in het Algemeen Bijzonder onderwijs. Amsterdam: ILO, Universiteit van Amsterdam. Veugelers, W., Derriks, M., Kat, E. de & Leenders, H. (2007) Dimensies van morele ontwikkeling. Amsterdam: ILO, Universiteit van Amsterdam. Veugelers, W. & Kat, E. de (1999) De ideale leraar : leerlingen als spiegel voor het pedagogisch handelen. Amsterdam: Instituut voor de Lerarenopleiding, Universiteit van Amsterdam. Veugelers, W. & Kat, E. de (2001) De Pedagogische identiteit van de openbare en algemeen toegankelijke basisschool: een verkenning van relevante elementen en procedures. Amsterdam: ILO, Universiteit van Amsterdam. Veugelers, W. & Kat, E. de (2000) De pedagogische opdracht van het Studiehuis. Amsterdam: Instituut voor de Lerarenopleiding (ILO), Universiteit van Amsterdam. Veugelers, W., Kat, E. de & Roede, E. (2003) Het beoordelen van waarden en normen. Amsterdam: ILO. Veugelers, W., & Klaassen, C. (2007) Burgerschapsvorming in het basisonderwijs Amsterdam: Instituut voor de Lerarenopleiding Universiteit van Amsterdam / Radboud Universiteit Nijmegen. Veugelers, W. & Leeman, Y. (2011) Culturele heterogeniteit en morele ontwikkeling van leerlingen in het Openbaar Onderwijs. Amsterdam: Universiteit van Amsterdam (UvA). Veugelers, W. & Schuitema, J. (2012) Actieve participatie van leerlingen in les, school en samenleving. Amsterdam, Department of Child Development and Education, Universiteit van Amsterdam.

101

Veugelers, W. & Schuitema, J. (2010) Grenzen aan de pedagogische taak van de docent. Een verdeling van taken binnen de school en tussen school, ouders, jeugdzorg en politie. Amsterdam: Department of Child Development and Education, Universiteit van Amsterdam. Veugelers, W. & Schuitema, J. (2009). Leerlingen over burgerschapsvorming. Amsterdam: Instituut voor de Lerarenopleiding, Universiteit van Amsterdam. Veugelers, W. & Zwaans, A. (2002) Pedagogisch handelen van docenten en waardenontwikkeling van leerlingen. Een verkenning van de praktijk in het protestants-christelijk beroepsonderwijs. Amsterdam: Instituut voor de Lerarenopleiding Universiteit van Amsterdam. Vijfeijken, M. van & Wijngaart, M. van den (2012) Samenwerking onderwijs en zorg. Tilburg, IVA. Vink, R. & Dückers, M. (2012) Maatschappelijke legitimering door schoolbesturen. Een verkennend onderzoek. Tilburg: IVA. Vogel, L. & Veugelers, W. (2000) Culturele en kunstzinnige vorming als vak in havo en vwo : ervaringen van docenten en leerlingen met CKV1. Amsterdam: Instituut voor de Lerarenopleiding, Universiteit van Amsterdam. Vogel, L., Klaassen, C., Dam, G. ten & Veugelers, W. (1999) Pedagogische waarden in het basisonderwijs. Amsterdam: ILO, Universiteit van Amsterdam. Wiersma, H., Mooren, A. van der & Vermeulen, M. (2002) Ontwikkeling medewerkers < = > Ontwikkeling Schoolorganisatie : Loopbaanont­ wikkelingsbeleid in de praktijk. Tilburg: IVA

102

Programmalijn ‘Professionele Organisatie’ (voorheen De school als professionele organisatie) Bakker, J., Kat, M., Neut, I. van der & Mannak, R. (2009). Langzaam wennen aan het mbo. Vergelijkend onderzoek naar begeleiding van voormalig PrO-leerlingen op de AKA-opleiding. Tilburg: IVA. Boer, P. den, Rovers, M. & Sentjens, M. (2010). Klaar voor het werk? Onderzoek naar arbeidsmarktkwalificerende activiteiten in VSO en Praktijkonderwijs. Tilburg: IVA. Claassen, A. (1999) Nog geen onderwerp van discussie...? : verslag van een onderzoek naar de ontvangst van het nieuwe leergebied ‘sociaal-ethische oriëntatie’ in de tweede fase van het openbaar voortgezet onderwijs. Nijmegen, ITS. Daalen, M. van, Vrieze, G., Karsten, S. en Kessel, N. van (2009). Onbevoegd lesgeven: een noodoplossing. Ervaringen van docenten en schoolleiders in het voortgezet onderwijs. Amsterdam/Nijmegen: SCO-Kohnstamm Instituut, Universiteit van Amsterdam / ITS. Derriks, M. (2010). ‘Doen wat helpt’. Onderzoek naar de samenwerking tussen onderwijs en zorg in Zutphen. Amsterdam: Kohnstamm Instituut. Derriks, M. & Vrieze, G. (2012) Big Picture Learning en de competenties van docenten. Amsterdam / Nijmegen: Kohnstamm Instituut / ITS Radboud Universiteit. Elfering, S., Peek, S. & Kessel, N. van (2009). Het effect van brede vmbo-opleidingen. In- en doorstroom van de sectoroverstij­ gende programma’s met speciale aandacht voor techniek. Nijmegen: ITS. Emmelot, Y. (2004) Tienminutengesprekken in het primair onderwijs. Amsterdam: SCO-Kohnstamm Instituut.

103

Evers, G.H.M., Koelink, N. Teurlings, C.C.J. & Vermeulen, M. (1998) HRM-modellen in het primair onderwijs. Tilburg: IVA. Felix, C. & Karsten, S. (2000) Ouders en de verzelfstandiging van het bestuur van het openbaar onderwijs : een literatuurstudie. Amsterdam: SCO-Kohnstamm Instituut. Felix, C. & Karsten, S. (2007) Potentiële topsporters in het MBO. Amsterdam: SCO-Kohnstamm Instituut. Felix, C., Karsten, S. & Venne, L. van de (2002) De positie van het openbaar onderwijs. Amsterdam: SCO-Kohnstamm Instituut. Gennip, H. van & Eerkens, F. (2008) ‘Met een elektronische leeromgeving méér baas over eigen onderwijs’. Nijmegen: ITS. Glaudé, M. & Eck, E. van (2012) Lesgeven aan leerlingen op mbo-niveau 1 en 2. Een competentieprofiel voor docenten. Amsterdam: Kohnstamm Instituut. Glaudé, M., Eck, E. van & Voncken, E. (2012) De praktisch-concrete leerroute van het Vakcollege. Amsterdam: Kohnstamm Instituut. Glaudé, M. & Karsten, S. (2007) Partnership tussen ROC en bedrijfsleven. ‘Je hebt elkaar nodig’. Amsterdam: SCO-Kohnstamm Instituut. Glaudé, M., Voncken, E. & Eck, E. van (2011). Doorlopende leerweg door het Vakcollege. Amsterdam: Kohnstamm Instituut. Haerens, B., Teurlings, C., Sanden, J. van der & Wiekeraad, M. (2000) Vakkenintegratie in de basisvorming. Tilburg, IVA; Eindhoven, Technische Universiteit.

104

Karstanje, P.N. & Polder, K.J. (1999) Taken en rollen van het middenmanagement : resultaten van onderzoek naar midden­ management in het voortgezet onderwijs. Amsterdam, SCO-Kohnstamm Instituut. Karsten, S. & Gijtenbeek, J. (2000) Met een blik op de toekomst : naar meerjarenbeleid in het vo. Amsterdam: SCO-Kohn­ stamm Instituut. Karsten, S., Venne, L., Vermeulen, M., Voorthuis, M. & Wiekeraad, M. (2000) Bovenschools management in het primair onderwijs : een studie naar veranderingen in het management van scholen. Amsterdam: SCO-Kohnstamm Instituut. Karsten, S. Voncken, E. & Voorthuis, M. (1998) De basisschool als lerende organisatie. Amsterdam: SCO-Kohnstamm Instituut. Kessel, N. van (1999) Lesuren en schooltijden in het primair onderwijs : historische achtergronden, ontwikkelingen in de omgeving. Nijmegen: ITS. Kessel, N. van & Hovius, M. (2011). Bestuur en management. Onderzoek onder eenpitters en meerpitters in het primair onderwijs. Nijmegen: ITS. Kessel, N. van , Kuijk, J. van & Mensink, J. (1998) Nog meer scholing of toch maar niet : scholingsbehoeften van schoolleiders en besturen in het primair onderwijs. Nijmegen: ITS. Koelink, N. & Louwes, W. (1999) Job-rotation: ‘gedetailleerde spelregels of gewoon beginnen?’. Een onderzoek naar de mogelijkheden van job-rotation binnen ROC-instellingen. Tilburg: IVA. Kools, Q, & Vermeulen, M. (2006) Teach as you preach. Een onderzoek naar de corporate identity van de BVE-instel­ lingen. Tilburg: IVA. Kuijk, J. van (2004) Monitor Praktijkonderwijs. Aanzet tot omgevingsanalyse voor het praktijkonderwijs. Nijmegen: ITS.

105

Kuijk, J. van, Elfering, S. & Kessel, N. van (2011). Kengetallen praktijkonderwijs. Ontwikkeling van een instrument en gebruikers­ mogelijkheden. Nijmegen: ITS. Kuijk, J. van, Kessel, N. & Braam, H. De Tweede Fase: Studielastmeter. Nijmegen, ITS. Kuijk, J. van & Vrieze, G. (2008) ‘Coöperaties in het onderwijs’ Samenwerking met behoud van eigenheid. Nijmegen: ITS. Linden, R. van der, Neut, I. van der, Teurlings, C. m.m.v. Eekhof, R., Noordzij, P., Sanden, J. van der & Seezink, A. (2006) Leer-/werkgemeenschappen in het vmbo. Tilburg: IVA. Linden, R. van der, Oort, M. van & Neut, I. van der (2006) Op weg naar een passende organisatie van competentiegericht beroepsonderwijs in ROC’s. Tilburg: IVA. Linden, R. van der & Sontag, L. (2006) Uitstroom van leerlingen in het voortgezet speciaal onderwijs. Herijking van een instrument. Tilburg: IVA. Linden, R. van der, Teurlings, C., Kools, Q & Verbiest, E. (2007) De inzet van competenties bij de ontwikkeling van TOM scholen als professionele leergemeenschappen. Tilburg, IVA. Linden, R. van der, Teurlings, C. & Vermeulen, M. (2003) De school als professionele organisatie: Opbrengsten van vijf jaar Kortlopend onderwijsonderzoek (1998-2002). Tilburg: IVA. Nieuwland, L., Vermeulen, M. & Neut, I. van der (2006) Effecten teamvorming en teamteaching Slash 21. Tilburg: IVA. Nijman, D., Kat-de Jong, M., Mariën, H. & Oosterling, M. (2011). Stages in het praktijkonderwijs. Een verkennend onderzoek naar succesfactoren en knelpunten bij het organiseren van stages in het praktijkonderwijs. Tilburg: IVA.

106

Oort, M. van , Vermeulen, M., Wiersma, H. & Verbiest, E. (2006) Professionele kweekvijvers in het primair en voortgezet onderwijs. Tilburg: IVA. Oosterling, M., Brouwer, P. & Nijman, D. (2010). Meer waarde creëren. Een verkennend onderzoek naar de kosten en baten van het Praktijkonderwijs. Tilburg: IVA. Oosterling, M. & Vink, R. m.m.v. Broekmans, A. (2011). Besturen met intern toezicht. Zicht op het omgaan met de wet ‘Goed onderwijs, goed bestuur’. Tilburg: IVA. Oud, W. m.m.v. Emmelot, Y. (2010). De visitatieprocedure cultuurprofielscholen. Toetsing van de kwaliteit. Amsterdam: Kohnstamm Instituut. Oud, W. m.m.v. Meijer, J. (2011). Vaststellen van de kwaliteit van leeropbrengsten op schoolniveau. Selectie van indicatoren voor het ontwikkelingsperspectief en uitstroomniveau onderzocht. Amsterdam: Kohnstamm Instituut Overmaat, M. & Boogaard, M. (2004) Neemt ouderparticipatie af? Stand van zaken en tips voor scholen en ouderraden. Amsterdam: SCO-Kohnstamm Instituut. Peek, S. & Kuijk, J. van (2010). Zicht op personeelsbeleid: waarde van en indicatoren voor monitoring. Onderzoek bij bestuur, directie, teamleiders en leraren naar indicatoren voor personeelsbeleid. Nijmegen: ITS. Polder, K.J. m.m.v. Karsten, S. & Koopman, P. (2005) Bestuur en autonomie van openbare scholen. Amsterdam: SCO-Kohnstamm Instituut. Pranger, R., Muijnck, J. de, Linden, R. van der, Berkvens, M., m.m.v. Verbiest E. en Nieuwland, L. (2009). Verzelfstandiging van het openbaar primair onderwijs. Een onderzoek naar de motieven en doelen van de verzelfstandiging en de intensiteit van het toezicht in de praktijk. Tilburg: IVA.

107

Rohaan, E., Beijaard, D. & Vink, R. (2012) Persoonlijke professionaliteit. Overtuigingen, disposities en competenties van docenten in het voortgezet onderwijs. Eindhoven: Eindhoven School of Education, Technische Universteit Eindhoven | Tilburg: IVA beleidsonderzoek en advies. Rooij, C.P.G. de & Vink, C.R. (2009) Commitment van middenmanagers. Onderzoek onder middenmanagers in het vo en mbo. Tilburg: IVA. Smit, F. & Kuijk, J. van (2004) Inspraak bij bovenschools beleid. Roeien met de riemen die je hebt. Nijmegen: ITS. Smit, F., Mesink, J., Doesborgh, J. & Kessel, N. van (2000) Een extra klontje roomboter : onderzoek naar de rol van ouders bij de levensbe­ schouwelijke identiteit op katholieke scholen, de houding van ouders ten opzichte van schoolbesturen en de behoefte aan bijscholing voor alternatieve besturenvan openbare scholen. Nijmegen: ITS. Smit, F. & Pelkmans, T. (1999) Ambities waar willen maken : onderzoek naar missie, zingeving en zelfsturende teams binnen ROC’s. Nijmegen: ITS. Smit, F., Sontag, L. & Wolput, B. van (2002) Realisatie kerndoelen een onmogelijke opgave? Nijmegen: ITS. Smit, F., Vrieze, G.& Kuijk, J. van (2005) Leerlingenparticipatie in het voortgezet onderwijs. Onderzoek naar ervaringen met nieuwe vormen van leren. Nijmegen: ITS. Sontag, L. et al. (2003) Veilig internetgebruik. Tilburg: IVA; Nijmegen: ITS. Sontag, L., Wiersma, H. & Bogaard, M. van den (2004) Uitstroom Voortgezet Speciaal Onderwijs in beeld. De ontwikkeling van een instrument en een meting van de uitstroom van VSO-leerlingen in het schooljaar 2002-2003. Tilburg: IVA.

108

Steensel, R. van & Sontag, L. (2006) Passend onderwijs in de praktijk. Ervaringen met innovatieve organisatievormen met betrekking tot de integratie van leerlingen met een beperking in het reguliere onderwijs. Tilburg: IVA. Teurlings, C. & Uerz, D. (2009). Professionalisering van roc-docenten: zoeken naar verbinding. Tilburg: IVA. Teurlings, C., Vink, R. & Gielen, P., m.m.v. Peters, M., Marien, H. (2010). Werken in teams in het voortgezet onderwijs. Een aanzet tot benutten van onderzoek. Tilburg: IVA. Thunnissen, M., Vermaas, J. & Wiersma, H. (1999) Werken aan onderwijs op maat : naar een flexibel ROC. Tilburg: IVA Uum, M. van & Kat-de Jong, M. (2012) (Onder)wijs in techniek? Onderzoek naar de houding en praktijk van leraren ten aanzien van onderwijs in techniek. Eindhoven/Tilburg: Eindhoven School of Education/ IVA. Venne, L. van de, Felix, C. & Vermeulen, A. (2001) Zelfsturende teams in ROC’s: een studie naar de ontwikkeling van zelfsturende teams binnen ROC-verband. Amsterdam: SCO-Kohnstamm Instituut. Verbogt, T. & Vermeulen, M. (1999) Evaluatie ambulante begeleiding : verslag van een onderzoek naar de ontwikkeling van een instrument ter verbetering van ambulante begeleiding. Tilburg: IVA. Vergeer, M.M. (2003) Beter omgaan met verschillen. Amsterdam: SCO-Kohnstamm Instituut. Vergeer, M., m.m.v. Felix, C., Derriks, M. & Ledoux, G. (2009). Scholen ondersteunen bij omgaan met verschillen. Tweede evaluatie van de inzet van een team van orthopedagogen in dienst van een schoolbestuur. Amsterdam: SCO-Kohnstamm Instituut. Vermaas, J., Leijten, A. & Berkvens, M. (2007) Realisatie van de onderwijstijd in het praktijkonderwijs. Tilburg: IVA.

109

Vermaas, J. & Linden, R. van der (2008) Beter inspelen op havo-leerlingen. Tilburg: IVA. Vermaas. J., Vermeulen, M. & Wiersma, H. (1999) Personeelsbegeleiding in het voortgezet onderwijs : begeleiden en begeleid worden in een professionele organisatie. Tilburg, IVA. Vermaas. J. & Wiersma, H. (2000) De klachtenregeling in het primair en voortgezet onderwijs : spiegel of bliksemaf­ leider? Tilburg: IVA. Vermaas, J., Wiersma, H. & Hoogenberg, I. (2003) Kritische blik op de klachtafhandeling in het onderwijs. Klagers en scholen evalueren de klachtenregeling. Tilburg: IVA. Vermeulen, M. (2002) Adviesgesprekken ter verbetering instrument ambulante begeleiding. Verantwoor­ dingsrapportage en bijlage met instrumenten beschikbaar. Tilburg: IVA. Vermeulen, M., Vinken, H. & Wiersma, H. (1999) Leren begeleiden in het studiehuis. Tilburg, IVA. Vijfeijken, M. van, Nijman, D. & Vloet, A. (2010). Eerder aandacht voor praktische leerlingen in het basisonderwijs. Onderzoek naar de behoefte aan een andere, meer praktische invulling van het basisonderwijs in de Rijnstreek. Tilburg: IVA. Vijfeijken, M. van & Schilt-Mol, T. van (2012) Nieuwkomers in het basisonderwijs. Onderzoek naar benodigde competenties van leerkrachten, intern begeleiders en schoolleiders die werken met nieuwkomers. Tilburg: IVA. Vijfeijken, M. van & Teurlings, C. m.m.v. Liebregts, K. (2010). Ambulant begeleiders. Op zoek naar nieuwe taken en rollen. Tilburg: IVA. Vink, R. (2009). Commitment van middenmanagers. Onderzoek onder middenmanagers in het vo en mbo. Tilburg: IVA

110

Vink, R. (2013) Professioneel intern toezicht in het primair en voortgezet onderwijs. Tilburg: IVA Vink, C.R., Fuhr, S. von der, Oosterling, M. & Sontag, L. (2008) Directeur in het praktijkonderwijs. Tilburg: IVA. Vink, R., Schilt-Mol, T. van & Sontag, L. (2008) De arbeidsmarkt op! De aansluiting tussen onderwijs en arbeidsmarkt voor school­ verlaters uit het Praktijkonderwijs en Voortgezet Speciaal Onderwijs. Tilburg: IVA. Vreugdenhil-Tolsma, B., Kools, Q. & Wolf, A. de (2003) Uitstroom praktijkonderwijs in beeld. De ontwikkeling van een instrument en een meting van de uitstroom in 2001-2002 van leerlingen praktijkonderwijs. Tilburg: IVA. Vrieze, G. (1998) Van loopjongen naar coach : ervaringen van interne begeleiders met lerende netwerken. Nijmegen: ITS. Vrieze, G. & Braam, H. (2004) CGO wijzer. Wat betekent competentiegericht onderwijs voor onze opleiding? Nijmegen: ITS. Vrieze, G., Daalen, M. van & Wester, M. (2010). Ruimte van de leraar. Helpt LINC om de ruimte van de leraar vorm te geven? Nijmegen/Amsterdam: ITS/Kohnstamm Instituut. Vrieze, G. & Gennip, H. van (2006) Beroeps- en functievorming bij intern begeleiders. Nijmegen: ITS. Vrieze, G., Kessel, N. van & Hovius, M. (2012) Bestuur en management (V)SO. Onderzoek bij bestuur en scholen cluster-3- en -4. Nijmegen: ITS. Vrieze, G., Kuijk, J. van & Kessel, N. (2001) Naar aantrekkelijk beroepsonderwijs met WPS. Nijmegen, ITS.

111

Vrieze, G., Mok, A.L. & Smit, F.(2004) Beroepsonderwijs als integrale beroepsvorming. Nijmegen: ITS. Vrieze, G. & Wartenbergh-Cras, F. (2006) Uitbesteden of zelf doen. Nijmegen: ITS. Want, A. van der, Uum, M. van & Brock, P. den. M.m.v. Kat, M. & Vijfeijken, M. van (2012) De implementatie van techniek op school: een quickscan. Eindhoven School of Education/IVA beleidsonderzoek en advies. Wartenbergh-Cras, F. & Gennip, H. van (2003) Zeven Sterren Zien: ontwikkelingsbeelden voor leraren voortgezet onderwijs. Nijmegen: ITS. Wartenbergh-Cras, F. & Kessel, N. van (2006) Management en Bestuur - Onderzoek naar de inrichting van bovenschoolse manage­ mentbureaus in het primair onderwijs. Nijmegen: ITS. Wartenbergh-Cras, F. & Kessel, N. van (2007) Verdeling van taken en verantwoordelijkheden. Nijmegen: ITS. Wester, M. & Kessel, N. van (2012) In- en doorstroom sectoroverstijgende programma’s in het vmbo. Cohort 2008 en 2009. Nijmegen, ITS. Wiersma, H., Bogaard, M van den, Teurlings, C. & Verbiest, E. (2005) Ruimte voor zelfsturing. Onderzoek naar resultaatverantwoordelijke teams binnen ROC’s in het kader van het kortlopend onderwijsonderzoek. Tilburg: IVA. Wiersma, H., Mooren, A. van der & Vermeulen, M. (2002) Ontwikkeling medewerkers < = > ontwikkeling schoolorganisatie. Loopbaanontwik­ kelingsbeleid in de praktijk. Tilburg: IVA. Wiersma, H., Verbogt, T., Vermeulen, M., Louwes, W. & Teurlings, C. (2001) ‘Hoe stimuleer ik mijn medewerkers om zich mobiel op te stellen?’ : planmatig werken aan de ontwikkeling van onderwijzend personeel in het primair onderwijs via het instrument mobiliteit. Tilburg: IVA. .

112

Wiersma, H. & Wolf, A. de (2004) Het ontwikkelen van een begeleidingsplan als instrument voor vraaggestuurd werken. Een leertraject bij twee diensten voor ambulante begeleiding. Tilburg: IVA. Willemse, P. & Denissen, N. (2012) Examineren op de werkplek. De ontwikkeling van een assessmentmodel voor het mbo. Eindhoven School of education, Technische Universiteit Eindhoven / IVA beleidsonderzoek en Advies. Wolf, A. de & Vreugdenhil-Tolsma, B. (2002) Praktijkonderwijs: gegarandeerd werk? Een onderzoek naar de arbeidsintegratie van leerlingen praktijkonderwijs. Tilburg: IVA.

113

114

De praktijk van onderzoek Na 15 jaar Kortlopend Onderwijsonderzoek is het tijd om de balans op te maken van deze vorm van praktijkgericht onderzoek. Kortlopend Onderwijsonderzoek is onderzoek dat op verzoek van het onderwijsveld wordt uitgevoerd door universitaire onderzoeksinstituten. De onderzoeken hebben een maximale looptijd van een jaar en genereren resultaten waarmee scholen voor primair en voortgezet onderwijs en middelbaar beroepsonderwijs de kwaliteit van het onderwijs kunnen verbeteren. Per 1 januari 2014 zullen de middelen voor (praktijkgericht) onderzoek ondergebracht worden bij het Nationaal Regieorgaan Onderwijsonderzoek. In de afgelopen 15 jaar zijn ruim 300 onderzoeken uitgevoerd, ondergebracht in een drietal programmalijnen: Vormgeving van Leerprocessen, Onderwijs en Samenleving, en Professionele Organisatie. De opzet en organisatie van deze onderzoeken zijn gericht op het vergroten van de kans op daadwerkelijk relevante resultaten voor de onderwijspraktijk. Het evaluatieonderzoek, waarvan in deze uitgave verslag wordt gedaan, was onder meer gericht op de vraag in hoeverre de onderzoeken hebben bijgedragen aan schoolontwikkeling bij de aanvragers van de onderzoeken en in welke mate en op welke wijze de onderzoekers erin zijn geslaagd te voldoen aan kwaliteitscriteria voor praktijkgericht onderzoek. Ook komt aan de orde hoe aanvragers en onderzoekers de procedures en uitgangspunten van het Kortlopend Onderwijsonderzoek ervaren en welke succesfactoren en kansen zij zien voor toekomstig praktijkgericht onderzoek. In het eerste deel van deze uitgave staat een schets van de werkwijze, procedures en programmalijnen van het Kortlopend Onderwijsonderzoek. Het tweede deel beschrijft de ervaringen van aanvragers en onderzoekers bij de uitvoering en het gebruik van de resultaten van het Kortlopend Onderwijsonderzoek. En op basis van de interviews met aanvragers, onderzoekers, onderzoeksmanagers en koepelorganisaties staan in deel 3 tot slot aanbevelingen voor het programma praktijkgericht onderzoek van het Nationaal Regieorgaan Onderwijsonderzoek.