Handleiding Praktijkgericht onderzoek

Praktijkgericht onderzoek: Handleiding

Handleiding Praktijkgericht onderzoek 1. Inleiding Wat is praktijkgericht onderzoek? Het doel van deze cursus is om je bekend te maken met het uitvoeren van praktijkgericht onderzoek (PGO) dat zinvol is voor de school waar je werkt en dat zinvol is voor jou als docent. Het gaat dus om een onderwerp dat goed uitgezocht moet worden, waarbij zowel de school als jijzelf belang hebt. We noemen dit PGO omdat:  het onderzoek ingebed is in de ontwikkeling van de school waar je stage loopt of waar je werkt;  een bijdrage leveren aan de schoolontwikkeling een nadrukkelijk doel en onderdeel is van het onderzoek; anders gezegd: de inbedding in de school is onderdeel van het onderzoek;  het onderzoek zowel qua onderwerp, ontwerp, uitvoering als opbrengst gericht is op de onderwijspraktijk;  op de vragen uit de praktijk antwoord gezocht wordt in de literatuur en door op een systematische manier gegevens te verzamelen, gegevens te verwerken en de resultaten vervolgens te vertalen naar de dagelijkse onderwijspraktijk. Waarom PGO? Het verrichten van PGO is een vaardigheid die in het onderwijsveld om verschillende redenen hoog gewaardeerd wordt. Zo kan PGO bijvoorbeeld een bijdrage leveren aan schoolontwikkeling, aan professionele ontwikkeling van docenten en aan het verhogen van de kwaliteit van lessen. Daarnaast is het doen van PGO, naast de bevoegdheid om les te geven in de bovenbouw, iets waarmee je je als eerstegraads docent onderscheidt van andere docenten. Het PGO heeft een omvang van 7,5 EC (circa 220 uur). Als we er vanuit gaan dat de periode tot aan het einde van je opleiding nu nog ongeveer vijfentwintig weken beslaat, dan betekent dit dat je ongeveer tien uur in de week met het PGO bezig bent. Een belangrijk en substantieel onderdeel van de opleiding dus. Gebruik van Blackboard Bij het PGO-traject wordt gebruik gemaakt van de leeromgeving in Blackboard. Er is een aparte omgeving beschikbaar (dus los van de mentorgroep) waar informatie staat over PGO in het algemeen, de inhoud en materialen van de drie workshops en de drie themabijeenkomsten, evenals instrumenten die je kunnen helpen bij verschillende onderdelen van het PGO-traject. Verder krijg je daar per groepje een pagina waarop je de verschillende versies van je onderzoeksplan kan uploaden en waar ook de feedback van zowel de onderzoekers als de peers komt te staan.

1


2. Opbouw PGO Het PGO-traject kent grofweg drie fasen: 1) het maken van een onderzoeksplan, 2) het uitvoeren van het onderzoek en 3) het rapporteren van de resultaten door een presentatie op een onderzoeksconferentie en het schrijven van een artikel. Deze fasen worden hieronder toegelicht.

2.1 Fase 1: Het maken van een onderzoeksplan De eerste fase van het PGO bestaat uit het maken van een onderzoeksplan. Hiervoor worden drie workshops en drie ondersteunende themabijeenkomsten verzorgd. In de workshops werk je aan het maken van een onderzoeksplan. Deze vinden plaats tijdens de mentorbijeenkomsten. Voor de stagevariant geldt dat de eerste twee workshops tijdens de eerste stageperiode plaatsvinden, de derde en laatste workhop vindt plaats aan het begin van de tweede stageperiode. Dat heeft als doel om het PGO ook te kunnen integreren in de tweede stageschool. Laat je bij je keuze voor een relevant onderwerp niet alleen leiden door praktijkgerichte of persoonlijke vragen, maar laat je ook inspireren door eerder uitgevoerd PGO (zie Igitur), verschillende internetsites (o.a. leraar24, kennisnet) en relevante instanties (SLO, APS, Ministerie van OCW). Daarnaast ga je ook naar de conferentie van een groep studenten die net hun PGO hebben uitgevoerd. N.B. We gaan ervan uit dat je, voordat je aan deze workshops begint, al hebt nagedacht over de keuze voor een onderzoeksonderwerp en met welke medestudenten je het onderzoek wilt gaan uitvoeren. In de themabijeenkomsten wordt er onderzoeksmethodologische scholing verzorgd, waarvoor je je kunt inschrijven. Het doel hiervan is dat we beter kunnen aansluiten bij de voorkennis van studenten: sommige studenten hebben al wat meer ervaring met onderzoek, andere hebben dat niet of nauwelijks. De begeleiding in de mentorbijeenkomsten is voor iedere student van belang. Voor de methodologische scholing kan je zelf of als groep een keuze maken, al naar gelang de behoefte op een bepaald moment. De themabijeenkomsten vinden steeds één week na de mentorbijeenkomst plaats waarin het PGO is besproken. Zo kan je in de mentorbijeenkomst afstemmen of het zinvol is je hiervoor in te tekenen. Hieronder volgt per workshop en gekoppelde themabijeenkomst een korte inhoudelijke beschrijving. Workshop 1 In workshop 1 wordt het PGO geïntroduceerd en wordt ingegaan op plaats, rol en belang van het onderzoek in de universitaire lerarenopleiding, de begeleiding en het tijdpad. De onderzoeksonderwerpen worden geïnventariseerd en de onderzoeksgroepjes worden gevormd. Het onderzoeksonderwerp werk je verder uit via een aantal stappen tot een voorlopige probleemstelling. Je maakt in je groepje afspraken ter voorbereiding van de tweede workshopronde. Concreet komt in deze workshop aan bod: • Introductie PGO en inventarisatie onderzoeksonderwerpen. • Vorming van onderzoeksgroepjes van 3-4 studenten. Het PGO voer je uit in groepen van 34 lio’s die een gezamenlijke probleemstelling uitwerken en/of onderzoek doen op elkaars scholen. Tenzij er sprake is van bijzondere omstandigheden (bijv. als je participeert in een specifiek onderzoeksproject zoals de Academische Opleidingsschool) wordt deze regel gehanteerd en kan hier niet van afgeweken worden. Je mag wel samen met studenten uit een ander cluster een groepje vormen. • Probleemstelling voor het onderzoek uitwerken op basis van het gekozen onderwerp. Dit onderwerp kan zowel algemeen didactisch als vakdidactisch van aard zijn. Themabijeenkomst 1: ‘De probleemstelling van PGO’ De eerste themabijeenkomst gaat in op het opstellen van een probleemstelling als basis voor een onderzoeksopzet. De elementen van een onderzoeksopzet worden in samenhang behandeld. Specifiek wordt ingegaan op het formuleren van onderzoeksvragen, het duiden van onderzoek in termen van verschillende onderzoeksfuncties en op verschillende typen onderzoek. Bronnen voor zelfstudie: 1) Baarda, D.B., & De Goede, M.P.M. (2006). Basisboek Methoden en Technieken. Groningen: Noordhoff. 2) Oost, H., & Markenhof, A. (2002). Een onderzoek voorbereiden. Baarn: HB uitgevers.

2


Workshop 2 In deze workshop werk je verder aan je onderzoeksplan. Je verheldert de onderzoeksvraag, verwoordt de probleemstelling, bakent het theoretische kader af en denkt na over geschikte methoden van dataverzameling. Concreet komen tijdens de tweede workshop de volgende zaken aan bod: • Verdere uitwerking van het onderzoeksplan: verhelderen onderzoeksvraag, verantwoording van de probleemstelling verwoorden, theoretisch kader afbakenen, methoden van dataverzameling kiezen. • Vorming van de koppelgroepjes voor peer-feedback op het onderzoeksplan. Themabijeenkomst 2: ‘Methoden van PGO’ In de tweede themabijeenkomst 2 wordt ingegaan op verschillende methoden en technieken voor het verzamelen van data. Er wordt stilgestaan bij generieke methoden (zoals vragenlijsten, interviews en observaties) en specifieke methoden (zoals concept mapping en stimulated recall interviews). Centraal daarbij staat het operationaliseren. Bronnen voor zelfstudie: 1) Baarda, D.B., De Goede, M.P.M., & Van der Meer, A.G.E. (2007). Basisboek Interviewen. Groningen: Noordhoff. 2) Baarda, D.B., De Goede, M.P.M., & Kalmijn, M. (2007). Basisboek Enquêteren. Groningen: Noordhoff. 3) Emans, B. (2003): Interviewen. Theorie, techniek en training. Groningen: Noordhoff. 4) Van de Sande, J.P. (2001): Gedragsobservatie. Een inleiding tot systematisch observeren. Groningen: Noordhoff. Workshop 3 Tijdens workshop 3 geef je als onderzoeksgroepje en koppelgroepje elkaar toelichting op de feedback over de voorlopige onderzoeksplannen. Daarna is er weer de gelegenheid verder te werken aan het onderzoeksplan. Nu ligt de nadruk op het nadenken over geschikte methoden van dataverwerking, het bepalen van het tijds- en faseringsschema en het afronden van het onderzoeksplan. Concreet komt aan bod tijdens de derde workshop: • Onderzoeksgroepje en koppelgroepje geven elkaar toelichting op hun feedback (aan de hand van de rubric, zie bijlage 1). • Verder werken aan onderzoeksplan: methoden van dataverwerking kiezen, tijds- en faseringsschema opstellen, inventariseren van te gebruiken literatuur. • Afstemmen begeleiding met mentoren. Themabijeenkomst 3: ‘Dataverwerking en rapportage van PGO’ Themabijeenkomst 3 gaat in op het analyseren van verschillende typen data. Toegelicht wordt welke verschillende typen data er zijn en wat daar wel en niet mee gedaan kan worden. Er worden zowel kwalitatieve als kwantitatieve benaderingen gepresenteerd. Bronnen voor zelfstudie: 1) Baarda, D.B., Teunissen,. J., & De Goede, M.P.M. (2005). Basisboek Kwalitatief Onderzoek. Groningen: Noordhoff. 2) Baarda, D.B., & De Goede, M.P.M. (2007). Basisboek Statistiek met SPSS. Groningen: Noordhoff.

2.2 Fase 2: Het uitvoeren van PGO In deze tweede fase voor je het onderzoek uit. Dat betekent dat je data gaat verzamelen, deze gaat verwerken en analyseren. Let op: vanaf deze fase word je begeleid door een andere begeleider dan de onderzoeker die je begeleid heeft bij het opstellen van het onderzoeksplan – zie hoofdstuk 3. Tijdens de uitvoering van het PGO kan je gebruik maken van een vierde themabijeenkomst, die geheel gewijd is aan het analyseren van kwantitatieve gegevens in SPSS (software voor het analyseren van data uit sociaal wetenschappelijk onderzoek). Deze themabijeenkomst wordt aangeboden op een moment dat je al data hebt verzameld en deze dus ook kan gebruiken tijdens de bijeenkomst.

3


2.3 Fase 3: Het rapporteren en presenteren van de onderzoeksresultaten De resultaten van het PGO worden op twee manieren gerapporteerd en beoordeeld: 1. Een artikel dat gepubliceerd wordt via Igitur, het digitaal wetenschappelijk archief van de Universiteit Utrecht. Dit is een openbare bronnenbank. 2. Een presentatie op de clusteroverstijgende PGO-conferentie. Artikel Per groepje schrijf je één artikel. Het artikel wordt beoordeeld met behulp van de rubric. De volledige rubric is te vinden in Bijlage 2. Het artikel wordt bij voorkeur in het Nederlands geschreven, omdat het bijvoorbeeld (gemakkelijk) beschikbaar en leesbaar moet zijn voor docenten en andere geïnteresseerden. Indien wenselijk mag het artikel ook in het Engels geschreven worden. PGO-conferentie Aan het einde van het opleidingsjaar wordt een clusteroverstijgende conferentie georganiseerd waarin je je onderzoek presenteert aan elkaar, de opleiders, schoolopleiders, schoolbegeleiders en andere belangstellenden. Je doelgroep bestaat uit alle studenten die op dat moment de lerarenopleiding volgen, docenten van de opleidingsscholen en lerarenopleiders. Het doel van je presentatie is enerzijds om je collega-studenten en andere deelnemers aan de conferentie te informeren over de resultaten van je onderzoek, en anderzijds om van hen feedback te krijgen op je onderzoek die je kunt meenemen bij het afronden van het artikel. Let op: dit is een eindconferentie waar de resultaten en conclusies worden gepresenteerd. Wanneer het onderzoek nog niet zo ver is, kan het niet gepresenteerd worden. Let op: het is een onderzoeksconferentie, dus leg de nadruk tijdens je presentatie op de inhoud van het onderzoek (probleemstelling, resultaten, conclusie) en niet zozeer op de context of het proces. Bereid je presentatie goed voor, ook in overleg met je begeleider. Je wordt in aanloop naar de conferentie benaderd om je titel en een korte beschrijving van je presentatie door te geven. Je krijgt feedback van de deelnemers aan de workshops. Deze feedback kan je dan gebruiken bij het vormgeven van het definitieve artikel. De presentatie is verplicht, maar wordt niet beoordeeld.

4


3. Begeleiding en beoordeling 3.1. De begeleiding tijdens het PGO In fase 1, het schrijven van het onderzoeksplan, word je begeleid door een onderzoeker. Dit is iemand die ruime ervaring heeft in het opzetten en doen van wetenschappelijk onderzoek. Deze onderzoeker verzorgt ook de workshops tijdens de mentorbijeenkomst. In fase 2 en 3 word je ondersteund door een begeleider vanuit het Centrum voor Onderwijs en Leren. Dit kan je mentor zijn, maar ook bijvoorbeeld een onderzoeker die expertise heeft in het onderwerp dat in je onderzoek centraal staat. (Dat kan bijvoorbeeld een vakdidacticus zijn, maar ook een onderzoeker die onderzoek doet dat gerelateerd is aan jullie onderwerp.) Deze ‘expert’ zoek je dan zelf. Houd er rekening mee dat er tussen fasen 1 en 2 een wisseling kan plaatsvinden in de begeleiding tijdens het PGO-traject (behalve als de onderzoeker toevalligerwijs ook je begeleider wordt tijdens de uitvoerende en afrondende fase). Wanneer je geen ‘expert' op het oog hebt, wordt automatisch één van je mentoren je begeleider. Spreek met je begeleider door hoe je de begeleiding vormgeeft. Uit ervaring blijkt dat het onderzoeksgroepje en de begeleider 3 tot 4 gesprekken hebben, waarin de inhoud en voortgang van het onderzoek worden besproken. Naast de begeleidende rol (het lezen van het materiaal dat de jullie hem of haar toesturen en het geven van feedback en advies) is het de taak van de begeleider het artikel te beoordelen.

3.2. Beoordeling PGO Het PGO-traject kent twee formele beoordelingselementen: 1) het onderzoeksplan en 2) het artikel. Zowel het onderzoeksplan als het artikel wordt beoordeeld aan de hand van een rubric (zie respectievelijk bijlagen 1 en 2). Onderzoeksplan Het onderzoeksplan wordt beoordeeld door de onderzoeker en je mentor. Het doel hiervan is om een zo objectief (niet afhankelijk van één persoon) en representatief (verschillende componenten en domeinen dekkend) mogelijke beoordeling te geven. Je krijgt uiteindelijk van je mentor de definitieve beoordeling, waarbij de onderzoeker je mentor van input/advies voorziet voor de daadwerkelijke beoordeling. Deze beoordeling omvat ook een GO/NO GO-beslissing. Dit oordeel is de gezamenlijke inschatting van de onderzoeker en de mentor of het beoogde onderzoek haalbaar/realistisch is, gegeven de beschikbare ruimte en tijd. Wanneer je een NO GO ontvangt, betekent het dat je het plan moet bijstellen en dat je nog geen data mag verzamelen (bij een voldoende beoordeling kun je wel al praktische zaken verder regelen). Je mentor beslist uiteindelijk of je een GO krijgt voor het gereviseerde plan (waarbij advies van de onderzoeker optioneel is). Je kunt het onderzoeksplan als voldoende beschouwen als alle componenten op minimaal niveau ‘werkbaar plan’ is afgetekend. In ieder geval mag er geen component op niveau ‘eerste aanzet’ worden beoordeeld. Het artikel zal dan nog op dit aspect verbeterd moeten worden. Artikel Het uiteindelijke artikel wordt beoordeeld door je begeleider. Je kunt het artikel als voldoende beschouwen als alle componenten op minimaal niveau ‘ontwikkelend’ of ‘geaccepteerd’ zijn afgetekend. In ieder geval mag er geen component op niveau ‘concept’ worden beoordeeld. Het artikel zal dan nog op dit aspect verbeterd moeten worden.

5


4. Afronding PGO Zodra je artikel is goedgekeurd, moet je de volgende drie stappen ondernemen om het PGO helemaal af te ronden. 1. Zorg voor een goede annotatie van je artikel De volgorde aan het begin van het artikel: [titel] [evt. ondertitel] [namen] Universiteit Utrecht, Centrum voor Onderwijs en Leren, […cluster (start feb/aug 20XX)] [maand, 20XX] (maand van afronding) Auteursinfo aan het einde van het artikel: Vermeld, behalve jullie namen en opleidingsgegevens op de eerste pagina, ook auteursinfo aan het eind van het artikel, zodat kader en bedoeling van het artikel duidelijk zijn. Hierbij de volgende suggestie (maar dit is een voorbeeld, formulering kun je aanpassen): [namen]. zijn docent-in-opleiding, respectievelijk voor het schoolvak …. (invullen) aan het Centrum voor Onderwijs en Leren van de Universiteit Utrecht. In het kader van hun opleiding tot eerstegraadsdocent verrichtten zij een onderzoek naar…… De resultaten van dit Praktijkgericht Onderzoek en de aanbevelingen die zij naar aanleiding hiervan doen, vormen de basis van bovenstaand artikel. LET OP! Zorg wel dat je de anonimiteit van je onderzoek kunt blijven waarborgen. Daarvoor is het vaak beter om niet te vermelden op welke school je lesgeeft. 2. Igitur Stuur je begeleider de versie per e-mail, maar zet de eindversie van je PGO-artikel (dus ná goedkeuring van de definitieve versie van het artikel door je begeleider) ook online (maak een pdf) in het scriptie-archief van Igitur, beheerd door de UBU. Igitur is het digitaal wetenschappelijk archief van de Universiteit Utrecht. Op de website www.igitur.nl staat de volgende info: “Voor studenten van de lerarenopleiding geldt: Alle studenten plaatsen hun doctoraal of masterscriptie online. De scripties zijn vrij toegankelijk te raadplegen. Let op: groepsscripties worden eenmalig aan het archief aangeboden. De student die de upload doet, print tijdens het uploadproces de bevestiging uit en levert deze in bij het secretariaat.” Zorg dus dat de uploader voor ieder lid van het PGO-groepje een kopie maakt. 3. Aanvraagformulier diploma Op het aanvraagformulier voor je diploma vul je in: Omvang praktijkgericht onderzoek: 7,5 EC’S; cijfer: Voldoende

6


Bijlage 1. Rubric PGO-onderzoeksplan De eerste aanzet

Vraagt verdere aanscherping

Werkbaar plan

Best practice

1. Een onderzoeksprobleem is in algemene bewoordingen beschreven, terwijl het belang van onderzoek zeer beperkt (of niet) wordt aangestipt.

1. De probleemstelling beschrijft de door de school aangedragen problematiek, terloops verwijzend naar het belang van onderzoek en het type gegevens dat verwacht wordt; nogal breed voor een haalbaar PGO.

1. De probleemstelling beschrijft de op de school gesignaleerde problematiek waaruit het belang van onderzoek duidelijk volgt; het probleem leidt tot essentiële vragen, daadwerkelijk te onderzoeken als een PGO, impliciet begrijpelijk voor insiders.

1. De probleemstelling beschrijft de schoolproblematiek waaruit het belang van het onderzoek uitdrukkelijk volgt; met duidelijke termen, ingeperkt door scherpe vraagstellingen die zorgen voor werkelijk praktijk gericht onderzoek dat voor iedereen pertinent begrijpelijk is. De keuze voor een primaire doelgroep wordt beargumenteerd.

2. Inbedding in theoretisch kader

2. Het theoretisch kader is te beperkt om het onderzoek te plaatsen, het ontbreekt aan relevante bronnen en wetenschappelijke literatuur.

2. Het onderzoek is voor een deel geplaatst in een theoretisch kader dat bestaat uit een enkele bron en wetenschappelijke literatuur.

2. Het onderzoek is ingebed in een theoretisch kader dat bestaat uit relevante bronnen en wetenschappelijke literatuur.

3. Onderzoeksfunctie

3. De werkelijke functie van het onderzoek is onduidelijk of onbepaald; of meerdere onderzoekfuncties worden gecombineerd waardoor het onderzoek te ambitieus wordt

3. Meerdere functies worden aan het onderzoek toegekend; het plan onderkent dat (en hoe) er een keuze daarin moet worden gemaakt om het PGO haalbaar te maken.

3. De onderzoeksfunctie wordt helder benoemd met een onderbouwing hoe dit in zich verhoudt tot de probleemstelling.

2. Het onderzoek is ingebed in een breed en relevant theoretisch kader, verwijst naar wetenschappelijke literatuur en de verschillende stromingen daarin en positioneert het eigen onderzoek ten opzichte van de theorie. 3. De onderzoeksfunctie is verhelderend en realistisch onderbouwd in het licht van de probleemstelling. Er is duidelijk gekozen voor één primaire onderzoeksfunctie. Er wordt ingegaan op de algemeen didactische en/of vakdidactische aspecten van het onderzoek.

4. Onderzoeksvraag

4. Een onderzoeksvraag ontbreekt, is niet precies geformuleerd is onvoldoende ingeperkt; of dient afgeleid te worden uit de probleemstelling en het theoretisch kader.

4. De onderzoeksvraag is geformuleerd en ingeperkt en er staan deelvragen genoemd die verband gebracht kunnen worden met de probleemstelling of het theoretisch kader

4. De onderzoeksvraag is precies geformuleerd en goed ingeperkt en uitgewerkt in een aantal deelvragen; het plan beschrijft helder hoe deze vragen voortkomen uit de probleemstelling en het theoretische kader.

4. De onderzoeksvraag en deelvragen zijn precies geformuleerd,ingeperkt en komen voort uit resultaten van eerder onderzoek op dit terrein. De deelvragen dragen direct bij aan het beantwoorden van de hoofdvraag (niet meer en niet minder).

5. Verwachting / Hypothese * (* alleen van toepassing bij specifieke typen onderzoek) 6. Praktische relevantie

5. Vrij impliciet wordt een enkele verwachte opbrengst gegeven, zonder onderbouwing.

5. Op intuïtieve of persoonlijke gronden worden verwachtingen geuit wat mogelijke antwoorden op de onderzoek(deel)vragen kunnen zijn

5. Op basis van praktijkervaring wordt een verwachte uitkomst (hypothese), dan wel voorspelbare verbanden tussen onderzoeksgroepen gepresenteerd

6. De relevantie van dit onderzoek voor de praktijk is enigszins duidelijk gemaakt volkomen los van de literatuur.

6. De relevantie van dit onderzoek voor de praktijk wordt duidelijk gemaakt, met verwijzing naar literatuur

6. De relevantie van het onderzoek voor de praktijk wordt met behulp van voorbeelden duidelijk gemaakt en wordt ondersteund met relevante literatuur

5. Een bruikbare hypothese, een verwachting van verbanden tussen variabelen dan wel van verschillen tussen onderzoeksgroepen wordt gepresenteerd die logisch volgt uit het theoretisch kader en eerder onderzoek. Impliciete aannames worden geëxpliciteerd. 6. De relevantie van het onderzoek voor de praktijk wordt met behulp van een vooronderzoek duidelijk gemaakt en wordt daarnaast ook aangetoond vanuit de literatuur. De verbinding en relevantie voor de school wordt geëxpliciteerd en is onderbouwd door informatie uit de school.

Inleiding 1. Probleemstelling

1


Werkbaar plan

Best practice

7. Persoonlijke relevantie

7. Het plan stelt dat het onderzoek relevant is voor leden van het onderzoeksteam.

De eerste aanzet

7. De persoonlijke relevantie van het onderzoek is in grove lijnen uitgelegd voor het onderzoeksteam als geheel of voor één van de onderzoekers.

7. De persoonlijke relevantie van het onderzoek wordt duidelijk gemaakt door vast te stellen wat elk teamlid verwacht te kunnen leren uit (het doen van) het onderzoek.

7. Het onderzoek is persoonlijk relevant voor elk teamlid afzonderlijk in termen van expertise, belangstelling en leerdoelen. Dit staat helder beschreven.

8. Consistentie (kwaliteit toegevoegd ter overkoepeling van het gehele plan)

8. De probleemstelling, onderzoeksfunctie, gebruikte theorie en concepten roepen vragen op en staan onderling niet met elkaar in verband. 9. De beschrijving van deelnemers betreft alleen basale kenmerken zoals aantal, leeftijd en geslacht. De selectie van de deelnemers is niet beschreven of niet adequaat voor de onderzoeksvraag. 10. Het is onduidelijk wat auteurs verstaan onder de variabelen of welke concepten zijn gekozen. Wanneer een variabele wordt gedefinieerd is de formulering algemeen of nog open voor interpretatie. 11. Het plan noemt één of meerdere methoden om gegevens te verzamelen; (een duidelijke argumentatie en onderbouwde keuze ontbreekt).

8. De probleemstelling, onderzoeksfunctie, gebruikte theorie en concepten zijn (evt pas na mondelinge toelichting) duidelijk en consistent.

8. De probleemstelling, onderzoekfunctie, gebruikte theorie en concepten zijn in grote lijnen helder en consistent

8. Alle onderdelen van het plan zijn samenhangend en uitgesproken helder beschreven, door onderlinge verbanden te expliciteren en te onderbouwen.

9. Naast basale kenmerken van de deelnemers is één relevant kenmerk beschreven. De beschreven selectie van de deelnemers past grotendeels bij de onderzoeksvraag

9. Alle relevante kenmerken van de deelnemers zijn beschreven en daarnaast ook de representativiteit van de groep die ze vertegenwoordigen. De beschreven manier van selectie is adequaat voor de onderzoeksvraag. 10. Definities van variabelen en concepten nodig om de onderzoeks(deel)vragen te beantwoorden geven inzicht in wat de auteurs hieronder verstaan en waarom ze zijn gekozen.

9. Alle relevante kenmerken van de deelnemers zijn beschreven en daarnaast ook de representativiteit van de groep die ze vertegenwoordigen. De manier van selectie is adequaat voor de onderzoeksvraag en de keuze hiervoor wordt beargumenteerd. De non-respons is geanalyseerd. 10. Definities van variabelen en concepten uit de onderzoeksvraag/ deelvragen zijn gebaseerd op literatuur en geven scherp inzicht in wat de auteurs hieronder verstaan en wat de gevolgen zijn van hun keuzes. Er is sprake van kritische analyse en synthese van literatuur.

12. Het instrument past niet (duidelijk) bij de onderzoeksvraag of – functie; de herkomst en opbouw van de instrumenten zijn onduidelijk.

12. Meerdere instrumenten worden genoemd die bij de onderzoeksvraag en –functie kunnen passen en waaruit een keuze gemaakt zal worden. Die keuze wordt niet verantwoord. De opbouw en herkomst van de instrumenten worden uitgelegd; er is een kleine verwijzing naar de kwaliteit van de instrumenten (pilottest, betrouwbaarheid, validiteit en transparantie).

11. De methoden om data te verzamelen en te verwerken zijn toepasselijk gekozen en beschreven voor de vraagstelling en het type onderzoek; in het plan wordt de deze keuze verantwoordt door te beschrijven hoe deze methoden geschikt worden geacht om op een betrouwbare wijze valide gegevens te verzamelen. 12. De keuze van instrumenten passend bij de onderzoeksvraag en –functie wordt beargumenteerd; de herkomst en opbouw ervan wordt beschreven. Zelfgemaakte instrumenten worden op kleine schaal getest. Van bestaande instrumenten worden gegevens over betrouwbaarheid en validiteit gepresenteerd.

11. Een combinatie methoden om data te verzamelen en te verwerken wordt helder beschreven: de toepasselijkheid (ook beredeneerd vanuit de literatuur) en informatie over de kwaliteit, zoals de validiteit en betrouwbaarheid zijn helder verantwoord; maatregelen om dit te waarborgen zijn expliciet. Er worden verschillende methoden gebruikt om een zo objectief mogelijk beeld te genereren. 12. De keuze voor de instrumenten bij de onderzoeksvraag wordt beargumenteerd, mede vanuit de literatuur. Er is een haalbaar plan om zowel zelfgemaakte als bestaande instrumenten te testen op validiteit en betrouwbaarheid.

Onderzoeksopzet 9. Selectie van deelnemers 10. Variabelen

11. Onderzoek methoden

12. Instrumenten


10. De gekozen variabelen, relevant voor de onderzoeksvragen, worden benoemd met enige “ruimte voor interpretatie”.

11. De methoden van data verzamelen wordt tot op zekere hoogte beschreven en criteria worden overwogen om methoden te kiezen die relatief betrouwbaar zijn om valide date te verzamelen.

2


De eerste aanzet


13. Data analyse

13. De methode van dataverwerking en -analyse staat beperkt of onvolledig beschreven. Informatie over kwaliteit, c.q. validiteit en betrouwbaarheid van de analyse ontbreekt.

13. De methode van dataverwerking en –analyse is gedeeltelijk (dmv een voorbeeld) beschreven, met enkele gegevens over kwaliteit (validiteit, betrouwbaarheid) en het noemen van een analyse methode.

13. De methode van dataverwerking en analyse is bruikbaar en wordt duidelijk beschreven en voorbeeldvragen en/of stellingen worden gebruikt. Gegevens over kwaliteit, zoals validiteit en betrouwbaarheid van de analyse worden beschreven.

Werkbaar plan

14. Tijdplan

14. Het tijdplan beschrijft veel van de uit te voeren taken; de onderzoekmomenten staan in een of twee tijdvakken, in schijnbaar willekeurige volgorde zonder data

14. Het tijdplan benoemt de meeste taken en wijst deze toe aan het team, enkele taken zijn nog onbepaald; de individuele aanspreekbaarheid is onduidelijk; er is een tijdlijn (volgorde van onderzoekmomenten) gemaakt met meerdere onbesliste momenten.

15. Literatuur lijst /Bronnen

15. Enkele verwijzingen naar bronnen worden gegeven op een manier dat ze niet (snel) verifieerbaar zijn.

15. Bijna alle gebruikte bronnen worden benoemd; het APA format wordt niet of gedeeltelijk gebruikt

14. Het tijdplan benoemt alle taken en verdeelt deze over de individuele leden van het team; de individuele aansprakelijkheid is duidelijk benoemd; er is een realistische tijdlijn (volgorde van onderzoekmomenten) met een enkel moment nog onbeslist; alle deadlines en overleggen zijn gepland; er is rekenschap van onvoorziene problemen die zich kunnen voordoen. 15. De literatuurlijst (in APA format) bevat alle in het plan gebruikte bronnen

Best practice 13. Bruikbare methoden voor verwerking en analyse van gegevens worden duidelijk beschreven en vanuit de literatuur beargumenteerd. Gegevens over kwaliteit zoals validiteit en betrouwbaarheid van de analyse worden beschreven en maatregelen zijn gepland om deze voldoende te laten zijn. Analyses worden uitgeschreven en voorbeelden van stellingen en/of vragen worden gebruikt. De keuze voor specifieke analyse, technieken en/of programma’s (bijvoorbeeld Excel, SPSS) wordt beargumenteerd. 14.In het tijdplan worden alle taken verdeeld over de leden van het onderzoeksteam, waardoor de inbreng en verantwoordelijkheid van iedereen helder is; deadlines voor producten en overleg met school en begeleiders zijn realistisch gepland in een tijd schema; er is een noodplan in geval de data verzameling onvoldoende gegevens oplevert om (deel) vragen te beantwoorden. Risico’s worden duidelijk beschreven. 15. De literatuurlijst (APA format) bevat alle in het plan gebruikte bronnen alsmede bronnen die nog geraadpleegd dienen te worden om het theoretisch kader en de onderzoeksmethode te versterken.

3


Algemeen oordeel over het onderzoeksplan 0 Go:

Dit onderzoeksplan kan als basis dienen voor jullie onderzoek. Maak een afspraak met jullie PGO begeleider (mentor) om de uitvoering van het onderzoek te gaan bespreken. Neem hierbij de feedback van de onderzoeker mee om het plan nog verder aan te scherpen.

0 No-go: Verbeter het onderzoeksplan op basis van de suggesties. Lever dit nieuwe onderzoeksplan opnieuw in bij de onderzoeker.

Algemene opmerkingen

Suggesties ter verbetering van het onderzoeksplan

Opmerkingen over het proces (mate van zelfstandigheid, communicatie in scholen, etc.).

4


Bijlage 2. Rubric PGO-artikel 1. Inleiding 1. Praktijkrelevantie 2. Inbedding in theoretisch kader 3. Onderzoeksvraag 4. Hypothese 5. Definitie variabelen 6. Context 7. Consistentie

Concept 1. De relevantie van dit onderzoek voor de praktijk is enigszins duidelijk gemaakt volkomen los van de literatuur.

2. Het theoretisch kader is te beperkt om het onderzoek te plaatsen, het ontbreekt aan relevante bronnen en wetenschappelijke literatuur.

Ontwikkelend 9. De relevantie van dit onderzoek voor de praktijk wordt duidelijk gemaakt, met verwijzing naar literatuur.

10. Het onderzoek grotendeels geplaatst in het theoretisch kader dat bestaat uit een enkele bronnen en wetenschappelijke literatuur

3. Een onderzoeksvraag ontbreekt, is niet precies geformuleerd of is onvoldoende ingeperkt.

4. Verwachtingen worden ten dele impliciet gegeven zonder onderbouwing. 5. Het is onduidelijk wat auteurs onder de variabelen verstaan of welke concepten zijn gekozen. Wanneer een variabele wordt gedefinieerd is de formulering algemeen of nog open voor interpretatie.

11. De onderzoeksvraag is tamelijk precies geformuleerd en ingeperkt en er staan deelvragen genoemd.

12. Er worden verwachtingen genoemd wat mogelijke antwoorden zouden kunnen zijn op de gestelde onderzoeks(deel)vragen. 13. Relevante, gekozen variabelen worden precies benoemd zonder veel “ruimte voor interpretatie”.

6. Het artikel schetst de context waarin het onderzoek heeft plaatsgevonden onvolledig of in te algemene bewoordingen. 7. Al de componenten zoals de probleemstelling, onderzoeksfunctie, gebruikte theorie en concepten roepen vragen op en staan onderling niet met elkaar in verband.

Geaccepteerd 1. De relevantie van het onderzoek voor de praktijk wordt met behulp van voorbeelden duidelijk gemaakt en wordt ondersteund met relevante literatuur. 2. Het onderzoek is ingebed in een theoretisch kader dat bestaat uit relevante bronnen en wetenschappelijke literatuur.

3. De onderzoeksvraag is precies geformuleerd en goed ingeperkt en uitgewerkt in een aantal deelvragen.

4. Op basis van praktijkervaring wordt een verwachte uitkomst (hypothese) gepresenteerd.

5. Definities van variabelen en concepten geven inzicht in wat de auteurs hieronder verstaan.

6. De essentiële kenmerken van de context worden beschreven. 14. Het artikel schetst in concrete bewoordingen de context waarin het onderzoek heeft plaatsgevonden. 15. De probleemstelling, onderzoeksfunctie, gebruikte theorie en concepten zijn na mondelinge toelichting duidelijk en consistent.

7. De probleemstelling, onderzoeksfunctie, gebruikte theorie en concepten zijn in grote lijnen helder en consistent.

Best practice 10. De relevantie van het onderzoek voor de praktijk wordt met behulp van een vooronderzoek duidelijk gemaakt en wordt daarnaast ook aangetoond vanuit de literatuur. 11. Het onderzoek is ingebed in een breed en relevant theoretisch kader, verwijst naar wetenschappelijke literatuur en de verschillende stromingen daarin en positioneert het eigen onderzoek ten opzichte van de theorie. 12. De onderzoeksvraag en deelvragen zijn precies geformuleerd en ingeperkt en komen voort uit resultaten van eerder onderzoek op dit terrein. 13. Een bruikbare hypothese is gepresenteerd die logisch volgt uit het theoretisch kader en eerder onderzoek. 14. Definities van variabelen en concepten zijn gebaseerd op literatuur en geven scherp inzicht in wat de auteurs hieronder verstaan en de gevolgen van hun keuzes. 15. De essentiële kenmerken van de context worden beschreven met de gevolgen voor de opzet van het onderzoek. 16. De probleemstelling, onderzoeksfunctie, gebruikte theorie en concepten zijn volledig helder en consistent.

5


2. Methode 1. Deelnemers 2. Instrumenten 3. Opzet van het onderzoek 4. Analysemethodevaliditeit & betrouwbaarheid

Concept 1. De beschrijving van deelnemers betreft alleen basale kenmerken zoals aantal, leeftijd en geslacht. De selectie van de deelnemers is niet beschreven of niet adequaat voor de onderzoeksvraag.

2. De keuze voor de instrumenten past niet bij de onderzoeksvraag. Het is onduidelijk hoe de instrumenten zijn opgebouwd of waar ze vandaan komen. Gegevens over kwaliteit zoals resultaten van een vooronderzoek, validiteit of betrouwbaarheid ontbreken. 3. De opzet van het onderzoek is onduidelijk of niet adequaat voor de onderzoeksvraag. Er is onvoldoende informatie om te begrijpen wat de onderzoekers precies hebben gedaan.

4. De gebruikte methodes van dataverzameling en -analyse zijn onvoldoende beschreven of niet adequaat. Gegevens over kwaliteit zoals validiteit en betrouwbaarheid van de analyse ontbreken.

Ontwikkelend 1. Naast basale kenmerken van de deelnemers wordt één relevant kenmerk beschreven. De beschreven selectie van de deelnemers past grotendeels bij de onderzoeksvraag.

2. De keuze voor de instrumenten past bij de onderszoeksvraag. De opbouw en herkomst van de instrumenten worden uitgelegd. Er is een kleine verwijzing naar de kwaliteit van de instrumenten, c.q. pilottest, betrouwbaarheid, validiteit.

3. De opzet van het onderzoek wordt deel verduidelijkt en is vrij toepasselijk voor de onderzoeksvraag. Gedeeltes van het onderzoek zijn voldoende uitgebreid beschreven om te begrijpen wat de onderzoekers hebben gedaan. 4. Er is een gedeeltelijke beschrijving van de gebruikte methodes van dataverzameling en –analyse. Enkele gegevens over kwaliteit (validiteit, betrouwbaarheid) van het onderzoeksinstrument worden beschreven.

Geaccepteerdl 1. Alle relevante kenmerken van de deelnemers worden beschreven en daarnaast ook de representativiteit van de groep die ze vertegenwoordigen. De beschreven manier van selectie is adequaat voor de onderzoeksvraag.

Best practice 1. . Alle relevante kenmerken van de deelnemers worden beschreven en daarnaast ook de representativiteit van de groep die ze vertegenwoordigen. De manier van selectie is adequaat voor de onderzoeksvraag en de keuze hiervoor wordt beargumenteerd. De non-respons is geanalyseerd.

2. De keuze voor de instrumenten bij de onderzoeksvraag wordt beargumenteerd. Zelfgemaakte instrumenten zijn kleinschalig gepilot-test waarvan de resultaten worden beschreven. Van bestaande instrumenten worden gegevens over betrouwbaarheid en validiteit gepresenteerd.

2. De keuze voor de instrumenten bij de onderzoeksvraag wordt beargumenteerd, mede vanuit de literatuur. Zelfgemaakte instrumenten zijn getest op validiteit en betrouwbaarheid waarvan de resultaten worden beschreven. Van bestaande instrumenten worden gegevens over betrouwbaarheid en validiteit gepresenteerd.

3. Alle onderdelen van opzet en procedure van het onderzoek wordt duidelijk beschreven.

4. De methodes van dataverzamelingen analyse zijn adequaat en worden duidelijk beschreven. Gegevens over kwaliteit zoals validiteit en betrouwbaarheid van de analyse worden beschreven.

3. De opzet van het onderzoek wordt gerechtvaardigd vanuit onderzoek. De auteurs bespreken ook het effect van hun eigen rol bij de dataverzameling.

4. Adequate onderzoeksmethodes worden duidelijk beschreven en vanuit de literatuur beargumenteerd. Gegevens over kwaliteit zoals validiteit en betrouwbaarheid van de analyse worden beschreven en maatregelen zijn genomen om deze voldoende te laten zijn.

6


3. Resultaten 1. Consistentie 2. Kwaliteit en uitvoering analyses 3. Manier van beschrijving 4. Presentatie

Concept 1. Er is geen duidelijke relatie tussen gepresenteerde data en onderzoeksvraag.

Ontwikkelend 1. Er is een beschreven relatie tussen gepresenteerde data en de onderzoeksvraag.

Geaccepteerd 1. De resultaten die in het artikel worden beschreven staan in relatie tot de onderzoeksvraag.

Best practice 1. De resultaten die in het artikel worden beschreven staan in relatie tot de onderzoeksvraag.

2. Er zijn beperkte analyses uitgevoerd, zo ontbreekt (indien relevant) toetsing van gevonden verbanden of verschillen. Het artikel presenteert veelal ruwe data of willekeurige voorbeelden als resultaat. Informatie rondom een ontwikkeld categorieënsysteem ontbreekt.

2. Er zijn analyses van de data uitgevoerd, verwerkte gegevens worden getoond en besproken. Het artikel spreekt van een systeem van categorieën.

2. Er wordt inzicht gegeven in de resultaten waarbij (indien relevant) ook wordt getoetst in hoeverre de resultaten op toeval berusten. Het eventueel ontwikkelde categorieënsysteem is inzichtelijk en relevant.

2. Er wordt inzicht gegeven in de resultaten waarbij (indien relevant) ook wordt getoetst in hoeverre de resultaten op toeval berusten. Het eventueel ontwikkelde categorieënsysteem is inzichtelijk en relevant.

3. Aan de gegeven data ontbreekt het detail of de volledigheid om de conclusies te rechtvaardigen.

3. Een deel van de gepresenteerde data is gedetailleerd of volledig genoeg om een gerechtvaardigde conclusie te trekken.

3. De gerapporteerde data bevatten voldoende detail om conclusies te trekken en te rechtvaardigen.

4. De manier van presenteren draagt niet bij aan de begrijpelijkheid van de resultaten.

4. Zonder een expliciet onderscheid worden alle data weergegeven en incidenteel grafisch gepresenteerd.

4. Geselecteerde data worden duidelijk weergegeven en indien nodig visueel ondersteund.

3. De gerapporteerde data bevatten voldoende detail om conclusies te trekken en te rechtvaardigen. Ook alternatieve verklaringen worden onderzocht. 4. Geselecteerde data worden duidelijk weergegeven en indien nodig visueel ondersteund op een originele wijze.

7


4. Conclusie en Discussie 1. Conclusies 2. Relatie met theorie 3. Bespreking kwaliteit onderzoek 4. Suggesties vervolgonderzoek 5. Suggesties praktijk 6. Reflectie

Concept 1. De conclusies hebben geen heldere verband met de resultaten. Generalisaties zijn te beperkt of juist te breed.

Ontwikkelend 1. De conclusies staan gedeeltelijk in verband met de resultaten. Enkele conclusies worden voldoende algemeen niveau besproken met oog op de context.

Geaccepteerdl 1. De conclusies staan in directe relatie tot de resultaten en worden op voldoende algemeen niveau besproken met oog voor de context.

2. De conclusies staan los van relevante literatuur / theorie.

2. De relatie van de conclusies met de relevante literatuur is gedeeltelijk uitgewerkt.

2. De interpretatie van de conclusies vindt plaats vanuit de theorie en zo mogelijk vanuit een visie op de praktijk.

3. De kwaliteit van het onderzoek wordt niet of gedeeltelijk meegenomen bij de interpretatie.

3. Bij de interpretatie van (een deel van) de resultaten wordt validiteit en/of betrouwbaarheid van de verzamelde data meegenomen.

4. Het artikel presenteert geen heldere relatie tussen de conclusie en suggesties voor vervolgonderzoek. 5. Suggesties voor de praktijk ontbreken of hebben te weinig relatie met de resultaten van het onderzoek.

6. Het artikel bevat nauwelijks of geen reflectie op het onderzoek als geheel (proces en product).

4. Het artikel geeft enkele suggesties voor vervolgonderzoek die (mogelijk na toelichting) te herleiden zijn tot de conclusies. 5. Er worden suggesties voor de praktijk gemaakt die (evt na toelichting) te herleiden zijn tot (een deel van) de conclusies.

6. Het artikel bevat enkele persoonlijk reflecties op het onderzoek als geheel (product en proces) welke leiden tot een persoonlijke aanbeveling of voornemen tot het doen van praktijkgericht onderzoek.

3. Bij de interpretatie van de resultaten, worden de validiteit en betrouwbaarheid van de verzamelde data op transparante wijze meegenomen. 4. Het artikel geeft richtingen voor vervolgonderzoek op basis van de conclusies.

5. Er worden op basis van de specifieke conclusies van het onderzoek concrete suggesties gedaan voor de praktijk.

6. Het artikel bevat reflectie op het onderzoek als geheel (proces en product) wat leidt tot persoonlijke aanbevelingen voor het doen van praktijkgericht onderzoek.

Best practice 1. De conclusies staan in directe relatie tot de resultaten en worden op voldoende algemeen niveau besproken met oog voor de context.

2. De interpretatie van de conclusie vindt plaats vanuit een visie op de praktijk en vanuit de theorie. De conclusies worden verbonden met ander onderzoek, en de relatie wordt verklaard. 3. Bij de interpretatie van de resultaten, worden de validiteit en betrouwbaarheid van de verzamelde data op transparante wijze meegenomen.

4. Het artikel geeft concrete aanwijzingen voor vervolgonderzoek op basis van de conclusies.

5. Op basis van de specifieke conclusies van het onderzoek worden concrete suggesties gedaan voor de praktijk die ruimte laten voor invulling vanuit de eigen context. De suggesties zijn al op kleine schaal in praktijk of literatuur onderzocht. 6. Het artikel bevat reflectie op het onderzoek als geheel (proces en product) en de rol van de docent als onderzoeker, wat leidt tot persoonlijke aanbevelingen voor het doen van praktijkgericht onderzoek.

8


Algemene indruk • titel en intro of samenvatting (<120 woorden) • presentatie • opzet artikel • begrijpelijkheid • APA-stijl voor verwijzingen • Lay-out • Omvang (max 5000-7000 woorden)

Concept 1. De titel van het artikel vraagt om nadere verduidelijking. Er is een samenvatting.

Ontwikkelend 1. De titel refereert deels aan het onderzochte probleem; de samenvatting / intro verwijzen naar een doel van het onderzoek.

2. Het artikel heeft geen goede indeling. Het onderzoek of het artikel is lastig te begrijpen of moeilijk leesbaar omdat de hoeveelheid informatie die gegeven wordt erg groot of juist ontoereikend is.

2. Het artikel is naar eigen inzicht ingedeeld doch redelijk begrijpelijk. Het artikel is redelijk leesbaar hoewel de informatie soms ontoereikend of te uitgebreid is.

3. Het taalgebruik is te informeel of juist te weinig vloeiend. Verschillende delen lopen niet goed in elkaar over.

3. Het taalgebruik en de stijl is passend en de verschillende delen zijn op elkaar afgestemd.

Geaccepteerd 1. De titel refereert aan het onderzochte probleem; de samenvatting / intro refereert naar het doel van het onderzoek.

Best practice 1. De titel refereert aan het onderzochte probleem en is origineel en creatief; de samenvatting / intro refereert naar het doel van het onderzoek en sleutelbegrippen worden geïntroduceerd.

2. Het artikel is goed ingedeeld. Het artikel is goed te begrijpen omdat de hoeveelheid informatie die gegeven wordt meestal voldoende en niet overdadig is.

2. Het artikel is goed ingedeeld. Het artikel is goed te begrijpen omdat er een goede balans is in de hoeveelheid informatie.

3. Het artikel is leesbaar geschreven.

4. Het artikel voldoet slechts ten dele aan de vastgestelde auteursrichtlijnen. Het artikel is niet geschikt voor publicatie.

4. Het artikel voldoet aan meerdere vastgestelde auteursrichtlijnen. Het artikel is, na toepassing van enkele belangrijke wijzigingen/aanvullingen, geschikt voor interne verspreiding.

3. Het artikel is zowel aantrekkelijk als informatief geschreven.

4. Het artikel voldoet grotendeels aan de gestelde auteursrichtlijnen en is voldoende voor in de interne verspreiding.

4. Het artikel voldoet aan de gestelde auteursrichtlijnen en leent zich (eventueel na verdere redactie) voor publicatie in een wetenschappelijk of vaktijdschrift.

9

Handleiding Praktijkgericht onderzoek

Recommend Documents