Overzicht van de beoordelingsmatrixen In de start van het werkpakket 4, peer feedback van onderzoeksplannen werd al snel duidelijk dat er grote verschillen bestonden in de opleidingspraktijk van de 9 lerarenopleidingen. Niet alleen verschilt de aard van de onderzoeksopdracht steeds, de beoordelingspraktijk was ook divers. Bovendien was er nog bijna geen ervaring met het beoordelen van een tussenproduct zoals het onderzoeksplan. Zowel de criteria als de peer feedback procedures zijn aangepast aan de lokale situaties in de aanloop van de negen pilots in samenspraak ontwikkeld. Het resultaat is acht verschillende beoordelingsmatrixen die in enkele herziene versies uiteindelijk verzameld zijn en vergeleken op overeenkomsten en verschillen in vorm, inhoud en werkwijze. Er ontstaat dan wel een beeld van drie typen aanpak. Eén aanpak werkt met een rubric van 7 a 15 criteria die zowel het conceptuele als het technische deel van het onderzoeksplan bestrijken. Latere aspecten van het onderzoek zoals de resultaten, interpretatie, conclusie en rapportage komen niet ter sprake. De verschillen lijken meer te liggen in de analytische detail van de product beschrijvingen in elk niveau dan op feitelijke kwaliteitsaspecten van het plan. Met deze criteria lijkt de benadering van Utrecht, Leiden, Eindhoven en Twente sterk op elkaar. Een tweede benadering wordt in Tilburg, Nijmegen en Amsterdam gebruikt. De criteria voor (peer) feedback en beoordeling van het onderzoeksplan zijn een subset van een set van 21 a 29 criteria waarmee in eerste instantie het plan en op andere momenten de kwaliteit van het lesontwerp en uiteindelijk het onderzoeksverslag beoordeeld worden. Deze opleidingen kiezen voor een ontwerp onderzoek waarvoor de leraren in opleiding een interventie ontwerpen. In een detail vergelijking welke criteria voor die ontwerponderzoeksplannen gebruikt worden bijna de zelfe kwaliteitskenmerken gezocht. De verschillen zitten meer in de ordenen, samenvoeging of verdeling van onderdelen. Er is meer nadruk op vakinhoudelijke of vakdidactische kwaliteit, hetgeen voor de hand ligt gezien de aard van het ontwerp onderzoek. Twee opleidingen kozen voor beoordelingsformat waar onder 8 kopjes een groot aantal criteria gegroepeerd zijn; als checkvragen of als een opsomming van sleutel begrippen waar naar gekeken dient te worden. Het format met checkvragen past dan bij een eenvoudige meer holistische rubric slecht, gemiddeld en goed kwaliteitsniveaus. Kijkend naar alle beoordelingsmatrixen dan wordt zichtbaar over welke kwaliteitscriteria zeker consensus bestaat dat ze in het plan beoordeeld dienen te worden. Van het conceptuele deel van het plan kijken alle opleidingen naar 1) de verbinding of inbedding in een theoretisch kader, 2) de afbakening van de probleemstelling en onderzoekvraag 3) een onderbouwde uitwerking van de onderzoeksvraag in een aantal deelvragen en 4) de relevantie van het onderzoek voor de (onderwijs?) praktijk, en (een lijst van) 5) gebruikte wetenschappelijke bronnen... Sommige opleiding verwachten ook 6) uitspraken over verwachte opbrengsten. Vier opleidingen zetten 7) de persoonlijke relevantie voor de leraar in opleiding zelf in ook de criteria en andere opleidingen beoordelen de 8) de consistentie van het plan. Hiermee wordt de interne en
logische samenhang bedoelt tussen de probleemstelling, theorie, onderzoeksvraag en deelvragen en de te onderzoeken variabelen. De typering van het onderzoek of uitspraak over de onderzoeksfunctie (ref H.Oost en Markenhof) wordt maar in een enkele opleiding geëist. Helderheid over het type onderzoek past in een oordeel van de consistentie van het plan. Voor het technische deel van het onderzoeksplan heerst ook gelijkgezindheid over wat er in een kwalitatief goed plan hoort te staan. Als onderdeel van de methode dient het plan te onderbouwen 8) hoe, welke respondenten gekozen zullen worden, 9) wat de methodes zijn om gegevens te verzamelen, 10) welke instrumenten daarvoor gezocht/gemaakt en gebruikt gaan worden en 11) hoe het tijdplan eruit ziet. Enkele opleidingen verwachten ook een expliciete definiering van 12) de variabelen. We kunnen hieruit concluderen dat de opleidingen op inhoudsniveau naar vrijwel de zelfde kenmerken van een onderzoeksplan kijken en de verschillen in de detail en in het type onderzoeksopdracht zit.
Analyse van de beoordelingscriteria voor het onderzoeksplan door de verschillende opleidingen.
Typering
Instrument:
U Utrecht
UvTilburg
RU Leiden
RU Groningen
TU Eindhoven /Twente
TU Delft
RU Nijmegen
UvAmsterdam
PGOnderzoeksplan
Leeronderzoek
Onderzoeksplan
Onderzoeksplan
Onderzoeksplan
Plan methoden van onderzoek
Ontwerpdeel ontwerp & onderzoek
Ontwerpplan: paper 1&3 (van de 5 papers)
Rubric
Rubric
Rubric
Rubric
Score formulier
Rubric
Rubric
Analytical
Analytical 3 dimensies (Inhoud Schrijfkwaliteit, Werkproces) 8 criteria
Analytical
Global (keywords)
Analytical
Analytical
7 dimensies
8 dimensies
13 criteria
± 50 “key terms”
9 criteria
11 criteria
3 niveaus (0+3)
n.v.t. 1 - 4 punt
4 niveaus
4 niveaus
Formulier + rubric (tot. 18 deelaspecten in vraagvorm in beoordelingsformat)
Eerste niveau benoemt wat er ontbreekt
Score formulier met ruimte voor feedback
Onderdeel van rubric voor geheel onderzoek met in totaal 29 cirteria
Totaal 26 criteria (verdeeld over 5 papers)
2.Methode (afstemming) 5. helderheid & transparantie, APA.
13. Consistentie
0. Vormeisen (3 criteria)
7 & 17. Structuur paper
2. Relevantie (theoretisch) 3. Theoretische achtergronden 1. Inleiding (aanleiding en context) Doel en vraagstelling
1. Probleemstelling & onderzoeksvragen (rf theorie)
3. Onderzoeksvragen 5.Theoretisch kader 6.Begrippen gedefinieerd 2.Probleemstellng
# 19. Theoretisch kader
1. Probleembeschrijving 2. Probleemanalyse
problem
16.Probleemstellin g
1. Probleembeschrijving 2. Probleemanalyse 3. Verkenning en keuze van oplossingen
-
-
-
3. Demarcating the
-
3. Onderzoeksvragen
constructs)
#17. Vraagstelling
Rubric
Descriptors
Analytical
# Dimensies
13 dimensies (inleiding / opzet)
# criteria
13 criteria
Analytical 3 dimensies (probleemstelling, theorie/literatuur, Methode) 9 criteria
# niveaus
4 niveaus (1 – 4)
3 niveaus Hoog-midden-laag
Bijzonderh.
- feedback ruimte - Ned en Eng versie
“Can do” statements ste in 1 kolom Tot. 21 criteria.
Algehele aspecten
8. Consistentie
Conceptueel plan
2. Inbedding in theoretisch kader
B. Theorie / Literatuur Crit 5 & 6
1. Probleem Stelling
A. Probleemstelling – crit 1
3. Onderzoeksfunctie 4. Onderzoeksvraag
A. Probleemstellingcrit 3
6 dimensie 6 criteria 3 niveaus Onv-verb. nodigvoldoende-goed
1. Inleiding (aanleiding & context) Doel en vraagstelling
3 niveaus - +/- +
1. Probleemstelling & onderzoeksvragen
1. Probleemstelling & onderzoeksvragen
4 dimensies.
11 dimensies: 7 paper 1 en 4 voor paper 3
8.Rapporteigenschappen
1. Vormaspecten: (formulier compleet) 2. Theoretical background 1. Demarcating the
5. Vakinhoudelijke kwaliteit
Technisch plan
U Utrecht
UvTilburg
RU Leiden
RU Groningen
5. Verwachting / Hypothese 6. Praktische Relevantie
-
6. Verwachte resultaten 2. Relevantie (praktisch)
-
7. Persoonlijke Relevantie
A. Probleemstelling Crit 2
-
?
4. Verwachte opbrengst
2.Methode
8. respondenten - analyse
10. Variabelen 9. Selectie van respondenten
C. Methode crit. 7,8,9
11. Onderzoek methoden
C. Methode crit. 7,8,9
4. Methode
12. Instrumenten
C. Methode crit. 7,8,9
4. Methode
13. Data analyse
C. Methode crit. 7,8,9 -
5. Data verwerking en analyse 7. Planning
14. Tijdplan 15. Literatuur lijst / Bronnen
Extra criteria in de beoordelingsmatrix
A. Probleemstelling – crit 2
4.Relevantie
2.Methode 4. Methode 2.Methode
TU Eindhoven /Twente 4. Verwachte opbrengst 4. Verwachte opbrengst
9. variabelen
TU Delft
RU Nijmegen
UvAmsterdam
-
-
4. Ontwerphypothese en ontwerpregels
1. Demarcating the problem
#18. Relevantie
4. Operationalisation 5. Research method and justification
10. instrumenten & methoden
5. Research method
2.Methode
10. instrumenten & methoden
6. Quality of the research proposal
2.Methode
11. Analyse
?
3.Haalbaarheid
12. Globale tijdsplanning
7. Planning
B.Theorie/Literatuur & G.Vorm en Presemntatie crit 18.
5. Schrijfkwaliteit
7. Referenties
2. Theoretical background
D. Resultaten E. Conclusies F. Opbouw en Structuur G. Vorm en Presentatie H. werkproces
3.Haalbaarheid (respondenten benaderbaar; materialen / meetinstrumenten beschikbaar) C. Werkproces: 6.zelfstandigheid, 7.feedback, 8.samenwerking
20. Methode: dataverzameling (generiek omschreven) 14. Opzet evaluatieonderzoek
and justification
15. Keuze en onderbouwing van onderzoeksinstrumenten; 16. Uitwerking v.d onderzoeksinstrumenten 21. Methode: data-analyse -
6 Evaluatie- en tijdsplan
?
7 + 17 structuur Paper
A Ontwerp: voorbereiding, verantwoording, evaluatie en definitief ontwerp
Paper2: (les)ontwerp Paper 4: Analyse Uitvoering Paper 5: Evaluatie
C. Proces
Vergelijking van drie onderzoekbeoordelingsmatrices waarin het Onderzoeksplan zit ingenest. Onderwijs Radboud Univ. Ontwerp en Nijmegen Onderzoek rubric 0. Vormeisen
A. Ontwerp Voorbereiding:
Ontwerp onderzoek Papers
1.Tekststructuur verslag Paper 1: Ontwerpplan
1. Probleembeschrijving
2.Taalgebruik verslag
2. Probleemanalyse
3. Volledigheid ontwerp
3. Verkenning en keuze van oplossingen 4. Ontwerphypothese en ontwerpregels 5. Vakinhoudelijke kwaliteit 6. Evaluatie- en tijdsplan 7. Structuur paper
4 Analyse beginsituatie 5. Inhoudsanalyse
Verantwoording:
6. vanuit voorbereiding 7. vanuit theorie 8. interne consistentie
Evaluatie: Definitief ontwerp:
Paper 2: Ontwerp
9. aan de hand van de uitvoering 10. leerdoelen 11. evaluatie van 12. leerresultaten 13. Leeractiviteiten en werkvormen 14. rol van de docent 15. leermaterialen
B. Onderzoek Plan
16. Probleemstelling 17. Vraagstelling 18. Relevantie 19. Theoretisch kader 20. Methode: dataverzameling 21. Methode: dataanalyse
Resultaten
25. Stiptheid
26. Zelfstandigheid 27. Leerhouding 28. Creativiteit 29. Samenwerking
8. Vakinhoudelijke kwaliteit 9. Didactische kwaliteit van de lesplannen 10. Eigen keuzes in materiaal 11. Onderbouwing keuzes (toelichting lesplannen) 12. Volledigheid, overdraagbaarheid 13. Structuur paper
Paper 3: 14. Opzet Onderzoeksinstrumenten evaluatieonderzoek 15. Keuze en onderbouwing van onderzoeksinstrumenten 16. Uitwerking van de onderzoeksinstrumenten 17. Structuur paper Paper 4 : Analyse 18. Beschrijving Uitvoering uitvoering ontwerp 19. Analyse uitvoering ontwerp 20. Evaluatie uitvoering ontwerp 21. Uitvoering dataverzameling
22. Resultaten 23. Conclusie en discussie 24. Implicaties
C. Proces
Universiteit Leeronderzoek Universiteit van Amsterdam van Tilburg rubric rubric
22. Analyse & Evaluatie dataverzameling 23. Structuur paper Paper 5: Evaluatie
24. Presentatie van analyse, resultaten en interpretaties 25. Suggesties voor heront-werp (van ontwerp én onderzoek!) 26. Structuur paper
A Probleem stelling
B. Theorie / Literatuur C. Methode
1. Onderbouwing aanleiding 2. Concretiseren praktijkrelevantie 3. Onderzoeksvragen en praktische relevantie 4. Onderbouwing Hoofden deelvragen 5. Wetenschappelijke bronnen 6. Verwerking theorie 7. Helderheid gegevensverzameling en - analyse 8. Validiteit 9. Onderbouwing
D. Resultaten
10. Presentatie Resultaten 11. Beperkingen methode
E. Conclusies
12. Formulering Conclusies 13. Discussie 14. Prakt aanbevelingen en vervolgonderzoek 15. Reflectie op het onderzoek
F. Opbouw en Structuur
16. Stramien en schrijfstijl
G. Vorm en Presentatie
17. Taal en zinsbouw 18. Gebruik van bronnen, figuren en tabellen 19. Privacy / plagiaatregels
H. Werkproces
20. Communicatie van het onderzoek 21. Zelfstandigheid in opzet, uitvoering en beschrijving
Vergelijking van onderzoekbeoordelingscriteria onderzoeksplannen. Onderzoeks U Utrecht Onderzoeksplan TU Eindhoven Vakdidactisch plan rubric TU Twente ontwerprubric onderzoek In leiding
1,Probleemstellling
Vormaspecten
1.Formulier compleet
1. Inleiding (aanleiding en context) Doel en vraagstelling
2,Inbeddin in Theoretisch kader 3 Onderzoeksfunctie
Probleemstelling en onderzoeksvragen
2.Probleemstellng
2. Praktische en theoretische relevantie 3.Theoretische achtergronden 4.ontwerp, instrumenten
4.Onderzoeksvraag
Onderzoeksopzet
Theoretische inbedding
7.Persoonlijke relevantie 8.Consistentie 9.Selectie van respondenten 10.Variabelen
Referenties Methode
15. Literatuur / Bronnen
3. Onderzoeksvragen 4.verwachte opbrengst
5,Verwachting/ hypotheses 6.Praktische relevantie
11. Onderzoeksmethoden 12.Instrumenten 13. Data analyse 14. Tijdplan
5.Theoretisch kader 6.Begrippen gedefinieerd 7.Referenties 8.Repondenten
1,Probleemstellling
2,Methode
3.Haalbaarheid
4.Relevantie
Schrijfkwaliteit
5,Helderheid en transparantie
Werkproces
6.Zelfstandigheid
7.Feedback 8.Samenwerking
5.Data verwerking en analyse 6. verwachte resultate 7.Planning
9.Variabelen
Globale tijdsplanning Consistentie
10.Instrumenten en methoden 11.Analyse 12. PLanning. 13. Consistentie van het plan
Vergelijking van twee onderzoekbeoordelings scoringsformulieren Onderzoeksplan RU Groningen Methoden van TU Delft Rubric+form Onderzoek Score&feedback formulier Inhoud
Universiteit van Leiden rubric
1.Demarcating the Problem
Probleemstelling , Analyse omschrijving; Doel doelstelling / objectieven; Relev. centrale vraagstelling ; Logisch en coherent geheel 2. Theoretical background Oriëntatie op de literatuur; Eerder onderzoek Relevante theorieën ; Vertaalslag ; Referentie systeem APA 3. Demarcating the Kernconcepten; constructs Conceptueel model; Onderzoeksvraag en deelvragen; Onderzoeksfocus 4. Operationalisation Aspecten / deelaspecten items / dimensies; Indicatoren; Link 5. Research method and Kwalitatieve of kwantitatieve benadering; justification Motivatie instrument; Populatie; Steekproef 6. Quality of the research Validiteit; Betrouwbaarheid; proposal Bruikbaarheid; Ethisch handelen 7. Planning Wanneer / Wat / Budget 8. Rapport eigenschappen Titel; Taalgebruik; Structuur; Originaliteit en creativiteit; Inleiding; Vormgeving
