Assessment for Learning in het Hoger Onderwijs

Assessment for Learning in het Hoger Onderwijs Het effect op de leerstijl van studenten en de bijdrage aan de onderzoekende houding van de docent

Jorien Vugteveen S2237520

Maart, 2012 Masterthesis Onderwijskunde Faculteit Gedrag- en Maatschappijwetenschappen Rijksuniversiteit Groningen

Eerste begeleider: Tweede begeleider:

Drs. Marieke van Roy Dr. Ernst Thoutenhoofd

‘Would you tell me, please, which way I ought to go from here?’ ‘That depends a good deal on where you want to get to.’...

(Carroll, Alice’s adventures in Wonderland, 1862, p. 64)

Inhoudsopgave Abstract Samenvatting Voorwoord 1 Inleiding 2 Theoretisch kader 2.1 Assessment 2.1.1 Summatieve en formatieve assessment 2.1.2 Assessment ‘of Learning’, ‘for learning’ en ‘as learning’ 2.1.3 Assessment for Learning 2.2 Leerstijl 2.2.1 Vier componenten van leerprocessen 2.2.2 Vier leerstijlen 2.3 Onderzoekende houding docent 3 Methodologie 3.1 Verantwoording onderzoeksontwerp en onderzoek 3.1.1 Verantwoording 3.1.2 Onderzoekseenheden 3.1.3 Hypothesen 3.2 Literatuuronderzoek 3.3 Kwantitatief onderzoek – Vragenlijst 3.3.1 Vragenlijst 3.3.2 Statistische analyse 3.3.3 betrouwbaarheid 3.4 Kwantitatief onderzoek – ILS 3.4.1 Inventory Learning Styles (ILS) 3.4.2 Statistische analyse 3.4.3 Betrouwbaarheid 3.5 Kwalitatief onderzoek 3.5.1 Logboeken 3.5.2 Dagboek 4 Resultaten 4.1 Response 4.2 Resultaten vragenlijst 4.2.1 Deel 1, 2 en 3: Normaliteit 4.2.2 Deel 1, 2 en 3: Wilcoxon rangtekentoets 4.2.3 Deel 4: Normaliteit 4.2.4 Deel 4: Wilcoxon rangtekenttoets 4.2.5 Deel 5: Frequenties en gemiddelden 4.3 Resultaten ILS 4.3.1 Normaliteit 4.3.2 Wilcoxon rangtekentoets 4.4 Resultaten logboeken 4.4.1 Effectieve feedback

5 6 7 8 11 11 11 12 14 18 19 19 20 22 22 22 24 25 25 26 26 27 27 30 30 31 31 34 34 35 36 36 36 37 37 38 38 38 39 39 39 43 43

4.4.2 Betrokkenheid 4.4.3 Aanpassen onderwijs 4.4.4 Invloed op student 4.4.5 Self-assessment 4.4.6 Openheid van zaken 4.4.7 Duidelijke verwachtingen 4.4.8 Faciliteren 4.4.9 Leren door de docent 4.4.10 Reflecteren 4.5 Samenhang resultaten 5 Conclusie 5.1 Effect van AfL op leerstijl student 5.1.1 Betekenisgerichte leerstijl 5.1.2 Reproductiegerichte leerstijl 5.1.3 Toepassingsgerichte leerstijl 5.1.4 Ongerichte leerstijl 5.2 Bijdrage AfL aan onderzoekende houding docent 5.2.1 De wil om kritisch te zijn 5.2.2 De wil om te begrijpen 5.2.3 De wil om te bereiken 5.2.4 De wil om te delen 5.2.5 De wil om vernieuwend te zijn 5.2.6 De wil om te weten 6 Discussie 6.1 Beperkingen van het onderzoek en suggesties voor vervolgonderzoek 6.2 Aanbevelingen en mogelijke hypothesen Literatuurlijst Bijlagen Bijlage 1 Zelfontworpen vragenlijst Bijlage 2 Toevoeging aan vragenlijst bij nameting Bijlage 3 Fragment ILS Bijlage 4 Samenvoeging van de logboeken Bijlage 5 Fragment dagboeknotities Bijlage 6 Uitkomsten normaliteitstoetsing (vragenlijst deel 1, 2 en 3) Bijlage 7 Uitkomsten normaliteitstoetsing (vragenlijst deel 4) Bijlage 8 Hypothesen Bijlage 9 Uitkomsten Wilcoxon rangtekentoets Bijlage 10 Frequentietabel Bijlage 11 Uitkomsten normaliteitstoetsing (ILS)

44 45 46 47 48 49 49 50 51 51 54 54 54 55 56 57 58 58 60 60 62 63 63 65 65 68 71 74 75 77 78 79 86 87 88 90 91 93 95

Abstract The subject of this educational master research project is the implementation of Assessment for Learning (AfL) in Higher Education. AfL constitutes the use of assessment and sub sequential feedback to improve student and teacher learning. AfL is believed to lead to a higher degree of autonomy/selfregulation of learning and better learning outcomes. A combination of both qualitative and quantitative research methods is used to answer two research questions: ‘What is the effect of AfL on the learning style of students?’ and ‘What is the contribution of AfL to the inquiring/learning attitude of the teacher?’ The goal is to formulate hypotheses for the use of AfL in Higher education in general. The Inventory Learning Style (ILS) test (Vermunt, 1998) is used to formulate statements regarding four learning styles: the meaning-directed learning style, reproduction-directed learning style, the undirected learning style and the application-directed learning style. Each learning styles consists of four components which cover sixteen subscales in total. The Wilcoxon rank sign test is used to indicate a difference between the pre- and posttest scores. The results are supplemented with the results of the similar statistical analysis of the self-designed questionnaire. The conclusions regarding the teacher’s inquiring attitude are based on the analysis of a particular part of the self-designed questionnaire and logbooks. In order to be able to draw the conclusions, with regard to this second research question, the observations, categorized according to the ten key elements of AfL (UK Assessment Reform Group, 1999 e.a.), are connected to the six aspects of a teacher’s inquiring attitude: the inclination to be critical, to understand, to achieve, to share, to innovate and to know (Van der Rijst, 2009). The hypotheses of this research are (a) the implementation of AfL leads to changes in students’ learning styles (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986) and (b) the use of AfL contributes positively to the inquiring attitude of the teacher (Black & William, 1998a; 1998b; James & McCormick, 2009). Both hypotheses were proven to be true, although the changes in learning styles were less extensive than expected. Based on the results and conclusions new hypotheses were formulated for the application of AfL in Higher Education.

5

Samenvatting Het onderwerp van dit hypothesevormend onderwijskundig afstudeeronderzoek is de toepassing van Assessment for Learning (AfL) in het Hoger Onderwijs. Assessment for Learning is het gebruiken van assessment/beoordeling en het op basis daarvan geven van feedback ten bate van het leren van student en docent. Van AfL wordt verwacht dat het leidt tot een hogere mate van autonomie/zelfsturing van de student en betere leeropbrengsten. Doormiddel van een combinatie van zowel kwalitatieve als kwantitatieve onderzoeksmethoden wordt een antwoord gegeven op twee onderzoeksvragen: ‘Welk effect heeft AfL op de leerstijl van studenten?’ en ‘Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent?’. Om uitspraken te doen over de leerstijlen van studenten wordt gebruik gemaakt van de Inventory Learning Style (ILS) test (Vermunt, 1998). Deze test geeft inzicht in de vier leerstijlen: betekenisgerichte leerstijl, toepassinggerichte leerstijl, reproductieve leerstijl en de ongerichte leerstijl. Elke leerstijl bestaat uit vier componenten die samen zestien subschalen beslaan. Per subschaal is getoetst of er verschil tussen de voor- en nameting is opgetreden. Deze resultaten zijn aangevuld met uitspraken op basis van de statistische analyse van de data van een zelfontworpen vragenlijst. De conclusies met betrekking tot de onderzoekende houding van de docent zijn getrokken op basis van de analyse van de logboeken en mijn reacties als student/onderzoeker daarop. De waarnemingen, gecategoriseerd aan de hand van de tien sleutelelementen van AfL (UK Assessment Reform Group, 1999 e.a.), zijn gekoppeld aan de zes aspecten van een onderzoekende houding van een docent in het wetenschappelijk onderwijs: de wil om kritisch te zijn, te begrijpen, te bereiken, te delen, vernieuwend te zijn en te weten (Van der Rijst, 2009). De hypothesen van het onderzoek zijn dat (a) het invoeren van AfL veranderingen in de leerstijl van studenten teweeg zal brengen (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986) en (b) dat het gebruik van AfL een positieve bijdrage levert aan de onderzoekende houding van de docent (Black & William, 1998a; 1998b; James & McCormick, 2009). Beide hypothesen zijn uitgekomen, al is de mate van verandering in leerstijl wel wat achtergebleven bij de verwachting. Op basis van de resultaten en conclusies zijn, in de vorm van hypothesen, voorspellingen opgesteld voor de toepassing van AfL in het Hoger onderwijs.

6

Voorwoord Na het afronden van de pabo en vervolgens een jaar schakelprogramma te hebben gevolgd, ben ik in september 2011 gestart met de master Onderwijskunde aan de Rijksuniversiteit Groningen. In verband met brede interesse en vertrouwen in eigen kunnen heb ik twee differentiaties naast elkaar gevolgd: 'Onderwijs- en leerlingbegeleiding' en 'Didactische vormgeving van het onderwijs'. Daarnaast ben ik in november vervroegd gestart met het afstudeeronderzoek dat in deze masterthesis beschreven wordt. De titel ‘Assessment for Learning in het Hoger Onderwijs’ verwijst naar de toepassing van Assessment for Learning (AfL) tijdens een vak van de master Onderwijskunde. Het onderzoek maakt deel uit van een breder denk- en leervaardighedenproject. Daarbinnen zijn diverse onderzoeken op verschillende typen scholen uitgevoerd. Het onderzoek dat hier beschreven wordt, richt zich op het effect van AfL op de leerstijl van studenten en de bijdrage van AfL aan de onderzoekende houding van de docent. Ik heb mijn thesis twee maanden kunnen schrijven, waardoor ik de kans heb gekregen vervroegd af te studeren. Zonder de begeleiding van Ernst Thoutenhoofd tijdens de beginfase en uitvoeringsfase van het onderzoek, en de begeleiding van Marieke van Roy tijdens het schrijven van de thesis, was dit niet mogelijk geweest. Ik wil hen daar hartelijk voor bedanken. Ik heb nu vijfenhalf à zes jaar studie in het Hoger Beroepsonderwijs en Wetenschappelijk Onderwijs achter de rug. Zonder de gezelligheid en steun van medestudenten had ik dit niet volgehouden. In het bijzonder wil ik Janine van der Kooi bedanken voor haar gezelschap, samenwerking en kritische blik. Tot slot dank aan mijn familie. Hoewel ironie in ons gezin steevast hoogtijd viert en jullie dikwijls de spot met mij hebben gedreven, hebben jullie mij altijd gesteund en gestimuleerd in het bereiken van de doelen die ik voor ogen had. Met het schrijven van deze masterthesis is er een eind gekomen aan een enorm interessante periode van studie. Ik heb de master Onderwijskunde afgerond en daarmee heb ik weer een doel bereikt.

Groningen, maart 2012

7

Hoofdstuk 1

Inleiding Sinds de sociaal-economische veranderingen in onze samenleving na de jaren ’60 van de vorige eeuw leven wij in een kennismaatschappij. Flexibiliteit, internationalisering, het gebruik van informatie- en communicatietechnologie en een voortdurend lerende organisatie kunnen worden gezien als kenmerken van de kennismaatschappij. Deze maatschappij is voortdurend in beweging. De belangrijkste rol voor (hoger) onderwijs is dan ook het opleiden van mensen om te kunnen functioneren in de kennismaatschappij van de toekomst. Één van de belangrijkste vaardigheden die mensen moeten (leren) beheersen is het kunnen leren (Hoskins & Fredriksson, 2008). Veranderingen op de werkplek volgen elkaar in hoog tempo op. Deze worden gedeeltelijk veroorzaakt door voortdurende innovaties op het gebied van technologie en sociale veranderingen met betrekking tot globalisering. Van (toekomstige) werknemers wordt verwacht dat zij zich met de maatschappij mee ontwikkelen (Hoskins & Fredriksson, 2008). Levenslang leren / lifelong learning is daarom al enige jaren een politieke prioriteit met betrekking tot de onderwijskundige context en daar buiten. Een aantal jaren geleden bestond het onderwijs voornamelijk uit klassikaal onderwijs en summatieve beoordelingsmomenten. De leerkracht gaf les volgens de directieve (autoritaire) stijl. Dit betekende dat de leerkracht alle beslissingen nam en dat de lerende daarop geen of weinig invloed uitoefende. Dat kwam onder andere tot uiting in het voorschrijven wat de leerlingen moesten doen, het aangeven van wie met wie moest samenwerken en het bepalen hoe goed/slecht de prestaties van iedere lerende waren door middel van het toetsen van kennis (Santrock, 2009). Deze toetsen vonden plaats aan het eind van ieder afzonderlijk leerproces. De resultaten die lerenden behaalden werden gezien als een indicatie van het begrip van de stof (Cooper, 2006). In het hedendaags onderwijs zijn de sporen van deze stijl van lesgeven nog steeds aanwezig, maar hebben zich ook duidelijke veranderingen voorgedaan. Leerlingen, scholieren en studenten worden met het oog op de kennismaatschappij en onder druk van politieke en sociale bewegingen voorbereid op initiatiefrijk lifelong learning (Hoskins & Fredriksson, 2008). Verschillende onderwijsstromingen hebben zich daar, ieder op hun eigen manier, op aangepast. De directieve stijl van lesgeven heeft grotendeels plaatsgemaakt voor de participatieve (democratische) stijl. De leerling /scholier/ student heeft een grotere invloed doordat de docent de leerlingen betrekt bij het bepalen van de regels, de inhoud van het onderwijs, het samenwerken, de manier waarop taken worden aangepakt en hoe gedrag en prestaties worden beoordeeld (Santrock, 2009). De leerkracht stelt zich meer op als begeleider en is minder dominant aanwezig. Arter schrijft dat er verschillende manieren zijn waarop studenten betrokken kunnen worden bij het evalueren en het monitoren van hun eigen leerproces. Een voorbeeld van betrokkenheid van studenten is het bieden van hulp aan studenten bij het formuleren 8

van hun eigen doelen, het laten beslissen hoe deze behaald gaan worden en het laten besluiten wanneer de doelen bereikt zijn (in Wall & Walz, 2003). Onderzoek heeft uitgewezen dat de focus van toetsen minder moet liggen op summatief toetsen aan het eind van het leerproces en meer op formatief toetsen tijdens het leerproces (Crooks, 1988). Toetsing moet niet alleen gericht zijn op het product maar ook op het proces dat de student doorloopt om het (eind)doel te behalen. Arter stelt dat het daarbij gewenst is dat er ook aandacht wordt besteed aan hoe er daarna verder gewerkt moet worden (in Wall & Walz, 2003). Assessment for Learning (AfL) biedt deze mogelijkheden. In het kort is AfL het volgen en stimuleren van het leerproces en de prestaties van de student. Hierbij wordt beoordeling (assessment) en feedback gebruikt om het leerproces te beoordelen en te sturen. Het constante proces van assessment en het geven van feedback stelt docenten in staat inzicht te verwerven in het leerproces van studenten en te bepalen welke verbeteringen in de lespraktijk mogelijk zijn. Een belangrijk element van AfL is dat studenten tot op zekere hoogte controle hebben over hun eigen leerproces en de beoordeling daarvan. Toepassing van AfL in het hoger onderwijs is daarom van groot belang voor lifelong learning. AfL verhoogt, mits goed geïmplementeerd, de motivatie om te leren en helpt studenten te leren hoe ze moeten leren (Learning How To Learn). Door middel van de toepassing van AfL wordt gebruik gemaakt van formatieve toetsing om het leerproces van de lerende in kaart te brengen, te ondersteunen en te verbeteren (Clark, 2008). Een participerende stijl van lesgeven is hierbij van belang. Onderzoek heeft namelijk aangetoond dat formatieve toetsing het krachtigst is wanneer lerenden betrokken worden bij hun eigen beoordeling, evaluatie en formulering van doelen (Black & William, 1998a; Wall & Walz, 2003). Er bestaat buitenlands onderzoek naar de effectiviteit van verschillende elementen die bij AfLpraktijken aan bod komen. Tevens bestaat er buitenlands onderzoek dat zich richt op evaluatie van de implementatie van AfL. Onderzoek naar het effect van AfL dat zich richt leerlingen en leerkrachten uit het lager en voortgezet onderwijs is ook aanwezig. Daarnaast is er veel onderzoek gedaan naar summatieve en formatieve assessment. Deze laatstgenoemde onderzoeken richtten zich op (formatieve) assessment van de docent voor de student, terwijl in de AfL-praktijk specifiek de nadruk wordt gelegd op het gebruik van formatieve assessment ten bate van leren. Onderzoek naar AfL, het gebruik van formatieve assessment om het leren en het leerproces van studenten (en hun docenten) in het Hoger Onderwijs te verbeteren, is slechts in beperkte mate beschikbaar. Dit afstudeeronderzoek richt zich op die doelgroep en op het effect van AfL op attitudes van deze studenten en hun docenten. Het onderzoek maakt deel uit van het bredere denk- en leervaardighedenproject waarbij leerkrachten en studenten uit het primair onderwijs, het speciaal onderwijs, het voortgezet onderwijs, het hoger beroeps onderwijs en wetenschappelijk onderwijs zijn betrokken. Het is gericht op het effect van AfL op de leerstijl van de student en op de onderzoekende/lerende houding van de docent in het 9

hoger onderwijs. De dataverzameling heeft plaatsgevonden tijdens het vak PAMAOK003 ‘Professionalisering van leerkrachten’, met als docent Ernst Thoutenhoofd. Vanaf nu respectievelijk aangeduid met ‘het vak’ en ‘de docent’. Het vak is onderdeel van de differentiatie ‘Onderwijs- en leerlingbegeleiding’ van de master Onderwijskunde binnen de faculteit Gedrags- en Maatschappijwetenschappen van de Rijksuniversiteit te Groningen. Binnen dit vak is AfL ingezet om al dan niet gezamenlijk een opdracht te ontwerpen en uit te voeren met als doelstelling studenten meer eigen verantwoordelijkheid te laten nemen voor het (gezamenlijke) leerproces. De aandacht is hierbij gericht op het (samenwerkend) leren van studenten en de docent. Daarbij zijn de volgende onderzoeksvragen gehanteerd: Welk effect heeft AfL op de leerstijl van studenten? Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent? De verwachting is dat AfL voornamelijk leidt tot een meer betekenisgerichte leerstijl van studenten en een positieve bijdrage levert aan de onderzoekende houding van de docent. In dit onderzoeksverslag zal eerst in het theoretisch kader een uiteenzetting worden gegeven van AfL, de leerstijl van de student en de onderzoekende houding van de docent. Daarna zullen de analyses, de resultaten en conclusies beschreven worden. Het verslag wordt afgesloten met een discussie en aanbevelingen en hypothesen voor vervolgonderzoek.

10

Theoretisch Kader In dit hoofdstuk wordt een omschrijving van het theoretisch kader, waarbinnen het onderzoek heeft plaatsgevonden, gegeven. Voor het beantwoorden van de onderzoeksvragen is het van belang om het begrip assessment for learning af te bakenen, zoals in paragraaf 2.1 gedaan wordt. Ook het begrip leerstijl speelt een centrale rol. Deze wordt in paragraaf 2.2 onder de loep genomen. Paragraaf 2.3 besteed aandacht aan het derde centrale begrip: de onderzoekende houding van de docent.

2.1 Assessment Binnen schoolse situaties vind leren plaats door wat studenten en docenten binnen en buiten de collegezalen doen. De overheid, maar ook andere belanghebbenden, verwachten dat de leerpraktijken zo effectief mogelijk zijn. Assessment is een onderdeel van leerpraktijken waarop nog winst te behalen is (Black & William, 1998b). Bij een focus op Assessment for Learning (AfL), het onderwerp van dit afstudeeronderzoek, is het noodzakelijk om vast te stellen wat er in dit onderzoeksverslag met assessment bedoeld wordt. In de literatuur bestaan verschillende definities van assessment en evaluatie (evaluation). De verschillen lijken geografisch bepaald. In Amerikaanse literatuur verwijst de term assessment naar het meten van bepaalde prestaties. De term evaluatie wordt gebruikt met betrekking tot de beoordeling van prestaties. In de Engelse literatuur worden de termen anders gebruikt. Met assessment wordt het toetsen en beoordelen van prestaties bedoeld (Scriven, 1966). Het meten van het niveau wordt aangeduid met verschillende termen, waaronder toetsing, monitoren of measuring. ‘Evaluation’ verwijst in deze literatuur naar het evalueren van de kwaliteit van leer- of onderwijsprocessen. Het gaat daarbij expliciet om het proces, niet om het product (Scriven, 1966). In dit onderzoeksverslag wordt in het gebruik van de termen assessment en evaluatie het Engelse voorbeeld gevolgd. Deze keuze is gebaseerd op de vooroplopende positie van Groot-Brittannië op het gebied van Assessment for Learning.

2.1.1 Summatieve en formatieve assessment De laatste jaren heeft er op het gebied van assessment een verschuiving plaatsgevonden van een focus op standaard toetsen naar een vorm van assessment die meer verband houdt met leerervaringen van studenten (Black & William, 1998a). Er wordt minder waarde gehecht aan summatieve assessment en meer nadruk gelegd op het gebruik van formatieve assessment. Het onderscheid tussen deze twee vormen van assessment is van groot belang in het kader van AfL. Sadler’s definitie van formatieve assessment is de meest gebruikte. Hij schrijft: “Formative assessment is concerned with how judgements about the quality of student responses (performance, pieces, or works) can be used to shape and improve the students’ competence by short-circuiting the randomness and inefficiency of 11

trial-and-error learning” (Sadler, 1989, p. 120). Het gaat om een studentspecifieke beoordeling van bepaalde prestaties met als doel het komen tot verbeteringen. Summatieve assessment verschilt van formatieve assessment in de zin dat het enkel een opsomming of samenvatting van het prestatieniveau van de student geeft (Sadler, 1989; Scriven, 1966). Het vindt vaak aan het eind van een leerproces plaats en heeft als doel het geven van een voldoende/onvoldoende beoordeling aan een student. Summatieve assessment ter afsluiting van een leerproces heeft geen directe invloed op verder leren. Het biedt geen informatie voor verbetering of vervolgactiviteiten, maar het kan wel onderwijskundige of persoonlijke gevolgen hebben voor de student. Het belangrijkste onderscheid tussen de twee vormen van assessment is te vinden in het doel (Sadler, 1989; Taras, 2008; 2009), in hoeverre het leerproces op het moment van assessment is gevorderd (Sadler, 1989; Taras, 2009) en de mate waarin de beoordeling afgestemd is op het individu (Taras, 2009). Tot zo ver zijn beide vormen van assessment duidelijk uit elkaar te houden. Assessment in de zin van toetsing en beoordeling van prestaties aan de hand van vastgestelde standaarden, doelen en criteria, is een summatieve vorm van assessment (Scriven, 1966). Aanvullende feedback waaruit een verschil tussen het huidige prestatieniveau en het wenselijke prestatieniveau blijkt, en waarin suggesties worden gedaan met betrekking tot hoe het wenselijke niveau te behalen is, valt onder de formatieve vorm van assessment (Hargreaves, 2005; Scriven, 1966; Taras, 2008). Enkel op basis van summatieve beoordeling is het mogelijk om een oordeel te geven over de mogelijkheden tot verbeteringen. Het is onvermijdelijk te concluderen dat formatieve assessment daardoor niet voor komt zonder summatieve assessment. In de literatuur worden beide vormen van assessment als aparte onderdelen gezien, maar het is juist om te concluderen dat ze in elkaar verweven zijn. Het is namelijk onmogelijk om feedback te geven en tot verbeteringen te komen, zonder eerst (summatief) te beoordelen. Formatieve assessment gaat altijd gepaard met een vorm van summatieve assessment (Scriven, 1966; Taras, 2007; 2009) en vindt noodzakelijkerwijs tijdens het leerproces plaats. Summatieve assessment kan daarentegen wel opzichzelfstaand voor komen. Bijvoorbeeld aan het eind van een collegereeks.

2.1.2 Assessment ‘of Learning’, ‘for learning’ en ‘as learning’ Assessment wordt op verschillende manieren gebruikt binnen de onderwijspraktijk. Dit onderzoek is gericht op Assessment for Learning, maar alvorens daar dieper op in te gaan is het van belang om aandacht te besteden aan assessment of learning en assessment as learning. Assessment of Learning verwijst naar strategieën die zijn ontworpen om de kennis van studenten te beoordelen. Tijdens de beoordeling zal blijken of de student de vastgestelde doelen van het curriculum gehaald heeft. De uitkomsten van deze beoordeling worden vaak publiek gemaakt in de vorm van bijvoorbeeld een cijferlijst. Hierdoor kan de student zijn prestaties met die van anderen 12

vergelijken, maar ook andere belangstellenden kunnen een inschatting maken van de prestaties van een student. Kort gezegd wordt bij assessment of learning gebruik gemaakt van enkel summatieve beoordeling. Al vele jaren pleiten onderwijskundigen dat er een verschuiving van assessment of learning naar assessment for learning plaats moet vinden (Crooks, 1988; Torrance, 2007) Crooks noemde een aantal belangrijke zwakke punten van assessment door leerkrachten in de praktijk: de veelal summatieve assessment moedigt namelijk aan tot oppervlakkig kennis en uit het hoofd leren van lesstof; er wordt voornamelijk geconcentreerd op het uit het geheugen oproepen van details; docenten reflecteren niet of nauwelijks op de manier van beoordelen en de inhoud ervan. Cijfers als product van beoordeling werden (en worden nog steeds) overschat, terwijl het leren als product van beoordeling wordt onderschat. Feedback aan studenten zou niet moeten bestaan uit een beoordeling in de vorm van een cijfer, maar zou met regelmaat gegeven moeten worden en gericht moeten zijn op een specifieke taak die door de student wordt uitgevoerd (Black & William, 1998a; Crooks, 1988; Hume & Coll, 2009). Assessment for Learning is een reactie op assessment of learning. Het doel was het komen tot beoordelingsprocedures en praktijken die het leren van studenten ondersteunen in plaats van het zelfvertrouwen, de prestaties en de ontwikkeling van studenten te ondermijnen (Black & William, 1998a; Torrance, 2007). In plaats van een summatieve vorm van beoordelen wordt hierbij gebruik gemaakt van formatieve assessment. Deze vernieuwing werd op grote schaal doorgevoerd, maar bij nadere inspectie bleek dat de elementen op een andere manier werden geïnterpreteerd (Torrance, 2007), of geheel niet begrepen en/of toegepast (Boyle & Charles, 2010). Leerlingen werden slechts in beperkte mate bij hun leerproces betrokken en feedback, één van de sleutelcomponenten van AfL, werd volgens het onderzoek van Boyle en Charles (2010) op slechts twintig procent van de 4000 scholen uit de steekproef toegepast. In de praktijk werd het voldoen aan criteria als doel gezien in plaats van als middel (Torrance, 2007). Het oorspronkelijke doel, het bevorderen van meer autonome rol van de student (Black, McCormick, James, & Pedder, 2006), werd uit het oog verloren. Daarmee is een nieuwe vorm van beoordeling is ontstaan: assessment as learning. In Assessment as Learning ligt de nadruk meer op overdracht van kennis (Black et al., 2006). Assessmentprocedures zijn een doel op zich en studenten worden intensief gecoacht om het doel te bereiken: aan de criteria te voldoen (Hume & Coll, 2009; Torrance, 2007). Het gevolg hiervan is dat studenten, in plaats van meer autonoom te opereren, juist meer afhankelijk van de docent zijn (Torrance, 2007). Studenten richten zich in hun werk op het voldoen aan alle details van de vooraf vastgestelde vereisten. Docenten houden zich bezig met de criteria en hoe ze voor bewijs kunnen zorgen dat hun studenten hieraan voldoen (Hume & Coll, 2009). Het leerproces van studenten staat daardoor bij assessment as learning niet centraal, zoals bij Asessment for Learning wel het geval is. In AfL-praktijken is het de bedoeling dat de studenten doelen formuleren, maar met de komst van 13

assessment as learning is deze taak weer bij de docent komen te liggen (Hargreaves, 2005). Verschillende onderwijskundigen waaronder Hargreaves (2005) en Torrance (2007) stellen dat de validiteit van assessment in de vorm van Assessment as Learning als gevolg hiervan zeer twijfelachtig is geworden.

2.1.3 Assessment for Learning Verschillende aspecten van formatieve assessment, onderdeel van AfL, zijn aan de orde geweest. In het kort is AfL het monitoren van het leerproces en de prestaties van de student met betrekking tot gestelde doelen. Hierbij wordt assessment gebruikt om het leerproces te beoordelen en vervolgens te sturen. Docenten voorzien het werk van studenten van feedback en zijn daardoor op de hoogte van de leerprocessen van de studenten en kunnen hun lesgeven hier op aanpassen (Black & William, 1998a; Hargreaves, 2005; James & McCormick, 2009; Juwah et al., 2004). Studenten hebben in grote mate controle over hun eigen leerproces en de beoordeling daarvan. Hierbij is het essentieel dat studenten de feedback van de docent gebruiken om hun leerproces vorm te geven (Hargreaves, 2005). Het proces waarbij iedere assessment met bijbehorende feedback een beginpunt vormt voor verbetering, wordt ook wel scaffolding genoemd (van de Pol, Volman, & Beishuizen, 2010). In zoverre wordt in deze definiëring van AfL weinig toegevoegd aan de omschrijving van formatieve assessment, maar AfL is meer dan dit. Binnen AfL zijn vier kernelementen te onderscheiden waarmee AfL zich onderscheidt van formatieve assessment: het stellen van vragen, het gebruik van feedback, het delen van criteria en self-assessment (Black & William, 1998b). In de praktijk wordt selfassessment veelal aangevuld met peer-assessment (Black & William, 1998a; Clark, 2008; Hargreaves, 2007; Lauf & Dole, 2010; Taras, 2009). In een effectieve AfL-praktijk zijn alle kernelementen aanwezig.

Vragen stellen Binnen de beoordelingsprocedures speelt de wisselwerking tussen docent en student een belangrijke rol (Black et al., 2006). In de praktijk bestaat deze wisselwerking voor een groot deel uit vragen die de docent stelt om te controleren of de student iets heeft geleerd of begrepen heeft. Uit onderzoek is gebleken dat docenten bij het stellen van vragen geen hoge verwachtingen van de student hebben (Black & William, 1998a). Er wordt voornamelijk gefocust op het terugroepen van feitjes die de student geacht wordt uit het hoofd te hebben geleerd. Black en William (1998b) stellen dat deze manier van controle vaak erg onproductief is. Daarnaast is één van de meest voorkomende problemen dat docenten geregeld vragen stellen om vervolgens zelf het antwoord te geven. De student krijgt niet de tijd om na te denken over mogelijke antwoorden (Black & William, 1998b). Juist het denkproces van studenten is van belang voor de autonomie op het gebied van leren. Bij een AfL aanpak wordt van de leerkrachten verwacht dat ze studenten aanzetten tot denken. Het overdragen van kennis is niet 14

doeltreffend (Taras, 2009). Het geven van tijd om na te denken en te reageren, het aanzetten tot het bediscussiëren van mogelijke antwoorden in kleine groepjes, het geven van verschillende antwoordmogelijkheden waaruit studenten kunnen kiezen en het individueel laten opschrijven van antwoorden om er vervolgens een aantal de revue te laten passeren zijn manieren om de denkprocessen van studenten te optimaliseren (Black & William, 1998a). Voor communicatie tussen studenten onderling geldt hetzelfde (Clark, 2008). Samenwerking of interactie is het meest waardevol als er goed wordt overlegd en daarbij aandacht wordt geschonken aan redenering.

Feedback In het kader van AfL is aangenomen dat feedback moet leiden tot het verbeteren van leerprocessen en prestaties van studenten. Ook moet het leiden tot verbeteringen in lespraktijken van docenten. Feedback moet volgens Sadler (1989) aan drie voorwaarden voldoen: het moet gericht zijn op het behalen van gestelde doelen; het moet het huidige prestatieniveau met het gewenste prestatieniveau vergelijken; en het moet aanzetten tot stappen om het gewenste niveau te behalen. De studenten spelen in het feedbackproces een essentiële rol (Juwah et al., 2004). Van hen wordt verwacht dat zij actief zijn in het monitoren en sturen van hun eigen prestaties met betrekking tot het behalen van hun doelen en de strategieën die ze daarbij gebruiken. Er wordt van studenten dus een bepaalde mate van zelfregulatie verwacht. Algemeen aangenomen is dat zelfregulerende studenten (self-regulated learners) het meest effectief leren (Black & William, 1998a; Butler & Winne, 1995). Binnen de context van universitair onderwijs komt zelfregulatie neer op een toewijding aan het werken aan taken waarin studenten bepaalde vaardigheden gebruiken: het formuleren van doelen om kennis op te doen; het overwegen van verschillende strategieën om de meest effectieve manier voor het behalen van deze doelen vast te stellen; en het monitoren van het effect van hun werkwijzen en inzet. Monitoren omvat het waarnemen en verzamelen van informatie om op basis daarvan controle uit te oefenen op het verdere verloop van het leerproces (Butler & Winne, 1995). In feite beoordelen studenten hun werk en aan de hand van hun bevindingen bepalen ze de volgende stappen die ze zullen ondernemen. In dit proces wordt onderscheid gemaakt tussen interne en externe feedback (Butler & Winne, 1995; Juwah et al., 2004). Het meest bekend is feedback gegeven door een extern persoon, bijvoorbeeld de docent of medestudenten. Doorgaans is deze feedback niet tijdens het leren beschikbaar, maar op vastgestelde tijden (Butler & Winne, 1995). Juwah et al. schrijven dat er bij externe feedback voor gewaakt moet worden dat de feedback van goede kwaliteit is: relevant, informatief, niet te omvangrijk en tijdig gegeven. Ook mag niet voorbij gegaan worden aan de invloed van de feedback op de motivatie of het zelfvertrouwen van de student. Hoge, maar haalbare verwachtingen van de docent zijn motiverend 15

voor studenten. Lage of onhaalbare verwachtingen zijn demotiverend en kunnen zelfs een negatieve invloed op het zelfvertrouwen van de student hebben. Dit heeft vervolgens invloed op de leerprestaties (Juwah et al., 2004). De tweede soort, Interne feedback, wordt door de student zelf, al dan niet expliciet, gegeven (Butler & Winne, 1995). In tegenstelling tot externe feedback is deze zowel tijdens als na afloop van het leerproces beschikbaar. Studenten monitoren gedurende langere tijd hun leerproces. Voor monitoren is interne feedback nodig, maar gezien het feit dat monitoren niet automatisch succesvol is, mag de waarde van externe feedback niet genegeerd worden. Zelfregulerende studenten, die op een juiste manier gebruik maken van zowel interne als externe feedback, zijn zich bewust van de kwaliteit van hun kennis, opvattingen, motivatie en cognitieve processen die bijdragen aan hun leren. Hierdoor zijn deze studenten in staat om een juiste inschatting te maken van hun huidige niveau en het niveau dat zij willen bereiken (Howard-Rose & Winne, 1993). Kortom, zelfregulerend leren is een bewust, beoordelend en adaptief proces (Butler & Winne, 1995). Zelfregulatie is alleen effectief als de student weet wat de leerdoelen zijn en deze ook begrijpt (Juwah et al., 2004). Het is daarbij van belang dat de student zich de doelen eigen maakt en in staat is om zijn / haar voortgang op het gebied van deze doelen te beoordelen (Black & William, 1998a; Sadler, 1989). Docenten stellen voor aanvang van het leerproces bepaalde doelen, maar ook van studenten wordt verwacht dat zij doelen formuleren. Die doelen moeten tot op zekere hoogte met elkaar overlappen anders ontvangt de student feedback van de docent die niet bruikbaar is of niet overeenkomt met de verwachtingen van de student (Juwah et al., 2004).

Criteria delen Onderzoek heeft aangetoond dat lage prestaties van studenten vaak veroorzaakt worden doordat studenten niet weten wat de docent van hen verwacht (Black & William, 1998b). Het doel van AfL is dat studenten hun eigen leerproces in handen hebben, regelmatig beoordelen wat hun niveau is en hoe het gewenste niveau moet worden bereikt (Black & William, 1998a). Om dit te kunnen beoordelen is het essentieel dat studenten weten wat het gewenste niveau is. Als studenten niet op de hoogte zijn van de criteria is dit niet mogelijk. In een goede AfL-praktijk zijn studenten daarom vanaf het begin van het leerproces op de hoogte van de criteria die door de docent gesteld worden. Met deze criteria houden studenten rekening als ze hun eigen doelen formuleren (Juwah et al., 2004). Door studenten op de hoogte te stellen van de criteria wordt voor hen de mogelijkheid gecreëerd om zelfverzekerd en zelfstandig te leren (Clark, 2008).

Self-assessment en peer-assessment Het belangrijkste doel van het gebruik van self-assessment door studenten is het bevorderen van zelfstandigheid en autonomie. Dit is volgens Dreaden het belangrijkste doel van Learning How To Learn 16

(LHTL), net als AfL een methode om het leerproces van studenten te verbeteren (in Black et al., 2006). Het verschil tussen AfL en LHTL is dat bij AfL zowel de leerkracht als de student centraal kan staan, terwijl bij LHTL altijd de student centraal staat (James et al., 2007). AfL, een formatieve manier van beoordelen, is feitelijk één van de strategieën die LTHL mogelijk maakt. Studenten die self-assessment toepassen moeten op de hoogte zijn van de gestelde criteria, zodat zij kunnen beoordelen of ze aan deze criteria voldoen (Taras, 2008). Om tot effectieve selfassessment te komen is training en begeleiding nodig, maar wanneer goed toegepast leidt selfassessment tot begrip en inzicht van het eigen leerproces (Black & William, 1998b). Leren is een sociaal proces. Alle studenten die deel uit maken van een klas, groep of subgroep hebben invloed op elkaars leerproces. De intensiteit van samenwerking kan variëren. Samenwerkend/collaboratief leren (collaborative learning) houdt in dat studenten elkaar aanvullen en voortbouwen op elkaars denkbeelden. Hiermee ontwikkelen ze kennis die door alle groepsleden gevormd en gedragen wordt. Ieder groepslid draagt verantwoordelijkheid voor zowel zijn eigen leerproces als het leerproces van alle andere groepsleden (Hargreaves, 2007). Een andere vorm van samenwerking is coöperatief leren (cooperative learning): Studenten werken samen met de klas, een groep of subgroep. De groepsleden houden elkaar individueel verantwoordelijk voor een specifiek deel van een taak. Deze losse delen worden uiteindelijk samengevoegd tot een groepsproduct (Johnson, Johnson, & Smith, 1991). In de praktijk komt coöperatief leren vaker voor dan collaboratief leren. De oorzaak hiervan is dat collaboratief leren meer tijd in beslag neemt in verband met het regelmatige overleg tussen groepsleden. Auteurs die over samenwerking en AfL schrijven, zijn niet allemaal even expliciet in hun definiëring van samenwerken. Tussen de regels door is te lezen dat ze het voornamelijk over samenwerkend leren (collaborative learning) hebben. Hargreaves (2007) stelt heel duidelijk dat docenten studenten moeten stimuleren om met elkaar te werken en niet om naast elkaar te werken of met elkaar te concurreren, dit komt meer in de buurt van samenwerkend leren dan van coöperatief leren. Zowel Hargreaves (2007) als Clark (2008) zijn van mening dat samenwerkend lerende studenten bewuster, gemotiveerder en actiever leren. Dit maakt hen meer geschikt voor lifelong learning. Self-assessment is het proces waarbij studenten hun eigen werk beoordelen en interne feedback formuleren. Peer-assessment is hetzelfde proces, maar nu wordt het werk van een student door een externe bron (een medestudent) beoordeeld en ontvangt de student externe feedback (Juwah et al., 2004; Lauf & Dole, 2010). Self-assessment en peer-assessment kunnen in combinatie met elkaar voor komen. Samenwerkend of coöperatief leren is voor de toepassing van peer-assessment geen vereiste. Ook bij individueel leren kan het toegepast worden. Walser (2009) benadrukt dat goede self en peer-assessmentvaardigheden ook de mogelijkheid bieden om feedback te geven op het handelen van de docent.

17

2.2 Leerstijl In dit onderzoek staat, naast AfL, de leerstijl van studenten centraal. Om te komen tot een definitie van leerstijl is het van belang dat eerst het begrip leren wordt omschreven. Binnen dit onderzoek wordt leren gezien als het proces dat zich binnen in het individu afspeelt en dat leidt tot een bepaalde manier van denken en handelen (Vermunt, 2005). Het gaat om een actief proces dat te herkennen is aan het aan de hand van leeractiviteiten (Vermunt, 1998), zoals het (re)construeren, aanpassen en gebruiken van mentale modellen (Vermetten, Lodewijks, & Vermunt, 1999). Er kan onderscheid gemaakt worden tussen 3 verschillende benaderingen van leren: de diepe benadering, de oppervlakkige benadering en de strategische benadering (Duff, Boyle, Dunleavy, & Ferguson, 2004; Vermetten et al., 1999). Studenten met een diepe benadering zijn op een kritische manier op zoek naar de betekenis van de leerstof en proberen verbanden te leggen met eerdere ervaringen en ideeën die ze hebben opgedaan. Studenten die leren aan de hand van een oppervlakkige benadering hechten waarde aan het uit het hoofd leren van feiten en leggen daarbij geen verbanden tussen deze feiten of met andere ervaringen. De derde groep studenten, die zich een strategische benadering aanmeet, legt nadruk op organisatie, het beheersen van leervaardigheden en een wens om zo hoog mogelijke cijfers te halen (Duff et al., 2004). Het is mogelijk dat de benadering van studenten wisselt op basis van de inhoud van leertaken (Duff et al., 2004; Vermunt, 1998). Meerdere variabelen zijn van invloed op het kiezen van één van de benaderingen. Voorbeelden daarvan zijn leeftijd, geslacht, persoonlijkheid en eerdere ervaringen met leren (Duff et al., 2004). De diepe benadering komt het meest voor wanneer de leertaak aansluit bij de interesse van de student (Fransson in Duff et al., 2004); de docent zich een ondersteunende rol aanmeet en interesse en enthousiasme met betrekking tot het onderwerp toont (Ramsden in Duff et al., 2004); en als studenten hun eigen leerproces in handen hebben (Ramsden & Entwistle in Duff et al., 2004). In dit masteronderzoek wordt gebruik gemaakt van Vermunt’s leerstijlen. Hij maakt onderscheid tussen vier leerstijlen: de betekenisgerichte leerstijl, de toepassingsgerichte leerstijl, de reproductieve leerstijl en de ongerichte leerstijl (1998). Hoewel er geen onderzoek is gedaan naar overeenkomsten en verschillen tussen de drie bovengenoemde benaderingen van leren en de leerstijlen van Vermunt, zijn toch overeenkomsten te ontdekken. Vermunt’s betekenisgerichte leerstijl komt grotendeels overeen met de diepe benadering. De ongerichte leerstijl en de reproductieve leerstijl zijn te vergelijken met de oppervlakkige benadering. De strategische benadering lijkt niet in de theorie van Vermunt voor te komen. Een de toepassingsgerichte leerstijl komt niet direct overeen met één van de benaderingen van leren. Beide methoden om leerhoudingen in kaart te brengen, lijken daardoor enigszins beperkt. Voor dit onderzoek is de keuze gevallen op de leerstijlentest van Vermunt, omdat Vermunt’s Inventory of Leaning Styles (ILS) in Nederland het bekendste meetinstrument op dit gebied is. 18

2.2.1 Vier componenten van leerprocessen Alvorens in te gaan op de leerstijlen, is het van belang kennis te nemen van de vier componenten die Vermunt en Verloop (2000) onderscheiden binnen leerprocessen: cognitieve verwerkingsstrategieën, metacognitieve regulatiestrategieën, mentale modellen van leren en studiemotieven. Cognitieve verwerkingsactiviteiten zijn denkprocessen die studenten inzetten om leerinhouden te verwerken en zo hun doelen te bereiken. Metacognitieve regulatiestrategieën zijn activiteiten gericht op het sturen van cognitieve denkprocessen. De regulatiestrategieën leiden dus niet direct tot leerresultaten, maar sturen het leerproces in de richting van leerresultaten. Het gaat om de keuze van een strategie, het achteraf beoordelen of deze keuze geschikt was en hier lering uit trekken voor een volgende keer. Mentale modellen van leren omvatten leeropvattingen: kennis, inzichten en overtuigingen met betrekking tot leerprocessen. De vierde component, studiemotieven, heeft betrekken op persoonlijke doelen, bedoelingen, verwachtingen, attitudes, zorgen en twijfels die leerprocessen met zich meebrengen (Vermunt, 1998; Vermunt & Verloop, 2000). Gezien de rol van doelen binnen AfL, is het zinvol om op dit aspect van studiemotieven wat dieper in te gaan. Doelen zijn namelijk van grote invloed op de motivatie van studenten. Dweck (1986) stelt dat motivatie op zijn beurt weer invloed heeft op hoe studenten de vaardigheden en kennis die ze bezitten inzetten; hoe goed studenten in staat zijn om nieuwe vaardigheden en kennis op te doen; en in hoeverre ze in staat zijn deze toe te passen in nieuwe situaties. Winne en Marx (in Butler & Winne, 1995) stellen dat bij het werken aan een bepaalde taak, al dan niet opgedragen door een docent, het behalen van de vastgestelde norm niet het enige doel is dat studenten voor ogen hebben. Dweck (1986) onderscheidt twee typen doelen die de student kan formuleren: leerdoelen (learning goals) en prestatiedoelen (performance goals). Studenten die leerdoelen formuleren willen expertise verwerven op het gebied van de gestelde taak. Een student die prestatiedoelen nastreeft is op zoek naar het verbeteren van eigen waardering of waardering van anderen met betrekking tot zijn of haar capaciteiten. In het algemeen studeren studenten die leerdoelen aannemen meer strategisch (Butler & Winne, 1995) en meer effectief (Black & William, 1998a).

2.2.2 Vier leerstijlen Onderzoek naar relaties tussen de componenten van leerprocessen heeft geleidt tot het opstellen van vier leerstijlen: betekenisgerichte leerstijl, toepassinggerichte leerstijl, reproductieve leerstijl en de ongerichte leerstijl (Vermunt, 1998). Studenten met een betekenisgerichte leerstijl zijn geïnteresseerd in leren en zijn met een kritische blik uit op het opdoen van inzicht, het leggen van verbanden en het ontdekken van samenhang. Deze, vaak zelfregulerende, studenten zijn goed in het onderscheiden van hoofd- en bijzaken en zien het (re)construeren van kennis als belangrijkste doel. Een toepassingsgerichte leerstijl betekent dat de student de leerstof in grote mate concretiseert door 19

bijvoorbeeld het bedenken van voorbeelden of toepassingen. Deze student is praktijkgericht en het belangrijkste doel van leren is het opdoen van kennis die bruikbaar is in de praktijk. De derde leerstijl, de reproductieve stijl, houdt voor de student in dat deze zich laat sturen door bijvoorbeeld de docent. Deze student creëert zelf geen samenhang in de leerstof. Memoriseren en oefenen is voor hem de manier om kennis op te doen. Ten slotte zijn er studenten die zich een ongerichte leerstijl hebben aangemeten. Deze studenten zijn niet instaat zelf hun leerproces te sturen, maar laten zich ook niet sturen door een docent. Ze hebben geen duidelijke opvattingen over leren. Hierdoor zijn ze slechts in beperkte mate in staat om zelfstandig te werken. Voor hen is samenwerking met andere studenten dan ook waardevol. Deze studenten zijn weinig innovatief, dus ze passen hun leerstrategieën niet of nauwelijks aan op basis van ervaringen die zij opdoen (Vermunt, 1998; 2005). Vermunt benadrukt in zijn werk (1998) dat hij leerstijlen niet statisch acht. Studenten nemen namelijk een leerstijl aan die het resultaat is van een combinatie van omgevingsfactoren en persoonlijke factoren.

2.3 Onderzoekende houding docent In de AfL praktijk spelen docenten een onmisbare rol. Docenten moeten niet alleen de inhoud van verschillende vakken over weten te brengen, maar moeten ook studenten helpen bij het inzichtelijk maken van hun leervorderingen. Het is daarom belangrijk dat docenten op de hoogte blijven van actuele ontwikkelingen op het gebied van leren en constant een onderzoekende houding aannemen om hun lespraktijk te blijven optimaliseren. Van docenten wordt daarom, net als van hun studenten, verwacht dat ze blijven leren en zich blijven ontwikkelen (lifelong learning). Het is essentieel dat een docent relevante vernieuwingen op het gebied van onderwijs kent en toepast. Daarbij zou het vanzelfsprekend moeten zijn dat de docent eigenaar wordt van de veranderingen: de docent heeft inzicht in zijn/haar rol (James & McCormick, 2009). Het beschikken over een onderzoekende houding (inquiring attitude) is daarom onmisbaar. Een dergelijke houding is daarnaast ook van toepassing op de benadering van docenten naar studenten (Duff et al., 2004). Door vragen te stellen (questioning door: Black & William, 1998a; 1998b) en belangstelling te tonen, verwerft een docent inzicht in de denkprocessen, leerprocessen en handelwijzen van studenten. De informatie die hiermee wordt ingewonnen kan de docent gebruiken als feedback. Daarnaast dwingt een dergelijke belangstellende houding leerlingen te hun handelen expliciteren, wat tot beter begrip en assessment van hun prestaties leidt (Taras, 2009). Van der Rijst (2009) heeft aan de hand van zijn onderzoek zes aspecten van een onderzoekende houding van een docent in het wetenschappelijk onderwijs geformuleerd: de wil om (1) kritisch te zijn naar eigen werk, werk van anderen en verschijnselen in het algemeen; (2) de dieper liggende oorzaak, gevolg en betekenis van een verschijnsel te begrijpen; (3) door middel van doelgericht werken en doorzettingsvermogen een doel te bereiken; (4) te delen met collega’s en studenten, (5) vernieuwend te zijn; en (6) door leergierigheid en nieuwsgierigheid te weten. 20

In het hebben van een onderzoekende houding spelen overtuigingen van docenten met betrekking tot leren een belangrijke rol. Deze overtuigingen beïnvloeden de implementatie van AfL. Leerkrachten die overtuigd zijn van het belang van de autonomie van de lerende, zullen AfL (en LHTL) beter implementeren in hun dagelijkse praktijk. Activiteiten die het gevolg zijn van het hebben van een onderzoekende houding zijn het leren van onderzoek, samenwerken aan het maken van plannen en het uitproberen en evalueren van nieuwe ideeën (James & McCormick, 2009). James en McCormick (2009) merken helaas wel op dat er regelmatig verschil te constateren is tussen de overtuigingen die leerkrachten zeggen te hebben en wat ze doen in de praktijk. Dit verschil wordt voornamelijk veroorzaakt door druk van buitenaf. Op schoolniveau is duidelijke leiding, een duidelijke visie en betrokkenheid van leerkrachten belangrijk. Deze zijn van invloed op het handelen van de docent en kunnen daarom, ongeacht de overtuigingen van de docent, invloed hebben op de manier waarop hij zijn beroep uitoefent. Uit onderzoek is gebleken dat er weinig of geen rechtstreekse verbanden aangegeven zijn tussen factoren op schoolniveau en de lespraktijken in de klas. Vooral een onderzoekende houding van de leerkracht speelt tussen die twee een grote rol (James & McCormick, 2009).

21

Hoofdstuk 3

Methodologie In dit hoofdstuk wordt de verantwoording van het onderzoeksontwerp en de onderzoekseenheden besproken. Vervolgens wordt er specifieker ingegaan op het literatuuronderzoek en de verschillende kwantitatieve en kwalitatieve onderzoeksmethoden.

3.1 Verantwoording onderzoeksontwerp en onderzoek Dit afstudeeronderzoek is gedaan binnen het vak PAMAOK003 ‘Professionalisering van leerkrachten’, onderdeel van de master Onderwijskunde, en maakt deel uit van een breder onderzoeksproject gericht op denk- en leervaardigheden. In deze paragaaf worden de verantwoording, de onderzoekseenheden en de hypothesen besproken.

3.1.1 Verantwoording Het effect van het gebruik van Assessment for Learning (AfL) op de leerstijl van de student en op de onderzoekende/lerende houding van de docent staan centraal in dit onderzoek. De gehanteerde onderzoeksvragen zijn: 1. Welk effect heeft AfL op de leerstijl van studenten? 2. Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent? Er is gebruik gemaakt van een ‘mixed methods’ design, waarin de onderzoeksvragen aan de hand van een combinatie van kwalitatieve en kwantitatieve data beantwoord worden (Cresswell & Garrett, 2008). Op basis van de conclusies die getrokken worden in hoofdstuk 5, wordt getracht hypothesen te formuleren met betrekking tot het toepassen van AfL praktijken in het hoger onderwijs voor een bredere populatie studenten en docenten. Het betreft hier dus hypothesevormend onderzoek. De kwalitatieve data wordt verzameld aan de hand van een participerende observationele studie waarin ik als student/onderzoeker het handelen van de betrokken docent volg. De data bestaat uit de inhoud van logboeken van de docent, mijn reactie daarop en uit observatie voortgekomen notities in een ‘dagboek’. De kwantitatieve data is verzameld aan de hand van 2 instrumenten. Het eerste instrument is een zelf ontworpen Engelstalige schriftelijke vragenlijst die verschillende aspecten van AfL meet. De tweede manier van dataverzameling heeft plaatsgevonden door het invullen van de Inventory Learning Styles (ILS) van Vermunt. Er is zowel een Engelse als Nederlandse gevalideerde versie beschikbaar voor de studenten.

22

De kwantitatieve resultaten en kwalitatieve bevindingen zijn apart weergegeven in hoofdstuk 4 van deze masterthesis. De resultaten voortgekomen uit de dagboeken is waar mogelijk verwerkt in verschillende delen van dit onderzoeksverslag. In de conclusie, getrokken in hoofdstuk 5, zijn de kwalitatieve en kwantitatieve resultaten samengebracht. Tabel 3.1 geeft per (onderzoeks)vraag weer welke onderzoeksmethode is toegepast, wat deze heeft opgebracht en waar deze opbrengst is terug te vinden in deze masterthesis.

Tabel 3.1 Methodologie en opbrengsten per onderzoeksvraag (onderzoeks)Vraag Wat is assessment?

Onderzoeksmethode Literatuuronderzoek

Opbrengst Theoretisch kader

Wat is Assessment for Learning?

Literatuuronderzoek

Theoretisch kader

Wat is leerstijl?

Literatuuronderzoek

Theoretisch kader

Wat wordt verstaan onder een onderzoekende houding van een docent? Onderzoeksvraag Welk effect heeft AfL op de leerstijl van studenten?

Literatuuronderzoek

Theoretisch kader

Kwantitatief onderzoek: Inventory Learning Styles

-Inzicht in de componenten van leerprocessen die studenten een rol laten spelen in hun leerprocessen -Inzicht in veranderingen m.b.t. gebruik van deze componenten.

Kwantitatief onderzoek: Vragenlijst

Onderzoeksvraag Welke bijdrage levert AfL aan de onderzoekende/ler ende houding van docent?

Kwalitatief onderzoek: Logboeken van docent + Reacties op logboeken van student / onderzoeker Kwalitatief onderzoek: Dagboek student / onderzoeker.

Hoofdstuk Hoofdstuk 2 Theoretisch kader: -2.1: assessment -2.1.1: Summatieve en formatieve assessment Hoofdstuk 2 Theoretisch kader: -2.1.2: Assessment ‘of learning’, ‘for learning’ en ‘as learning’ -2.1.3: Assessment for Learning Hoofdstuk 2: Theoretisch kader: -2.2: Leerstijl student Hoofdstuk 2: Theoretisch kader: -2.3: Onderzoekende houding docent Hoofdstuk 4: Resultaten -4.3: Resultaten ILS

Hoofdstuk 5: Conclusie

-Inzicht in waarderingen van studenten m.b.t. de vijf basisprincipes van AfL. -Inzicht in veranderingen in waarderingen. -Inzicht in het gebruik van de 5 guidelines van AfL en de rol van de docent.

Hoofdstuk 4: Resultaten -4.2: Resultaten vragenlijst

-Inzicht in de rol van de docent en het effect daarvan op leerprocessen van studenten (en docenten).

Hoofdstuk 4: Resultaten -4.4 resultaten logboeken Hoofdstuk 5: Conclusie

Hoofdstuk 5: Conclusie Hoofdstuk 4: Resultaten -4.4 Resultaten Logboeken Hoofdstuk 5: Conclusie

23

3.1.2 Onderzoekseenheden De onderzoekseenheden, zoals omschreven door Baarda en De Goede (2006), van dit onderzoek zijn de studenten die het vak ‘Professionalisering van leerkrachten’ van de master Onderwijskunde volgen en de docent die het vak geeft. In verband met bijvoorbeeld de korte tijd waarin AfL geïmplementeerd is, de verschillen in nationaliteit van de onderzoekseenheden en ervaringen die studenten al dan niet hebben met AfL-praktijken, is de generaliseerbaarheid van gevonden gegevens uit de steekproef beperkt tot studenten die in dezelfde omstandigheden, met soortgelijke ervaringen op het gebied van de didactiek en nu voor het eerst kennis maken met de toepassing van AfL. Voor docenten gelden dezelfde voorwaarden. Alle studenten die het vak volgden zijn in de steekproef opgenomen. Daarom is de steekproef gelijk aan de populatie. De eerste groep onderzoekseenheden van dit onderzoek zijn de studenten. Zij volgen allemaal een master van de Rijksuniversiteit Groningen. De studenten vullen voor aanvang en na afloop van de reeks colleges de vragenlijst en de ILS in. De steekproef bestaat uit 35 studenten. Niet alle studenten hebben één of meerdere vragenlijsten ingeleverd. De response was 28, 4 mannen en 24 vrouwen. Hoewel 27 van hen de Nederlandse nationaliteit hebben, geven 26 van hen aan Nederlands als eerste taal te hebben. De andere Nederlander geeft aan Fries als eerste taal te hebben. In dit onderzoek wordt zij gerekend onder de steekproefpersonen met Nederlands als eerste taal. Één Spaanse student heeft de ILS (Engelstalige versie) ingeleverd en is daarom met Spaans als eerste taal opgenomen in de dataverzameling. De respondenten uit deze groep hebben verschillende vooropleidingen, namelijk twaalf studenten met een bacheloropleiding, vijftien studenten uit een schakelprogramma en één student met een andere vooropleiding. Deze laatste student betreft de Spaanstalige student. Hij heeft een master in Physical Education and Research als achtergrond. Daarnaast is ook de docent een onderzoekseenheid. Hij levert de logboeken aan. Van tevoren vermeldt hij daarin de doelen die hij voor het betreffende college voor ogen heeft. Achteraf schrijft hij opmerkingen op over zijn ervaringen tijdens het college. Na afloop van het vak worden de doelen aan de tien sleutelelementen van Asessment for learning gekoppeld. Op basis van de mate waarin het betreffende sleutelelement tijdens het college tot uiting is gekomen, wordt een score toegekend. De docent geeft het betreffende vak al een aantal jaren. Dit jaar past hij voor het eerst de principes van AfL toe tijdens dit vak. Ook geeft hij het vak voor het eerst in het Engels. Zijn Engelse taalvaardigheid is prima, dit is daarom niet van invloed op zijn handelen. Omdat het om een participerende observationele studie gaat, ben ik zelf ook onderzoekseenheid. Ik maak deel uit van de groep van 35 studenten in de steekproef en de groep van 28 respondenten. Ik heb dus, net als hen, op gezette tijden de vragenlijsten ingevuld. Mijn rol als onderzoeker komt tot uiting in mijn wekelijkse reactie op de logboeken van de docent. Deze reactie 24

baseer ik op mijn observaties tijdens de colleges. Daarnaast vormt het gedrag van de docent en studenten tijdens de colleges aanleiding voor het schrijven van dagboekfragmenten. Alle aspecten die mij opvallen, die vragen bij mij oproepen of die ik van medestudenten te horen krijg, worden daarin weergegeven.

3.1.3 Hypothesen Op basis van literatuur is voor dit onderzoek de volgende hypothese opgesteld. De verwachting is dat (a) het invoeren van AfL veranderingen in de leerstijl van studenten teweeg zal brengen (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986) en (b) dat het gebruik van AfL een positieve bijdrage levert aan de onderzoekende houding van de docent (Black & William, 1998a; 1998b; James & McCormick, 2009).

3.2 Literatuuronderzoek In verband met de beperkte hoeveelheid tijd tussen de onderwerpkeuze, het eerste kennismakingsgesprek met de betreffende docent en de start van het vak ‘Professionalisering van leerkrachten’ was het niet haalbaar om het gehele literatuuronderzoek voorafgaande aan de dataverzameling te doen. Als gevolg daarvan is het theoretisch kader ook niet voor de dataverzameling geschreven, maar is de vragenlijst wel op basis van de meest toonaangevende literatuur over AfL opgesteld. Ten eerste is literatuur gezocht aan de hand van zoektermen in de ERIC database. Daarna is de sneeuwbalmethode methode toegepast waarin de literatuurlijst van de gevonden bronnen is gebruikt om nieuwe literatuur te verzamelen (Baarda & De Goede, 2005). Het doel van deze eerste literatuurstudie was het in kaart brengen van de achtergrond van AfL. Uit deze literatuurstudie is gebleken dat Vermunt’s ILS in Nederland het meest gebruikte instrument is om de leerstijl van studenten te meten (Duff et al., 2004). In dit onderzoek is, mede door de beschikbaarheid van het instrument, om die reden voor dit instrument gekozen. De sleutelelementen van AfL vormen de basis voor de zelfontworpen vragenlijst (UK Assessment Reform Group, 1999). De tweede literatuurstudie is tegelijkertijd met de dataverzameling en het volgen van de colleges van het vak ‘Professionalisering van leerkrachten’ uitgevoerd. Het doel van deze literatuurstudie was het formuleren van een theoretisch kader. Het betrof een chronologische studie waarin de gevonden literatuur van oud naar nieuw is bestudeerd om zo de ontwikkelingen rondom AfL in kaart te brengen. Ook is er gebruik gemaakt van citaatindexen, waardoor het mogelijk was om op basis van oudere publicaties meer recente literatuur te vinden (Baarda & De Goede, 2005). Aan de hand van deze literatuurstudie zijn de volgende vragen beantwoord: wat is assessment; wat is het verschil tussen summatieve en formatieve assessment; wat is het verschil tussen assessment of learning, assessment for learning en assessment as learning; wat wordt bedoeld met Assessment for 25

learning; wat wordt er verstaan onder de leerstijl van een student; en wat wordt bedoeld met de onderzoekende houding van de docent. Deze vragen zijn beantwoord in het theoretisch kader in hoofdstuk 2.

3.3 Kwantitatief onderzoek - Vragenlijst De kwantitatieve onderzoekresultaten leiden tot het antwoord op de onderzoeksvraag: Welk effect heeft AfL op de leerstijl van studenten? In deze paragraaf worden het construeren van de vragenlijst, de toegepaste statistische analyses en de betrouwbaarheid van de schriftelijke vragenlijst besproken.

3.3.1 Vragenlijst Een vragenlijst is bruikbaar in onderzoekssituaties waarbij onderzoek wordt gedaan naar subjectieve verschijnselen zoals motieven, voorkeuren, opinies en ervaringen (Seger, 2002). In dit onderzoek staan dergelijke subjectieve verschijnselen centraal, vandaar dat het eerste kwantitatieve instrument een vragenlijst betreft. Het gaat om een gestructureerde dataverzameling (Baarda & De Goede, 2006). De vragenlijst bestaat uit 46 (voormeting) en 53 (nameting) items. Er is gebruik gemaakt van gesloten vragen. Het voordeel hiervan is dat respondenten de verschillende mogelijkheden minder snel over het hoofd zien. Tevens zijn de antwoorden van respondenten goed te vergelijken (Brinkman, 2000). Dijkstra en Smit (1999) geven aan dat ontkennende woorden in vragen tot verwarring bij de respondent kan leiden, daarom is gebruik van dergelijke woorden vermeden. Er is aan de studenten gevraagd om hun naam op de vragenlijst in te vullen. Baarda en De Goede (2005; 2006) raden aan de data anoniem te verzamelen, zodat de kans op sociaalwenselijke antwoorden van respondenten verkleind wordt. In dit onderzoek is aan dit advies geen gehoor gegeven om de mogelijkheid tot het vergelijken van de voor- en nameting van de verschillende respondenten te behouden. Hier is uiteindelijk geen gebruik van gemaakt, omdat besloten is de veranderingen in leerstijl per groep in kaart te brengen. Het is lastig om veranderingen per individu statistisch significant vast te stellen in verband met de beperkte hoeveelheid data per persoon. Het was, in verband met tijdgebrek, niet mogelijk om deze keuze voor de dataverzameling te maken. Om een beeld te scheppen van de steekproef zijn twee vragen met nominaal meetniveau gesteld. Het ging om de eerste taal die studenten spraken en met welke vooropleiding ze aan dit mastervak deelnemen. De overige vragen kennen een ordinaal meetniveau. Het gaat om stellingen waar studenten, aan de hand van een likert-schaal, hun mening over geven. De vragenlijst (zie bijlage 1) is twee keer afgenomen. De eerste keer zijn ze uitgedeeld tijdens het eerste college van het vak. Studenten namen ze mee naar huis en leverden ze het volgende college weer in. De tweede keer zijn ze ingevuld door alle aanwezige studenten tijdens het laatste college van het vak.

26

De vragenlijst van de voormeting is opgebouwd uit vier delen. Het eerste deel richt zich op feedback met betrekking tot de kwaliteit van het werk van de student. Het tweede deel richt zich op feedback die is gegeven met het oog op het leren van de student. Het derde deel richt zich op betrokkenheid van de student bij verschillende aspecten van het mastervak. Deel 1 tot en met 3 bestaan respectievelijk uit 8, 7 en 8 items met een likert-schaal die varieert van ‘1 = very important’ tot ‘5 = very unimportant’. Het vierde deel van de vragenlijst richt zich op een combinatie van factoren die te maken hebben met aspecten van AfL. Dit deel bestaat uit 23 items waarbij gebruik werd gemaakt van een likert-schaal die varieert van ‘1 = Strongly disagree’ tot ‘5 = Strongly agree’. Voor de nameting is de oorspronkelijke vragenlijst aangevuld met 7 items die betrekking hebben op de onderzoekende houding van de docent. Deze items hebben een antwoordschaal varierend van ‘1 = a lot less frequent’ tot ‘5 = much more frequent’. Deze toevoeging aan de vragenlijst is opgenomen in bijlage 2.

3.3.2 Statistische analyse De vragenlijst zal geanalyseerd worden door te beginnen met een Shapiro-Wilk analyse van de verdeling van de variabelen. Er is voor deze test gekozen, omdat de mogelijkheid bestaat dat er een behoorlijk aantal knopen in de data voor komen, waarbij studenten tussen de voor- en nameting niet voor- of achteruit zijn gegaan. De uitkomst van de Shapiro-Wilk wordt hier niet door vertekend, omdat er in de analyse statistisch voor controleerd wordt. Voor deel 1, 2 en 3 van de vragenlijst worden, op basis van de literatuur, hypotheses opgesteld. Deze worden getoetst met de Wilcoxon rangtekentoets. Het betreft een non-parametrische (verdelingsvrije) toets. Vervolgens worden dezelfde handelingen herhaald voor deel 4 van de vragenlijst. De resultaten van dit deel worden apart weergegeven. Deel 5 van de lijst is alleen tijdens de nameting ingevuld. Dit deel zal geanalyseerd worden met behulp van een frequentietabel.

3.3.3 betrouwbaarheid Het is van belang dat de betrouwbaarheid van het instrument zo hoog mogelijk is. Dit houdt in dat er zo weinig mogelijk toevallige of onsystematische vertekeningen in de data voor mogen komen. Er zijn verschillende maatregelen genomen om de betrouwbaarheid zo hoog mogelijk te houden. Zo mochten studenten slecht één antwoord omcirkelen. Brinkman (2000) stelt dat het voor de betrouwbaarheid bevorderlijk is om gesloten vragen te gebruiken. Bij het ontwerpen van de vragenlijst is hier rekening mee gehouden. De interne betrouwbaarheid, zoals omschreven door Maso en Smaling (1998) is niet in het geding doordat de data door één persoon verzameld en verwerkt zijn. De externe betrouwbaarheid heeft betrekking op de herhaalbaarheid van het onderzoek door andere onderzoekers (Maso & 27

Smaling, 1998). Om de antwoorden zo weinig mogelijk van toeval af te laten hangen, en de externe betrouwbaarheid dus zo hoog mogelijk te houden, zijn tijdens de afname van de vragenlijsten een aantal aspecten in overweging genomen. Bij de voormeting was de omgeving in de collegezaal niet ideaal. Het was rumoerig, studenten waren onrustig omdat er aan een nieuw vak begonnen werd. Daarom hebben de studenten de vragenlijst mee naar huis gekregen, met de vraag of zij deze goed wilden bestuderen en vervolgens in wilden leveren. Daarbij zijn de studenten op de hoogte gebracht van het feit dat de verzamelde gegevens gebruikt zouden worden in deze masterthesis. Gezien het feit dat de meeste studenten zelf al eens een onderzoek hebben uitgevoerd en binnenkort ook aan hun masterthesis begonnen, werd hier serieus op gereageerd. Niet alle studenten hebben één of beide vragenlijsten weer ingeleverd. Enkele lijsten werden heel laat ingeleverd. Om de betrouwbaarheid te waarborgen is vastgesteld of dat betreffende student de lijst in de eerste week heeft ingevuld, alvorens de data van de vragenlijst op te nemen in het databestand. Omdat het mogelijk was om tijd vrij te maken voor het terplekke invullen van de vragenlijsten en het aantal ingeleverde vragenlijsten op deze manier waarschijnlijk het meest optimaal zou zijn, is de nameting tijdens het laatste college in de collegezaal afgenomen. Er werd gezorgd voor een rustige omgeving. Iedereen was tegelijkertijd met de vragenlijst bezig. Er werd in stilte gewerkt, dus de mogelijkheid tot overleg was beperkt. Door de vragenlijsten van de voor- en nameting zoveel mogelijk gelijk te houden is een verschil in toevalligheid van reacties, tijdens het invullen van de vragenlijst, tussen de voor- en nameting minder aannemelijk.

Om een schatting van de betrouwbaarheid van de data te kunnen geven is gebruik gemaakt van statistische betrouwbaarheidsanalyses, uitgevoerd met behulp van SPSS. Voor de vragenlijst is de betrouwbaarheidsanalyse negen keer uitgevoerd. De voormeting betrof drie delen. De nameting bestond uit vier delen. Per deel is een betrouwbaarheidsanalyse is uitgevoerd. De betrouwbaarheidsanalyses toonden aan dat één item uit deel drie verwijderd moest worden, wat zowel voor de voor- als de nameting een extra betrouwbaarheidsanalyse nodig maakte. Voor de volledigheid zijn de betrouwbaarheidsanalyses van zowel voor als na verwijdering van het item weergegeven. Van deel vier is van beide metingen geen betrouwbaarheidsanalyse uitgevoerd, omdat de betrouwbaarheid de interne consistentie van items aangeeft. Het gaat er om in hoeverre die items hetzelfde begrip meten. Deel vier bestaat uit 23 statements die niet samen één begrip meten. Dit deel is niet vanuit dat oogpunt ontworpen. De statements worden waar mogelijk gebruikt ter aanvulling van getrokken conclusies op basis van de overige delen of andere kwantitatieve of kwalitatieve manieren van dataverzameling. In tabel 3.2 worden het aantal items per schaal (N items) en de betrouwbaarheid (Cronbach ) per deel van de vragenlijst weergegeven. De betrouwbaarheid varieert van 0,843 tot 0,942. Bij een 28

kritische betrouwbaarheidsgrens van =.70 (Drenth & Sijtsma, 2006), zijn alle delen overtuigend voldoende betrouwbaar. Tabel 3.2: Aantal items en de betrouwbaarheid van de ILS-HO schalen. Voormeting N items

Cronbach 

8

0,942

7

0,914

8

0,843

Deel 1 Feedback m.b.t. kwaliteit werk Deel 2 Feedback m.b.t. leren / leerproces Deel 3 Involvement

De resultaten van de betrouwbaarheidsanalyses van de nameting zijn in tabel 3.3 weergegeven. Nu is deel 5 toegevoegd. Deze kwam in de vragenlijst van de voormeting niet voor. De betrouwbaarheid van de eerste drie delen varieert voor de nameting van 0,659 tot 0,766. Deel 5 kent een betrouwbaarheid van 0,833. Bij een kritische betrouwbaarheidsgrens van =.70 is deel 3, Involvement, net niet betrouwbaar genoeg. Tabel 3.3: Aantal items en de betrouwbaarheid van de ILS-HO schalen. Nameting N items Cronbach  Deel 1 Feedback m.b.t. kwaliteit werk 8

0,742

7

0,766

8

0,659

7

0,833

Deel 2 Feedback m.b.t. leren / leerproces Deel 3 Involvement Deel 5 Inquiring attitude docent

In verband met het geringe aantal items is het wenselijk dat zo min mogelijk items verwijderd worden (Drenth & Sijtsma, 2006). Op basis van de SPSS-uitvoer die aangeeft wat de betrouwbaarheid zal zijn als een bepaald item verwijderd wordt, is gekozen voor het verwijderen van het derde item uit deel drie, het deel over de betrokkenheid van studenten. In de bijlage (1) met de vragenlijst is dit item gemarkeerd. Op de voormeting, weergegeven in tabel 3.4, varieert de betrouwbaarheid van deel 1 tot en met 3 nu van 0,861 tot 0,942. Er is een lichte verbetering te zien. Tabel 3.5 laat op de nameting een variatie in betrouwbaarheid van 0,700 tot 0,766 zien. De betrouwbaarheid van deel 5 bedraagt nog steeds 0,833. Alle delen van zowel de voor- als nameting zijn nu, volgens de kritische grens, betrouwbaar. De data verzameld aan de hand van de vragenlijst zijn op basis van de betrouwbaarheidsanalyses betrouwbaar genoeg voor interpretatie bevonden.

29

Tabel 3.4: Aantal items en de betrouwbaarheid, van de ILS-HO schalen. Voormeting N items Cronbach  Deel 1 Feedback m.b.t. kwaliteit werk 8 0,942 Deel 2 Feedback m.b.t. leren / leerproces 7 0,914 Deel 3 Involvement 7 0,861

Tabel 3.5: Aantal items en de betrouwbaarheid van de ILS-HO schalen. Nameting N items Cronbach  Deel 1 Feedback m.b.t. kwaliteit werk 8 0,742 Deel 2 Feedback m.b.t. leren / leerproces 7 0,766 Deel 3 Involvement 7 0,700 Deel 5 Inquiring attitude docent 7 0,833

3.4 Kwantitatief onderzoek - ILS Het antwoord op de onderzoeksvraag ‘Welk effect heeft AfL op de leerstijl van studenten?’ wordt naast de vragenlijst gebaseerd op de dataverzameling aan de hand van de ILS. De Nederlandse versie van deze vragenlijst is opgenomen in bijlage 3. Hier gaat het, net als bij de zelf ontworpen vragenlijst, om een gestructureerde manier van dataverzameling (Baarda & De Goede, 2006). De lijst bestaat uit gesloten vragen met een likert-schaal. In deze paragraaf worden de keuze voor dit instrument, de toegepaste statistische analyses en de betrouwbaarheid van de ILS besproken. De voor- en nameting hebben tegelijkertijd en daarmee onder dezelfde omstandigheden plaats gevonden als de voor- en nameting van de zelf ontworpen vragenlijst.

3.4.1 Inventory Learning Styles (ILS) De ILS is een bestaand instrument, ontworpen door prof. Dr. Vermunt, en bestaat uit honderdtwintig gesloten vragen die betrekking hebben op de vier componenten van leerprocessen: cognitieve verwerkingsstrategieën, metacognitieve regulatiestrategieën, mentale modellen van leren en studieopvattingen. Deze zijn in hoofdstuk 2, het theoretisch kader, omschreven. Deze vier componenten (hoofdschalen) zijn vervolgens opgedeeld in zestien subschalen. Drie subschalen vallen onder ‘verwerkingsstrategieën’, drie horen bij ‘regulatiestrategieën’, vijf bij ‘mentale modellen / studiemotieven’ en 5 handelen bij ‘studieopvattingen’. De items van de verschillende hoofdschalen en subschalen worden gemixt aangeboden. Voor de meting wordt gebruik gemaakt van een likert-schaal. Voor de items over cognitieve strategieën en regulatiestrategieën varieert deze van ‘1 = ik doe die 30

zelden of nooit’ tot ‘5 = ik doe dit (vrijwel) altijd’. Voor de items die betrekking hebben op mentale modellen / studiemotieven en studieopvattingen loopt deze van ‘1 = helemaal mee oneens’ tot ‘5 = helemaal mee eens’ (Vermunt, 2005). 3.4.2 Statistische analyse In een SPSS-bestand wordt de data van twee keer de honderdtwintig items / variabelen ingevoerd. Aan de hand van de handleiding worden de variabelen samengevoegd tot somvariabelen. Het gaat per meting om zestien somvariabelen die overeenkomen met de subschalen waaruit de ILS bestaat. Deze somvariabelen worden met de Shapiro-Wilk toets op hun normaliteit getest. Er is opnieuw voor deze test gekozen, omdat er een behoorlijk aantal knopen in de data voor kunnen komen. Vervolgens worden voor elke somvariabele alternatieve hypotheses opgesteld. De nulhypothese is voor alle variabelen gelijk, namelijk dat er geen verschil tussen voor- en nameting is opgetreden. Deze hypotheses worden getoetst met de non-parametrische Wilcoxon rangtekentoets.

3.4.3 Betrouwbaarheid Om een schatting van de betrouwbaarheid van de data te kunnen geven is gebruik gemaakt van betrouwbaarheidsanalyses, uitgevoerd met behulp van SPSS. Tabel 3.6 geeft het aantal items (N items) en de betrouwbaarheid (Cronbach ) per hoofdschaal, op zowel de voor- als nameting, weer. De betrouwbaarheidsuitkomsten varieren van 0,683 tot 0,858. Voor beide metingen geldt dat drie van de vier schalen, gezien de kritische grens van =.70, betrouwbaar zijn bevonden. Tabel 3.6: Betrouwbaarheid van de ILS-HO hoofdschalen. Voormeting en Nameting ILS-HO schalen Verwerkingsstrategieën Regulatiestrategieën Mentale modellen/studiemotieven Studieopvattingen

N items 27 28 25 40

Voormeting Cronbach  0,683 0,822 0,707 0,858

Nameting Cronbach  0,779 0,699 0,775 0,784

In tabel 3.7 worden het aantal items per subschaal (N items) en de betrouwbaarheid (Cronbach ) per subschaal van de voor- en nameting weergegeven. Voor de voormeting geldt dat de betrouwbaarheid van 0,275 tot 0,854 varieert. Met een aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn zeven van zestien subschalen voldoende betrouwbaar. De betrouwbaarheid van de subschalen van de nameting varieert van 0,561 tot 0,885. Met een aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn bij de nameting tien van zestien subschalen voldoende betrouwbaar.

31

Tabel 3.7: Aantal items en de betrouwbaarheid van de ILS-HO subschalen. Voor- en nameting ILS-HO schalen Verwerkingsstrategieën Diepteverwerkingsstrategie Stapsgewijze verwerkingsstrategie Concrete verwerkingsstrategie Regulatiestrategieën Zelfsturingsstrategie Extern gestuurde strategie Stuurloze strategie Mentale modellen/studiemotieven Certificaatgericht Beroepsgericht Testgericht Persoonlijk geïnteresseerd Ambivalent Studieopvattingen Opname van kennis Opbouw van kennis Gebruik van kennis Stimulerend onderwijs Samen studeren

N items Cronbach  (voor)

Cronbach  (na)

11 11 5

0,628 0,854 0,628

0,868 0,866 0,655

11 11 6

0,755 0,749 0,646

0,781 0,682 0,565

5 5 5 5 5

0,479 0,275 0,599 0,330 0,845

0,793 0,754 0,848 0,737 0,826

9 9 6 8 8

0,751 0,553 0,312 0,852 0,845

0,846 0,662 0,585 0,885 0,561

Om de betrouwbaarheid van de test te verhogen zijn een aantal items verwijderd. Daarbij is ervoor gewaakt dat zowel uit de voor- als de nameting dezelfde items zijn verwijderd. Items zijn alleen verwijderd als de subschaal voor één van beide metingen er betrouwbaarder door werd en de subschaal op de andere meting ook betrouwbaarder werd of minstens betrouwbaar bleef. Ook is het aantal items per subschaal dat na verwijdering over is, in de overweging meegenomen. Als gevolg van het verwijderen van zestien items, werden alle hoofdschalen voor beide metingen voldoende betrouwbaar bevonden. Tabel 3.8 geeft de nieuwe betrouwbaarheden (Cronbach ) per hoofdschaal weer. De betrouwbaarheid van de hoofdschalen varieert nu van 0,746 tot 0,880. Tabel 3.9 laat de nieuwe betrouwbaarheden per subschaal voor beide metingen zien. De betrouwbaarheid van de subschalen van de voormeting variëren nu van 0,495 tot 0,864. Met een aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn nu twaalf, in plaats van zeven, van zestien subschalen voldoende betrouwbaar. De betrouwbaarheid van de subschalen van de nameting varieert van 0,581 tot 0,916. Met een aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn nu bij de nameting vijftien, in plaats van tien, van zestien subschalen voldoende betrouwbaar. Tabel 3.8: Betrouwbaarheid van de ILS-HO hoofdschalen. Voor- en Nameting ILS-HO schalen Voormeting Nameting N Cronbach  Cronbach  Verwerkingsstrategieën 24 0,758 0,764 Regulatiestrategieën 25 0,824 0,738 Mentale modellen/studiemotieven 20 0,746 0,762 Studieopvattingen 35 0,868 0,880

32

Tabel 3.9: Aantal items en de betrouwbaarheid van de ILS-HO subschalen. Voormeting en Nameting ILS-HO schalen N items Cronbach  (voor) Cronbach  (na) Verwerkingsstrategieën Diepteverwerkingsstrategie 9 0,731 0,861 Stapsgewijze verwerkingsstrategie 11 0,854 0,866 Concrete verwerkingsstrategie 4 0,663 0,758 Regulatiestrategieën Zelfsturingsstrategie 11 0,755 0,781 Extern gestuurde strategie 10 0,737 0,748 Stuurloze strategie 4 0,717 0,715 Mentale modellen/studiemotieven Certificaatgericht 3 0,709 0,737 Beroepsgericht 4 0,444 0,750 Testgericht 4 0,744 0,916 Persoonlijk geïnteresseerd 4 0,416 0,702 Ambivalent 5 0,845 0,826 Studieopvattingen Opname van kennis 9 0,751 0,846 Opbouw van kennis 6 0,734 0,739 Gebruik van kennis 5 0,495 0,581 Stimulerend onderwijs 8 0,852 0,885 Samen studeren 7 0,864 0,915

In totaal zijn er op basis van deze dataverzameling zeventig betrouwbaarheidsanalyses uitgevoerd. Eerst zijn de vier hoofdschalen, ‘verwerkingsstrategieën’, ‘reglutatiestrategiën’, ‘mentale modellen’ en ‘studieopvattingen’, op hun betrouwbaarheid beoordeeld. Daarna zijn zestien betrouwbaarheidsanalyses uitgevoerd, voor elke subschaal één. Deze analyses zijn vervolgens herhaald met de data van de nameting. Voordat er werd besloten tot het verwijderen van items waren er zodoende reeds veertig betrouwbaarheidsanalyses gedaan. Na verwijdering van de items zijn zowel voor de voor- als de nameting elf betrouwbaarheidsanalyses van subschalen herhaald, vervolgens zijn voor beide metingen de analyses van de hoofdschalen opnieuw uitgevoerd. Na verwijdering van een aantal items zijn dus in totaal 30 betrouwbaarheidsanalyses herhaald. Gezien alle hoofdschalen nu betrouwbaar zijn en het om een bestaand gevalideerd instrument gaat, is besloten alle data, met uitzondering van de data verzameld aan de hand van de verwijderde items, mee te nemen in verdere statische analyses.

3.5 Kwalitatief onderzoek Kwalitatief onderzoek is gebruikt om de onderzoekende houding van de docent in kaart te brengen. Er is op twee manieren kwalitatieve data verzameld. De eerste is een semi-gestructureerde manier aan de hand van logboeken. De docent heeft voor aanvang van elk college doelen opgesteld en na afloop zijn bevindingen opgeschreven. Ik heb daar op basis van mijn ervaringen als student en mijn ervaringen als onderzoeker op gereageerd. Daarbij hebben tien basisprincipes van AfL een leidraad gevormd. De 33

tweede wijze waarop kwalitatieve data is verzameld is het noteren van opvallendheden in een dagboek. De notities hebben betrekking op alles wat niet relevant was om in de logboeken te vermelden. Het gaat bijvoorbeeld om problemen die studenten aankaarten, onduidelijkheden waar ik zelf tegenaan ben gelopen of gedachtegangen. Het betreft een ongestructureerde manier van dataverzameling. De conclusies met betrekking tot de tweede onderzoeksvraag ‘Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent?’ worden gestructureerd aan de hand van de zes aspecten van een onderzoekende houding van de docent: de wil om (1) kritisch te zijn; (2) te begrijpen; (3) te bereiken; (4) te delen; (5) vernieuwend te zijn; en (6) te weten. (Van der Rijst, 2009). Deze indeling is als analysemodel gekozen omdat de kwalitatieve data in eerste instantie informatie verschaft met betrekking tot de tien basisprincipes van AfL. Daardoor is de informatie over de onderzoekende houding indirect.

3.5.1 Logboeken Er is gebruik gemaakt van een participerende observatie waarbij mijn medestudenten en de docent wisten dat ik tijdens de colleges het gedrag van de docent en de invloed daarvan op studenten observeerde. Hoewel het algemeen aangenomen is dat de rol van de participerende observator het best geheim kan blijven (Baarda & De Goede, 2005), was dat in dit geval niet mogelijk doordat ik elke week reageerde op de logboeken van de docent en tijdens de colleges een actieve en participerende houding van mij werd verwacht. Binnen het kader van AfL is dit te verdedigen met het feit dat de docent zijn handelen niet kan aanpassen als hij geen feedback krijgt. Maso en Smaling (1998) benadrukken juist het belang van het open en eerlijk zijn over de observatie. Doordat zowel de docent als de studenten op de hoogte waren van het onderwerp, het doel, de manier waarop ik observeerde en wat mijn onzekerheden daarin waren, is het uiteindelijk heel goed mogelijk om op basis van de verzamelde data uitspraken te doen over het handelen van de docent tijdens de colleges. Een samenvoeging van de logboeken, inclusief de reacties daarop is opgenomen in bijlage 4. Om in staat te zijn tot het effectief verwerken van de informatie die tijdens de observatie ter beschikking komt en om specifieke keuzes te maken over waarop de observatie gericht zal zijn, is het handig om van tevoren een theoretisch kader op te stellen (Maso & Smaling, 1998). Op die manier is de betrouwbaarheid van de informatie het best. In het geval van dit masteronderzoek was dat echter niet mogelijk. De inhoud van de logboeken en mijn reactie daarop is daarom niet altijd even specifiek gericht op de vijf basisprincipes van AfL en de onderzoekende houding van de docent.

34

3.5.2 Dagboek Het dagboek bestaat uit notities met betrekking tot het vak, het onderzoek en de scriptie. Het gaat bijvoorbeeld om ideeën voor de structurering van de analyse van de gevonden data. Een voorbeeld van de dagboeknotities is opgenomen in bijlage 5. Er staan ook opmerkingen in over de tien basisprincipes van AfL en de manier waarop ik die terug heb zien komen in de les, maar die niet van geschikt waren om in mijn reactie op de logboeken te verwerken. Ook zijn op basis van gesprekken met de docent (tevens tweede thesisbegeleider), de methodoloog en mijn eerste thesisbegeleider notities toegevoegd. De inhoud van het dagboek is dus gaandeweg tot stand gekomen en is niet opgehouden toen de colleges en de dataverzameling achter de rug waren. Deze dataverzameling is daarmee ongestructureerd (Baarda & De Goede, 2005). Net als voor de inhoud van de logboeken, geldt voor de inhoud van het dagboek dat er van tevoren geen literatuurstudie heeft plaatsgevonden die richting zou kunnen geven aan de dataverzameling. Naarmate de tijd verstreek heb ik meer achtergrondkennis opgedaan, deze is verwerkt in de dagboeknotities. Bovendien moet vermeld worden dat, naarmate het onderzoek vorderde, de inhoud van enkele notities, mede door opgedane kennis, niet meer relevant zijn. Anderen zijn van toepassing gebleven en hebben in sommige gevallen richting gegeven aan het literatuuronderzoek en/of de dataverzameling. De inhoud van het dagboek wordt gebruikt ter aanvulling van de resultaten die verkregen zijn aan de hand van de logboeken en vragenlijsten. De dagboeknotities zijn in te delen in vier groepen (Boeije, 2005). De eerste groep bevat observatienotities. Deze dagboeknotities bestaan uit objectieve waarnemingen en worden meegenomen in de data-analyse. De tweede groep omvat theoretische notities. Het gaat dan om interpretaties, verklaringen en belevingen. Deze vinden een plaats in de conclusie of de discussie van dit onderzoeksverslag. Ten derde bevat het dagboek methodische notities. Het gaat hierbij om notities die betrekking hebben op de methodologie van het onderzoek. Deze notities zijn in dit hoofdstuk, hoofdstuk 3, verwerkt. De vierde soort notities bestaat uit reflectieve notities. Deze hebben betrekking op emoties, verwachtingen of twijfels ten aanzien van het onderzoek.

35

Hoofdstuk 4

Resultaten In dit hoofdstuk worden de resultaten van de verschillende data-analyses beschreven. Allereerst zal kort worden ingegaan op de response. Daarna worden de kwantitatieve resultaten van respectievelijk de vragenlijsten en de ILS behandeld. Tot slot worden de kwalitatieve bevindingen van de reflectieve logboeken besproken. Waar mogelijk zijn de dagboeknotities verweven met de resultaten van de andere instrumenten.

4.1 Response Zowel bij de voormeting als bij de nameting is de gehele populatie benaderd om de vragenlijst en de ILS in te vullen. De gehele populatie bestaat uit alle studenten die het vak ‘Professionalisering van leerkrachten’ hebben gevolgd. Het betrof 35 studenten. Tijdens de voormeting heeft 60% (21 van de 35 studenten) studenten de vragenlijst ingevuld en ingeleverd. De ILS werd door evenveel studenten, 60% van de steekproef, ingevuld en ingeleverd. Bij de nameting was de response hoger. De vragenlijst en de ILS werden door 66% (23 van de 35 studenten) ingevuld en ingeleverd. De responsegroep is niet helemaal representatief voor de populatie. Slechts één van de drie internationale studenten heeft een vragenlijst tijdens de voormeting ingevuld. Tijdens het college waarin de nameting heeft plaatsgevonden waren alle internationale studenten afwezig. Zij bleken in verband met de aankomende feestdagen tijdelijk terug te zijn gegaan naar hun moederland. Daarnaast zijn bij zowel de voor- als nameting geen data verzameld van respondenten die niet tijdens de college-uren aanwezig waren. Er is geprobeerd om deze studenten te bereiken door de vragenlijsten via email en de digitale leeromgeving van de Rijksuniversiteit beschikbaar te stellen, maar dit heeft, zelfs na het versturen van een herinnering, alleen de reactie van de internationale student opgeleverd. De response is daardoor representatief voor een populatie studenten die bij het eerste en/of laatste college aanwezig was.

4.2 Resultaten vragenlijst In deze paragraaf worden de resultaten van de statistische analyses op basis van de data, verzameld aan de hand van de zelfontworpen vragenlijst, weergegeven. Eerst worden de resultaten van de normaliteitanalyse van deel 1, 2, en 3 weergegeven. Vervolgens worden de resultaten van de uitvoering van de Wilcoxon rangtekentoets besproken. Daarna worden de resultaten van deel 4 besproken. Ook voor dit deel is een analyse van de normaliteit en de Wilcoxon rangtekentoets uitgevoerd. De analyse is aangevuld met een frequentietabel. Voor deel 1 tot en met 4 geldt dat de 36

toetsing wordt uitgevoerd met de data die verkregen is uit de antwoorden op de vragenlijsten die zijn ingevuld door de zeventien respondenten die zowel aan de voor- als nameting hebben deelgenomen. Ten slotte komen de resultaten van deel 5 aan bod. In deze analyse zijn alle respondenten die tijdens de nameting de vragenlijst hebben ingevuld meegenomen, het gaat om 23 studenten. De data is geanalyseerd aan de hand van een frequentieverdeling.

4.2.1 Deel 1, 2 en 3: Normaliteit Allereerst is met de Shapiro-Wilk toets onderzocht of de verschilvariabelen een normale verdeling kennen. Dit is alleen voor deel 1, 2, 3 en 4 gedaan, omdat het bij deze delen van belang was voor de verdere toetsing. De resultaten van deel 4 worden in een latere subparagraaf apart weergegeven. De tabel met uitkomsten van de normaliteitstoetsing van deel 1, 2 en 3 is te vinden in bijlage 6. Zowel op basis van de overschrijdingskansen als op basis van de Shapiro W-statistic moeten we voor alle variabelen van een niet-normale verdeling uitgaan.

4.2.2 Deel 1, 2 en 3: Wilcoxon rangtekentoets Om vast te stellen of AfL effect heeft op de houding van studenten ten opzichte van feedback en betrokkenheid, twee elementen van AfL, is gebruik gemaakt van de non-parametrische Wilcoxon rangtekentoets voor gepaarde waarnemingen. Deze toets werkt met tekens (plussen en minnen) welke symbool staan voor vooruitgang of achteruitgang. De paren die geen verschil vertonen zijn van de analyse uitgesloten, omdat deze paren ervoor zorgen dat de verdeling van tekens van de verschillen niet meer binomiaal verdeeld is. Doordat er met paren gewerkt wordt, geeft de toets per item van de vragenlijst één uitkomst. De toetsing kent een nulhypothese die stelt dat er geen verschil tussen beide metingen is opgetreden. De alternatieve hypothese is dat de studenten bij de nameting hoger zouden scoren. De statistische toetsing heeft, bij een eenzijdige alfa van 0,05, uitgewezen de drie delen van de vragenlijst een niet-significant verschil vertonen. De resultaten van de toetsing zijn weergegeven in tabel 4.1. Tabel 4.1: gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van deel 1, 2 en 3 van de vragenlijst. Deel van de vragenlijst Aantal paren Aantal positieve Aantal negatieve Aantal geen Sig. in analyse verschillen verschillen verschil Deel 1 Feedback m.b.t. kwaliteit 17 9 4 4 0,248 van het werk. Deel 2 Feedback m.b.t. leren 17 9 5 3 0,377 Deel 3 Betrokkenheid

17

8

6

3

0,704

37

4.2.3 Deel 4: Normaliteit Deel 4 van de vragenlijst bestaat uit 23 items. Deze items meten geen gezamenlijk begrip, maar zijn opzichzelfstaande items. Om te beginnen is de normaliteit van de verdeling van de scores op de items vastgesteld. De resultaten van de normaliteitstoetsing zijn weergegeven in bijlage 7. Op basis van de uitkomsten van de analyse is wederom voor de non-parametrische Wilcoxon rangtekentoets gekozen.

4.2.4 Deel 4: Wilcoxon rangtekenttoets Om vast te stellen of AfL effect heeft op de verschillende onderwerpen die in dit deel van de vragenlijst aan de orde komen, is wederom gebruik gemaakt van de Wilcoxon rangtekentoets voor gepaarde waarnemingen. De nulhypothese luidt dat er tussen de voor- en nameting geen verschil is opgetreden. De alternatieve hypotheses per item (bijlage 8) zijn gebaseerd op de literatuur die in het theoretisch kader terug te vinden is. De statistische toetsing heeft uitgewezen dat geen van de items een significant verschil vertoont (bijlage 9). In de frequentietabel (bijlage 10) is te zien dat studenten het met vrijwel alle uitspraken met betrekking tot AfL eens zijn. Daarnaast zijn de studenten van mening dat het feit dat het vak in het Engels gegeven wordt een negatieve invloed op hun actieve betrokkenheid en hun leeropbrengsten heeft.

4.2.5 Deel 5: Frequenties en gemiddelden Het vijfde deel van de vragenlijst is alleen tijdens de nameting ingevuld. Het deel bestaat uit zeven items aan de hand waarvan een globale vergelijking tussen de docent die het betreffende vak gaf en andere docenten in het algemeen. Het onderwerp was de onderzoekende houding (inquiring attitude) van de docent. Dit deel is door 23 respondenten ingevuld, er was geen sprake van missende data. In tabel 4.2 zijn de gemiddelden (mean), de standaarddeviaties (SD) en frequenties per item weergegeven. De gemiddelde scores variëren van 4,00 tot 4,48. Dat betekent dat studenten de vragen gemiddeld met ‘more frequent’ beantwoordden. Dit antwoord werd 86 keer gekozen tegenover 58 keer antwoord 5 en vijftien keer antwoord 3. Twee keer werd een negatief antwoord gegeven. Dit kwam voor op de vraag over het proberen te begrijpen wat studenten motiveert en aanzet tot leren, en op de vraag over het proberen te begrijpen wat studenten werkbaar vinden tijdens colleges. Op alle vragen gaven één tot vier studenten een neutraal antwoord. Één vraag vormt daar een uitzondering op. De vraag naar het actief zoeken naar verbetering van het handelen van de docent en de inhoud van het vak werd uitsluitend positief beantwoord met dertien keer antwoord 4 en tien keer antwoord 5. De zesde vraag kent het hoogste gemiddelde. De vraag gaat over het delen van kritische reflecties met betrekking tot de inhoud van het vak. Dit is de enige vraag waarbij ‘much more frequent’, antwoord 5, het vaakst als antwoord gekozen werd.

38

Tabel 4.2 Gemiddelde, standaarddeviatie en frequenties per item. Deel 5 vragenlijst (1 = A lot less frequent; 2 = Less frequent; 3 = Undecided; 4 = More frequent; 5 = Much more frequent)

In comparison to other teachers Ernst is more / less:

Mean

SD

1

2

3

4

5

critical in reviewing his own actions in class actively searching to improve his actions and the content of the course actively invites students into a critical discussion about his actions and the course content trying to understand what drives students’ learning and motivation trying to understand what works for students in lectures willing to share his critical reflections of the course content actively trying to engage students in discussing the course content and/or his personal input Totaal

4,43 4,43

0,590 0,507

-

-

1 -

11 13

11 10

4,17

0,717

-

-

4

11

8

4,09

0,793

-

1

3

12

7

4,00

0,739

-

1

3

14

5

4,48

0,593

-

-

1

10

12

4,09

0,596

-

-

3

15

5

0

2

15

86

58

4,24

4.3 Resultaten ILS In deze paragraaf worden de resultaten van de statistische analyses, op basis van de data verzameld aan de hand van de ILS, weergegeven. In SPSS zijn twee keer zestien somvariabelen gecreëerd die overeen komen met de zestien subschalen. Vervolgens is voor het verschil tussen beide metingen voor elke subschaal een verschilvariabele gemaakt. Eerst worden de resultaten van de normaliteitanalyse weergegeven, waarop de keuze voor een non-parametrische toetsing is gebaseerd. Vervolgens worden de resultaten van de uitvoering van de Wilcoxon rangtekentoets besproken.

4.3.1 Normaliteit Allereerst is met de Shapiro-Wilk toets onderzocht of de verschilvariabelen een normale verdeling kennen. Uit de toetsing (bijlage 11) blijkt dat drie tot dertien van de variabelen een niet-normale verdeling kennen. Daarom wordt gekozen voor een non-parametrische toetsing voor het verschil in gemiddelden tussen de voor- en nameting.

4.3.2 Wilcoxon rangtekentoets Om vast te stellen of AfL effect heeft op de leerstijl van studenten is wederom gebruik gemaakt van de non-parametrische Wilcoxon rangtekentoets. Uit de uitvoer blijkt of, op basis van de overschrijdingskans (sig.), de nulhypothese (geen verschil tussen beide metingen) al dan niet verworpen moet worden. De alternatieve hypotheses per subschaal van de ILS zijn opgesteld op basis van de literatuur die in het theoretisch kader aan bod is gekomen. Deze zijn weergegeven in tabel 4.3.

39

De statistische toetsing heeft, bij een eenzijdige alfa van 0,05, uitgewezen dat tien van de zestien subschalen geen significant verschil vertonen tussen de voor- en nameting (bijlage 11). Zes subschalen laten wel een verschil zien. In vier gevallen gaat het om een positief verschil en in twee gevallen om een negatief verschil tussen beide metingen. Alle subschalen behorend tot de hoofdschaal ‘Regulatiestrategieën’ tonen een significant verschil. De eerste subschaal is ‘Zelfsturingsstrategie’. De alternatieve hypothese laat de verwachting van een positief verschil tussen beide metingen zien. In de analyse zijn vijftien paren meegenomen, waarvan elf paren met een positief verschil. Er is sprake van een significant positief verschil. De tweede subschaal is ‘Externe sturing’. De analyse heeft een significant negatief verschil aangetoond. Verwacht werd dat studenten door het toepassen van AfL minder gebruik zouden maken van externe sturing. Van de zeventien paren die in de analyse zijn meegenomen, tonen twaalf paren een significant negatief verschil. De laatste subschaal binnen deze hoofdschaal is ‘stuurloze strategie’. Voor aanvang van de dataverzameling werd een vermindering in het gebruik van deze strategie verwacht. De dataverzameling laat echter zien dat er veertien paren met een positief verschil tussen de voor- en nameting zijn. Drie paren laten een negatief verschil zien. Op basis hiervan moet de nulhypothese verworpen worden, maar mag de alternatieve hypothese ook niet aangenomen worden. De volgende twee subschalen die bij analyse een significant verschil tussen voor- en nameting vertonen vallen onder de hoofdschaal ‘studiemotieven’. De eerste is ‘certificaat gericht’. Studenten die certificaatgericht leren, hechten waarde aan het neerzetten van goede prestaties en het halen van tentamens en het diploma. Er werd een vermindering van het certificaatgerichte studiemotief verwacht. De data vertoont tien paren met een positief verschil en twee paren met een negatief verschil. Vijf paren hebben een onveranderde score behaald en worden daarom niet meegenomen in de analyse. Met een overschrijdingskans van 0,012 en een alfa van 0,05 wordt de nulhypothese verworpen. Tegen de verwachting in is een positief effect aangetoond. De volgende subschaal met een significant verschil tussen de metingen is ‘beroepsgericht’. Studenten die beroepsgericht leren, leren enkel om vakbekwaamheid te verwerven en een bepaald beroep uit te kunnen oefenen. Omdat het leerproces centraal staat en het leren een doel op zich is bij AfL, werd een negatief verschil verwacht. Drie paren laten een positief verschil zien en tien paren hebben een negatief resultaat geboekt. De Wilcoxon rangtekentoets toont, bij een alfa van 0,05 en een overschrijdingskans van 0,030, een significant negatief verschil. De subschaal ‘samenwerken’ laat met zes paren die een negatief verschil laten zien, tegenover acht paren met een positief verschil, een significant verschil tussen de voor- en nameting zien. Deze subschaal valt onder hoofdschaal ‘studieopvattingen’. De gevonden overschrijdingskans bedraagt 0,036. De verwachting met betrekking tot deze subschaal komt overeen met de resultaten van de analyse. 40

Tabel 4.3: Nulhypothese en alternatieve hypothese per subschaal. ILS-HO schalen Verwerkingsstrategieën Diepteverwerkingsstrategie Stapsgewijze verwerkingsstrategie Concrete verwerkingsstrategie Regulatiestrategieën Zelfsturingsstrategie Extern gestuurde strategie Stuurloze strategie Mentale modellen/studiemotieven Certificaatgericht Beroepsgericht Testgericht Persoonlijk geïnteresseerd Ambivalent Studieopvattingen Opname van kennis Opbouw van kennis Gebruik van kennis Stimulerend onderwijs Samen studeren

Nulhypothese (H0)

Alternatieve hypothese (Ha)

H0: η = 0 H0: η = 0 H0: η = 0

Ha: η>0 Ha: η<0 Ha: η>0

H0: η = 0 H0: η = 0 H0: η = 0

Ha: η>0 Ha: η<0 Ha: η<0

H0: η = 0 H0: η = 0 H0: η = 0 H0: η = 0 H0: η = 0

Ha: η<0 Ha: η<0 Ha: η<0 Ha: η>0 Ha: η<0

H0: η = 0 H0: η = 0 H0: η = 0 H0: η = 0 H0: η = 0

Ha: η<0 Ha: η>0 Ha: η>0 Ha: η<0 Ha: η>0

Tabel 4.4 Paren in de analyse, aantal positieve verschillen, aantal negatieve verschillen, aantal zonder verschil en de overschrijdingskans van de ILS-HO schalen ILS-HO schalen Aantal Aantal Aantal Aantal Sig. paren in positieve negatieve geen (1-zijdig) analyse verschillen verschillen verschil Verwerkingsstrategieën Diepteverwerkingsstrategie Stapsgewijze verwerkingsstrategie Concrete verwerkingsstrategie Regulatiestrategieën Zelfsturingsstrategie Extern gestuurde strategie Stuurloze strategie Mentale modellen/studiemotieven Certificaatgericht Beroepsgericht Testgericht Persoonlijk geïnteresseerd Ambivalent Studieopvattingen Opname van kennis Opbouw van kennis Gebruik van kennis Stimulerend onderwijs Samen studeren

16 16 17

11 9 12

5 7 5

1 1 0

0,051 0,144 0,229

15 17 17

11 5 14

4 12 3

2 0 0

0,023 0,040 0,025

12 13 11 15 14

10 3 6 9 9

2 10 5 6 5

5 4 6 2 3

0,029 0,030 0,376 0,178 0,349

14 16 12 17 14

5 8 4 11 8

9 8 8 6 6

3 1 5 0 3

0,234 0,203 0,099 0,326 0,036

41

Om de resultaten van de statistische analyse van de ILS samen te vatten en het verband met de leerstijlen te laten zien toont tabel 4.5 een overzicht van de vier hoofdschalen (leercomponenten), de vier leerstijlen en de zestien subschalen. Per subschaal is, op basis van de alternatieve hypotheses uit tabel 4.3 de verwachting aangegeven. In tabel 4.6 zijn de aangetoonde effecten van AfL op de leerstijl van studenten weergegeven.

Tabel 4.5 Veranderingen op basis van de opgestelde alternatieve hypotheses Leerstijl Betekenisgericht

Leercomponent

Verwerkingsstrategieën Diepteverwerking

Reproductiegericht

Toepassingsgericht

Stapsgewijze verwerking

Concrete verwerking + zowel zelf- als extern gestuurd

Regulatiestrategieën

+ Zelfgestuurd

extern gestuurd

Mentale modellen / studiemotieven

+ persoonlijk geïnteresseerd

certificaat- en testgericht

Beroepsgericht

+ opbouwen van kennis

- en opnemen van kennis

gebruiken van kennis

Studieopvattingen

+

-

Ongericht nauwelijks

Stuurloos

Ambivalent

samenwerking & stimulerend onderwijs

+

+ en -

Tabel 4.6 Aangetoonde veranderingen na implementatie van AfL Leerstijl Betekenisgericht

Reproductiegericht

Toepassingsgericht

Stapsgewijze verwerking

Concrete verwerking

Regulatiestrategieën

. Zelfgestuurd

. extern gestuurd

. zowel zelf- als extern gestuurd

Stuurloos

Mentale modellen / studiemotieven

+ persoonlijk geïnteresseerd

certificaat- en testgericht

. Beroepsgericht

+ Ambivalent

. opbouwen van kennis

+ (en .) opnemen van kennis

gebruiken van kennis

. samenwerking & stimulerend onderwijs

Leercomponent

Verwerkingsstrategieën Diepteverwerking

Studieopvattingen

.

.

.

Ongericht nauwelijks

+ (en .)

42

4.4 Resultaten logboeken De UK Assessment Reform Group (1999) heeft aan de hand van bewijs uit verschillende onderzoeken vijf sleutelelementen opgesteld (UK Assessment Reform Group, 1999). De resultaten van de logboeken worden in deze paragraaf besproken aan de hand van de sleutelelementen van AfL. In de analyse zijn vijf extra sleutelelementen toegevoegd, waardoor er gewerkt wordt met in totaal tien elementen. De laatste vijf zijn opgesteld door de docent. Deze zijn gebaseerd op literatuur, ervaring en eigen inzichten. Aan de resultaten van de logboeken zijn dagboeknotities toegevoegd om zoveel mogelijk het hele vak, dus niet alleen het eerste uur van de bijeenkomsten, in kaart te brengen. De vijf sleutelelementen van de Assessment Reform Group zijn voor dit onderzoeksverslag zo nauwkeurig mogelijk vertaald uit het Engels. Het vak bestond uit zeven colleges van twee uur. Het eerste uur werd in beslag genomen door klassikale colleges. Tijdens dit eerste college-uur werd nieuwe stof aangeboden. Het doel was om pure kennisoverdracht te vermijden en met elkaar in discussie te raken over de onderwerpen om zo aandacht te schenken aan denk- en leerprocessen. Het tweede uur werd besteed aan groepswerk. Bij aanvang van het vak is de groep studenten in drie groepen verdeeld. De docent heeft voorafgaand aan elk college doelen opgesteld en achteraf opmerkingen toegevoegd. Deze vormen samen de logboeken. Ik heb tijdens de colleges, aan de hand van de gestelde doelen, observaties uitgevoerd en mijn reactie op de logboeken van de docent gegeven. De logboeken zijn voornamelijk gebaseerd op observaties tijdens het eerste uur van de colleges.

4.4.1 Effectieve feedback Het eerste sleutelelement van AfL is: het bieden van effectieve feedback aan studenten (UK Assessment Reform Group, 1999). In het kader van AfL wordt verwacht dat studenten deze feedback kunnen en zullen gebruiken om het vervolg van hun leerproces te sturen. Het eerste uur van de colleges gaf, gezien de groepsgrootte, beperkte mogelijkheden tot het geven van individuele feedback. Wel werd studenten in de klassikale situatie de mogelijkheid geboden om met de docent tot gezamenlijke reflectie te komen. De docent daagde studenten daarin uit tot het verdiepen van de denkprocessen. De feedback voortkomend uit de discussie was vooral gericht op het leggen van verbanden tussen verschillende methoden van professionaliseren en minder op individuele leerprocessen. Opvallend was dat de participatie tijdens de discussies erg wisselend was, waardoor een groot deel van de studenten niet actief deelnam aan de reflecties en daarmee niet of in mindere mate in staat was om tot interne feedback te komen. Iedere student heeft in de eerste weken van het vak een leercontract opgesteld en opgestuurd naar de docent. Onder studenten is in die eerste weken wat verwarring ontstaan met betrekking tot het bindende karakter van de leercontracten. Uit het logboek van college drie blijkt dat niet alle 43

studenten zich ervan bewust waren dat ze van hun leercontracten af mochten wijken. Voor studenten was de vrijheid wat onwennig, maar uit het dagboek blijkt dat ze wel gemotiveerd waren om vorm te geven aan hun eigen leerproces. Het vinden van een balans tussen eigen belangen en het komen tot een groepsplan, leverde wat vertraging op. Dit leidde tot het vormen van subgroepen en verlaat inleveren van leercontracten. Uit het logboek van college vier blijkt verder dat de docent op ieder leercontract via email feedback heeft gegeven. De literatuur over AfL stelt als voorwaarde van effectieve feedback dat het gebruikt moet worden om het leerproces te sturen (Hargreaves, 2005; Scriven, 1966; Taras, 2008). Opvallend is dat de docent hier geen zichtbare controle over heeft gehad. Hij heeft geen inzicht gekregen in hoe studenten de feedback hebben gebruikt. De docent was gedurende het hele vak bereid om feedback te blijven geven. Via email was hij bereikbaar, maar ook tijdens het tweede uur van het college was hij beschikbaar. De docent heeft in het logboek van hetzelfde college aangegeven dat vooral de mailtjes van studenten hem inzicht gaven in de leerprocessen die gaande waren. Studenten die het heft in eigen handen namen en van het leren een sociaal proces maakten door medestudenten en de docent erbij te betrekken, hebben op vele manier en op vele momenten feedback kunnen krijgen. Niet alle studenten hebben gebruik gemaakt van de mogelijkheid tot het ontvangen van feedback via email of in andere vorm, daardoor is er mogelijk een groep studenten waarvan de docent niet of in beperkte mate op de hoogte was van de leerprocessen die gaande waren. Een andere mogelijkheid tot het uiten van twijfels, het stellen van vragen of het geven van tips aan andere studenten was de blog waar gebruik van werd gemaakt. Bij aanvang van het vak is een blog gestart waar alle studenten deel aan konden nemen. Studenten konden hier feedback aan elkaar en aan de docent vragen. De blogs die door studenten online gezet werden waren voornamelijk samenvattingen van gelezen literatuur, aangevuld met eigen ervaringen of verbanden met andere literatuur. Voortdurende leerprocessen waren daarin duidelijk zichtbaar, maar er werden weinig vragen gesteld. De blogs hebben niet in alle gevallen feedback opgeleverd, maar uit het dagboek blijkt dat dit ook niet voor alle studenten het doel was van het online zetten van een tekst. De docent heeft de blogs nauwkeurig gelezen en heeft in reacties op de diverse blogs aanleidingen gegeven tot diepere denkprocessen. Enkele actieve studenten leverden ook hun bijdrage in het geven van feedback. Opnieuw geldt dus dat er een groep studenten is die via de blog geen feedback heeft ontvangen en dat de docent eigenlijk niet weet of de reacties op de blog als feedback werden gebruikt om het leerproces te sturen of te verbeteren.

4.4.2 Betrokkenheid Het geven van feedback heeft enkel zin als studenten de feedback gebruiken. Daarbij is het van belang dat studenten hun leerproces aanpassen om hun leren optimaal te maken. Het tevreden willen stellen 44

van de docent is daarbij niet het doel (Torrance, 2007). Studenten moeten actief over hun eigen leerprestaties na gaan denken. Het tweede sleutelelement van AfL is daarop gericht: actieve betrokkenheid van studenten (in dialogen) met betrekking tot hun eigen leerproces (UK Assessment Reform Group, 1999). Uit de logboeken blijkt dat studenten zowel tijdens het eerste college-uur als daarbuiten werden uitgedaagd om actief betrokken te zijn bij hun eigen leerproces. Dit kwam bijvoorbeeld tot uiting tijdens discussies in het eerste college-uur, groepsgesprekken in het tweede uur, de blogs, het opstellen van persoonlijke leercontracten en het formuleren van een eigen oordeel van het uitgevoerde werk. De discussies, blogs en leercontracten zijn al kort besproken, daarom wordt nu wat dieper ingegaan op de opdrachten en de beoordeling daarvan. Iedere student heeft tijdens het tweede college-uur en daarbuiten gewerkt aan een opdracht. Deze opdracht werd door de studenten zelf vorm gegeven. Dit leidde, zoals blijkt uit het logboek van college 5, tot grote diversiteit, creativiteit en goede samenwerking. Het leercontract stelde de student in staat een overzichtelijk plan te formuleren. De opdrachten werden door studenten zowel individueel als in groepen uitgevoerd, maar voor iedere student gold dat zij uiteindelijk zelf een voorstel voor een eindbeoordeling zouden doen. Deze beoordeling moest worden gebaseerd op criteria die door de student werden opgesteld. Bij het opstellen van de criteria werden de vakvereisten, zoals aangedragen door de universiteit, meegenomen. Aan de hand van deze criteria kenden studenten zichzelf of hun groepsgenoten punten toe en kwamen zij tot een cijfer. Deze beoordeling werd samen met de uitgewerkte opdracht ingeleverd bij de docent.

4.4.3 Aanpassen onderwijs Sinds 1999 hebben verschillende auteurs nieuw bewijs gevonden voor het gebruik van feedback. De feedback, die voortkomt uit assessment is niet alleen belangrijk voor studenten, maar ook docenten (Black & William, 1998b). De derde guideline van de Assessment Reform Group (1999) luidt dan ook: het aanpassen van het onderwijs rekening houdend met de resultaten van de assessment. De docent kreeg volgens de logboeken voornamelijk tijdens de discussies in de klas en de mailtjes die studenten stuurden een beeld van de denkprocessen die gaande waren. Met behulp van deze inzichten was hij in staat te bepalen hoe hij de studenten uit kon dagen tot verbetering. Ook de leercontracten gaven inzicht in de ideeën die studenten hadden opgevat en de plannen die zij maakten voor de uitwerking van hun persoonlijke opdracht. Tijdens de colleges was hij daardoor in staat om de studenten op de juiste manier te prikkelen om hen daarmee te motiveren, te inspireren en verder te helpen. De vrijheid die studenten tijdens het tweede uur hadden leverde voor de docent een onoverzichtelijk beeld van de werkzaamheden op. Er waren drie lokalen beschikbaar gesteld waar groepen konden overleggen. Maar met het ontstaan van subgroepen en studenten die zich 45

afscheidden van medestudenten, maakten niet alle studenten meer gebruik van de lokalen. Ze verspreidden zich door het gebouw of vertrokken. De studenten kregen de vrijheid om op een zelfgekozen locatie en zelf op een zelfgekozen tijdstip te werken aan hun opdracht. Compleet overzicht van de werkzaamheden voor de docent was dus ook niet haalbaar.

4.4.4 Invloed op student De docent speelt in het onderwijsproces een belangrijke rol. Zijn houding en handelen hebben invloed op de emotionele gesteldheid van studenten. Het vierde sleutelelement is daarom: het erkennen van de grote invloed die assessment heeft op de motivatie en het zelfvertrouwen van studenten, welke beiden cruciale invloeden op het leren van studenten zijn (UK Assessment Reform Group, 1999). Hoewel dit onderzoek zich richt

op universitaire

masterstudenten en niet

op

basisschoolleerlingen, blijft het rekening houden met motivatie en zelfvertrouwen tot op zekere hoogte wel van belang. De houding van de docent speelt daarbij een belangrijke rol (Black & William, 1998a). Het stellen van vragen, het tonen van belangstelling en het enthousiasmeren van studenten is van wezenlijk belang voor de motivatie van studenten (Black & William, 1998a; 1998b). Hoewel de groepsgrootte en de korte tijd waarin de groep en de docent elkaar hebben leren kennen daarbij wel aan aantal beperkingen opleveren, blijkt uit de logboeken dat de docent veel aandacht heeft besteed aan het enthousiasmeren van studenten. Dit werd gedaan met behulp van filmpjes, prikkelende reactie op vragen van studenten en/of het aanhalen van eigen ervaringen van de docent. Studenten werden uitgedaagd om buiten hun comfortzone te treden en een sprong in het diepe te nemen, zowel op het gebied van leren als op het gebied van het gebruik maken van de vrijheden. Tijdens de colleges, maar ook daarbuiten, was de docent altijd beschikbaar voor studenten. Het stellen van vragen via email, maar ook het maken van afspraken om buiten de college-uren van dit vak een gesprek aan te gaan behoorden tot de mogelijkheden. Vooral van de mail werd regelmatig gebruik gemaakt. Uit de logboeken blijkt dat de docent tijdens de colleges regelmatig heeft laten blijken dat hij de mails erg waardevol vind. Een enkele keer is hij klassikaal op de inhoud van een email ingegaan, omdat het een vraag of informatie bevatte die voor iedereen relevant was. Enkele studenten hebben erg moeten wennen aan de nieuwe aanpak tijdens het vak. Zij misten vooral de structuur en vonden het lastig om, zonder nadrukkelijke ondersteuning, verwachtingen en criteria van de docent, aan een opdracht te werken. Vanaf het begin van het vak heeft de docent de mogelijkheid geboden tot het terugvallen op de vaste opdracht van voorgaande jaren. Daar heeft uiteindelijk niemand gebruik van gemaakt. Iedere student heeft, individueel of in een groep, eigen invulling gegeven aan zijn/haar leerproces en heeft zichzelf beoordeeld. De docent heeft ook een beoordeling gegeven, maar hechtte net zoveel waarde aan zijn eigen oordeel als aan dat van de student. Wanneer de beoordeling van de student en de docent niet met elkaar overeenkwamen, 46

werd de student uitgenodigd voor een gesprek om tot overeenstemming te komen. Ook hierin is dus rekening gehouden met de motivatie en het zelfvertrouwen van de student. De docent hield daarnaast gedurende het hele vak, bij beoordelingen, maar vooral bij het geven van feedback, rekening met het feit dat de studenten tijd nodig hadden om aan de vrijheid, de beschikbaarheid van de docent, de eigen verantwoordelijkheid en andere aspecten van de AfL-aanpak te wennen.

4.4.5 Self-assessment Belangrijke doelen van AfL zijn het bevorderen van zelfstandigheid en autonomie. Dit komt tot uiting door het gebruik van self-assessment door studenten. Self-assessment is, zoals in het theoretisch kader omschreven, het proces waarbij studenten hun eigen werk beoordelen en interne feedback formuleren. De Assessment Reform Group heeft dit opgenomen als vijfde sleutelelement van AfL: de noodzaak voor studenten om zichzelf te kunnen beoordelen en inzicht te verwerven in hoe ze hun leerproces kunnen verbeteren. Voor iedere student heeft self-assessment een andere uitkomst. Ook geeft iedere student dit proces op een eigen manier vorm. In de klassikale colleges was het daarom noodzakelijk om prikkels toe te passen die op zoveel mogelijk studenten van toepassing waren. De vormgeving van het vak, waarbij studenten in grote mate zelf vorm gaven aan hun leerproces, heeft op zichzelf al tot selfassessment van studenten geleid. Studenten hebben voor zichzelf bepaald wat ze, binnen het kader van professionalisering van leerkrachten, wilden leren. Het vaststellen van een beginniveau is daarbij onvermijdelijk. Het proces van beoordelen en het geven van interne feedback is op dat moment al van start gegaan. Tijdens de colleges die daarop volgden, werden studenten uitgedaagd de inhoud naar hun eigen hand te zetten en het te gebruiken als bouwstenen in hun leerproces. Daarmee werden tijdens de colleges moment gecreëerd waarop studenten hun eigen leerproces beoordeelden en waarop dus self-assessment plaats heeft gevonden. Een duidelijk voorbeeld van het aanzetten tot self-assessment kwam voor in één van de gastcolleges. Studenten kregen steeds kleine taakjes, bijvoorbeeld het opschrijven van een aantal begrippen die volgens hen samenhangen met een ‘inquiring attitude’. Vervolgens werden de begrippen klassikaal verzameld en bediscussieerd. Hiermee werden studenten geholpen bij de reflectie op verschillende concepten en hun eigen denkwijzen. Een ander voorbeeld kwam naar voren tijdens het college over CLB (consultatieve leerlingbegeleiding), waarin het probleem niet bij het kind, maar waarbij het handelen van de leerkracht met betrekking tot een bepaalde leerling centraal staat. Studenten werden zich er onder andere van bewust dat het heel makkelijk is om het probleem bij iemand anders neer te leggen. Het evalueren van je eigen denkprocessen en handelen is een stuk lastiger, maar minstens zo waardevol. 47

4.4.6 Openheid van zaken Uit de literatuur is gebleken dat docenten vaak vragen stellen zonder studenten daarbij uit te dagen (Black & William, 1998a; Juwah et al., 2004). Het uitdagen en het scheppen van duidelijke verwachtingen is niet alleen bij het stellen van vragen een relevant aspect om in overweging te nemen, maar is in brede zin van toepassing. Over het algemeen kan worden aangenomen dat hoge, maar haalbare verwachtingen van de docent motiverend voor studenten zijn. Dit is van grote invloed op de leerprestaties van studenten (Juwah et al., 2004). Door de docent zijn, zoals vermeld, vijf sleutelelementen aan de vijf al genoemde elementen toegevoegd. Het zesde element luidt: Wees transparant, duidelijk zijn over de verwachtingen, persoonlijke interesses en vaardigheden (grenzen). Tijdens de introductie van het college heeft de docent de inhoud van het experiment verduidelijkt. Daarbij heeft hij verteld waarom hij zelf zo enthousiast is over Assessment for Learning en waarom hij geïnteresseerd is in het effect dat een dergelijke benadering heeft op zowel studenten als docenten. Bij het behandelen van de verschillende methoden van professionaliseren, die in het vak centraal stonden, herhaalde hij deze werkwijze. In klassikale gesprekken met de studenten probeerde de docent eerst een objectief beeld van de methode te scheppen en vervolgens voegde hij daar eigen inzichten en ervaringen aan toe. Studenten werden uitgenodigd om dit ook te doen. Naast mateloze enthousiasme en positiviteit, was er in de colleges ook aandacht voor beperkingen die de AfL-aanpak met zich meebracht. Zo is het gevoel van een aantal studenten, dat er te weinig structuur werd geboden, regelmatig ter sprake gebracht. Deze studenten werden gestimuleerd om vooral gebruik te maken van de vrijheid. Hen werden opnieuw de mogelijkheden tot persoonlijk contact met de docent gepresenteerd. Ook mochten zij te allen tijde nog kiezen voor de vaste opdracht die door de docent ter beschikking kon worden gesteld. Tevens zijn voor deze studenten voorbeelduitwerkingen van opdrachten beschikbaar gesteld, zodat zij een referentiekader hadden. De beperkte tijd die studenten hadden om aan deze structuur te wennen was daarbij een extra struikelblok. Een andere beperking voor veel studenten, en daarmee ook voor de docent, was het feit dat het vak in het Engels gegeven werd en er daardoor tijdens de discussies en groepsbijeenkomsten ook in het Engels gecommuniceerd moest worden. Tijdens de colleges mochten studenten, die er in het Engels echt niet uitkwamen, hun vraag of opmerking in het Nederlands stellen, de docent vertaalde de bijdrage van de student. Voor de Spaanse-talige studenten bestond deze mogelijkheid niet. Tijdens het groepswerk konden de studenten elkaar helpen bij de vertalingen. Van de blogs werd ook verwacht dat deze in het Engels geplaatst werden. De docent adviseerde studenten om groepsgenoten om hulp te vragen. Uiteindelijk zijn alle blogs in het Engels geplaatst. Uit de resultaten van de zelfontworpen vragenlijst blijkt dat studenten desondanks toch het gevoel hebben gehad dat het Engels een negatieve invloed heeft gehad op hun betrokkenheid en leeropbrengsten. 48

4.4.7 Duidelijke verwachtingen Het delen van criteria is een essentieel element gebleken voor een effectieve AfL praktijk en het mogelijk maken van self-assessment en peer-assessment (Black & William, 1998a). Zonder duidelijkheid over criteria, verwachtingen en mogelijkheden is het niet mogelijk om een inschatting te maken van het niveau waarop het leerproces van studenten zich op een bepaald moment bevindt. Sleutelelement zeven is: wees open, bespreek wat wel en niet aan de verwachtingen van het vak voldoet. De resultaten met betrekking tot dit element zijn niet geheel te onderscheiden van het vorige element. Daarom wordt beperkt deze paragraaf zich tot een toevoeging aan het voorgaande. Tijdens het eerste college is het experiment (het toepassen van AfL) geïntroduceerd. Daarbij zijn de verwachtingen, maar vooral de mogelijkheden voor studenten benadrukt. Een voorbeeld hiervan is het gebruik maken van de blogs. Studenten kregen optie om met enige regelmaat een blog te publiceren waarop medestudenten en de docent mochten reageren. De blogs mochten bestaan uit vragen, opmerkingen, informatie enz. Tijdens introductie van de blog en daarbij het benadrukken van de mogelijkheden heeft de docent vanaf het begin, zowel impliciet als expliciet, duidelijk gemaakt dat hij hoge verwachtingen had. Studenten reageerden daar merkbaar en op een positieve manier op. Met enige regelmaat werd een blog online gezet. Na een aantal weken bleek dat niet alle studenten deelname aan de blog als een kans zagen. Velen zagen het meer als een verplichting. Ondanks mededelingen tijdens de introductie van het vak, was het dus niet voor alle studenten duidelijk dat deelname aan de blog vrijwillig was. De verwachtingen van de docent zijn meerdere keren ter sprake gekomen. Het toepassen van AfL en de bijkomende vrijheid heeft voor studenten geleidt tot het in handen nemen van het eigen leerproces. Verwachtingen van de docent waren niet langer toonaangevend en de verwachtingen en doelen van de student werden belangrijker. Naarmate de weken verstreken raakten studenten er wat meer aan gewend en werd minder gezocht naar de goedkeuring van de docent. Zowel de studenten als de docent hebben aangegeven dat dit proces tijd vergt. Hierdoor zijn de resultaten met betrekking tot dit sleutelelement waarschijnlijk vertekend.

4.4.8 Faciliteren Met een verschuiving van de directieve stijl naar de participatieve (democratische) stijl van lesgeven is de taak van de leerkracht verschoven (Santrock, 2009). De docent is niet langer de bron van kennis die zorgt voor kennisoverdracht op studenten. Van eenrichtingsverkeer is geen sprake meer. Sleutelelement acht: Faciliteren, de docent moet niet instrueren, maar coachen en daarmee studenten in staat stellen tot het nemen van controle over hun eigen leren. Zoals uit de logboeken blijkt, bestond het eerste uur van de colleges, vanuit het oogpunt van de studenten, voor een groot deel uit luisteren naar de docent. Regelmatig werden de studenten 49

uitgedaagd tot deelname aan de discussie, maar de response liet soms op zich wachten. Daar kwam bij dat er tijdens het eerste uur veel stof moest worden geïntroduceerd wat af en toe leidde tot een gebrek aan tijd voor reflectiemomenten/discussies. De discussies die wel gevoerd werden hadden vaak een faciliterend karakter. Studenten werden bijvoorbeeld in staat gesteld tot het stellen van vragen of het uiten van twijfels. Een voorbeeld hiervan is het vaststellen van de datum voor de deadline van het inleveren van de opdracht. De deadline stond gepland voor een bepaalde datum, maar via email had een student gevraagd om een andere deadline. De docent heeft dit onderwerp klassikaal bespreekbaar gemaakt en gezamenlijk zijn de studenten en docent tot een nieuwe deadline gekomen waar iedereen tevreden mee was. Drie maal werd een college verzorgd door een andere docent. Deze gastdocenten waren uitgekozen om hun expertise op een bepaald gebied van professionaliseren van leerkrachten. Zo was één van de gastdocenten zelf werkzaam in het onderwijs en recent afgestudeerd. Studenten konden zich goed met haar identificeren en de inhoud van haar college was prikkelend. Een andere gastdocent liet de studenten ervaren hoe creatieve denkvaardigheden en leren samenhangen. Studenten vielen van de ene verbazing in de andere en werden gestimuleerd tot self-assessment. Tijdens een ander college hebben de studenten begeleid geoefend met het voeren van consultatieve leerlingbegeleidingsgesprekken. Deze praktische bezigheden en regelmatige terugkoppeling stelde studenten in staat inzicht te verwerven in hun eigen denkproces en dat van anderen. Het tweede uur van de colleges was onmisbaar, omdat studenten hier de ruimte kregen de opmerkingen van de docent actief toe te passen op hun eigen leerproces.

4.4.9 Leren door de docent Van docenten wordt, net als van hun studenten, verwacht dat ze blijven leren en zich blijven ontwikkelen (lifelong learning). Het belang van een onderzoekende houding van de docent is in het theoretisch kader aangetoond. Door vragen te stellen en belangstelling te tonen verzamelt de docent informatie die hij kan gebruiken als feedback. Het negende sleutelelement, geformuleerd door de docent, is: Leer, participeer en evalueer jouw bijdrage binnen dit vak. Op basis van de logboeken is data met betrekking tot dit sleutelelement slechts in beperkte mate aanwezig. Het leren van de docent is niet altijd direct zichtbaar. In ieder geval niet aan de hand van de doelen die de docent voor de colleges gesteld heeft en de observaties die op basis daarvan hebben plaatsgevonden. Toch is uit verschillende observaties wel op te maken dat ook de docent een leerproces heeft doorgemaakt. Een voorbeeld hiervan zijn de opmerkingen van de docent waaruit blijkt dat hij over enkele aspecten van de invoering van AfL van tevoren iets te gemakkelijk heeft gedacht. Hij had bijvoorbeeld niet voorzien dat de veranderingen voor sommige studenten zoveel aanpassingsvermogen zou vergen en onzekerheid zou opleveren. Door de twijfels regelmatig 50

bespreekbaar te maken kreeg de docent een goed beeld van de gemoedsrust en voortgang van de studenten. De docent heeft hiervan geleerd. Dit was zichtbaar door participatie van de docent aan klassikale discussies, groepsdiscussies en de beschikbaarheid voor individuele gesprekken. Heel regelmatig probeerde de docent de vormgeving van het vak en zijn eigen handelen met behulp van dialoog te evalueren en tot verbetering te komen. Studenten waren zich bewust van de lerende houding van de docent en reageerden daar overwegend erg positief op. Ze voelden zich betrokken bij de leerprocessen die gaande waren.

4.4.10 Reflecteren Het tiende en laatste sleutelelement is: reflecteer, stel vragen, draag alternatieven aan en analyseer twijfels en zekerheden. Alle aspecten van dit laatste element zijn op grond van verschillende onderzoeken bewezen effectief te zijn. Black en William (1998a) hebben het belang van het stellen van goede vragen aangetoond. Het aandragen van alternatieven en het analyseren van twijfels en zekerheden kunnen beiden gebruikt worden als feedback, om te komen tot verbeteringen in zowel het handelen van de docent als het handelen van de student. Gedurende de college-uren is veel aandacht besteed aan reflecteren. De docent stelde vragen, hield de voortgang in de gaten en vroeg om feedback. Diverse alternatieven voor verschillende aspecten waren altijd beschikbaar. Voorbeelden hiervan is het wel of niet gebruik maken van de blog, het overstappen naar een vaste opdracht en het daardoor afwijken van de opgestelde leercontracten. Daarnaast moet worden opgemerkt dat het opstellen van doelen en het schrijven van een logboek door de docent op zichzelf al een reflecterend karakter heeft. Uit de logboeken blijkt dus dat reflecteren een grote rol heeft gespeeld bij het betreffende mastervak. De docent heeft veel aandacht aan dit aspect besteed. Wel moet genoemd worden dat de participatie van studenten erg wisselend was en dat er over de kwaliteit van de gevolgen van de reflecterende activiteiten weinig tot geen informatie in de logboeken voorkomt.

4.5 Samenhang resultaten In dit onderzoek is gebruikt gemaakt van verschillende instrumenten die stuk voor stuk resultaten met betrekking tot AfL hebben opgeleverd. In tabel 4.7 zijn de bevindingen, zoals besproken in paragraaf 4.2, 4.3 en 4.4, gestructureerd aan de hand van de tien sleutelelementen van AfL. In de laatste kolom is aan elk sleutelelement één van de zes aspecten van de onderzoekende houding van de docent, zoals omschreven door Van der Rijst (2009), toegevoegd. De conclusies met betrekking tot de tweede onderzoeksvraag, ‘Welke bijdrage levert AfL aan de onderzoekende / lerende houding van docent?’ worden in hoofdstuk 5 gestructureerd aan de hand van deze aspecten.

51

Tabel 4.7 Resultaten gestructureerd op basis van de tien sleutelelementen van AfL AfL

§ 4.2 Vragenlijst

§ 4.3 ILS

§ 4.4 Logboek

1. Effectieve feedback

 Door implementatie AfL geen verandering in het belang dat studenten hechten aan Feedback m.b.t. leren en de kwaliteit van het werk.

 Meer belang gehecht aan samenwerking.

2. Betrokkenheid

 Door implementatie AfL geen verandering in het belang dat studenten hechten aan betrokkenheid.

 Meer zelfsturing.  Minder externe sturing.  Meer stuurloosheid.

3. Aanpassen onderwijs

 Actief in het zoeken naar mogelijkheden tot verbetering met betrekking tot zijn handelen en de inhoud van het vak.  Doet moeite om te begrijpen wat studenten motiveert en tot leren aanzet.  Past de inhoud en vormgeving van de colleges meer aan op de behoeften van studenten.

 Geen toe- of afname in de studieopvatting stimulerend onderwijs.

 Feedback gegeven. Zowel individueel als klassikaal.  Geen inzicht in de effectiviteit ervan.  Studenten hebben er niet allen evenveel gebruik van gemaakt.  Discussies  Blog  Opstellen van persoonlijke leercontracten  Opstellen van criteria  Formuleren van een eigen oordeel m.b.t. eigen werk.  Aan de hand van de logboeken of suggesties van studenten heeft de docent het onderwijs ten gunste van de leerprocessen aangepast.  Rekening gehouden met de motivatie/ zelfvertrouwen van studenten, door te enthousiasmeren en aan te sporen om twijfels onderwerp van gesprek te maken.

sleutelelement

4. Invloed op student

 Minder beroepsgericht studiemotief.  Meer certificaatgericht studiemotief.

5. Selfassessment

6. Openheid van zaken

7. Duidelijke verwachtingen

 Deelt in grotere mate de uitkomsten van zijn eigen reflectie.

 Minder externe sturing.

 Aangezet tot selfassessment door expliciet van studenten te verwachten dat ze de inhoud van de colleges naar hun eigen hand zetten. O.a. in de uitwerking van de opdracht.  Geen inzicht in de kwaliteit van self-assessment.  Het delen van interesses, verwachtingen, doelen en vaardigheden (+ grenzen) van zowel de docent als de student speelde tijdens het vak op verschillende manieren een grote rol.  Tijdens de colleges was er naast de verwachtingen van de docent (die heel duidelijk waren) ook veel aandacht voor beperkingen/twijfel die de AfL-aanpak met zich meebrachten.  Toch zijn er misverstanden ontstaan, doordat een aantal studenten de

Aspecten onderzoekende houding De wil om kritisch te zijn (met betrekking tot eigen en andermans handelen) De wil om te delen (en studenten daarmee in staat te stellen te profiteren) De wil om (een zo gunstig mogelijke leeromgeving) te bereiken De wil om te begrijpen (hoe studenten het meest optimaal leren)

De wil om kritisch te zijn (naar eigen en andermans handelen)

De wil om (een zo gunstig mogelijke leeromgeving) te bereiken

De wil om (een zo gunstig mogelijke leeromgeving) te bereiken

52

 Minder externe sturing.  Meer zelfsturing.  Meer stuurloosheid.

8. Faciliteren

9. Leren door de docent

10. Reflecteren

 Kritisch is ten opzichte van zijn eigen handelen.  Actief in het betrekken van studenten bij kritische reflectie.

 Geen verandering in studieopvatting ‘opbouw van kennis’

verwachtingen toch niet begrepen.  De colleges bestonden gedeeltelijk uit kennisoverdracht, maar daarnaast creëerde de docent ruimte voor individuele denk- en leerprocessen.  Het leren door de docent was niet altijd expliciet zichtbaar, het participeren en evalueren van zijn bijdrage binnen het vak wel.  De docent stelde vragen, hield de voortgang in de gaten, droeg alternatieven aan en vroeg om feedback.

De wil om te delen (en studenten daarmee in staat te stellen te profiteren) De wil om (een zo gunstig mogelijke leeromgeving) te bereiken De wil om vernieuwend te zijn (door het ouder vertrouwde los te laten en op zoek te gaan naar nieuwe en betere leeromstandig heden)

53

Hoofdstuk 5

Conclusie In dit hoofdstuk worden de onderzoeksvragen beantwoord: 1. Welk effect heeft AfL op de leerstijl van studenten? 2. Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent? De resultaten van de (data-)analyses worden in verband gebracht met de bevindingen uit de literatuur. Hier worden conclusies uit getrokken. Daarbij moet rekening gehouden worden met het feit, zoals besproken in paragraaf 3.1.2, dat een beperkte mogelijkheid tot generaliseerbaarheid aan de orde is. De omstandigheden waarin AfL is toegepast en de kenmerken van de onderzoekseenheden zijn dermate specifiek, dat er slechts gegeneraliseerd kan worden naar soortgelijke groepen in vergelijkbare omstandigheden.

5.1 Effect van AfL op leerstijl student De eerste onderzoeksvraag ‘Welk effect heeft AfL op de leerstijl van studenten?’ is beantwoord aan de hand van de vragenlijst en de ILS van Vermunt. Daarnaast zijn de bevindingen aangevuld met notities uit de logboeken of het dagboek. De effecten van de toepassing van AfL op de leerstijl van studenten worden gestructureerd aan de hand van de vier verschillende leerstijlen: de betekenisgerichte leerstijl, de toepassingsgerichte leerstijl, de reproductieve leerstijl en de ongerichte leerstijl (Vermunt, 1998).

5.1.1 Betekenisgerichte leerstijl Studenten met een betekenisgerichte leerstijl maken gebruik van zelfsturing, worden beïnvloed door een persoonlijke interesse in leren en hebben als doel de opbouw van kennis die gerelateerd is aan ervaringen of onderlinge verbanden met eerder opgedane kennis (Vermetten et al., 1999). Het bevorderen van autonomie en zelfsturing door betrokkenheid bij het eigen leerproces is het belangrijkste doel van AfL (Black et al., 2006). In dit onderzoek werd daarom een positieve invloed van AfL op zelfsturing verwacht. Op basis van de resultaten van de ILS mag geconcludeerd worden dat er inderdaad een verschuiving naar meer gebruik van zelfsturing heeft plaatsgevonden. Dit komt overeen met de bevindingen op basis van de logboeken dat studenten meer autonoom te werk zijn gegaan en onder andere middels groepsdiscussies en groepswerk betrokken waren bij vormgeving van de leerprocessen. Uit het derde deel van de zelfontworpen vragenlijst blijkt echter dat er geen veranderingen zijn opgetreden in de mate waarin studenten belang hechten deze betrokkenheid. De resultaten van de ILS en de zelfontworpen vragenlijst spreken elkaar tegen. Een verklaring daarvoor zou kunnen zijn dat de vraagstelling van de zelfontworpen vragenlijst ruimte laat voor twijfel over de oorzaak of de afwezigheid van de verschillen tussen voor- en nameting. Deze zijn mogelijk niet

54

veroorzaakt door de implementatie van AfL, maar doordat studenten tijdens het volgen van het vak bepaalde zaken gemist hebben en er daarom meer aan belang hechten. Het is ook mogelijk dat studenten bepaalde zaken juist positief hebben ervaren en er daarom een onveranderd effect aan hechten. Deze beperking wordt besproken in hoofdstuk 6: Discussie. Tijdens het grotendeels zelfgestuurde leerproces worden studenten met een betekenisgerichte leerstijl beïnvloed door een persoonlijke interesse in leren (Vermetten et al., 1999). Deze studenten willen zich persoonlijk ontwikkelen en formuleren daarbij eigen doelen. Deze mate van persoonlijke inbreng is kenmerkend voor AfL (Black & William, 1998a). Verwacht werd daarom een meer persoonlijk geïnteresseerd studiemotief met als doel het opbouwen van kennis en het leggen van verbanden. Deze verwachte effecten van de implementatie van AfL zijn niet aangetoond op basis van de ILS. Er is geen verschil tussen de voor en nameting opgetreden. Op basis van de literatuur werd verwacht dat AfL als effect zou hebben dat studenten meer gebruik zouden maken van de betekenisgerichte leerstijl. Naast het opgetreden effect met betrekking tot de regulatiestrategie zelfsturing zijn er op het gebied van deze leerstijl echter geen andere veranderingen aangetoond. Geconcludeerd kan worden dat studenten meer gebruik maken van deze leerstijl, maar minder dan verwacht.

5.1.2 Reproductiegerichte leerstijl Studenten met een reproductiegerichte leerstijl maken bij het leren vooral gebruik van stapsgewijze verwerkingsstrategieën waarbij weinig aandacht wordt besteed aan het leggen van verbanden. Deze studenten worden daarbij extern gestuurd door bijvoorbeeld de docent. Het doel is het opnemen/onthouden van kennis. In deze leerstijl werkt de student testgericht en certificaatgericht, de focus ligt op het neerzetten van goede prestaties en het ontvangen van erkenning daarvan (Vermetten et al., 1999). Het doel van AfL is het stimuleren van zelfstandigheid en het inzichtelijk maken van leerprocessen (Black & William, 1998b; Black et al., 2006). Dit staat bijna lijnrecht tegenover de omschrijving van de reproductiegerichte leerstijl. Op basis van literatuur werd daarom een afname met betrekking tot het gebruik van de reproductiegerichte leerstijl verwacht. In de AfL-praktijk staat het leerproces centraal en wordt het behalen van een voldoende voor het vak als secundair doel gezien (Clark, 2008). Daarom werd verwacht dat studenten minder certificaat- en testgericht zouden zijn en zou het onthouden van kennis een kleinere rol moeten spelen. Van studenten werd, zoals onderbouwd in paragraaf 5.1.1, juist meer zelfsturing in plaats van gebruik van externe sturing verwacht. Uit de analyse van de antwoorden van studenten op de vragen van de ILS is gebleken dat de toepassing van AfL tijdens het vak, in overeenstemming met de verwachtingen, heeft geleid tot minder gebruik van externe sturing. Tegen de verwachting in moet ook geconcludeerd worden dat de studenten zich een 55

meer certificaatgericht studiemotief hebben aangemeten. Het behalen van het vak werd in grotere mate een belangrijk doel. Een verklaring daarvoor zou kunnen zijn dat studenten in verband met twijfels of onzekerheden op safe hebben gespeeld en daarom dit doel hebben gesteld. Deze beperking wordt besproken in hoofdstuk 6: Discussie. Op het gebied van het gebruik van de stapsgewijze verwerkingsstrategie (het onthouden van losse feiten) en het testgericht leren, hebben zich geen veranderingen voorgedaan. AfL heeft op het gebruik van de reproductiegerichte leerstijl zowel een positief als negatief effect gehad. Er is als gevolg daarvan geen eenduidige uitspraak te doen met betrekking tot het effect van AfL op het gebruik van deze leerstijl.

5.1.3 Toepassingsgerichte leerstijl Vermetten, Lodewijks en Vermunt (1999) omschrijven studenten met een toepassingsgerichte leerstijl als gebruikmakend van concrete verwerkingsstrategieën door tijdens het leren verbanden te leggen met concrete eigen ervaringen. Deze studenten maken gebruik van zowel externe sturing als zelfsturing. Ook zijn deze studenten van mening dat kennis in verband moet worden gebracht met de praktijk om zo kwalificaties voor een bepaald beroep op te doen. Door toepassing van AfL werd een mix van positieve en negatieve effecten met betrekking tot deze leerstijl verwacht. In paragraaf 5.1.1 en 5.2.1 zijn de verwachtingen met betrekking op zelfsturing en externe sturing onderbouwd. Op basis van de resultaten van de ILS is, in overeenstemming met de verwachting, aangetoond dat studenten meer gebruik maakten van zelfsturing en minder van externe sturing. Daarmee kan echter niet geconcludeerd worden dat er veranderingen zijn opgetreden met betrekking tot het gebruik van een combinatie van beide sturingsvormen, zoals bij de toepassingsgerichte leerstijl het geval is. Ook werd al genoemd dat Clark (2008) van de studenten verwacht dat zij door toepassing van AfL meer persoonlijk gemotiveerd zouden zijn om te leren. Daarom werd in dit onderzoek verwacht dat studenten ook minder beroepsgericht zouden leren waarbij de opleiding enkel als pure noodzaak voor het verwerven van een baan gezien wordt. Op basis van de resultaten van de statistische analyse mag geconcludeerd worden dat deze verwachting is uitgekomen, dus dat studenten een minder beroepsgericht studiemotief hadden. Daarnaast is het in de AfL praktijk van belang dat docenten voor aanvang van het leerproces doelen opstellen. Ook van studenten wordt verwacht dat zij doelen formuleren (Black & William, 1998a; Juwah et al., 2004; Sadler, 1989). Doelen die de student opstelt, brengen de studiestof in verband met ervaringen uit de concrete praktijk die de student kent. Dit komt overeen met het gebruik maken van concrete verwerkingstrategieën, waarvan daarom een verhoogd gebruikt verwacht werd. Deze verwachting is niet uitgekomen. Er is geen verandering opgetreden.

56

Met betrekking tot slechts één van de vier leercomponenten, waaruit iedere leerstijl bestaat, is een verandering aangetoond. Het effect van AfL op het aanmeten van de toepassingsgerichte leerstijl is daarom niet eenduidig. Er kan alleen gezegd worden dat de studenten zich in mindere mate een beroepsgericht studiemotief hebben aangemeten.

5.1.4 Ongerichte leerstijl De vierde leerstijl betreft de ongerichte leerstijl. Studenten met deze leerstijl maken nauwelijks gebruik van verwerkingsstrategieën. Ze hebben moeite met zelfsturing, maar zijn ook niet in staat om zich extern te laten sturen. Tevens hebben ze geen duidelijk studiemotief. De studenten verwachten dat het onderwijs stimulerend is. Samenwerking is voor deze studenten een gunstige manier om tot leren te komen (Vermetten et al., 1999). In de context van AfL wordt leren gezien als een gericht en sociaal proces (Black & William, 1998a). Daaruit komt de verwachting van een vermindering in het hebben van een ongerichte leerstijl voort, want AfL stimuleert studenten juist om (gedeeltelijk) onafhankelijk van de docent zelfstandig sturing te geven aan het leerproces (zelfsturing). Uit de inhoud van de logboeken is te concluderen dat de verwachtingen van de docent niet langer toonaangevend waren. In plaats daarvan waren de verwachtingen en doelen van de student belangrijker. Uit de logboeken blijkt echter ook dat studenten het lastig vonden om zonder nadrukkelijke ondersteuning en kant-en-klare criteria van de docent criteria op te stellen om daarmee sturing en inhoud te geven aan hun opdracht. Tegen verwachting in heeft AfL dan ook als effect gehad dat studenten, naast meer zelfregulerend, meer stuurloos zijn geworden. Tevens is een verandering met betrekking tot de studieopvatting van studenten opgetreden. De studieopvatting die bij studenten met een ongerichte leerstijl past, is een combinatie van het hechten van waarde aan samenwerking en de verwachting dat het onderwijs een stimulerende rol heeft (Vermetten et al., 1999). Uit de logboeken is gebleken dat studenten gezien de groepsgrootte en de vormgeving van het vak grotendeels afhankelijk waren van peer-assessment. In de literatuur wordt dit omschreven als een proces waarbij de student door medestudenten beoordeeld wordt en van hen feedback ontvangt (Juwah et al., 2004; Lauf & Dole, 2010). Daarnaast blijkt uit de logboeken en het dagboek dat studenten die met een groep aan de uitwerking van de opdracht werkten vooral gebruik maakten van feedback van groepsgenoten / medestudenten. De werkwijze van deze studenten kwam overeen met coöperatief leren van Johnson, Johnson en Smith (1991) waarbij studenten elkaar individueel verantwoordelijk houden voor een specifiek onderdeel van een taak en de losse delen uiteindelijk samenvoegen. Studenten die kozen voor een individuele uitwerking van de opdracht maakten meer gebruik van feedback van de docent. De verwachting dat studenten meer waarde zouden hechten aan samenwerking is op basis van de analyse van de ILS uitgekomen. In het verlengde daarvan werd, gezien de rol die formatieve assessment binnen AfL speelt, verwacht dat studenten 57

door toepassing van AfL minder waarde zouden hechten aan feedback met betrekking tot de kwaliteit van het werk en meer waarde zouden hechten aan feedback met betrekking tot leren. Uit het eerste en tweede deel van de zelfontworpen vragenlijst is gebleken dat deze verwachtingen niet zijn uitgekomen. Daarnaast is uit de statistische analyse van de ILS een onveranderde houding ten aanzien van de stimulerende rol van het onderwijs geconstateerd. Er kunnen daarom geen uitspraken gedaan worden over de combinatie van samenwerking en stimulerend onderwijs. Op het gebied van de ongerichte leerstijl heef zich daardoor slechts op één van de vier leercomponenten een overtuigende verandering voorgedaan. Deze verandering wijst, in tegenstelling tot de verwachting, op het in meerdere mate aanwezig zijn van de ongerichte leerstijl. Er moet echter, in verband met de afwezigheid van overige veranderingen en het onduidelijke effect van AfL op de component studieopvatting, geconcludeerd worden dat ook het effect van AfL op deze leerstijl niet eenduidig is.

De hypothese was dat het invoeren van AfL veranderingen in de leerstijl van studenten teweeg zou brengen (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986). Er werd voornamelijk een meer betekenisgerichte leerstijl verwacht. Deze verwachtingen zijn uitgekomen. Er zijn wel een paar onverwachte effecten opgetreden: meer stuurloosheid, meer certificaatgericht. Tevens is een aantal verwachte effecten uitgebleven.

5.2 Bijdrage AfL aan onderzoekende houding docent Assessment for Learning levert op verschillende manieren een bijdrage aan de onderzoekende houding van de docent. Om deze bijdrage in kaart te brengen zijn de tien sleutelelementen van AfL ieder afzonderlijk, zoals weergegeven in paragraaf 4.5, toebedeeld aan één van de aspecten van een onderzoekende houding van Van der Rijst (2009): de wil om kritisch te zijn, te begrijpen, te bereiken, te delen, vernieuwend te zijn en te weten. Per aspect worden de conclusies besproken. Deze zijn gebaseerd op de logboeken, het dagboek en deel 5 van de zelfontworpen vragenlijst.

5.2.1 De wil om kritisch te zijn Een docent met een onderzoekende houding heeft een kritische houding ten opzichte van eigen en andermans handelen (Van der Rijst, 2009). Hier passen twee AfL sleutelelementen bij, namelijk het geven van effectieve feedback en het aanzetten tot self-assessment van studenten. Om effectieve feedback te kunnen geven moet de docent kritisch zijn ten opzichte van het werk en het leerproces van studenten, maar ook ten opzichte van eigen werk. De feedback aan studenten moet effectief zijn zodat studenten mede op basis hiervan vorm kunnen geven aan het verdere verloop van hun leerproces.

58

Hierbij is het principe van scaffolding aan de orde. Dit houdt in dat de docent tijdelijke ondersteuning bij nieuwe leer/denkprocessen biedt (van de Pol et al., 2010). Ook moet de interne feedback, die de docent zichzelf geeft met betrekking tot zijn leerproces effectief zijn. Het aanzetten tot self-assessment valt onder het aspect ‘kritisch zijn’ omdat de docent hiermee de kritische houding van de studenten stimuleert (UK Assessment Reform Group, 1999). De docent heeft, gedurende de periode waarin het vak is aangeboden, op verschillende manieren feedback aan studenten gegeven. Uit de logboeken blijkt dat niet alle studenten optimaal gebruik hebben gemaakt van de mogelijkheid tot het ontvangen van feedback, maar de docent heeft ervoor gezorgd dat geen enkele student geheel zonder het ontvangen van feedback het vak heeft doorlopen. Feedback is niet per definitie effectief (Juwah et al., 2004). Er kan geconcludeerd worden dat de docent middels formatieve feedback kritisch is geweest ten opzichte van de leerprocessen van studenten. Met betrekking tot de kwaliteit van de feedback en hoe deze precies heeft bijgedragen aan sturing van de leerprocessen van de studenten, moet op basis van de data helaas geconcludeerd worden dat de docent weinig of geen inzicht heeft gekregen in de manier waarop studenten de feedback gebruikten. De docent is dus wel kritisch geweest, maar het AfL sleutelelement is slechts in beperkte mate op de juiste manier uit de verf gekomen. Ook het aanzetten tot self-assessment heeft regelmatig plaats gevonden in de colleges. Ook hierover moet gezegd worden dat self-assessment niet automatisch succesvol is. Studenten moeten daarin soms gestuurd of gecorrigeerd worden. Uit de logboeken blijkt niet dat de docent inzicht heeft gekregen in de kwaliteit van de self-assessment van studenten. Op basis van de logboeken valt tevens op dat het handelen van de docent en de blik van zowel de docent als de studenten op het vak bespreekbaar werd gemaakt. De docent deelde in de blog en tijdens colleges zijn twijfels en kritiek en vroeg de studenten hetzelfde te doen. Hiermee probeerde de docent tot verbetering van zijn lesgeven te komen door op behoeften in te spelen. Studenten werden betrokken in het ontwikkelen van omstandigheden ten gunste van optimale leeropbrengsten. Een voorbeeld hiervan is te vinden in het logboek van college twee waar de docent aangeeft dat hij erachter is gekomen dat de studenten de blog meer als een verplichting dan als een kans zagen. De docent speelde hier op in door nogmaals te benadrukken dat studenten ‘vrij’ waren om met of zonder gebruik van de blog inhoud te geven aan hun leerproces. Over het algemeen mag gesteld worden dat de docent, mede gestuurd door de vormgeving van het vak en de toepassing van AfL daarin, een kritische houding heeft aangenomen en de studenten daar ook in heeft gestimuleerd. Op basis van de logboeken is niet aan te tonen dat de docent inzicht heeft in de effectiviteit van de feedback en de kwaliteit van de self-assessment. Studenten hebben middels de vragenlijst aangegeven dat de docent, in vergelijking met andere docenten die niet op een

59

dergelijke actieve manier gebruik maken van AfL, meer kritisch is geweest ten opzichte van zijn eigen handelen, de inhoud, vormgeving en voortgang van studenten tijdens het vak.

5.2.2 De wil om te begrijpen Het tweede aspect van een onderzoekende houding dat Van der Rijst (2009) noemt is de wil om te begrijpen. Een docent die probeert te achterhalen wat het gevolg, de oorzaak of de betekenis van een verschijnsel is, voldoet op dit punt aan het hebben van een onderzoekende houding. Het AfL sleutelelement dat aan dit aspect toebedeeld is, is het begrijpen van invloeden op leren door het erkennen van de invloed die assessment heeft op de motivatie en het zelfvertrouwen, en daarmee op het leren, van studenten (UK Assessment Reform Group, 1999). Uit de logboeken is gebleken dat de docent veel aandacht heeft besteed aan het motiveren van studenten. Dit heeft hij onder andere gedaan door het tonen van filmpjes, het geven van prikkelende reactie op vragen van studenten en het aanhalen van eigen ervaringen van de docent. Daar moet bij vermeld worden dat de docent de studenten heeft uitgedaagd om buiten hun comfortzone te treden, zowel op het gebied van leren als op het gebied van zelfsturing. De docent heeft rekening gehouden met de motivatie en het zelfvertrouwen van de studenten door zich beschikbaar te stellen voor het geven van ondersteuning/feedback. Middels zowel individuele als groepsdiscussies/gesprekken, reflectie- en evaluatiemomenten heeft de docent geprobeerd te begrijpen hoe hij door toepassing van AfL de leeropbrengsten zo positief mogelijk kon beïnvloeden. Op basis van het dagboek kan worden geconcludeerd dat studenten positief reageren tijdens de momenten waarop de vormgeving/ voortgang van het vak besproken wordt. Naarmate het vak vorderde en studenten meer gewend waren aan het interactieve karakter, waren ze minder terughoudend in het bespreekbaar maken van twijfels of problemen. De studenten merken dat de docent hier op in probeerde te spelen in een poging de twijfel weg te nemen en zo een beter werkbare situatie voor de studenten te creëren. Studenten hebben aangegeven dat de docent, in vergelijking met docenten die niet in deze mate gebruik van AfL maken, in grotere mate moeite doet om te begrijpen wat studenten motiveert en aanzet tot leren.

5.2.3 De wil om te bereiken Dit aspect heeft betrekking op de wil om door te zetten en doelgericht te werk te gaan. Bij dit aspect van de onderzoekende houding van de docent in het wetenschappelijke onderwijs passen vier AfL elementen: openheid van zaken, het delen van duidelijke verwachtingen, het aanpassen van het onderwijs en het leren door de docent. Openheid van zaken met betrekking tot verwachtingen, persoonlijke interesses, vaardigheden en grenzen geeft richting aan de manier waarop de docent te werk gaat om een doel te bereiken. Door duidelijke verwachtingen te scheppen en deze te delen met 60

de studenten, is de docent in staat om richting te geven aan de vorderingen die gedurende een cursus/vak gemaakt worden en aan zijn eigen leerproces. Het doorzettingsvermogen van de docent komt tot uiting in het aanpassen van het onderwijs aan de hand van assessment/beoordelingen door zowel studenten als de docent zelf. Bij aanvang van het vak heeft de docent de studenten op de hoogte gesteld van de inhoud van het experiment, het toepassen van AfL tijdens het vak, en waarom hij daar zo enthousiast over is. Uit de logboeken en het dagboek blijkt dat de verwachtingen van de docent regelmatig ter sprake zijn gebracht, maar voor studenten desondanks niet altijd even duidelijk waren. Een voorbeeld hiervan is het door studenten veronderstelde bindende karakter van de leercontracten. De zelfstandigheid die van studenten verwacht wordt, is alleen haalbaar als de verwachtingen vanaf het begin van het vak duidelijk zijn en als daarbij rekening wordt gehouden met persoonsspecifieke vaardigheden en grenzen van zowel de docent als de student (Juwah et al., 2004). Omdat het voor studenten niet in alle gevallen duidelijk was wat de verwachtingen waren, moet geconcludeerd worden dat de mogelijkheid bestaat dat studenten niet optimaal in staat gesteld werden zelfstandig te werk te gaan. Dit strookt niet met het doel (autonomie) van AfL. Op basis van de logboeken kan wel geconcludeerd worden dat de zelfstandigheid waarbinnen studenten opereerden hen de mogelijkheid gaf om hun leerproces en groepsproces af te stemmen op de vaardigheden die zij bezaten en verder wilden ontwikkelen. Dit komt bijvoorbeeld naar voren in het logboek van college vier, waarin de docent benoemt dat de studenten het groepswerk in konden richten op een manier die hen gepast leek. De docent stelde zijn vaardigheden en de vormgeving van het vak regelmatig ter discussie. Met behulp van de inzichten die daarbij aan het licht kwamen was hij in staat te bepalen hoe hij de studenten uit kon dagen tot verbetering en hoe hij op basis daarvan zijn onderwijs aan kon passen. Dat de docent dit gedaan heeft blijkt uit verschillende opmerkingen uit de logboeken. Een voorbeeld hiervan is te vinden in college twee. De docent stelt vast dat de blog bedoeld was als mogelijkheid tot leren en het ontvangen van feedback, maar studenten zagen het meer als een verplichting. De docent is hier tijdens colleges meerdere malen op terug gekomen door de vrijblijvendheid en autonomie op het gebied van leren nogmaals te benadrukken en studenten mee te nemen in de ontwikkeling naar grotere zelfstandigheid op het gebied van leerprocessen. Vooral tijdens het tweede college-uur was het voor de docent niet of in beperkte mate mogelijk om zicht te krijgen op de inhoud van de leerprocessen die gaande waren. Op basis hiervan moet geconcludeerd worden dat de docent zijn onderwijs slechts kon aanpassen aan de hand van aspecten die in het eerste college-uur naar voren kwamen of die door studenten via email zijn aangekaart. Dat het tweede uur minder invloed op de aanpassing van het onderwijs had, is een gemiste kans. Tijdens het tweede college-uur werd namelijk nadrukkelijker tijd besteedden aan de vormgeving en inhoud van persoonlijke leerproces. Verschillende aspecten van AfL kwamen in dat uur veel meer tot uiting dan in het eerste uur. 61

Geconcludeerd mag worden dat de AfL-praktijk heeft aangezet tot verschillende manieren om op een doelgerichte manier het doel, goede leeruitkomsten, te bereiken. Wel zijn er tijdens het vak een aantal omstandigheden aan de orde geweest waardoor de docent hierin beperkt werd. De studenten geven middels deel 5 van de vragenlijst aan dat de docent, in vergelijking met andere docenten in grotere mate de inhoud en vormgeving van de colleges aanpast op de behoeften en de leerprocessen van studenten. Wel moet vermeld worden dat de logboeken voornamelijk prestatiedoelen bevat en geen persoonlijke leerdoelen voor de docent. Daardoor is het op basis van de logboeken in beperkte mate mogelijk om een uitspraak te doen over de mate waarin de docent geleerd heeft hoe hij een effectieve AfL-praktijk vorm geeft.

5.2.4 De wil om te delen De wil om te delen met studenten, docenten of andere belanghebbenden is het vierde aspect van een onderzoekende houding van de docent (Van der Rijst, 2009). De twee sleutelelementen van AfL die aan dit aspect toebedeeld zijn, zijn het stimuleren van betrokkenheid van studenten bij hun eigen leerproces en het faciliteren/coachen van studenten om hen daardoor in staat te stellen tot het nemen van controle over hun eigen leerproces. Het betreffende aspect uit zich in een enthousiasme en een wil om ideeën over te brengen op anderen, maar ook open te staan voor de inbreng van anderen. Uit de logboeken is gebleken dat het delen van bevindingen, gedachtegangen of inzichten door de docent voor de studenten heeft geleid tot kritische reflectie op hun eigen denkwijzen en leerproces. Dit sleutelelement van AfL is duidelijk tot zijn recht gekomen. De faciliterende rol van de docent stelt studenten in staat controle te nemen over hun eigen leerproces. Deze participatieve/democratische stijl van lesgeven, en daarbij het betrekken van de student bij het vaststellen van de inhoud en vormgeving van het vak en de vormgeving en beoordeling van hun leercontract/opdracht, leidt ertoe dat studenten hun leerproces zo effectief mogelijk ten uitvoer brengen en het denkniveau tot een hoger niveau brengen. Wel moet geconcludeerd worden dat het eerste uur van de colleges, vanuit het oogpunt van de studenten, voor een groot deel bestond uit luisteren naar de docent. Het tweede college-uur, waarin studenten de opmerkingen van de docent op hun eigen leerproces toe konden passen, werd daardoor onmisbaar in het kader van AfL. Uit de logboeken blijkt ook dat de gastdocenten, die door de docent waren uitgenodigd, op de hoogte waren van de manier waarop het vak vorm kreeg. De gastcolleges hadden een faciliterend karakter doordat studenten onder begeleiding van experts uit het werkveld kennis maakten met verschillende manier van professionaliseren voor leerkrachten. Tijdens de gastcolleges konden studenten ervaring opdoen. Geconcludeerd mag worden dat de docent op verschillende manieren en om verschillende redenen baat heeft gehad bij, en gebruik heeft gemaakt van, het delen van zijn inzichten. Studenten hebben bij het beantwoorden van de vragenlijst aangegeven dat de docent, in vergelijking met andere 62

docenten, die AfL niet of in mindere mate toepassen, meer actief was in het betrekken van studenten bij kritische reflecties van en inzichten in verschillende aspecten van het onderwijs en de leerprocessen. Ook deelt hij in grotere mate de uitkomsten van zijn eigen reflecties met anderen. 5.2.5 De wil om vernieuwend te zijn Het vijfde aspect van een onderzoekende houding is de wil om vernieuwend te zijn. De docent voldoet hieraan doordat hij bereid en gemotiveerd is om AfL toe te passen in het onderwijs dat hij verzorgt. Deze toepassing is uniek binnen de universiteit. Ook bij dit aspect past een sleutelelement van AfL, namelijk reflecteren. Door te reflecteren, vragen te stellen, nieuwe alternatieven aan te dragen en het analyseren van twijfels en zekerheden, zoals genoemd in de logboeken, werd het vak en daarmee de toepassing van AfL geëvalueerd en heeft de docent regelmatig inzicht gekregen in de voortgang van het project. Daarbij is ervoor gewaakt dat de praktijk inderdaad vernieuwend blijft door ervoor te zorgen dat AfL op de juiste manier werd toegepast. Dit komt bijvoorbeeld terug in het logboek van college drie, waarin wordt aangegeven dat het in eerste instantie de bedoeling was om van leren een sociaal proces te maken door samen te werken in groepen. De docent heeft tijdens dat college aangegeven dat het niet verplicht is om in groepen te werken, maar dat de overweging tussen groepswerk en individueel werk dan een opzichzelfstaande leerervaring kon zijn. Terugval in het oude patroon van kennisoverdracht door de docent, waarbij studenten grotendeels afhankelijk van de docent zijn, werd in de logboeken regelmatig opgemerkt. Doordat de docent zich hiervan bewust was, was hij in staat zijn handelen aan te passen en vernieuwend te blijven. Ook kreeg de docent tijdens reflectiemomenten inzicht in hoe de praktijk verbeterd kon worden om AfL zo goed mogelijk tot haar recht te laten komen. Op basis van de logboeken en het dagboek is geen duidelijk overzicht op te stellen van de verbeteringen die hieruit voortgekomen zijn. Het is daarom ook niet mogelijk een conclusie te trekken met betrekking tot de kwaliteit van die verbeteringen. De docent van het vak heeft met het toepassen van AfL, het bewaken van de kwaliteit daarvan en het zoeken naar nieuwe inzichten aangetoond een onderzoekende houding te hebben. Studenten hebben middels de vragenlijst aangegeven dat de betreffende docent meer actief is in het zoeken naar mogelijkheden tot verbetering met betrekking tot zijn handelen en de inhoud van het vak dan andere docenten in het algemeen.

5.2.6 De wil om te weten De neiging om te willen weten, het zesde aspect van de onderzoekende houding van de docent, heeft betrekking op nieuwsgierigheid naar het onbekende (Van der Rijst, 2009). Een docent die aan dit aspect voldoet is leergierig en gemotiveerd om meer te willen weten. Het AfL sleutelelement dat aan 63

dit laatste aspect is toebedeeld, is het leren door de docent. In de AfL praktijk is het van belang dat de docent leert, participeert en zijn bijdrage binnen het vak evalueert. Hij wil meer te weten komen om zo tot een optimale onderwijssituatie te komen. De wil om te weten heeft betrekking op leergierigheid en nieuwsgierigheid. De lerende houding van de docent was zichtbaar door participatie van de docent aan klassikale discussies, groepsdiscussies en de beschikbaarheid voor individuele gesprekken. Heel regelmatig probeerde de docent de vormgeving van het vak, het effect van AfL en zijn eigen handelen met behulp van dialoog te evalueren en tot nieuwe inzichten te komen. Geconcludeerd mag worden dat de toepassing van AfL de docent uitdaagt tot het ontwikkelen van en/of handelen conform zijn leergierigheid en nieuwsgierigheid. De betreffende docent heeft hier op verschillende manier vorm aan gegeven, maar, zoals in paragraaf 5.2.5 vermeld, is het op basis van de logboeken niet mogelijk om uitspraken te doen met betrekking tot de kwaliteit van de verbeteringen.

De hypothese was dat het gebruik van AfL een positieve bijdrage levert aan de onderzoekende houding van de docent (Black & William, 1998a; 1998b; James & McCormick, 2009). Op basis van het onderzoek is te concluderen dat de toepassing van de tien sleutelelementen van AfL een (positieve) bijdrage heeft geleverd aan alle zes aspecten van de onderzoekende houding van de docent, zoals door Van der Rijst (2009) omschreven. De precieze mate waarin deze bijdrage positief was, is op basis van dit onderzoek niet in kaart te brengen.

64

Hoofdstuk 6

Discussie In dit hoofdstuk worden de beperkingen van het onderzoek en aanbevelingen voor vervolgonderzoek besproken. De aanbevelingen worden aangevuld met mogelijke hypothesen met betrekking tot de toepassing van AfL in het hoger onderwijs.

6.1 Beperkingen van het onderzoek en suggesties voor vervolgonderzoek Zoals elk onderzoek, kent ook dit onderzoek een aantal beperkingen die mogelijk invloed hebben gehad op de uitkomsten en conclusies. In deze paragraaf worden deze beperkingen en suggesties voor verbetering weergegeven.

Om bij het begin van het onderzoek te beginnen, moet de beperking van het ontbreken van een tijdige literatuurstudie als eerste worden genoemd. Door een korte tijd tussen kennismaking met de docent en de start van het vak was het niet mogelijk om voor het eerste college, waarin de voormeting heeft plaatsgevonden, de literatuurstudie af te ronden. Hierdoor was pas na de dataverzameling (voor- en nameting van de zelfontworpen vragenlijst en mijn inbreng in de logboeken) helder inzicht in AfL ontstaan. Als gevolg hiervan moet de doeltreffendheid en efficiëntie van beide dataverzamelingsmethoden in twijfel getrokken worden en is er mogelijk een beperking met betrekking tot de te trekken conclusies opgetreden. Een tijdige literatuurstudie had wellicht geleid tot instrumenten die meer gericht waren op het vinden van een zo volledig mogelijk antwoord op de onderzoeksvragen. Zo had bijvoorbeeld de kwaliteit van de handelingen van de docent, zoals de kwaliteit van de gegeven feedback of van de veranderingen in het lesgeven, kunnen/moeten worden meegenomen om de onderzoekende houding van de docent beter in beeld te brengen. De tweede beperking die dit onderzoek kent, heeft ook te maken met de gebruikte instrumenten. De logboeken hadden meer betrekking op de tien sleutelelementen van AfL moeten hebben, om er betere uitspraken over te kunnen doen. Tijdens dit onderzoek zijn de tien sleutelelementen pas achteraf aan de doelen in de logboeken gekoppeld. Daardoor ontstaat in de resultaten een zekere mate van herhaling. De resultaten overlappen elkaar gedeeltelijk, waardoor er mogelijk een vertekend beeld is ontstaan. Vervolgens werden deze weer afzonderlijk gekoppeld aan de zes aspecten van een onderzoekende houding van de docent. Hierdoor was de docent in mindere mate in staat om inzicht te verwerven met betrekking tot zijn implementatie van AfL en was de link met de onderzoekende houding moeilijker te leggen. Bovendien kan ter discussie gesteld worden of de sleutelelementen van AfL afzonderlijk kunnen worden toegedeeld aan één van de aspecten van de 65

onderzoekende houding van de docent. Het is wellicht niet terecht om een dergelijk zwart-wit onderscheid te veronderstellen. De tweede vragenlijst is een zelfontworpen vragenlijst, die op een globale literatuurstudie gebaseerd is. Deze is in verband met het eerder genoemde tijdgebrek niet van tevoren getest op betrouwbaarheid. Aan de hand van deze vragenlijst zijn weinig significante effecten aangetoond. De significante verschillen die wel zijn aangetoond kunnen door de vraagstelling in twijfel getrokken worden. Er is namelijk discussie mogelijk of de verschillen tussen voor- en nameting veroorzaakt zijn door de implementatie van AfL of dat studenten tijdens het volgen van het vak bepaalde zaken gemist hebben en daarom meer belang hechten aan bijvoorbeeld inzicht in de kwaliteit van hun werk en begeleiding bij hun individuele leerproces door de docent, zoals gebleken is aan de hand van de resultaten van de vragenlijst. Het toepassen van een bestaand instrument heeft de voorkeur. Baarda en De Goede (2006) stellen namelijk dat met behulp van betrouwbare en valide instrumenten nauwkeuriger testen op bestaande verbanden. Wellicht waren er dan, zoals verwacht, meer effecten aangetoond. De kwantitatieve instrumenten die zijn gebruikt, de ILS en de vragenlijst, vragen beide om zelfrapportage van de respondenten. Aan zelfrapportage is een belangrijk nadeel verbonden. De vragenlijsten meten namelijk niet de handelingen van studenten, maar de ideeën die studenten daar zelf over hebben. Zelfrapportage laat ruimte voor subjectiviteit en de resultaten ervan zijn door vele factoren beïnvloedbaar (Baarda & De Goede, 2005). Een suggestie voor verder onderzoek zou dan ook zijn om de negatieve effecten van zelfrapportage zoveel mogelijk uit te sluiten of te kiezen voor een vorm van dataverzameling die complementerend aan zelfrapportage is. De vierde beperking die het onderzoek met zich meebrengt heeft betrekking op de momenten waarop de voor- en nameting hebben plaatsgevonden. Voor de dataverzameling van de voormeting hebben studenten de vragenlijsten mee naar huis gekregen en zijn ze ook online beschikbaar gesteld. De nameting heeft tijdens het laatste college in de collegezaal plaatsgevonden. Een suggestie voor vervolgonderzoek is het zoveel mogelijk gelijk houden van de omstandigheden waaronder de vragenlijsten worden ingevuld. Dit voorkomt ongewenste invloed van storende variabelen op de antwoorden die studenten geven. Daarnaast is het voor vervolgonderzoek belangrijk om rekening te houden met de mate van vordering van studenten ten tijde van het invullen van de vragenlijst. Tijdens het begin van het vak proberen studenten hun draai nog te vinden en zijn ze bezig met het creëren van overzicht met betrekking tot de inhoud en vormgeving van het vak. Op het moment van de nameting waren veel studenten aan het werk met hun opdracht. Sommigen van hen zaten al in de afrondende fase anderen zagen de naderende deadline voor het inleveren van de opdracht misschien als een bedreiging. De gevonden effecten zijn dan misschien niet het effect van de implementatie van AfL, maar van de invloed van de verschillende gemoedstoestanden op de antwoorden die studenten geven op de vragen die gesteld worden. 66

Een andere beperking van het onderzoek is het aantal respondenten. Niet alle studenten waren bij zowel de voor- als de nameting aanwezig. In dit onderzoek is voor het grootste deel alleen de data van studenten, die aan beide metingen hebben meegedaan, meegenomen. Daardoor was het aantal respondenten laag. Een klein aantal respondenten leidt tot een kleinere ‘statistische power’ (Drenth & Sijtsma, 2006). Hierdoor was de kans op significante effecten kleiner. Daarnaast is de groep respondenten niet helemaal representatief voor de totale groep studenten die het vak gevolgd hebben. Alle internationale studenten zijn uitgesloten van deelname, zij waren tijdens de nameting geen van allen aanwezig. Daarnaast bestaat de mogelijkheid dat de studenten die aanwezig waren bij zowel het eerste als laatste college meer gemotiveerd zijn voor het halen van het vak. Dit kan van invloed zijn geweest op de effecten die aan de hand van de data-analyse zijn vastgesteld. Bij vervolgonderzoek of herhaling van dit onderzoek zou, tijdens het opzetten van het onderzoek, nagedacht moeten worden over het benaderen van de steekproefpersonen. De zesde beperking van het onderzoek is het aantal respondenten dat tussen de voor- en nameting geen voor- of achteruitgang vertoont. Dit geldt vooral voor veel items van de zelfontworpen vragenlijst. Voor de analyse levert dit beperkingen op. Respondenten die op een item geen verandering vertonen, worden namelijk uitgesloten van de analyse. Dit werd gedaan omdat de Wilcoxon rangtekentoets niet uit te voeren is met knopen in de data, maar het gevolg hiervan was wel dat het aantal respondenten in de analyse soms erg laag was. Door het kiezen van een grotere steekproef zijn de effecten van AfL nauwkeuriger in beeld te brengen. Niet alleen het aantal respondenten heeft invloed op het vinden van significante verschillen. De grootte van de groep studenten die het vak volgden, had invloed op de mogelijkheid tot het geven van individuele feedback. Daarnaast heeft de groepsgrootte mogelijk invloed op de betrokkenheid van de studenten, het inzicht in de leerprocessen van de studenten voor de docent en de steun/sturing door de docent die de student ervaart. Het toepassen van AfL tijdens een vak met een kleinere groep studenten kan daarom andere resultaten opleveren. Bij de dataverzameling van dit onderzoek is gevraagd naar de eerste taal en de vooropleiding van de studenten. Voor vervolgonderzoek is het mogelijk waardevol om meerdere extra variabelen mee te nemen. De leeftijd van de steekproefpersonen was namelijk behoorlijk divers. Daarnaast is een deel van de steekproefpersonen werkzaam in het onderwijs of daaraan gerelateerde instellingen. Werkervaring zou bijvoorbeeld samen kunnen hangen met een bepaalde leerstijl. Werkervaring en leeftijd hangen vaak positief met elkaar samen, daarom is het niet ondenkbaar dat leeftijd ook samenhangt van leerstijl. Tevens kan het al dan niet hebben van succeservaringen in het onderwijs, bijvoorbeeld het regelmatig succesvol zijn in het afsluiten van vakken, invloed hebben op de leerstijl die studenten zich aanmeten. De ene student zal daardoor misschien meer vatbaar zijn voor het effect van AfL op zijn/haar leerstijl dan de andere student. 67

Uit de data is gebleken dat de meeste studenten hebben aangegeven dat ze dachten dat het feit dat het vak in het Engels gegeven werd een negatieve invloed op hun participatie en leeropbrengsten zou hebben. In de logboeken is meerdere keren aangegeven dat de klassikale discussies niet altijd even goed van de grond kwamen. Studenten hebben aangegeven dat de taalbarrière hier invloed op heeft gehad. Mogelijk zijn de leeropbrengsten en veranderingen in leerstijl hierdoor vertekend. Een suggestie voor vervolgonderzoek is daarom het uitvoeren van onderzoek naar het effect van AfL op de leerstijl van studenten in een groep studenten, die Nederlands als de eerste taal heeft, en waarbij de docent in het Nederlands doceert. De tiende en laatste beperking die hier besproken wordt is de mogelijke vertekening van de effecten van AfL op de leerstijl van de studenten door de korte tijd waarin AfL toegepast is. Zowel de studenten als de docent hebben aangegeven dat zeven weken te weinig tijd is om helemaal te wennen aan de diverse aspecten van AfL. De betreffende studenten volgen al jaren onderwijs waarin ze meer afhankelijk zijn van de docent. Ze zijn niet meer gewend om in grote mate zelf inhoud en sturing te geven aan hun leerproces. Het is bijvoorbeeld mogelijk dat studenten hierdoor aan het eind van het vak, tegen de verwachting in, zich meer stuurloos hebben gevoeld. Het zou daarom voor het inzicht in de effecten van AfL op de leerstijl van de studenten bevorderlijk zijn om AfL gedurende een langere periode toe te passen en de veranderingen in leerstijl gedurende die periode in kaart te brengen.

6.2 Aanbevelingen en mogelijke hypothesen Het onderzoek heeft een aantal significante effecten opgeleverd. Daarnaast kende het onderzoek een aantal beperkingen, waardoor de gevonden effecten mogelijk vertekend waren en bestaande effecten mogelijk niet aangetoond werden. Ook kent het onderzoek een beperkte generaliseerbaarheid. Daaruit zijn een aantal aanbevelingen en hypothesen voortgekomen, die in deze paragraaf besproken worden.

De eerste aanbeveling is het meer benadrukken van de beschikbaar van de docent voor het geven van feedback en de kwaliteit ervan. Voor de studenten uit de steekproef was de toepassing van AfL, en de daarbij horende vrijblijvendheid en eigen verantwoordelijkheid, nieuw. Het kost tijd om daar aan te wennen. Het extra benadrukken van de feedbackmogelijkheden, zeker in de beginfase van de toepassing van AfL, is essentieel. Daarmee is het voor het onderzoek goed om de kwaliteit van de gegeven/ontvangen feedback in kaart te brengen om zo nauwkeurige uitspraken te kunnen doen over het effect van effectieve feedback op de leerstijl van studenten. Hypothese: Het ontvangen van effectieve feedback leidt tot, minder stuurloosheid, minder certificaat gericht werken en meer gebruik van de betekenisgerichte leerstijl door studenten.

68

Een onverwachte uitkomst van het onderzoek was dat studenten meer gebruik maakten van een stuurloze regulatiestrategie. AfL. De vrijheid en eigen verantwoordelijkheid vergen een zekere mate van zelfsturing door de student. De studenten waren dit niet gewend. Het is mogelijk dat studenten hierdoor, tegen de verwachting in, zich meer stuurloos hebben gevoeld. Het onverwacht aangetoonde effect dat studenten meer certificaatgericht te werk zijn gegaan, was mogelijk een gevolg van deze onwennigheid en het gevoel van stuurloosheid. Door zich te richten op het behalen van het vak, speelden de studenten op safe. Een mogelijk logische gevolgtrekking hieruit is dat de effecten van de toepassing van AfL zich op de lange termijn stabiliseren of zelfs pas laten zien. De aanbeveling voor het toepassen van AfL in het hoger onderwijs is daarom het verlengen van de periode van toepassing. Hypothese: Langdurige toepassing van AfL en daarbij volledige gewenning van studenten leidt, zoals verwacht, tot minder stuurloosheid en certificaatgericht werken onder studenten. Hypothese: Effecten van de toepassing van AfL op de leerstijl van studenten stabiliseren en/of verschijnen bij langdurige invoering.

Uit de vakevaluatie, door studenten ingevuld, is gebleken dat het Engels van de docent goed te volgen is. Studenten hebben echter bij het invullen van de vragenlijst aangegeven dat voornamelijk hun actieve betrokkenheid tijdens colleges negatief beïnvloed wordt door het feit dat het vak in het Engels gegeven werd. Van masterstudenten mag verwacht worden dat zij in staat zijn om in het Engels te communiceren, maar de docent was bereid om bijdragen aan de groepsdiscussie naar het Engels te vertalen. Dit is slechts enkele keren voorgekomen. Een behoorlijke groep studenten heeft zich stil gehouden, waaronder de internationale studenten. De aanbeveling is om ervoor te zorgen dat de taal een lage drempel vormt voor deelname aan de groepsdiscussies. Dit kan bijvoorbeeld gedaan worden door het verkleinen van de groepen. Hypothese: Door deelname aan de groepsdiscussies laagdrempelig te maken met betrekking tot de taal waarin gecommuniceerd wordt, zullen meer studenten deelnemen aan de gesprekken en zullen zij er wat betreft hun leer- en denkproces meer van profiteren.

De studenten hebben aangegeven dat de eisen, die aan de opdrachten werden gesteld, onduidelijk waren. De docent heeft, zoals uit de resultaten van dit onderzoek is gebleken, zijn verwachtingen vanaf het begin van het college met de studenten gedeeld. Duidelijke criteria voor de opdracht waren inderdaad niet aanwezig. Voor studenten waren de eisen, die voor masterstudenten van toepassing zijn, beschikbaar. Van studenten werd verwacht dat zij zelf criteria opstelden die bij hun leerproces en opdracht pasten. Het is aan te bevelen om hier samen met de studenten meer aandacht aan te besteden, zodat studenten zich hier vanaf het begin van het vak bewust van zijn en zich minder stuurloos voelen. 69

Hypothese: Door studenten beter te informeren over de criteria die ze zelf op moeten stellen, zullen studenten beter weten waar ze aan toe zijn en zich minder stuurloos voelen.

Uit de vakevaluatie is gebleken dat de studenten van mening zijn dat de behandelde literatuur hen slechts in beperkte mate begrip van de leerstof gaf. In mijn reactie op de logboeken heb ik een soortgelijke opmerking geplaatst. AfL en de autonomie van de student brengt een breed scala aan onderwerpen van de opdracht met zich mee. Deze hebben allemaal te maken met professionalisering, maar houden niet allemaal even duidelijk verband met de verschillende methoden van professionaliseren die tijdens het eerste uur van de colleges werd besproken. Daarnaast zijn studenten gewend aan kennisoverdracht door de docent, zoals Santrock (2009) beschrijft. Ze gaan er daarom van uit dat het de bedoeling is dat zij van alle methoden tot in detail op de hoogte zijn. Hypothese: Door regelmatiger overzicht van de behandelde en te behandelen stof te creëren, zijn studenten beter in staat hun leerproces in het geheel van het vak te plaatsen. Hypothese: Door duidelijker aan te geven dat van studenten niet verwacht wordt dat zij ‘expert’ worden op het gebied van alle behandelde methoden van professionalisering, zullen studenten zich vrijer voelen om van de colleges op te pikken wat een bijdrage levert aan hun leerproces.

Ten slotte de laatste en belangrijkste aanbeveling. Gezien de effecten, het enthousiasme en de overwegend goede leeruitkomsten die AfL op korte termijn teweeg heeft gebracht, is de aanbeveling om AfL toe te blijven passen en studenten daarbij zelf vorm te laten geven aan de opdracht. De laatste hypothese wordt niet alleen door dit onderzoek, maar ook door de literatuur onderschreven. Hypothese: Assessment for Learning bevordert de autonome rol van de student en verhoogt de motivatie tot leren. Hetgeen van deze studenten effectievere lifelong learners maakt.

70

Literatuurlijst Baarda, D. B., & De Goede, M. P. M. (2005). Basisboek Kwalitatief Onderzoek. Handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek. (2nd ed.). Groningen/Houten: WoltersNoordhoff. Baarda, D. B., & De Goede, M. P. M. (2006). Basisboek Methoden en Technieken: Handleiding voor het opzetten en uitvoeren van kwantitatief onderzoek (4th ed.). Groningen/Houten: WoltersNoordhof. Black, P., McCormick, R., James, M., & Pedder, D. (2006). Learning How to Learn and Assessment for Learning: A Theoretical Inquiry. Research Papers in Education, 21(2), 119-132. Black, P., & William, D. (1998a). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7-74. Black, P., & William, D. (1998b). Inside the Black Box--Raising Standards through Classroom Assessment. Phi Delta Kappan, 20(2), 139-144. Boeije, H. R. (2005). Analyseren in kwalitatief onderzoek: denken en doen. Amsterdam: Boom onderwijs. Boyle, W. F., & Charles, M. (2010). Leading Learning through Assessment for Learning? School Leadership & Management, 30(3), 285-300. Brinkman, J. (2000). De vragenlijst. Groningen/Houten: Wolters-Noordhoff. Butler, D. L., & Winne, P. H. (1995). Feedback and Self-Regulated Learning: A Theoretical Synthesis. Review of Educational Research, 65(3), 245-281. Clark, I. (2008). Assessment is for learning: Formative assessment and positive learning interactions. Florida Journal of Educational Administration & Policy, 2(1), 1-16. Cooper, D. (2006). Talk About Assessment: Strategies and Tools to Improve Learning. Toronto: ON: Thomson Nelson. Cresswell, J., & Garrett, A. L. (2008). The “movement” of mixed methods research and the role of educators. South African Journal of Education, 28, 321-333. Crooks, T. J. (1988). The Impact of Classroom Evaluation Practices on Students. Review of Educational Research, 58(4), 438-81. Dijkstra, W., & Smit, J. H. (1999). Onderzoek met vragenlijsten: een praktische handleiding. Amsterdam: VU Uitgeverij. Drenth, P. J. D., & Sijtsma, K. (2006). Testtheorie: inleiding in de theorie van de psychologische test en zijn toepassingen (4th ed.). Houten: Bohn Stafleu van Loghum. 71

Duff, A., Boyle, E., Dunleavy, K., & Ferguson, J. (2004). The relationship between personality, approach to learning and academic performance. Personality and Individual Differences, 36, 1907-1920. Dweck, C. S. (1986). Motivational Processes Affecting Learning. American Psychologist, 41(10), 10401048. Hargreaves, E. (2005). Assessment for Learning? Thinking Outside the (Black) Box. Cambridge Journal of Education, 35(2), 213-224. Hargreaves, E. (2007). The Validity of Collaborative Assessment for Learning. Assessment in Education: Principles, Policy & Practice, 14(2), 185-199. Hoskins, B., & Fredriksson, U. (2008). Learning to learn: What it is and can it be measured? Joint Research Centre Technical Report JRC 46532, Luxembourg: Office for Official Publications of The European Communities. Howard-Rose, D., & Winne, P. H. (1993). Measuring Component and Sets of Cognitive Processes in SelfRegulated Learning. Journal of Educational Psychology, 85(4), 591-604. Hume, A., & Coll, R. K. (2009). Assessment of Learning, for Learning, and as Learning: New Zealand Case Studies. Assessment in Education: Principles, Policy & Practice, 16(3), 269-290. James, M., & McCormick, R. (2009). Teachers Learning How to Learn. Teaching and Teacher Education: An International Journal of Research and Studies, 25(7), 973-982. James, M., McCormick, R., Black, P., Carmichael, P., Drummond, M. J., & Fox, A. (2007). Improving learning how to learn in classrooms, schools and networks. London: Routledge. Johnson, D. W., Johnson, R. T., & Smith, K. (1991). Cooperative Learning: Increasing College Faculty Instructional Productivity. ASHE-ERIC Higher Education Report (4), Clearinghouse on Higher Education, Washington, DC: The George Washington University. Juwah, C., Macfarlane-Dick, D., Matthew, R., Nicol, D., Ross, D., & Smith, B. (2004). Enhancing student learning through effective formative feedback. York: Higher Education Academy (Generic Centre). Lauf, L., & Dole, S. (2010). Assessment for Learning Tasks and the Peer Assessment Process. Mathematics Education Research Group of Australasia. Maso, I., & Smaling, A. (1998). Kwalitatief onderzoek: praktijk en theorie. Amsterdam: Boom. Sadler, D. R. (1989). Formative Assessment and the Design of Instructional Systems. Instructional Science, 18(2), 119-44. Santrock, J. W. (2009). Educational psychology (4th ed.). Boston: McGraw-Hill. Scriven, M. (1966). The Methodology of Evaluation Social Science Education Consortium, Publication 110.

72

Seger, J. H. G. (2002). Methoden voor de maatschappijwetenschappen (2nd ed.). Assen: Van Gorcum. Taras, M. (2007). Assessment for Learning: Understanding Theory to Improve Practice. Journal of further and Higher Education, 31(4), 363-371. Taras, M. (2008). Assessment for Learning: Sectarian Divisions of Terminology and Concepts. Journal of further and Higher Education, 32(4), 389-397. Taras, M. (2009). Summative Assessment: The Missing Link for Formative Assessment. Journal of further and Higher Education, 33(1), 57-69. Torrance, H. (2007). Assessment "as" Learning? How the Use of Explicit Learning Objectives, Assessment Criteria and Feedback in Post-Secondary Education and Training Can Come to Dominate Learning. Assessment in Education: Principles, Policy & Practice, 14(3), 281-294. UK Assessment Reform Group. (1999). Assessment for Learning: Beyond the Black Box. Opgevraagd van http://www.aaia.org.uk/afl/assessment-reform-group. Datum van raadpleging: 10 februari, 2012. Van de Pol, J., Volman, M., & Beishuizen, J. (2010). Scaffolding in Teacher-Student Interaction: A Decade of Research. Educational Psychology Review, 22(3), 271-296. Van der Rijst, R. M. (2009). The research-teaching nexus in the sciences: scientific research dispositions and teaching practice. Unpublished Doctoral dissertation, ICLON, Leiden University Graduate School of Teaching, Leiden. Vermetten, Y. J., Lodewijks, H. G., & Vermunt, J. D. (1999). Een structureel model over de relaties tussen leeropvattingen, regulatie en cognitieve verwerking. Tijdschrift Voor Onderwijsresearch, 24(1), 8-20. Vermunt, J. D. (1998). The regulation of constructive learning processes. British Journal of Educational Psychology, 68(2), 149-171. doi:10.1111/j.2044-8279.1998.tb01281.x Vermunt, J. D. (2005). Relations between Student Learning Patterns and Personal and Contextual Factors and Academic Performance. Higher Education: The International Journal of Higher Education and Educational Planning, 49(3), 205-234. Vermunt, J. D., & Verloop, N. (2000). Dissonance in Students' Regulation of Learning Processes. European Journal of Psychology of Education, 15(1), 75-89. Wall, J. E., & Walz, G. R. (2003). Measuring Up: Assessment Issues for Teachers, Counselors, and Administrators. ERIC Clearinghouse on Counseling and Student Services. Walser, T. M. (2009). An Action Research Study of Student Self-Assessment in Higher Education. Innovative Higher Education, 34(5), 299-306.

73

Bijlagen In de bijlagen zijn verschillende documenten of delen daarvan opgenomen. Vanzelfsprekend is alle data van het project in zijn geheel opvraagbaar.

74

Bijlage 1 Zelfontworpen vragenlijst Name ………………………………………………. Previous education: bachelor program/ schakelprogramma / otherwise: ………………………………………… Mother tongue: Dutch / English / otherwise: …………………………………………. 1 Very important

2 Important

3 Neutral

4 Unimportant

5 Very Unimportant

Feedback on the quality of your work. How important do you think it is to: 1) give feedback to fellow students

1

2

3

4

5

2) receive feedback from fellow students

1

2

3

4

5

3) receive feedback from the teacher during the course

1

2

3

4

5

4) receive feedback from the teacher at the end of the course

1

2

3

4

5

5) get the opportunity to adjust your work using received feedback

1

2

3

4

5

6) give and receive positive feedback

1

2

3

4

5

7) have insight in the quality of your work

1

2

3

4

5

8) know how you can improve the quality of your work

1

2

3

4

5

1) have insight in the progress of your learning

1

2

3

4

5

2) independently evaluate your own learning

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

5) have a teacher who is willing to support you in your individual learning process.

1

2

3

4

5

6) have a teacher who will help you in gaining insight into your own learning

1

2

3

4

5

7) have a teacher who gives you advice on how to improve your learning

1

2

3

4

5

1) have clarified expectations for the course, provided by the teacher

1

2

3

4

5

2) understand what expectations are related to the course

1

2

3

4

5

3) have the teacher point out what prior knowledge he expects from the students

1

2

3

4

5

4) actively involve students in determining the content of the course

1

2

3

4

5

5) actively involve students in how students’ results are evaluated at the end of the course 1

2

3

4

5

6) have the opportunity to ask questions in class.

1

2

3

4

5

7) have the opportunity to ask questions individually (no other students present)

1

2

3

4

5

1

2

3

4

5

Feedback on your learning. How important do you think it is to:

3) know that fellow students consider your motivation and confidence in the feedback they give to you 4) know that the teacher considers your motivation and confidence in the feedback he gives to you

Involvement How important do you think it is to:

8) have a teacher who adapts the content of his lectures to the needs/expectations of the students.

75

1 Strongly Disagree

2 Disagree

3 Undecided

4 Agree

5 Strongly Agree

Statements 1) Receiving feedback during the course is just as important as receiving feedback at the end of the course.

1

2

3

4

5

2) Giving feedback to fellow students is just as important as receiving feedback from them. 1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

6) I am solely responsible for my final grade on this course.

1

2

3

4

5

7) The content and methods of the course must be established in advance by the Teacher.

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

10) Students must be involved in determining the methods and content of the course.

1

2

3

4

5

11) A teacher motivates me by asking questions during lectures.

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

17) The teacher should encourage students to evaluate their own learning process.

1

2

3

4

5

18) The teacher should encourage students to evaluate the teacher’s learning process.

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

22) The fact that the course is given in English negatively influences my active involvement. 1

2

3

4

5

23) The fact that the course is given in English negatively influences my learning gains

2

3

4

5

3) Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher. 4) Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students. 5) Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher.

8) The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan. 9) The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan.

12) A teacher motivates me by providing students with the opportunity to ask questions during lectures. 13) The extent to which I am actively involved in the course depends to a large extent on the teacher. 14) The extent to which I am actively involved in the course depends to a large extent on fellow students. 15) Students should first attempt to get answers on their questions from fellow students. 16) The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself.

19) The teacher should avoid student involvement in evaluating the teacher’s learning process. 20) In advance of the start of the course the student should give some thought to the targets he/she wants to achieve. 21) In advance of the start of the course the student should determine how the course contributes to his/her learning process.

1

76

Bijlage 2 Toevoeging aan vragenlijst bij nameting 1 A lot less frequent

2 Less frequent

3 Undecided

4 More frequent

5 Much more frequent

Ernst’s inquiring attitude In comparison to other teachers Ernst is more/less: 1. critical in reviewing his own actions in class.

1

2

3

4

5

2. actively searching to improve his actions and the content of the course.

1

2

3

4

5

3. actively invites students into a critical discussion about his actions and the course content.

1

2

3

4

5

4. trying to understand what drives students’ learning and motivation.

1

2

3

4

5

5. trying to understand what works for students in lectures.

1

2

3

4

5

6. willing to share his critical reflections of the course content.

1

2

3

4

5

7. actively trying to engage students in discussing the course content and/or his personal input. 1

2

3

4

5

77

Bijlage 3 Fragment ILS In deze bijlage is een fragment van de ILS opgenomen. Zestien items zijn bij de analyse uit de vragenlijst verwijderd: nr. 22, 25, 27, 34, 38, 40, 60, 67, 68, 72, 74, 88, 90, 98, 111 en 116.

78

Bijlage 4 Samenvoeging van de logboeken en de reacties daarop. Goal

AfL Score Guideline Ernst

Score Comments Jorien

2 5 8

2 +/5 +/8 --

2+ 5+ 8-

2 4 5 6

2 +/5 +/6+

4+ 5 +/6+

Collectively discuss key elements (AfL learning contract, working groups, blog, final quiz).

1 2 6 8

1 +/2 +/6+ 8 +/-

1+ 2+ 6 ++ 8 +/-

Activate questions, thoughts, worries and proposals.

2 10

2 -10 --

2 +/10 +

College 1 Challenge students into thinking/learning about improving professionalisation and care for themselves.

Explain/enthuse students about taking charge of their learning.

(Complete logboeken zijn op te vragen)

E: In all, the teaching plan needed too much foreknowledge to be communicated, which made the lecture teaching-focussed and pushed conversation ‘to the back-seat’ – a clear case of not practising what I was preaching. J: You made clear that this course emphasizes the students’ learning process. This course is an opportunity to learn. For those students who didn’t read the emails, documents and information on Nestor the expectations are not as clear as could be. E: This part seemed to work somewhat better, since the surprise triggered students into a learning mode – put them outside their comfort zone. It was clear that students were invited to instrumentalise their own learning – and quick! J: The experiment was explained from a teacher’s point of view. As a student I would conclude that you are experimenting with your own teaching style. Using examples (blog etc.) gave better insight to the freedom which the learner was going to experience and how the student is owner of his/her learning activities. By using your experiences in education you were enthusing students to take charge of their own learning. E: I managed to introduce all the elements I had planned, but because they were new to students it probably seemed a lot, overwhelming, and a little confusing. I was however clear about my expectations, about freedoms and obligations; so on their part this was a leap of faith… While the instruments were all meant as facilitating, that is probably not how they were seen at that point by the students. J: A brief overview of the elements and the expectations you have of students using these elements on one of the powerpoint slides would have reduced uncertainties. A student sent you an email about the deadline on the eleventh of January. You very quickly responded with a counteroffer. I think you missed an opportunity to clarify the context/content of the experiment by using this as a concrete example of learner-led decision making. E: I think there was insufficient time left for this; it needs a reflexive space for students to start doing that immediately in the first lecture, having only just met me that hour… J: Some students have sent you an email in advance of the course. You took the time to make yourself and fellow students aware of the existing worries. Immediately other students responded as well. This was a perfect example of activating other students to give their input. Students need to be encouraged to engage in dialogues in a more explicit/literal way, because they are not used to this way of discussing the course. 79

Goal

AfL Score Guideline Ernst

Score Comments Jorien

8

8++

8+

E: This went fine, and Sanne was an excellent choice for this guest-lecture. J: The fact that Sanne was a master student last year puts her at our level. It made it easier to identify with her. Students were positive towards her contribution to the course. The connection with the course and the students was sufficient.

2 5

2 +/5+

2 +/5 ++

Focus on keeping the students’ minds focussed on the interaction of Sanne’s contribution with the course objectives.

6 8 9 10

6+ 8 +/9 ++ 10 ++

6+ 8+ 9+ 10 +

Take time to activate interaction with/among students: aim to get better acquainted (acknowledge the great value of the emails received).

1 2 3 4 7 10

1 ++ 2 +/3+ 4+ 7 +/10 ++

In the groups, solicit information on progress with coursework.

1 2

1+ 2 +/3+ 4+ 7 +/10 + 1 +/2+

E: Sanne asked students a couple of questions. It was my fault not to have the materials Sanne had asked for at the ready, but she nonetheless set students to work on little tasks that helped them reflect on concepts and their own views. J: This was part of Sanne’s lecture. Due to lack of time the discussion was cut a bit short. But we did collectively discus an inquiring attitude. I’ve heard students talk about it during the second hour and also during the rest of the day. Mission accomplished! The inquiring attitude was linked to the students, but not necessarily to the experimental nature of the course. Missed opportunity to clarify or point out an aspect of the experiment to students? E: These parts all went well, thanks in part to co-teaching and Sanne’s approach to setting small tasks. I was able in some cases to add steering comments, and draw students into responding— and challenging their responses to make them think beyond the predictable answers. J: During Sanne’s lecture you’ve kept students focused when needed. You jumped in with usefull comments. Students’ reactions were positive. In addition you kept students focused by writing down our thoughts on the board. That created a good overview for the students, but otherwise it wasn’t all that useful because it was distracting and Sanne didn’t really use the messages on the whiteboard. You did make some gestures when she went on with her story. In doing so you linked her words to the notes on the board. E: This overlaps with the previous points, but drawing students into shared reflection aids familiarity, get insight in how and what they are thinking, and how I may challenge their learning. J: Due to lack of time this was not explicitly taken care of. But implicitly the elements were present.

College 2 Introduce Sanne. Connect her with the course and the students; offer students the option of a project through Sanne at the Friesland College. Collectively discuss what an inquiring attitude and creativity contribute to the theme of professionalization.

2 ++

E: For me, visiting the groups and responding to thoughts and queries was one of the best experiences of the course, until later, when it was clear that groups were falling apart. But the 80

5 7

5 ++ 7 ++

5 ++ 7+

Add early reminders of the blog as a space for trialing ideas and sharing progress in learning

2 7 8

2 -/+ 7+ 8 +/-

2 +/7+ 8 +/-

Encourage students interested in an Iselinge thesis to take steps.

8

8+

groups gave me good insight in what was on their minds, and enabled me to encourage them thinking in terms of freedom and setting their own learning challenges. J: Groups ran into difficulties to get things started. They are afraid that they might run into problems with what they want to learn and the learning contracts are seen as an official plan from which they can’t deviate. So people are hesitating and carefully avoiding making exact plans, but at the same time we all think it is annoying that there’s not much progress being made. Speaking English makes the process even harder. Additional comment: Students need feedback or some kind of support/interest from fellow students, but from the teacher as well. E: I had seen the blog as opportunity, but it became clear some students saw it as obligation. This enabled me to stress the ‘voluntary’ nature of the blog but also underline its value as a learning resource, for trialing drafts and ideas, and for tapping into a ‘community’ of learning. J: While talking about the blog you were very enthusing. I think students appreciated this. During last week only two/three students have responded to one of the blogs available on Wordpress. It has been quiet for a while, but now students are starting to post blogs. But somehow I think this happens because students think it’s mandatory. I wonder if students are committed to their blogs. Or do they post them just because they have to? I am not sure people really use these blogs to facilitate or share their learning. Maybe students are committed for the wrong reasons… E: I’m not sure this is a good ‘fit’ with the AfL criterion, but I do see the linked Master projects as one way to greatly expand the horizon of options for learning through the course. J: The Iselinge project wasn’t mentioned in class.

81

Goal College 3 This is the heart of the course and quite a bit of material to go through. I also intend to show at least one and possibly two movies so I aim to structure content around the movies. The powerpoint I’ve made summaries ‘what we have learnt’ in the first two lectures, in hope of giving the group an idea of progress being made and the direction we’re travelling in.

I will try to reserve some time for a ‘progress-report’ aimed at the AfL element, which will mean reducing this week’s groupwork time to half an hour, if students accept that.

AfL Score Guideline Ernst

Score Comments Jorien

2 8

2 ++ 8 +/-

2 ++ 8+

1 2 6 7

1 ++ 2+ 6 ++ 7+

1 ++ 2+ 6 ++ 7+

1 2 5 6 7 8 9 10

1 ++ 2 ++ 5+ 6+ 7 ++ 8 ++ 9+ 10 ++

1 ++ 2 ++ 5 ++ 6 +/7+ 8 ++ 9+ 10 ++

E: I still think this is the heart of the course, and it may be a good idea to move this to the first meeting. I think especially the use of the Sugata Mitra movie opened many eyes to the core of this course and their own free role in it. The second hour then facilitated dialogue, but at the cost of group-work time. J: The movies were informative and motivated students to contemplate. The content of de movies was illustrative and connected with the content of this course. E: Though in the end my summary of previous lectures showed what was presented, not what students had learned, it made us all aware of the difference between those two, and therefore the role that students’ own initiative had to play in learning. And it enabled me to present a ‘red line’ running through the lectures that we could then discuss. I think that went reasonably well, though not all participated in discussion. J: Looking back on the first lectures was useful. Shortly mentioning what is to be expected for the future helps students who need structure. Maybe it’s an idea to keep doing that every lecture. You made a link between L2L, LHTL and our blog. This also provides students some structure. They were active interested in the ideas behind L2L and LHTL. E: I think this was a good session, although not everyone took part. But it enabled me to confirm to students that there was real freedom, that students could opt out to a pre-designed assignment if they preferred, and we were able to discuss the value and relevance, and the ‘shock of the new’, of this kind of approach. I think at this point we were all starting, hesitantly, to learn a little… But it was also clear that one or two students preferred a ‘quiet life’ of lectures and many valued greater clarity (read: structure). I had not foreseen the extent to which this sort of innovation can throw people off course – creatures of habit, we are… J: As you’ve notices there are questions and doubts. Students really appreciated this opportunity to discus, because now they saw that they were/are not the only ones with these feelings. I think there is a general feeling uncertainty due to absence of a clear goal, but the presence of a shared motivation to make this work partially makes up for this. Some student appoint more value to clear goals, that’s why they have low confidence in completing this course to a satisfying end. Stating the 5 dimensions on the slide was very useful. Again: structure and a link to our experiment. During the discussion about the group work you stated that it wasn’t mandatory to work in groups. Individual work was allowed. But even this consideration could be made into a learning experience. Good point. Stating (again) that de learning contracts were not ‘legally binding’ was a relief for many students. 82

Goal College 4 This session will be by Rob de Haas. I hope to have time before the session to give him some idea of where the course is at, so is sensitised to the course dynamics. I’d like to take a few minutes at the start to comment on the many remarkable qualities of the learning contracts.

At the end of the first hour it will be good to ask how students wish to pursue for the second hour—hand over control to them? We might for example together discuss Rob’s session by asking how it relates to professionalisation.

AfL Score Guideline Ernst

Score Comments Jorien

--

J: Rob obviously was aware of the structure of this course. He implicitly hinted toward the content of the experiment for instance when he talked about (self)reflection and collective learning.

1 3 7 10

1 ++ 7 ++ 10 +

1 ++ 3 ++ 7 ++ 10 +

2 3 8 10

2 -/+ 3+ 8 ++

2+ 3+ 8+ 10 +/-

E: Less so before Rob’s lecture (who jumped right in) but more in email response to learning contracts, I was able to confirm to students that their projects were in most cases excellent, and in other cases give advice on how to improve them. I think that the learning contracts served a good purpose: giving students some ‘hold’ over how to progress their learning, and myself good feedback on the sorts of ideas and thoughts that were emerging. J: Due to the late arrival Rob started right away with his lecture. During the start of the second hour most students left the classroom to go to the other rooms available or to get a cup of coffee. You addressed the learning contracts briefly in the first classroom, I can’t tell if you did the same in the other classroom. It would have been easier and perhaps more valuable to discuss it with all students present in one room. E: During the second hour most students went and did their own thing. While I had often little insight into what that was (some students left), it did confirm to them the freedom to fill the groupwork space as they saw fit. And I think that helped. J: We briefly discussed the course of action for the second hour, but relating the content of Rob’s session to professionalization was not suggested, therefore the response was to go our own ways. In terms of guideline 10 (Reflect: ask questions, probe alternatives, analyse doubts and certainties) your intentional plan was good, but in reality the alternatives were limited. You did offer us the chance of watching the University Challenge for a while, but we already started our group work. I doubt the small group of students present in the classroom was open to that idea.

83

Goal

AfL Score Guideline Ernst

Score Comments Jorien

2 5 9

2 -/+ 5 -/+

2+ 5+ 9 ++

Include time for interaction, also during the first hour

1 2 8

1+ 2 -/+ 8 --

1+ 2+ 8 ++

Find out what students make of it–affirm and reinforce connections to student projects

1 2 3 5 7 8 9 10

1 -/+ 2 -/+ 3 -/+ 5 -/+ 7 ++ 8 +/9 + 10 +

1+ 2+ 3+ 5+ 7+ 8+ 9 ++ 10 ++

College 5 Quiet pace–leave time for thinking

E: This part didn’t come off too well, because there again were a lot of slides to go through in explaining CLB. I’ve promised myself another way to present the material, but still wouldn’t know how to – apart from making prior reading obligatory. : ( J: This time the lecture started at a natural pace (not to be read as if the other lectures started at a unnatural pace). You started with the exam-topic. There was a lot of room for discussion, but only few students responded. By discussing the exam you asked feedback from the students. But we ended up with a question-answer structure. But it did give the students the opportunity to reflect on your actions in this course. Interesting move. Such a shame that only a few comments were made. E: I engaged students in my own BKO exam by showing them examiner’s remarks. It was meant to draw students into a discussion about the structure of this kind of professionalisation. But there came only answers to questions, not outright debate. Students clearly feel shy of opening up, but nonetheless I hope that my own openness about my own progress as learner showed them something of the value of openness and sharing. J: This overlaps with the previous point. In general responses were evoked, but due to limited time available interaction was not included in some parts of the lecture. But I have to admit: in my experience this was your most interactive lecture this far. The discussion on CLB ‘why not coach yourself’ was very interesting. You triggered students into evaluating practice. Students responded and were surprised/motivated. You facilitated a deeper process. E: I think this objective was more explicitly attained, partly also because the CLB method is of interest to many students each year – this has largely to do with the focus on inclusive education and the supposition it makes of differentiated teaching, I think. Nevertheless, this clear ‘connect’ with a pre-existing interest in students enables a better form of being in dialogue. I do however regret that many students pursue an interest in CLB as a ‘solution’, whereas what I would like them to see is the very particular and interesting nature of what is then apparently seen as ‘the problem’… J: This was a very important goal, but how did you plan to accomplish this goal with a majority of the students present? You made the connection with professionalizing teachers and maybe that as much as we can ask for. But the specific content of student projects was not mentioned. I think that students would appreciate this. In extent it gives them the idea that you are involved and 84

Invite students making connections with other methods–structure.

2 8

2+ 8+

2+ 8+

Offer pointers to AfL (solicit progress reports, drafts, etc)

1 4 5

1 -/+ 4+ 5+

1+ 4+ 5 ++

interested in their learning process. An easy way to stimulate motivation? I wonder if students who are not particularly interested in CLB learned very much. It is not part of what I want to learn in this course, so minimal learning was happening on my end. E: This aspect also went well, since by now students are starting to get clear on the various alternatives that have been discussed in previous sessions, and they are a little further into their own projects. Things ‘start to make sense’… J: You compared CLB with one other way of working on problems. But did you also connect it to LHTL, L2L, AfL or the content of Sanne’s and Rob’s lecture? E: While students are not very forthcoming with progress reports, doubts, etc., I am at least confident that I have offered enough by way of support. The blog does attract some contributions, I do get invites into groups, and I get occasional emails. My own conclusion is that, while I may myself still be unsure about how to make an AfL environment ‘work’, it is also clear that students need time—perhaps more time that the course itself—to take serious the freedom, the open access to the lecturer, the challenge of taking full responsibility of learning, and seeing the merits of this kind of approach. My final comment is that I was balled over by the diversity, creativity, working together and in some cases the excellent quality of the work that was produced. It is also clear that in some cases that has demanded more time from students than they would normally give to course work; I see that as confirmation of the experiment, but this has also made me personally grateful to all participants. J: I think that the feedback being offered to students was minimal. During the first hour it is difficult, because students choose divers subjects for their individual or group work. In de second hour you only reach some students.

85

Bijlage 5 Fragment dagboeknotities

(Compleet overzicht dagboeknotities is op te vragen)

86

Bijlage 6 Uitkomsten normaliteitstoetsing (van deel 1, 2 en 3 van de vragenlijst)

Er zijn twee manieren om de resultaten van de Shapiro-Wilk toets te interpreteren. De eerste is gebaseerd op de overschrijdingskans, de tweede is gebaseerd op de Shapiro W-statistic. Voor de overschrijdingskans geldt dat de verdeling van een variabele als niet normaal beschouwd moet worden als de overschrijdingskans kleiner is dan de alfa van 0,05. Voor de W-statistic geldt hetzelfde als deze lager als 0,9 is. De waarde van de W-statistic heeft een mogelijke range van 0 tot 1 en de algemeen aangenomen minimale grens voor een normale verdeling is 0,9. De tabel geeft per deel van de vragenlijst het gemiddelde (mean), de scheefheid (skewness), de piekvormigheid (kurtosis), de Shapiro W-statistic en de overschrijdingskans. Voor een normale verdeling geldt dat de skewness en kurtosis tussen -1 en +1 liggen. De minimale waarden van de skewness van deel 1, 2 en 3 bedraagt 1,696. De maximale waarde is 2,087. De minimale waarden van de kurtosis voor de drie delen bedraagt 3,574. De maximale waarde bedraagt 4,186. De waarden van de Shapiro W-statistic liggen alle drie onder de 0,9. De gevonden overschrijdingskansen zijn kleiner dan de gekozen waarde van alfa. Zowel op basis van de overschrijdingskansen als op basis van de Shapiro W-statistic moeten we voor alle delen van een niet-normale verdeling uitgaan.

Gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van deel 1, 2 en 3 van de vragenlijst. Deel van de vragenlijst Mean Skewness Kurtosis Shapiro WSig. statistic Deel 1 Feedback m.b.t. kwaliteit van het werk. 15,6667 2,087 4,186 0,723 0,000 Deel 2 Feedback m.b.t. leren

15,4286 1,696

3,574

0,820

0,001

Deel 3 Betrokkenheid

15,2381 1,877

4,030

0,790

0,000

87

Bijlage 7 Uitkomsten normaliteitstoetsing (van deel 4 van de vragenlijst)

De resultaten van de Shapiro-Wilk toets zijn opnieuw op twee manieren geïnterpreteerd (zie bijlage 6). De eerste is gebaseerd op de overschrijdingskans, de tweede is gebaseerd op de Shapiro Wstatistic. De tabel geeft per variabele het gemiddelde (mean), de scheefheid (skewness), de piekvormigheid (kurtosis), de Shapiro W-statistic en de overschrijdingskans. De minimale waarden van de skewness van deel 4 bedraagt -2,894. De maximale waarde is 0,941. De minimale waarden van de kurtosis bedraagt -1,622. Deel 4 heeft een maximale kurtosis van 8,868. Deze resultaten zijn af te lezen uit de gegeven in tabel 4.4. Op basis van de overschrijdingskansen mogen 6 van de 46 variabelen als normaal verdeeld beschouwd worden. Op basis van de Shapiro W-statistic geldt dat voor 2 van de 46 variabelen. Over het algemeen zijn de variabelen niet normaal verdeeld. Er is daarom wederom voor een nonparametrische toets gekozen. Gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van deel 4 van de vragenlijst. Statements vragenlijst Voor Mean Skewness Kurtosis Shapiro W/ Na statistic Receiving feedback during the course is just as V 3,80 -0,794 -0,888 0,800 important as receiving feedback at the end of the N 3,87 -1,438 2,178 0,788 course. Giving feedback to fellow students is just as V 3,73 -0,986 1,840 0,771 important as receiving feedback from them. N 3,67 -,676 0,948 0,817

Sig.

0,004 0,003

Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher.

V N

3,73 3,27

-,832 -0,609

0,524 -0,375

0,809 0,881

0,002 0,006 0,005 0,049

Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students. Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher. I am solely responsible for my final grade on this course.

V N

3,27 2,87

0,134 -0,351

-1,337 -0,484

0,859 0,881

0,023 0,050

V N

2,53 2,53

0,658 -0,130

-0,936 0,182

0,753 0,861

0,001 0,025

V N V N V N

3,47 3,33 3,33 3,33 2,73 2,60

-0,149 -0,352 -0,771 -0,101 -0,224 0,941

-0,844 -1,469 -0,296 -0,676 -1,622 -0,785

0,887 0,772 0,841 0,881 0,823 0,705

0,061 0,002 0,013 0,049 0,007 0,000

V N

3,07 3,27

-0,149 -0,601

,010 -1,494

0,932 0,734

0,293 0,001

V N

2,93 3,13

0,128 0,282

-1,348 1,401

0,817 0,694

0,006 0,000

The content and methods of the course must be established in advance by the Teacher. The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan. The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan. Students must be involved in determining the methods and content of the course.

88

A teacher motivates me by asking questions during V lectures. N

V N V N

3,67 3,33 3,87 3,53 3,40 3,00 2,53 2,53

-0,788 -0,628 0,103 -1,402 -0,621 0,251 0,078 0,149

-1,615 -0,654 -0,127 3,521 -0,474 -1,188 -1,328 -0,844

0,603 0,783 0,790 0,794 0,879 0,887 0,870 0,887

0,000 0,002 0,003 0,003 0,045 0,060 0,034 0,061

V N The teacher should encourage students in trying to V answer each other’s questions instead of N

2,67 2,93 3,67 3,67

-0,168 0,461 -2,894 -1,024

-0,033 -0,354 8,868 1,137

0,881 0,910 0,484 0,866

0,049 0,134 0,000 0,029

V N V N

4,13 3,93 3,60 3,53 2,20 2,33 3,93 3,93

0,282 -2,080 -0,723 0,306 0,681 0,168 -1,326 -1,291

1,401 6,362 1,375 -0,226 1,081 -0,033 3,991 1,965

0,694 0,682 0,866 0,870 0,832 0,881 0,702 0,710

0,000 0,000 0,029 0,034 0,010 0,049 0,000 0,000

V N

3,67 3,73

-0,788 -1,250

-1,615 1,728

0,603 0,825

0,000 0,008

V N V N

3,07 3,07 2,80 2,40

-0,520 -0,128 -0,019 0,303

-1,457 -1,346 -1,346 -0,961

0,753 0,850 0,842 0,876

0,001 0,017 0,014 0,041

A teacher motivates me by providing students with V the opportunity to ask questions during lectures. N The extent to which I am actively involved in the course depends to a large extent on the teacher. The extent to which I am actively involved in the course depends to a large extent on fellow students. Students should first attempt to get answers on their questions from fellow students.

answering the questions himself. The teacher should encourage students to evaluate V their own learning process. N The teacher should encourage students to evaluate V the teacher’s learning process. The teacher should avoid student involvement in evaluating the teacher’s learning process. In advance of the start of a course the student should give some thought to the targets he/she wants to achieve. In advance of the start of a course the student should determine how the course contributes to his/her learning process. The fact that the course is given in English negatively influenced my active involvement The fact that the course is given in English negatively influenced my learning gains.

89

Bijlage 8 Hypothesen (Deel 4 van de vragenlijst) Voor het uitvoeren van de toetsing (Wilcoxon rangtekentoets) zijn voor de items van deel 4 de volgende hypothesen opgesteld. Nulhypotheses en alternatieve hypotheses deel 4 Items van de vragenlijst Receiving feedback during the course is just as important as receiving feedback at the end of the course. Giving feedback to fellow students is just as important as receiving feedback from them. Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher. Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students. Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher. I am solely responsible for my final grade on this course. The content and methods of the course must be established in advance by the Teacher. The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan. The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan. Students must be involved in determining the methods and content of the course. A teacher motivates me by asking questions during lectures. A teacher motivates me by providing students with the opportunity to ask questions during lectures. The extent to which I am actively involved in the course depends to a large extent on the teacher. The extent to which I am actively involved in the course depends to a large extent on fellow students. Students should first attempt to get answers on their questions from fellow students. The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself. The teacher should encourage students to evaluate their own learning process. The teacher should encourage students to evaluate the teacher’s learning process. The teacher should avoid student involvement in evaluating the teacher’s learning process. In advance of the start of a course the student should give some thought to the targets he/she wants to achieve. In advance of the start of a course the student should determine how the course contributes to his/her learning process. The fact that the course is given in English negatively influenced my active involvement The fact that the course is given in English negatively influenced my learning gains.

H0 H0: η = 0 H0: η = 0 H0: η = 0

Ha Ha: η≠0 Ha: η≠0 Ha: η>0

H0: η = 0

Ha: η<0

H0: η = 0

Ha: η>0

H0: η = 0 H0: η = 0 H0: η = 0

Ha: η≠0 Ha: η<0 Ha: η<0

H0: η = 0

Ha: η>0

H0: η = 0 H0: η = 0 H0: η = 0 H0: η = 0 H0: η = 0 H0: η = 0 H0: η = 0

Ha: η>0 Ha: η≠0 Ha: η≠0 Ha: η<0 Ha: η<0 Ha: η≠0 Ha: η>0

H0: η = 0 H0: η = 0 H0: η = 0 H0: η = 0

Ha: η>0 Ha: η>0 Ha: η<0 Ha: η>0

H0: η = 0

Ha: η>0

H0: η = 0 H0: η = 0

Ha: η≠0 Ha: η≠0

90

Bijlage 9 Uitkomsten Wilcoxon rangtekentoets (deel 4 van de vragenlijst) Onderstaande tabel geeft de uitkomsten van de Wilcoxon rangtekentoets weer. Opvallend is het grote aantal knopen in de data. Per item kwamen één tot tien knopen voor. Gemiddeld bestaan er in de data 7,21 knopen per item. Voor alle items geldt dat de nulhypothese niet verworpen wordt. Er is dus geen significant verschil tussen voor- en nameting aangetoond. Paren in de analyse, aantal paren met positieve verschillen, aantal paren met negatieve verschillen, aantal paren zonder verschil en de overschrijdingskans van de items van deel 4 van de vragenlijst. Items van de vragenlijst Aantal paren Aantal positieve Aantal negatieve Aantal geen Sig. (1-zijdig) in analyse verschillen verschillen verschil Receiving feedback during the course is just as important as receiving feedback at the end of 10 5 5 6 0,399 the course. Giving feedback to fellow students is just as important as receiving feedback from them. 9 5 4 7 1,000* Independently evaluating your own learning process is just as important as the evaluation of 9 3 6 7 0,095 your learning process by the teacher. Independently evaluating your own learning process is just as important as the evaluation of 15 7 8 1 0,242 your learning process by fellow students. Evaluation of your learning process by fellow students is just as important as the evaluation 8 5 3 8 0,471 of your learning process by the teacher. I am solely responsible for my final grade on this course. 10 3 7 6 0,467* The content and methods of the course must be established in advance by the Teacher. 8 3 5 8 0,471 The teacher must stick to his predetermined plan (content and methods) even when some 12 6 6 4 0,403 students run into problems in understanding some aspect(s) of that plan. The teacher should adjust the content and methods of the course when some student run 10 5 5 6 0,378 into problems in understanding some aspect(s) of that plan. Students must be involved in determining the methods and content of the course. 9 5 4 7 0,282 A teacher motivates me by asking questions during lectures. 6 1 5 10 0,096* A teacher motivates me by providing students with the opportunity to ask questions during lectures. The extent to which I am actively involved in the course depends to a large extent on the teacher. The extent to which I am actively involved in the course depends to a large extent on fellow students. Students should first attempt to get answers on their questions from fellow students.

7

2

5

9

0,206*

8

1

7

8

0,077

9

5

4

7

0,476

9

6

3

6

0,357*

91

The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself. The teacher should encourage students to evaluate their own learning process. The teacher should encourage students to evaluate the teacher’s learning process. The teacher should avoid student involvement in evaluating the teacher’s learning process. In advance of the start of a course the student should give some thought to the targets he/she wants to achieve. In advance of the start of a course the student should determine how the course contributes to his/her learning process. The fact that the course is given in English negatively influenced my active involvement

6

3

3

10

0,500

8 9 8 6

3 3 4 3

5 6 4 3

8 7 8 10

0,136 0,227 0,500 0,370

10

6

4

6

0,458

9

5

4

7

The fact that the course is given in English negatively influenced my learning gains.

10

3

7

10

0,951* 0,207*

**2-zijdig

92

Bijlage 10 Frequentietabel (Deel 4 van de vragenlijst) Onderstaande tabel laat het gemiddelde, de standaarddeviatie en de frequentieverdeling per item van deel 4 van de vragenlijst zien. Gemiddelde, standaarddeviatie en frequenties per item. Deel 4 vragenlijst (1 = Strongly Disagree; 2 = Disagree; 3 = Undecided; 4 = Agree; 5 = Strongly agree)

Receiving feedback during the course is just as important as receiving feedback at the end of the course. Giving feedback to fellow students is just as important as receiving feedback from them. Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher. Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students. Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher. I am solely responsible for my final grade on this course. The content and methods of the course must be established in advance by the Teacher. The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan. The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan. Students must be involved in determining the methods and content of the course. A teacher motivates me by asking questions during lectures. A teacher motivates me by providing students with the opportunity to ask questions during lectures. The extent to which I am actively involved in the course depends to a large extent on the teacher. The extent to which I am actively involved in the course depends to a large extent on fellow

Voor / na

n

Mean

SD

1

2

3

4

5

V N V N V N V N V N V N V N V N V N V N V N V N V N V

21 23 21 23 21 23 21 23 21 23 21 23 21 23 21 23 21 23 21 23 21 23 21 23 21 23 21

3,71 4,00 3,62 3,74 3,57 3,30 3,05 2,87 2,52 2,57 3,48 3,65 3,38 3,39 2,90 2,61 3,14 3,35 3,00 3,17 3,57 3,43 3,90 3,61 3,57 3,22 2,67

1,271 1,087 0,805 0,619 0,870 1,063 1,071 0,815 0,873 0,843 0,928 1,152 1,071 0,941 1,091 0,839 1,014 0,885 0,894 0,650 0,746 0,728 0,831 0,783 1,207 1,166 1,155

1 1 2 1 1 2 1 3 1 1 1 1 1 3

4 2 2 1 3 3 9 6 12 9 4 6 4 5 4 14 4 6 5 3 2 3 1 4 7 8

2 1 6 5 5 5 4 11 4 9 5 2 4 6 6 4 9 3 8 13 6 7 5 7 3 4 4

7 11 11 16 11 12 6 5 4 3 10 9 10 10 8 5 5 14 7 7 12 13 10 14 8 8 5

7 8 2 1 2 1 2 2 6 2 2 2 1 5 1 5 3 1

93

students. Students should first attempt to get answers on their questions from fellow students. The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself. The teacher should encourage students to evaluate their own learning process. The teacher should encourage students to evaluate the teacher’s learning process. The teacher should avoid student involvement in evaluating the teacher’s learning process. In advance of the start of a course the student should give some thought to the targets he/she wants to achieve. In advance of the start of a course the student should determine how the course contributes to his/her learning process. The fact that the course is given in English negatively influences/influenced my active involvement The fact that the course is given in English negatively influenced/influenced my learning gains.

N V N V N V N V N V N V N V N V N V N

23 21 22 21 23 21 23 21 23 21 23 21 23 21 23 21 23 21 23

2,52 2,71 2,91 3,48 3,52 4,05 3,83 3,67 3,52 2,19 2,26 3,90 3,96 3,62 3,70 3,33 3,09 3,00 2,61

1,039 0,902 1,109 0,814 0,994 0,669 1,029 1,065 0,947 0,873 0,864 0,700 0,767 0,498 0,926 1,111 1,379 1,000 1,118

4 2 2 1 1 1 1 4 4 1 1 3 1 3

8 6 6 1 2 1 2 1 3 11 11 1 2 1 5 7 7 10

6 9 8 6 7 1 2 7 9 4 6 3 1 8 4 3 2 4 4

5 4 4 13 10 15 13 7 7 2 2 14 16 13 13 10 7 9 5

2 3 4 5 5 4 3 4 3 2 4 1

94

Bijlage 11 Uitkomsten normaliteitstoetsing (ILS, de zestien subschalen) In de tabel worden de uitkomsten van de normaliteitstoetsing van de ILS subschalen weergegeven. De test geeft als resultaat een p-waarde (overschrijdingskans = sig.). Bij een gekozen alfa van 0,05 ( = 0,05) kan bekeken worden of nulhypothese, dat verdeling normaal is, verworpen moet worden. De verdeling van deze variabelen moet dan als niet normaal beschouwd moet worden. Ook neemt de test de scheefheid (skewness) en piekvormigheid (kurtosis) mee in de berekening. Voor een normale verdeling geldt dat de skewness en kurtosis tussen -1 en +1 liggen. De resultaten laten zien dat de minimale skewness -1,728 bedraagt. De maximale skewness, gevonden in deze dataverzameling, is 1,522. De waarden van de kurtosis liggen verder uit elkaar. Het minimum is –1,834 en het maximum is 3,049. Op basis van de p-waarden zijn drie van de zestien verschilvariabelen niet normaal verdeeld. Als er wordt gekeken naar de Shapiro W-statistic zijn dertien van de zestien verschil variabelen niet normaal verdeeld.

ILS-HO schalen Verwerkingsstrategieën Diepteverwerkingsstrategie

Gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van de ILS-HO schalen. Voor / na Mean Skewness Kurtosis Shapiro W-statistic

Stapsgewijze verwerkingsstrategie Concrete verwerkingsstrategie Regulatiestrategieën Zelfsturingsstrategie Extern gestuurde strategie Stuurloze strategie Mentale modellen/studiemotieven Certificaatgericht

Sig.

V N V N V N

27,7778 27,6667 32,0000 32,6667 12,2222 11,8889

1,522 1,076 0, 004 -0,033 0, 801 0,388

2,654 1,638 -1,834 -1,799 0,566 -0,509

0,871 0,907 0,912 0,918 0,943 0,962

0,127 0,294 0,333 0,380 0,612 0,820

V N V N V N

22,5556 25,3333 28,2222 25,5556 -6,6667 8,6667

0,724 0,397 -0,161 0,117 0,216 0,430

-0,670 -1,738 -0,789 -0,882 -1,891 -1,645

0,898 0,860 0,956 0,935 0,883 0,870

0,242 0,097 0,758 0,526 0,167 0,122

V

8,7778

-0,157

-0,657

0,894

0,217

95

Beroepsgericht Testgericht Persoonlijk geïnteresseerd Ambivalent Studieopvattingen Opname van kennis Opbouw van kennis Gebruik van kennis Stimulerend onderwijs Samen werken

N V N V N V N V N

10,0000 16,4444 15,3333 12,0000 12,6667 12,5556 13,2222 8,7778 8,5556

-0,641 -1,728 -0,798 -0,340 -0,320 -0,365 0,014 0,857 1,367

-1,131 3,648 1,851 -0,482 -1,098 -0,554 -1,337 -0,347 0,624

0,831 0,836 0,926 0,982 0,955 0,930 0,939 0,850 0,771

0,046 0,051 0,446 0,975 0,748 0,485 0,570 0,075 0,010

V N V N V N V N V N

27,7778 27,3333 17,8889 18,8889 19,1111 18,5556 22,7778 24,6667 16,1111 18,0000

-1,464 -0,364 -0,504 0,294 0,038 -1,065 -1,153 -0,431 -0,625 0,809

2,074 0,804 -0,134 -0,663 0,154 2,073 3,049 -1,153 -0,606 -0,424

0,859 0,908 0,972 0,964 0,965 0,926 0,899 0,913 0,939 0,823

0,093 0,304 0,913 0,835 0,850 0,446 0,248 0,336 0,567 0,037

96

97