Toetsresultaten gebruiken als leermoment: werkt dat?

1

Toetsresultaten gebruiken als leermoment: werkt dat?

A. Ensink Maastricht University Teachers Academy Faculty of Humanities and Sciences Master Evidence Based Innovation in Teaching ID: 6011951 Augustus 2011

2

Samenvatting: In deze studie wordt een experiment beschreven waarin de effecten werden onderzocht van een interventie met als doel niet-vakgebonden studievaardigheden van leerlingen in de onderbouw van het middelbaar onderwijs te versterken. De interventie richt zich op het leren reflecteren op eigen werk, op basis van systematische feedback op de voortgang van het leerproces en daaruit voortvloeiende resultaten. Het is de bedoeling dat de metacognitieve ontwikkeling van leerlingen wordt gestimuleerd en dat zij op deze manier meer zicht krijgen op hun capaciteiten waardoor zij hun leerproces beter kunnen sturen. De studie werd verricht op het Lorentz Lyceum Arnhem gedurende het schooljaar 2010 – 2011. De onderzoekspopulatie bestond uit 4 groepen leerlingen in leerjaar 2 (N = 107) en de interventie werd gepleegd bij 5 vakken. De onderzoeksvraag was: Wat is het effect van voortgangsfeedback op toetsen voor leeruitkomsten? Voor één vak in één groep werd een significant resultaat gevonden. Dat betekent dat de interventie nog niet heeft geleid tot het gewenste effect. Naar aanleiding van de resultaten van het onderzoek luidt de aanbeveling voor docenten om leerlingen meer effectieve feedback te geven en om het stimuleren van metacognitieve vaardigheden in te bedden in hun dagelijkse lespraktijk en daarmee het leerproces van leerlingen te bevorderen.

3

Inhoudsopgave Pagina 1. Inleiding… … … … … … … … … … … … … … … … … … … … … … … … … … …

4

2. Schoolontwikkeling… … … … … … … … … … … … … … … … … … … … … … ..

5

3. Voortgangsfeedback, metacognitie en leeruitkomsten… … … … … … … … … .

7

4. Interventie en onderzoeksvraag… … … … … … … … … … … … … … … … … … .

12

4.1 Interventie… … … … … … … … … … … … … … … … … … … … … … … .

12

4.2 Onderzoeksvraag… … … … … … … … … … … … … … … … … … … … ..

13

5. Onderzoeksmethode… … … … … … … … … … … … … … … … … … … … … … ..

13

5.1 Design… … … … … … … … … … … … … … … … … … … … … … … … ...

13

5.2 Variabelen… … … … … … … … … … … … … … … … … … … … … … … .

15

5.3 Uitgangspositie… … … … … … … … … … … … … … … … … … … … … .

16

6. Resultaten..… … … … … … … … … … … … … … … … … … … … … … … … … …

17

6.1 Toetsscores… … … … … … … .… … … … … … … … … … … … … … … ...

17

6.2 Verschilscores… … … … … … … … … … … … … … … … … … … … … ...

18

6.3 Feedbackscores… … … … … … … … … … … … … … … … … … … … … .

19

6.4 Voorkeurvakken… … … … … … … … … … … … … … … … … … … … …

19

7. Conclusie… … … … … … … … … … … … … … … … … … … … … … … … … … ...

22

8. Discussie… … … … … … … … … … … … … … … … … … … … … … … … … … ...

23

9. Aanbevelingen… … … … … … … … … … … … … … … … … … … … … … … … ..

26

Referenties… … … … … … … … … … … … … … … … … … … … … … … … … … … .

28

Bijlage 1 Tabellen uitgangspositie Bijlage 2 Tabellen voormeting Bijlage 3 Tabellen nameting Bijlage 4 Feedbackscores Bijlage 5 Vragenlijsten Bijlage 6 Instructies voor docenten

4

1. Inleiding

Het Lorentz Lyceum in Arnhem wil in de komende jaren de leeropbrengsten van haar leerlingen verbeteren. Om deze doelstelling te bereiken wordt veel aandacht geschonken aan de ontwikkeling van het onderwijs. In deze studie wordt een experiment beschreven waarin de effecten werden onderzocht van een interventie met als doel nietvakgebonden studievaardigheden van leerlingen in de onderbouw te versterken. De onderzochte interventie is specifiek gericht op het leren reflecteren op eigen werk, aangestuurd door systematische feedback op voortgang van het leerproces en daaruit voortvloeiende resultaten. Voortgangsfeedback is een ruim begrip. In deze studie wordt het opgevat als “alle activiteiten van docenten en van leerlingen die informatie opleveren op grond waarvan zij het leerproces aanpassen zodat de nieuwe onderwijsleersituatie beter aansluit bij de leervragen van de leerlingen”(Black & William, 1998, p.2). In deze opvatting hebben dus zowel docenten als leerlingen een sturende rol in het leerproces. Hattie en Timperley (2007) bespreken verschillende informatiebronnen in dit verband: docenten die corrigerende informatie geven, medeleerlingen die andere strategieën aandragen en de leerlingen zelf die door het raadplegen van studiemateriaal hun eigen vorderingen kunnen toetsen. Deze studie werd verricht gedurende het schooljaar 2010 –2011. In paragraaf 2 wordt de schoolontwikkeling beschreven die de aanleiding is geweest voor de interventie. In de derde paragraaf wordt de theoretische inbedding van de interventie nader beschreven en wordt aandacht geschonken aan het verband tussen metacognitie, voortgangsfeedback en het door de school ontwikkelde hulpmiddel voor het genereren van feedback. In paragraaf 4 wordt dit hulpmiddel –de ‘feedbackbalk’–in de context van het gebruik tijdens het leerproces toegelicht. Aansluitend hierop worden de onderzoeksvragen gepresenteerd waarmee de effecten werden onderzocht. De methode van onderzoek wordt beschreven in paragraaf 5 en de resultaten in paragraaf 6. In paragraaf 7 volgen de conclusies. Paragraaf 8, de discussie, bevat een terugblik en

5

kritische weging van de gepresenteerde resultaten, als inleiding op aanbevelingen, paragraaf 9.

2. Schoolontwikkeling

In 2008 voerde de onderwijsinspectie een kwaliteitsonderzoek uit op het Lorentz Lyceum. Daarbij werd vastgesteld dat leerlingen actiever bij de lessen moeten worden betrokken, en dat docenten een verband moeten leggen tussen de leerprestaties van leerlingen en hun didactisch handelen. Ook moeten docenten hun leeromgeving beter afstemmen op verschillen in ontwikkelingsniveau tussen leerlingen in een klas. In haar rapport concludeerde de onderwijsinspectie verder dat het rendement van de school moet verbeteren (Inspectie van het Onderwijs, 2010). Ter illustratie zijn in tabel 1 (p.6) de schoolopbrengsten van het Lorentz Lyceum vergeleken met de landelijke resultaten voor 2008, 2009 en 2010. Het rendement van de onderbouw is gemeten als het percentage van leerlingen in leerjaar 3 zonder zittenblijven, het rendement bovenbouw als percentage van leerlingen van 3e leerjaar naar diploma zonder zittenblijven. In 2008 bleven de opbrengsten in de bovenbouw met 38% voor de HAVO en 57% voor het VWO achter bij de landelijke situatie. In 2009 bleef het rendement van de gehele school achter en in 2010 bleven HAVO (91 % onderbouw, 53% bovenbouw) en VMBO(g)t (82% onderbouw, 81% bovenbouw) nog steeds achter bij de landelijke resultaten. Om het rendement te verbeteren en aan de bezwaren van de inspectie tegemoet te komen ging de school op zoek naar hulpmiddelen die het didactisch handelen van docenten kunnen ondersteunen en de leeruitkomsten van de leerlingen bevorderen. Een werkgroep van docenten richtte zich daarbij op het al eerder door de school zelf geconstateerde aansluitingsprobleem tussen onderbouw en bovenbouw. Deze werkgroep constateerde dat leerlingen in de onderbouw beter zouden kunnen worden voorbereid op studievaardigheden die ze voor het zelfstandig werken in de bovenbouw nodig hebben.

6

TABEL 1: Opbrengsten per afdeling van het Lorentz Lyceum Arnhem (Lo) versus Landelijke resultaten (NL) Jaar

% leerlingen in leerjaar 3 zonder zittenblijven

% leerlingen van 3e leerjaar naar diploma zonder zittenblijven

VMBO (g)t

HAVO

VWO

VMBO (g)t

HAVO

VWO

Lo

NL

Lo

NL

Lo

NL

Lo

NL

Lo

NL

Lo

NL

2008

1

98

95-100

95

94-100

98

98-100

82

82-93

38

58-71

57

59-74

20092

84

95-100

90

94-100

89

98-100

78

81-93

51

58-73

48

62-76

20103

82

95-100

91

94-100

98

98-100

81

82-93

53

56-71

60

58-72

Lo: Resultaten Lorentz Lyceum Arnhem NL: Landelijke resultaten

Dat was voor de school aanleiding voor een interventie gericht op het stimuleren van niet-vakgebonden studievaardigheden van leerlingen in de onderbouw. Het leren reflecteren en het gericht werken met voortgangsfeedback op gemaakte toetsen zijn twee vaardigheden die daarbij centraal staan. Daartoe is een ‘feedbackbalk’geïntroduceerd. De balk wordt gebruikt bij schriftelijke toetsen en staat bovenaan het proefwerkpapier. Het is de bedoeling om met dit hulpmiddel feedback te genereren die leerlingen in staat stelt te reflecteren op hun werk en waarmee een individuele leerling zicht krijgt op wat hij kan doen om zijn leeruitkomsten te verbeteren. De school beoogt met deze interventie leerlingen meer bewust te maken van het eigen leerproces zodat zij daar gaandeweg meer controle over krijgen. Met dit streven levert de school een bijdrage aan de metacognitieve ontwikkeling van de leerlingen.

1

Verkregen op 5 juli 2011 van http://tkrtp.owinsp.nl/opbrengstenkaart/pls/inet/ios_pck.show_opbkrt?p_brin=20TZ&p_vestnr=0&p_jaar=2 008 2 Verkregen op 5 juli 2011 van http://tkrtp.owinsp.nl/opbrengstenkaart/pls/inet/ios_pck.show_opbkrt?p_brin=20TZ&p_vestnr=0&p_jaar=2 009 3 Verkregen op 5 juli 2011 van http://tkrtp.owinsp.nl/opbrengstenkaart/pls/inet/ios_pck.show_opbkrt?p_brin=20TZ&p_vestnr=0&p_jaar=2 010

7

3. Metacognitie, voortgangsfeedback en leeruitkomsten.

Wanneer iemand inzicht wil krijgen in eigen leerprocessen zijn er volgens Flavell (1979) drie aandachtspunten waar hij op moet letten. Dit zijn (a) leerdoelen, (b) leerstrategieën en (c) leeruitkomsten. Dezelfde auteur maakt onderscheid tussen metacognitieve kennis en metacognitieve ervaringen. Bij metacognitieve kennis gaat het erom of iemand weet of bepaalde leerdoelen zijn bereikt, welke informatie en middelen hij daarvoor nodig heeft en wat de beste aanpak is. Metacognitieve ervaringen hebben betrekking op het proces. Iemand weet welke vooruitgang is er geboekt en wat de vervolgstappen kunnen zijn op weg naar het beoogde doel. Kennisverwerving over de eigen leerprocessen betekent dus ook in dat iemand zicht krijgt op zijn eigen capaciteiten. Welke kennis iemand al heeft, wat hij nog wil en kan leren, hoe hij dat kan aanpakken, waar hij problemen verwacht in het leerproces en wat de beste manier is om deze op te lossen. In studies naar feedback werd een positief effect op leeruitkomsten gemeten. Hattie en Timperley (2007) verwijzen naar 12 meta-analyses, gebaseerd op 196 studies waarin het effect werd gemeten van feedback in klassensituaties. De gemiddelde effectgrootte was.79. Echter, niet alle vormen van feedback bleken even succesvol. Leerlingen blijken in hoge mate gebaat bij feedback direct gerelateerd aan een opdracht (effectgrootte 1.10). Effectieve feedback geeft volgens deze auteurs antwoord op 3 vragen: (a) wat is het doel dat ik moet bereiken?, (b) hoe ver ben ik al op weg naar dit doel?, en (c) wat is mijn volgende stap? Het antwoord op deze vragen helpt de leerling in zijn metacognitieve ontwikkeling en geeft zicht op de eigen capaciteiten. Prijzen (.14), belonen (.31), of straffen (.20) bleken veel minder effectief omdat zulke feedback weinig informatie oplevert om de 3 genoemde vragen te beantwoorden. Davies et al. (2004) voerden een experiment uit op drie middelbare scholen (N = 128). De interventie was gericht op het bevorderen van inzicht bij leerlingen in wat er van hen verwacht wordt bij een toets en in hoeverre hun werk aan de gestelde eisen voldoet. De leerlingen in de interventiegroep kregen de beoordelingscriteria op basis waarvan zij

8

de kwaliteit van hun werk konden schatten. Na een periode van vier maanden haalden deze leerlingen gemiddeld hogere cijfers voor de eindtoetsen dan de leerlingen in de controlegroep die hun eigen werk niet hadden kunnen beoordelen met de vastgestelde criteria. Andrade, Du en Wang (2008) beschrijven een experiment met 116 lagere school leerlingen. Aan de hand van een voorbeeldopstel stelden de leerlingen in de interventiegroep een lijst van criteria op waaraan een goed opstel moet voldoen. Hun eisen correspondeerden met de criteria zoals de docent die ook had opgesteld en ze vormden de basis voor een beoordelingsrubriek. Rubrieken bevatten concrete informatie over beoordelingscriteria, veel voorkomende fouten en hoe die te voorkomen. De leerlingen in de interventiegroep kregen de gelegenheid om het concept van hun opstel te beoordelen met gebruik van de rubriek. Leerlingen in de controlegroep hadden geen rubriek. De uitkomsten van het onderzoek gaven aan dat leerlingen in de interventiegroep hogere cijfers haalden voor hun opstel. Empirische studies door Van der Stel en Veenman (2009) en Vandergrift en Tafaghodtari (2010) tonen aan dat aandacht voor de ontwikkeling van metacognitieve vaardigheden ook op zich een positieve bijdrage kan leveren aan de leeruitkomsten. In een 2-jarige longitudinale studie naar het proces van metacognitieve ontwikkeling volgden Van der Stel en Veenman (2009) leerlingen in de eerste en tweede klas van de middelbare school (N = 32). De leerlingen in de interventiegroep werden uitgenodigd om hardop te denken bij het beantwoorden van vragen bij geschiedenis en wiskunde. De analyse van de transcripties wijst op een toename van de cognitieve vaardigheden. De verwachting dat metacognitieve vaardigheden samenhangen met leeftijd kwam uit. Deze toename was groter bij de 14 jarigen dan bij de 13 jarigen maar werd niet alleen verklaard door de intellectuele groei van de leerlingen. De uitkomsten van deze studie laten ook zien dat ontwikkeling van metacognitieve vaardigheden een positief effect had op de leeruitkomsten. De auteurs maken wel aantekening dat het een kleine steekproef betreft wat de generaliseerbaarheid van de uitkomsten beperkt.

9

Vandergrift en Tafaghodtari (2010) voerden een experiment uit onder 106 studenten om het effect te onderzoeken van specifieke aandacht voor leerstrategieën tijdens de voorbereiding op luistertoetsen in een vreemde taal. De interventie duurde dertien weken. Uitkomst van het experiment was dat studenten die bewust hadden gewerkt met specifieke strategieën ter bevordering van de woordenschat en het tekstbegrip significant beter scoorden op de luistertoets. Ook de verwachting dat de minder sterke studenten meer vooruitgang zouden boeken in hun luistervaardigheden kwam uit. Het aantal beschrijvingen van experimenteel onderzoek naar het effect van feedback voor de metacognitieve ontwikkeling van leerlingen in het middelbaar onderwijs is beperkt. Tabel 2 (p. 10) geeft een overzicht van de raakvlakken tussen de besproken literatuur en deze studie. Uit de studies naar het effect van voortgangsfeedback komen een aantal kenmerken naar voren die bijdragen aan het verbeteren van leeruitkomsten. Tabel 3 geeft een overzicht van deze kenmerken van feedback.

TABEL 3: Kenmerken van effectieve voortgangsfeedback

1. Doelstellingen zijn helder geformuleerd met betrekking tot wat leerlingen moeten kennen en kunnen. 2. Leerlingen zijn bekend met en begrijpen de toetsingscriteria: ze weten waarop zij worden beoordeeld. 3. Feedback informeert leerlingen over wat al goed gaat en wat moet verbeteren en waarom. 4. Feedback informeert leerlingen hoe zich te verbeteren en stelt de leerling en de docent in staat het leerproces ter verbetering aan te passen.

Feedback met deze kenmerken wordt in dit paper gedefinieerd als effectieve voortgangsfeedback. Het levert leerlingen informatie waarmee zij kunnen nagaan in

10

TABEL 2: Raakvlakken tussen bestudeerde literatuur en deze studie Onafhankelijke variabele

Afhankelijke variabele

Literatuur

Deze studie

Hattie en Timperley (2007) –Review van empirische studies naar het effect van feedback op leeruitkomsten Leeruitkomsten Andrade, Du en Wang (2008) –Empirische studie naar het effect van het gebruik van voortgangsfeedback in de vorm van een rubriek met beoordelingscriteria, veel voorkomende fouten en strategieën hoe die te voorkomen Metacognitieve ontwikkeling Voortgangsfeedback

Davies et al. (2004) –Empirische studie van interventie ter bevordering van inzicht van leerlingen in beoordelingscriteria en eigen capaciteiten

Kenmerken van effectieve feedback

Inzicht van leerlingen in eigen capaciteiten

Flavell (1979) –Explorerend onderzoek naar aandachtspunten voor inzicht in eigen leerprocessen Van der Stel en Veenman (2009) –Empirische studie naar het proces van metacognitieve ontwikkeling leerlingen, hoe deze samenhangt met leeftijd en intellectuele groei en bijdraagt aan leeruitkomsten. Vandergrift en Tafaghodtari (2010) –Empirische studie naar het effect van contextgebonden aandacht voor leerstrategieën op leeruitkomsten.

Bijdrage van cognitieve ontwikkeling aan leeruitkomsten

11

hoeverre ze gestelde doelen hebben bereikt en of ze een juiste aanpak hebben gekozen. Hiermee kan een leerling leren reflecteren op zijn eigen werk en bepalen wat hij kan doen om zijn leeruitkomsten te verbeteren. Met het ontwikkelen van deze vaardigheid worden leerlingen naar verwacht beter voorbereid op het zelfstandig werken in de bovenbouw en wordt de aansluiting onderbouw –bovenbouw beter gewaarborgd. Ook is de verwachting dat leerlingen zich met de ontwikkeling van deze vaardigheid beter op toetsen kunnen voorbereiden wat zal leiden tot hogere toetsscores. Figuur 1 geeft een schematisch overzicht van de samenhang tussen metacognitie, voortgangsfeedback en leeruitkomsten.

Figuur 1: Metacognitie en voortgangsfeedback

Toetsingscriteria

Wat gaat goed en wat moet beter?

Leerstrategie

Leeruitkomst

Hoe kan het beter?

Voortgangsfeedback

Metacognitie

Leerdoel

12

4. Interventie en de onderzoeksvraag

4.1 Interventie De feedbackbalk is het instrument dat de school heeft ontwikkeld om voortgangsfeedback te genereren waarmee leerlingen hun voordeel kunnen doen. De balk staat bovenaan het proefwerkpapier dat wordt gebruikt bij alle schriftelijke overhoringen en proefwerken. Bij het invullen van de balk volgen leerlingen en vakdocenten een aantal stappen. Deze worden hieronder toegelicht aan de hand van figuur 2.

Figuur 2: De feedbackbalk

Het geschat cijfer wordt ingevuld voorafgaand aan het maken van een toets, het cijfer nadat de toets is beoordeeld (Vak 1). Docenten geven dan ook feedback (Vak 2). De vakdocent is verplicht feedback te geven als een leerling een onvoldoende heeft gescoord. In andere gevallen is het gewenst. De vakdocent beoordeelt bij het nakijken van de toets ook de vaardigheden ‘formuleren’en ‘leesvaardigheid’en bij de klassikale bespreking krijgen de leerlingen de opdracht om te reflecteren op de studievaardigheden die ze hebben gebruikt in de voorbereiding op de toets. Het oordeel wordt uitgedrukt met

13

+ of –(Vak 3). Bij de bespreking vullen de leerlingen ook het aantal fouten per categorie in. De vakdocent kan hierbij aanwijzingen geven en tekent voor ‘gezien’(Vak4). Na het bespreken van de toets kan de vakdocent de leerling helpen bij het opstellen van het ‘stappenplan ter verbetering’(Vak 5).

4.2 Onderzoeksvraag Deze interventie leidt tot de volgende onderzoeksvraag: Welk effect heeft feedback op toetsen voor het leerproces en de daaruit voortvloeiende resultaten? De vraag is opgesplitst in de volgende deelvragen: 1. Leidt gestructureerde en systematische voortgangsfeedback op de resultaten van toetsen tot betere toekomstige leerresultaten? 2. Krijgen leerlingen door voortgangsfeedback beter zicht op hun eigen niveau? 3. Is er bij langdurige systematische voortgangsfeedback sprake van verbetering van inzicht in eigen capaciteiten? 4. Zien leerlingen dat voortgangsfeedback op toetsen een bijdrage levert aan de sturing van het eigen leerproces? 5. Vinden leerlingen dat ze beter leren in vakken waarvoor ze vaker voortgangsfeedback krijgen?

5. De onderzoeksmethode

5.1 Design Het Lorentz Lyceum wil de feedbackbalk gefaseerd invoeren. In het schooljaar 2010 –2011 is de balk geïntroduceerd in alle eerste klassen. Bij de start van elk nieuw schooljaar zal het gebruik steeds verder worden uitgebreid naar de volgende jaarlaag. Om een quasi-experimentele opzet van het onderzoek te realiseren is dit gedurende het eerste jaar waarin de balk op school werd gebruikt uitgevoerd onder leerlingen van leerjaar 2, tweetalig HAVO-VWO (N = 107). De interventie vond plaats bij vier vakken met

14

docenten die lessen verzorgden in zowel de interventiegroep als in de controlegroep. Alle 107 leerlingen in leerjaar 2 van de tweetalige afdeling in de school waren bij het onderzoek betrokken. Het onderzoek is uitgevoerd voor 3 condities. Er zaten 53 leerlingen in conditie 1 en 2. Voor conditie 1 (vakken B en E) duurde het experiment bijna het hele schooljaar. Voor conditie 2 (vakken A en D) liep het experiment van oktober tot december 2010 en voor conditie 3 (N = 54; vakken A, B en C) van februari tot juni 2011. Tabel 3 geeft de OXO notatie voor het experiment.

TABEL 3: OXO notatie onderzoek effect feedbackbalk Voormeting

Interventie

Nameting

Interventie

OA

X

OB

Controle

OA

OB

Tijdpad

Oktober 2010

Juni 2011

Conditie 1 Vakken B en E

Conditie 2 Vakken A en D Interventie

OA

X

OC

Controle

OA

OC

Tijdpad

Oktober 2010

December 2010

Conditie 3 Vakken A, B en C Interventie

OD

X

Controle

OD

OE

Tijdpad

Februari 2011

Juni 2011

OA: gemiddelde cijfer voor de eerste toets fase 1 vakken A, B, D, E X : werken met de feedbackbalk OB: gemiddelde cijfer voor de laatste toets fase 1 vakken B en E OC: gemiddelde cijfer voor de laatste toets fase 1 A en D OD: gemiddelde cijfer voor de eerste toets fase 2 vakken A, B en C OE: gemiddelde cijfer voor de laatste toets fase 2 vakken A, B en C

OE

15

5.2 Variabelen Tabel 4 geeft een overzicht van de variabelen. Met de toetsscore wordt gemeten of de interventie de beoogde verbetering in leeruitkomsten oplevert. De verschilscore tussen het geschatte en behaalde cijfer meet of de leerlingen beter zicht krijgen op hun eigen niveau. Er is gemeten of leerlingen die langer met de feedbackbalk werken beter zicht krijgen op hun eigen capaciteiten. De feedbackvragenlijst (bijlage 5) meet of leerlingen zien dat ze met voortgangsfeedback op hun toetsen het eigen leerproces beter kunnen sturen. Deze lijst is opgesteld met behulp van de kenmerken van effectieve feedback uit tabel 3 (p. 9). Aan de hand van Clement en Laga (2005) zijn deze kenmerken vertaald naar concrete vragen voor leerlingen. Leerlingen gaven hun waardering voor de feedbackopmerkingen op een 5-puntschaal (1 = laagste tot 5 = hoogste). De vragenlijst werd getest in een klas in leerjaar 3 (N = 23) van het Lorentz Lyceum (Cronbach

= .844). Leerlingen konden in de vragenlijst ook aangeven wat hun

voorkeurvakken zijn, dat wil zeggen in welke vakken ze vinden dat de feedback van de docent hen het beste helpt met leren. Met deze vraag is gemeten of er een sterkere voorkeur is voor vakken waarin werd gewerkt met de feedbackbalk.

TABEL 4: Variabelen Onafhankelijk

Afhankelijk

Toetsscore Voortgangsfeedback

Verschilscore Tijd Feedbackscore Voorkeurvakken

16

5.3 Uitgangspositie De leerlingen in conditie 1 en 2 hadden in groep 8 van de basisschool een significant lagere score op de Cito-toets dan de leerlingen in conditie 3 (bijlage 1 tabel 8). De groep met de lagere Cito-scores zou meer baat kunnen hebben bij de interventie en daarom duurde de interventie voor hen langer. In elke van de drie condities hebben de leerlingen in de interventiegroep gewerkt met de feedbackbalk. De controlegroep heeft op de gebruikelijke manier gewerkt waarbij de docent het werk van de leerlingen nakijkt en tijdens de klassikale bespreking van de toetsuitkomsten krijgen de leerlingen een mondelinge toelichting bij de antwoorden op de toetsvragen. Samen met de toetsscore is dit de feedback in de controlegroep. De vergelijkbaarheid van de interventiegroep met de controlegroep werd getoetst op basis van rapportcijfers op het meest recente rapport voor de start van het onderzoek. Er bleek sprake van een significant verschil voor vak D (bijlage 1 tabel 9 en 10). Ook in de voormeting werd voor vak D een significant verschil in de gemiddelde toetsscores gemeten. Daarom is besloten dit vak buiten de analyse van het onderzoek te houden. Voor de overige vakken waren de toetsscores en verschilscores voor de interventie- en de controlegroepen in de voormeting vergelijkbaar (bijlage 2 tabel 11, 12, 13 en 14). Alle betrokken docenten kregen een schriftelijke instructie over hun rol in het proces van dataverzameling en het belang van betrouwbaarheid. Punten van aandacht waren (a) het voorkomen van uitwisseling tussen leerlingen in de interventiegroep en de controlegroep, (b) gebruik van proefwerkpapier met feedbackbalk in de interventiegroep, en traditioneel proefwerkpapier in de controlegroep, (c) de noodzaak om leerlingen in de controlegroep wel een geschat cijfer te laten opschrijven in de voor- en nameting, (d) het belang van uniformiteit in de beoordeling van toetsen, en (e) de noodzaak van een vergelijkbare moeilijkheidsgraad van toetsen in voor- en nameting.

17

6. Resultaten

Niet alle data voldoen aan de assumpties voor parametrische toetsing. Verschillen tussen de groepen zijn, waar mogelijk getoetst met t-toetsen. Indien de data niet voldeden aan de parametrische assumpties is de Mann-Whitney toets gebruikt.

6.1 Toetsscores Leidt gestructureerde en systematische voortgangsfeedback op de resultaten van toetsen tot betere toekomstige leerresultaten? De toetsscores van de interventiegroep verschillen significant voor vak E in conditie 1 (t = -4.94, p = .000, M interventie = 6.56, SD = 1.28, M controle = 4.64, SD = 1.21) (tabel 5) en voor vak B in conditie 3 (U = 201.000, p = .361, Mdn interventie = 5.50, Mdn controle = 7.00) (tabel 6 p. 18).

TABEL 5: t-toets –Nameting toetsscores Controlegroep

Interventiegroep

M

SD

SE

M

SD

SE

t

p

4.64

1.21

.25

6.56

1.28

.30

-4.94***

.000

5.23

.78

.17

5.57

1.09

.23

-1.19

.120

Vak A

6.85

.78

.15

6.80

1.11

.24

-2.08

.418

Vak C

7.08

1.41

.27

6.53

1.28

.27

-1.42

.080

Conditie 1 Vak E Conditie 2 Vak A Conditie 3

M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid *** p < 0.001

18

TABEL 6: Mann-Whitney toets –Nameting toetsscores Controlegroep

Interventiegroep

Mdn

Mdn

U

z

p

3.70

5.40

247.500

-.364

.361

5.50

7.00

201.000*

-2.33

.011

Conditie 1 Vak B Conditie 3 Vak B Mnd = Mediaan U = toetseenheid z = z-score *p < .05 6.2 Verschilscores Krijgen leerlingen door voortgangsfeedback beter zicht op hun eigen niveau? Om deze vraag te beantwoorden werden de verschilscores tussen geschatte en behaalde cijfers vergeleken. Deze waren niet verschillend voor de interventiegroepen en de controlegroepen met uitzondering van Vak B in conditie 3 (U =177.500, p = .022, Mdn interventie = 2.00, Mdn controle = 1.00) (tabel 7).

TABEL 7: Mann-Whitney toets –Nameting verschilscores Controlegroep

Interventiegroep

Mdn

Mdn

U

z

p

1.58

.55

153.500

-1.46

.072

Vak A

.80

.85

262.500

-.437

.334

Vak B

1.00

2.00

177.500*

-2.01

.022

Conditie 2 Vak A Conditie 3

Mnd = Mediaan U = toetseenheid z = z-score *p < .05

19

Is er bij langdurige systematische voortgangsfeedback sprake van verbetering van inzicht in eigen capaciteiten? Het significante resultaat in de verschilscores voor vak B in conditie 3 betekent dat de langere duur van de interventie geen effect op heeft geleverd (tabel 7 p. 18).

6.3 Feedbackscores Zien leerlingen dat voortgangsfeedback op toetsen een bijdrage levert aan de sturing van het eigen leerproces? De gemiddelde score voor de interventiegroep en de controlegroep bleek gelijk (2,86) (bijlage 4 tabel 16). De significant positieve relatie tussen de feedbackscores van de leerlingen in beide groepen (r = 0.946, p = .000) betekent dat de interventie geen rol speelt bij de perceptie van leerlingen over de sturing van hun leerproces. Alleen voor vraag 5 werd een significant verschil gevonden. Dit is de vraag waarin leerlingen aangeven te weten waar ze de juiste antwoorden kunnen vinden op vragen die ze hebben gemist op een toets. Hier blijken echter de leerlingen in de controlegroep hoger te scoren (U =964,000, p = .432, interventie Mdn = 2.00, controle Mdn = 3.00 ) (bijlage 4 tabel 17).

6.4 Voorkeurvakken Vinden leerlingen dat ze beter leren in vakken waarvoor ze vaker voortgangsfeedback krijgen? Leerlingen in de interventiegroep noemen vakken waarin werd gewerkt met de feedbackbalk iets vaker als vakken waarin ze denken beter te kunnen leren dan leerlingen in de controlegroep (interventiegroep 40.0%; controlegroep 33.6%) (bijlage 4 tabel 19). Figuur 3 (p. 20) geeft het overzicht van de deelvragen, de variabelen en uitkomsten.

20

Figuur 3: Overzicht onderzoeksvragen en resultaten

1. Leidt gestructureerde en systematische voortgangsfeedback op 6. de Resultaten resultaten van toetsen tot betere toekomstige leerresultaten?

Welk effect heeft feedback op toetsen voor het leerproces en de daaruit voortvloeiende resultaten?

Vergelijking toetsscores interventie- en controlegroep

Significant verschil vak E conditie 1 en vak B conditie 3

2. Krijgen leerlingen door voortgangsfeedback beter zicht op hun eigen niveau?

Vergelijking verschilscores interventie- en controlegroep

Significant verschil vak B conditie 3

3. Is er bij langdurige systematische voortgangsfeedback sprake van verbetering van inzicht in eigen capaciteiten?

Vergelijking verschilscores conditie 1 en conditie 2 - 3

Geen significant verschil

4. Zien leerlingen dat voortgangsfeedback op toetsen een bijdrage levert aan de sturing van het eigen leerproces?

Vergelijking feedbackscore interventie- en controlegroep

Geen significant verschil

5. Vinden leerlingen dat ze beter leren in vakken waarvoor ze vaker voortgangsfeedback krijgen?

Vergelijking voorkeurvakken interventie- en controlegroep

Geen significant verschil

21

Omdat de gemiddelde feedbackscore voor beide groepen gelijk bleek, rees de vraag of het gegeven dat dezelfde docenten in beide groepen feedback gaven hier van invloed zou zijn geweest ondanks de instructie aan docenten om de condities in interventie- en controlegroep gelijk te houden met uitzondering van de feedbackbalk. Om dit te toetsen is de vragenlijst ook uitgezet onder alle leerlingen van leerjaar 1 en 2. Leerlingen van leerjaar 1, die sinds september 2010 werken met de feedbackbalk werden beschouwd als interventiegroep (N = 204, respons = 180), leerlingen uit leerjaar 2 vormden de controlegroep (N = 150, respons = 126). De leerlingen uit klas 2 in de tweetalige afdeling die al bij het experiment waren betrokken waren uitgezonderd van deze meting. De uitkomst voor leerjaar 1 en leerjaar 2 bevestigt de trend van het experiment (bijlage 4 tabel 18). Ook hier blijkt dat de interventie in leerjaar 1 geen rol speelt bij de perceptie van leerlingen over de sturing van hun leerproces(M interventie = 3.01, M controle = 2.41, r = 0.913, p = .000). De uitkomsten van de feedbackscores zijn, afgezien van een paar uitzonderingen niet significant. Onderzocht werd in hoeverre er sprake was van effectieve voortgangsfeedback en in hoeverre er samenhang is tussen de perceptie van docenten en leerlingen over de opbrengst ervan. Er zijn in totaal 551 feedbackopmerkingen door docenten op de feedbackbalk geschreven. Deze zijn beoordeeld op de kenmerken van effectieve feedback uit tabel 3 (p. 9). Elke opmerking die aan minstens één van de vier kenmerken voldeed werd effectief beschouwd. De beoordeling is verricht door de onderzoeker en een niet bij het onderzoek betrokken collega onderzoeker van een ander school. Zij hebben onafhankelijk van elkaar gewerkt. De scores van de beide onderzoekers vertoonden grote overeenstemming (Kappa = .81, p < .000). Zij beoordeelden 28.1% van alle opmerkingen als effectief en 71,9% als niet effectief (bijlage 4 tabel 21). De samenhang tussen de manier waarop docenten en leerlingen oordelen over de opbrengst van voortgangsfeedback werd onderzocht door docenten zichzelf een score te laten geven voor door hen gegeven feedback. Daartoe zijn de uitspraken op de vragenlijst geherformuleerd naar het perspectief van de docenten (bijlage 5). Er blijkt geen sprake

22

van een significante samenhang (bijlage 4 tabel 20). Dat betekent dat leerlingen en docenten de opbrengst van de voortgangsfeedback verschillend beoordelen (Pearson r = .396, p = .203). De gemiddelde feedbackscore die docenten zichzelf geven ligt 0.22 punt hoger dan de score die leerlingen aan de feedback toekennen. Docenten scoren zichzelf gemiddeld 0.73 punt hoger op acht van de twaalf vragen, Op de vragen waar leerlingen de feedback hoger waarderen is het verschil gemiddeld 0.54 punt.

7. Conclusies

De centrale vraag in dit onderzoek was: Welk effect heeft feedback op toetsen voor het leerproces en de daaruit voortvloeiende resultaten? Voor de vakken E en B werden na de interventie hogere toetsscores gemeten. Voor vak E bestond er in de voormeting een significant verschil. Dat zorgt ervoor dat de uitkomst de aanwezige situatie in deze groepen bevestigt en er geen uitspraak over de rol van de voortgangsfeedback kan worden gedaan. Voor vak B werden na de interventie hogere toetsscores gemeten die wel wijzen op een effect (effect grootte r = .33). De verwachte stimulans die van de interventie zou uitgaan voor het verbeteren van het inzicht van de leerlingen in hun eigen capaciteiten kwam ook uit voor vak B in conditie 3 (effect grootte r = .29). De verwachting dat er een sterker effect zou worden gevonden naarmate leerlingen langer met de feedbackbalk werkten is niet bevestigd. Ook werd geen verschil gevonden tussen de interventie- en de controlegroep voor de bijdrage van het werken met de feedbackbalk aan de sturing van het eigen leerproces. Het aantal gevonden significante resultaten is beperkt. Dat betekent dat de verbetering in de manier waarop voortgangsfeedback wordt gegeven nog weinig effectief is gebleken.

23

8. Discussie

Het experiment vond plaats met leerlingen in leerjaar 2. Dit is een groep leerlingen die qua leeftijd en ontwikkeling van studievaardigheden het meest overeenkomt met leerlingen in de eerste klas. Zo werd enigszins rekening gehouden met de externe validiteit van de uitkomsten voor de onderbouw in de school. Voor conditie 2 duurde het experiment 10 lesweken, voor conditie 3 waren dat er 14. Daardoor bleef voor deze groepen het aantal toetsuitkomsten en mogelijkheden voor gebruik van de feedbackbalk klein. Voor vak A in conditie 2 en voor vak C in conditie 3 berusten de uitkomsten op twee meetmomenten. Voor de overige vakken konden meer meetgegevens worden geanalyseerd. Het beperkte aantal metingen in sommige vakken kan eraan hebben bijgedragen dat er geen effect van de interventie naar voren is gekomen. In conditie 3 waar het experiment het hele schooljaar duurde, zijn voor vak B de meeste meetmomenten geweest. Uit deze negen metingen is echter geen significante verbetering in leeruitkomsten gekomen, noch een significante verbetering van inzicht van leerlingen in de eigen capaciteiten. De hoeveelheid feedback werd ook beïnvloed door de vrijblijvendheid die aan docenten werd gelaten voor het geven van voortgangsfeedback. In het belang van de externe validiteit van het onderzoek voor het Lorentz Lyceum werd in het experiment de werkwijze gevolgd zoals die voor leerjaar 1 was vastgesteld. Docenten waren alleen verplicht om opmerkingen te schrijven op de feedbackbalk voor leerlingen die een onvoldoende scoorden op een test. Dit heeft het aantal feedbackopmerkingen dat zou kunnen bijdragen aan een effect van de interventie beperkt. De meting werd gedaan op basis van schriftelijke voortgangsfeedback. Bondige opmerkingen op de feedbackbalk werden in het onderzoek als niet effectief gekwalificeerd. Tijdens de klassikale bespreking krijgen leerlingen echter ook feedback op een toets. Het is mogelijk dat leerlingen met deze mondelinge informatie zulke bondige opmerkingen op de feedbackbalk wel in een juiste context kunnen plaatsen zodat ze voor hen relevant zijn en kunnen bijdragen aan verbetering van hun leerproces. Dat

24

betekent dat leerlingen vaker effectieve feedback zouden kunnen hebben gekregen dan tot uitdrukking komt in de toegekende feedbackscores voor docenten. De onderzoekspopulatie bestond uit alle leerlingen van leerjaar 2 in de tweetalige afdeling van de school (N = 107). Zij waren verdeeld over vier klassen, twee verschillende interventiegroepen en twee verschillende controlegroepen. Dat brengt een beperking voor het onderzoek met zich mee. De geringe populatie per groep vergroot de invloed van uitbijters op de gemiddelde scores. Ook hebben niet alle leerlingen bij alle toetsen een geschat cijfer ingevuld. De motivatie van leerlingen om voorafgaand aan een toets een geschat cijfer in te vullen kan een rol spelen voor de betrouwbaarheid van de schatting. De meting van de verschilscores kan ook zijn beïnvloed doordat uitwisseling heeft plaatsgevonden tussen de interventie- en controlegroep. Leerlingen in de controlegroep moesten in de voormeting een geschat cijfer invullen. Ook is het mogelijk dat leerlingen in de controlegroep bij andere vakken de feedbackbalk al hebben gezien. Proefwerkpapier met en zonder de balk is op school in omloop. Dit kunnen redenen zijn geweest tot uitwisseling met anderen dan de eigen klasgenoten. Het zou ertoe kunnen leiden dat ook leerlingen in de controlegroep bewuster zijn gaan reflecteren op het eigen leerproces en tot een verandering in hun voorbereiding op volgende toetsen. De rol van docenten in het onderzoek verdient eveneens de aandacht. Bij aanvang van het onderzoek waren er voor elk van de geselecteerde de groepen drie of vier vakdocenten met lessen in zowel de interventiegroep als in de controlegroep. Deze geselecteerde klassen leverden de beste mogelijkheid om de condities in beide groepen zoveel mogelijk vergelijkbaar te houden met uitzondering van het gebruik van de reflectiebalk. Dit was van belang voor de interne validiteit. Betrokken docenten hebben zelf alle toetsen beoordeeld waarbij namen van leerlingen niet geblindeerd waren. Tijdens de beoordeling wisten zij of het leerlingen betrof uit de interventiegroep of uit de controlegroep. Deze wetenschap kan hen hebben beïnvloed bij het nakijken van de toetsen, ondanks het aanbevolen gebruik van een correctiemodel om de betrouwbaarheid van het toekennen van scores te bevorderen. Ook

25

kan de meting beïnvloed zijn doordat docenten meer effectieve feedback zijn gaan geven aan leerlingen in de controlegroep dan zij gewoon waren voor aanvang van het experiment. Er werd geen verschil gevonden tussen de interventie- en de controlegroep in de bijdrage van de feedbackbalk aan de sturing van het eigen leerproces. Verschillende factoren kunnen hier een rol hebben gespeeld. Allereerst blijkt dat de gemiddelde waardering die leerlingen aan de feedbackopmerkingen toekenden met 2.86 niet veel boven de helft van het maximum van 5 punten ligt. Daarnaast werd bij toetsing van de opmerkingen op kenmerken van effectieve feedback (Hattie & Timperley 2007; Davies et al., 2004; Andrade, Du & Wang, 2008), 71.9% als niet effectief gekwalificeerd. Het was opvallend dat deze niet effectieve feedback voor de helft bestond uit aanmoedigingen als ‘Goed zo’, ‘Ga zo door’, ‘Prima gedaan’. Echter, zonder concrete informatie over wat er goed is en waarom, hebben leerlingen hier niet veel aan voor het bepalen van vervolgstappen in hun leerproces. Docenten en leerlingen hadden ook verschillende ideeën over de opbrengst van de voortgangsfeedback. Volgens de leerlingen levert feedback over wat al goed gaat en wat kan verbeteren meer op dan docenten verwachten. Verder vinden leerlingen dat zij de opmerking van docenten zorgvuldig lezen en deze gebruiken bij de voorbereiding op een volgende toets. Docenten schatten leerlingen hierop lager in. Het is de vraag of leerlingen effectieve feedback altijd als zodanig herkennen. Volgens Black en William (2004) wordt er met het toekennen van cijfers een competitie element geïntroduceerd. Dit biedt de gelegenheid aan docenten en leerlingen om een hiërarchie aan te brengen binnen een groep. Voortgangsfeedback vergezeld met cijfers zorgt er zo voor dat leerlingen meer product georiënteerd handelen. Het resultaat telt en het leerproces wordt daaraan ondergeschikt gemaakt. Leerlingen in de interventiegroep gaven niet aan beter te kunnen leren in vakken waarin de feedbackbalk werd gebruikt. Higgins, Hartley en Skelton (2002) wijzen op het belang van timing. Volgens hen bestaat de kans dat feedback aan het einde van een module fragmentarisch is en weinig oplevert voor de voortgang van het leerproces. Veel

26

van de toetsen op het Lorentz Lyceum worden gehouden als afsluiting van een onderwerp. Daarmee komt de feedback achteraf en kan het zijn dat leerlingen het niet ervaren als informatie die hen kan helpen in het vervolg van hun leerproces. Volgens de eerder genoemde auteurs gaan studenten feedback die achteraf komt minder snel gebruiken om nog eens terug te kijken. Ook schat men de waarde ervan voor het leerproces lager. Tot slot kwam in de studie van deze auteurs naar voren dat docenten vaak weinig tijd besteden aan het formuleren van gedetailleerde feedback voor studenten die al voldoende presteren. Ook als docenten er weinig vertrouwen in hebben dat de feedback als worden geraadpleegd om in praktijk te brengen, is de bereidheid tot geven ervan minder. Dit patroon lijkt aan te sluiten bij de verschillen in verwachtingen van voortgangsfeedback tussen leerlingen en docenten die zijn waargenomen tijdens het experiment met de feedbackbalk.

9. Aanbevelingen

Het geven van feedback op toetsen, zoals in de interventie is gepraktiseerd, blijkt geen afdoende strategie om leeruitkomsten en metacognitieve ontwikkeling te bevorderen. Er is meer voor nodig om het beoogde doel te bereiken. De metacognitieve ontwikkeling op academisch georiënteerde taken is bij middelbare scholieren nog in een vroeg stadium van ontwikkeling (Clement & Laga, 2005; Van der Stel & Veenman, 2009). In de literatuur wordt er verder op gewezen dat het stimuleren van de metacognitieve ontwikkeling ingebed moet worden in de dagelijkse lespraktijk (Hattie, 2009; Van der Stel & Veenman, 2009). Het belang daarvan spreekt uit studies die wijzen op een bijdrage van metacognitieve vaardigheden aan leeruitkomsten (Van der Stel & Veenman, 2009; Vandergrift & Tafaghodtari, 2010). Op basis van de bestudeerde literatuur en de uitkomsten van het experiment wordt aanbevolen om docenten ertoe aan te zetten de feedbackbalk meer te benutten. Dat kan door feedback te geven aan alle leerlingen in plaats van alleen aan leerlingen die een

27

onvoldoende scoren op een test en aanmoedigende opmerkingen te ondersteunen met effectieve feedback. Ook is het belangrijk docenten te stimuleren om vakinhoud en leerstrategieën in hun lessen te integreren. Dat zou bijvoorbeeld kunnen door voor leerlingen duidelijk herkenbare momenten voor voortgangsfeedback op te nemen in een periode waarin een bepaald onderwerp wordt bestudeerd voordat er sprake is van een afsluitende toets. Op die manier zou de feedback worden losgekoppeld van het cijfer waardoor de aandacht van de leerlingen meer zou kunnen worden gevestigd op het leerproces (Black & William, 2004). Daarnaast kan de school de thema’s voortgangsfeedback en metacognitieve ontwikkeling van leerlingen terugkerende agendapunten te maken op teamvergaderingen of tijdens studiedagen om zo de gezamenlijke verantwoordelijkheid voor de metacognitieve ontwikkeling van leerlingen te onderstrepen. De school kan ruimte bieden voor professionele ontwikkeling op dit vlak. Het is de bedoeling om het werken van de feedbackbalk op het Lorentz Lyceum uit te breiden naar de hele school. Onderzoek naar het effect van de genoemde aanbevelingen kan meer inzicht opleveren op factoren die het succes van deze interventie verder kunnen ondersteunen.

28

Referenties: Andrade, H.L., Wang, X. & Du, Y. (2008). Putting rubrics to the test: the effect of a model, criteria generation and rubric-referenced self assessment on elementary school students’Writing. Educational Measurement: Issues and Practice, 27(2), 13-18. Black, P. & William, D. (1998). Assessment and classroom learning. Assessment in Education, 5(1), 7-74. Black, P. & William, D. (2004). Working inside the black box: assessment for learning in the classroom. Phi Delta Kappan, 86(1), 9-21. Clement, M. & Laga, E. (2005). Steekkaarten doceerpraktijk. Apeldoorn: Garant. Davies, P., Durbin, C., Clarke, J. & Dale, J. (2004). Developing students’conceptions of quality in geography. The Curriculum Journal, 15(1), 19-34. Flavell, J. H. (1979). Metacognition and Cognitive Monitoring: A New Area of Cognitive-Developmental Inquiry. American Psychologist, 34(10), 906-911. Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. Hattie, J. (2009). Visible learning. London: Routledge. Higgins, R., Hartley, P. & Skelton, A. (2002). The conscientious consumer: reconsidering the role of assessment feedback in student learning. Studies in Higher education, 27(1), 53-64. Inspectie van het Onderwijs Ministerie van Onderwijs, Cultuur en Wetenschap (2010). Rapport van bevindingen onderzoek bij het Lorentz Lyceum afdelingen Havo en VWO. Documentnummer H2890825. Stel van der, M., & Veenman, M. V. J. (2010). Development of Metacognitive Skillfulness: A Longitudinal Study. Learning and Individual Differences, 20(3), 220-224. Vandergrift, L., & Tafaghodtari, M. H. (2010). Teaching L2 Learners How to Listen Does Make a Difference: An Empirical Study. Language Learning, 60(2), 470-497.

29

BIJLAGE 1: Uitgangssituatie

TABEL 8: Mann-Whitney toets –Cito-scores conditie 1 en 2 en conditie 3 Citoscore Conditie 1 en 2

546

Conditie 3

543

U

z

p

354.50***

-6.202

.000

Mnd = Mediaan U = toetseenheid z = z-score ***p < .001

TABEL 9: t-toets Uitgangssituatie –rapportcijfers conditie 1 en 2 en conditie 3 Controlegroep

Interventiegroep

M

SD

SE

M

SD

SE

t

p

Vak B

6.85

1.44

.28

6.51

1.40

.27

.873

.387

Vak E

6.28

.87

.18

6.61

.92

.18

-1.327

.191

Vak A

6.23

.95

.18

6.53

.93

.18

-1.139

.260

Vak D

6.95

.73

.14

7.48

.64

.12

-2.812*

.007

Vak A

6.22

.66

.13

6.28

.74

.15

.324

.747.

Vak B

7.37

1.01

.19

6.94

1.37

.27

-1.284

.205

Vak C

6.06

.82

.16

6.26

.69

.14

.97

.336

Conditie 1

Conditie 2

Conditie 3

M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid * p < 0.05

30

BIJLAGE 1: Uitgangssituatie (vervolg)

TABEL 10: Mann-Whitney toets –Uitgangssituatie rapportcijfers conditie 3 Controlegroep

Interventiegroep

Mdn

Mdn

U

z

p

6.80

7.40

280.00

-1.054

.297

Conditie 3 Vak B Mnd = Mediaan U = toetseenheid z = z-score p < .05

31

BIJLAGE 2: Voormeting TABEL 11: t-toets –Voormeting toetsscores Controlegroep

Interventiegroep

M

SD

SE

M

SD

SE

t

p

Vak A

5,85

1.06

.20

6.25

1.07

.21

-1.36

.180

Vak B

7.06

1.82

.36

6.75

1.69

.33

.64

.527

5.40

1.88

.38

6.62

2.34

.47

-2.03*

.048

Vak C

5.71

1.63

.31

5.74

1.61

.33

.07

.943

Vak A

5.98

2.94

.58

5.90

2.51

.50

-.11

.917

Conditie 1

Conditie 2 Vak D Conditie 3

M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid * p < 0.05

TABEL 12: Mann-Whitney toets –Voormeting toetsscores Controlegroep

Interventiegroep

Mdn

Mdn

U

z

p

6.85

7.80

228.50*

-2.01

.045

4.60

4.80

255.50

-.89

.378

Conditie 1 Vak E Conditie 3 Vak A Mnd = Mediaan U = toetseenheid z = z-score *p < .05

32

BIJLAGE 2: Voormeting (vervolg)

TABEL 13: t-toets –Voormeting verschilscores Controlegroep

Interventiegroep

M

SD

SE

M

SD

SE

t

p

1.08

.86

.18

1.13

.66

.13

-.253

.801

.173

.1.29

..26

1.73

.97

.203

.01

.992

Conditie 2 Vak A Conditie 3 Vak A

M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid p < 0.05

TABEL 14: Mann-Whitney toets –Voormeting verschilscores Controlegroep

Interventiegroep

Mdn

Mdn

U

z

p

Vak B

1.20

.95

321.000

-.075

.944

Vak E

.80

1.30

249.500

-.54

.593

Vak B

1.00

1.00

290.000

-.67

.511

Vak C

.80

1.20

292.500

-.09

.932

Conditie

Conditie 3

Mnd = Mediaan U = toetseenheid z = z-score *p < .05

33

BIJLAGE 3: Nameting

TABEL 15: t-toets –Nameting verschilscores Controlegroep

Interventiegroep

M

SD

SE

M

SD

SE

t

p

Vak B

1.20

.94

.19

1.26

1.10

.22

-.20

.421

Vak E

1.09

.86

.18

1.23

.87

.18

-.53

.300

1.22

.95

.18

1.25

.95

.20

.09

.466

Conditie 1

Conditie 3 Vak C

M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid * p < 0.05

34

BIJLAGE 4: Feedbackscores

TABEL 16: Uitkomsten feedbackvragenlijst leerlingen leerjaar 2 tweetalig HAVO-VWO Vraag

Interventiegroep

Controlegroep

Gemiddelde score per vraag

1

2,17

2,11

2,13

2

3,46

3,66

3,56

3

3,03

3,17

3,10

4

2,85

3,04

2,95

5

2,53

2,16

2,35

6

3,35

3,27

3,31

7

2,76

2,57

2,67

8

2,49

2,69

2,59

9

2,62

2,68

2,65

10

2,24

2,00

2,12

11

3,88

3,90

3,89

12

2,92

3,13

3,03

2,86

2,86

2,86

Gemiddelde score per groep

35

BIJLAGE 4: Feedbackscores (vervolg)

TABEL 17: Mann-Whitney toets –Feedbackscores leerlingen leerjaar 2 tweetalig HAVO-VWO Vraag

Interventie

Controle

Mdn

Mdn

U

z

p

1

2.00

2.00

1024,000

-1,332

,095

2

4.00

4.00

1110,500

-,636

,265

3

3.00

3.00

1136,000

-,443

,330

4

3.00

3.00

1131,000

-,477

,319

5

2.00

3.00

964,000*

-1,724

,043

6

3.00

3.00

1171,500

-,183

,430

7

2.00

3.00

1147,500

-,358

,361

8

3.00

2.50

1125,000

-,529

,301

9

3.00

3.00

1176,000

-,149

,443

10

2.00

2.00

977,000

-1,637

,051

11

4.00

4.00

1188,000

-,060

,476

12

3.00

3.00

1115,500

-,588

,280

Mnd = Mediaan U = toetseenheid z = z-score *p < .05

36

BIJLAGE 4: Feedbackscores (vervolg)

TABEL 18:

Feedbackscore leerlingen leerjaar 1 en 2 Lorentz Lyceum (2010 –2011)

Vraag 1 2 3 4 5 6 7 8 9 10 11 12

Interventiegroep

Controlegroep

2.34

2.13

3.99

3.49

3.47

3.38

3.19

3.17

2.73

2.47

3.41

3.02

3.01

2.19

2.55

2.17

2.56

2.12

2.31

1.93

4.02

3.27

3.12

2.52

3.01

2.41

Gemiddelde score per groep

TABEL 19: Voorkeurvakken leerlingen leerjaar 2 tweetalig HAVO-VWO %

%

Vakken met interventie

Vakken zonder interventie

Interventiegroep

40.0

60.0

Controlegroep

33.6

66.3

37

BIJLAGE 4: Feedbackscores (vervolg) TABEL 20: Feedbackscore docenten en leerlingen leerjaar 2 tweetalig HAVO-VWO Vraag

leerlingen

docenten

1

2.13

3.17

2

3.57

4.00

3

3.10

4.50

4

2.96

3.67

5

2.34

3.00

6

3.33

3.50

7

2.65

2.50

8

2.59

2.33

9

2.66

3.00

10

2.10

2.17

11

3.89

2.67

12

3.03

2.50

Gemiddelde score

2.86

3.08

TABEL 21: Effectieve feedbackopmerkingen Aantal

%

Effectief

155

28.1

Niet effectief

396

71.9

Totaal

551

100.0

38

BIJLAGE 5: Vragenlijsten Vragenlijst leerlingen De school wil graag weten wat er in de klas gebeurt met proefwerken of schriftelijke overhoringen als de docent ze heeft nagekeken en aan de leerlingen teruggeeft. Op blad 2 en 3 staat een lijst met 12 beweringen. Door een cijfer te omcirkelen geef je voor elke bewering aan wat je vindt. Deze schaal laat zien wat je cijfer betekent: Dit is soms op Dit is Dit is (bijna) regelmatig op mij van nooit op mij mij van van toepassing toepassing toepassing 3 2 1

Dit is vaak op mij van toepassing

Dit is (bijna) altijd op mij van toepassing

4

5

Dus: Als je vindt dat de bewering bijna of nooit op jou van toepassing is, dan omcirkel je het cijfer 1. Als je vindt dat de bewering soms op jou van toepassing is, dan omcirkel je het cijfer 2. Als je vindt dat de bewering regelmatig op jou van toepassing is, dan omcirkel je het cijfer 3, etc. 1.

Als docenten een proefwerk of SO opgeven, vertellen ze vooraf wat voor vragen ze zullen stellen. 1

2.

5

2

3

4

5

2

3

4

5

Na het bespreken van een proefwerk of SO weet ik waarom ik vragen niet goed heb beantwoord. 1

5.

4

Na het bespreken van een proefwerk of SO weet ik de juiste antwoorden op de vragen die ik niet goed heb beantwoord. 1

4.

3

Na het bespreken van een proefwerk of SO weet ik welke vragen ik goed heb beantwoord en welke vragen ik niet goed heb beantwoord. 1

3.

2

2

3

4

5

Na het bespreken van een proefwerk of SO weet ik waar ik de juiste antwoorden kan vinden voor de vragen die ik niet goed heb beantwoord. 1

2

3

4

5

39

6.

Ik begrijp goed wat docenten bedoelen met de opmerkingen die ze voor mij opschrijven bij mijn antwoorden op een proefwerk of SO. 1

7.

3

4

5

2

3

4

5

2

3

4

5

2

3

4

5

De opmerkingen die docenten bij mijn antwoorden op een proefwerk of SO schrijven lees ik zorgvuldig. 1

12.

2

Docenten schrijven opmerkingen bij mijn antwoorden op een proefwerk of SO. Daardoor weet ik beter hoe ik kan leren. 1

11.

5

Docenten schrijven opmerkingen bij mijn antwoorden op een proefwerk of SO. Daardoor weet ik hoe ik me kan verbeteren. 1

10.

4

Docenten schrijven opmerkingen bij mijn antwoorden op een proefwerk of SO. Daardoor weet ik op welke delen van de stof ik me kan verbeteren. 1

9.

3

Docenten schrijven opmerkingen bij mijn antwoorden op een proefwerk of SO. Daardoor weet ik welke delen van de stof ik al goed beheers. 1

8.

2

2

3

4

5

Bij de voorbereiding voor de volgende toets gebruik ik de opmerkingen die docenten bij mijn antwoorden op het vorige proefwerk of SO hebben geschreven.

Er zijn verschillen tussen docenten. Zet een kruisje bij de twee vakken in deze lijst waarvan jij vindt dat de opmerkingen van de docent je het beste helpen bij het leren. Nederlands Engels Frans Duits Mathematics Science (Physics / Chemistry)

Critical Thinking Skills Geography History Economics Music

BIJLAGE 5: Vragenlijsten (vervolg)

Vragenlijst docenten Graag wil ik je uitnodigen je bijdrage te leveren aan het onderzoek naar het nieuwe proefwerkpapier. Hieronder staat een lijst met 12 beweringen. Door een cijfer te omcirkelen geef je voor elke bewering aan in hoeverre je vindt dat deze op jouw van toepassing is. Deze schaal laat zien wat je cijfer betekent: Dit is zelden of nooit op mij van toepassing 1 1.

Dit is soms op mij van toepassing 2

Dit is vaak op mij van toepassing

Dit is regelmatig op mij van toepassing 3

Dit is (vrijwel) altijd op mij van toepassing

4

5

Als ik een proefwerk of SO opgeef, vertel ik de leerlingen ook vooraf wat voor vragen ik ga stellen. 1

2

3

4

5

2. Na het bespreken van een proefwerk of SO weet elke leerling welke vragen hij goed heeft beantwoord en welke vragen hij niet goed heeft beantwoord. 1

2

3

4

5

3. Na het bespreken van een proefwerk of SO weet elke leerling de juiste antwoorden op de vragen die hij niet goed heeft beantwoord. 1

2

3

4

5

4. Na het bespreken van een proefwerk of SO weet elke leerling waarom hij de vragen niet goed heeft beantwoord. 1

2

3

4

5

5. Na het bespreken van een proefwerk of SO weet elke leerling waar hij de juiste antwoorden kan vinden voor de vragen die hij niet goed heeft beantwoord. 1

2

3

4

5

6. Leerlingen begrijpen goed wat ik bedoel met de opmerkingen die ik voor hen opschrijf bij hun antwoorden op een proefwerk of SO. 1

2

3

4

5

7. Ik schrijf opmerkingen bij de antwoorden van leerlingen op een proefwerk of SO. Daardoor weet elke leerling welke delen van de stof hij al goed beheerst. 1

2

3

4

5

8. Ik schrijf opmerkingen bij de antwoorden van leerlingen op een proefwerk of SO. Daardoor weet elke leerling op welke delen van de stof hij zich kan verbeteren. 1

2

3

4

5

9. Ik schrijf opmerkingen bij de antwoorden van leerlingen op een proefwerk of SO. Daardoor weet elke leerling hoe hij zich kan verbeteren. 1

2

3

4

5

10. Ik schrijf opmerkingen bij de antwoorden van leerlingen op een proefwerk of SO. Daardoor weten elke leerling beter hoe hij kan leren. 1

2

3

4

5

11. Ik stimuleer leerlingen om de opmerkingen die ik bij de antwoorden van leerlingen op een proefwerk of SO zorgvuldig te lezen. 1

2

3

4

5

12. Ik stimuleer leerlingen de opmerkingen die ik bij hun antwoorden op het vorige proefwerk of SO heb geschreven te gebruiken bij de voorbereiding voor de volgende toets. 1

2

3

4

5

BIJLAGE 6: Instructies voor docenten Conditie 1 en 2 Hierbij een overzicht van belangrijke punten van actie m.b.t. het gebruik van de reflectiebalk in T2c en de functie van T2d als controlegroep: NB: waar hieronder gesproken wordt over toets, lees proefwerk of schriftelijke overhoring of quiz. • • • • • • •

•

•

•

Condities in T2c en T2d zijn geheel vergelijkbaar, met uitzondering van het gebruik van de reflectiebalk. In T2d wordt op voor de docent gebruikelijke manier gewerkt; in T2c met de reflectiebalk. Voorkom uitwisseling over het gebruik van de reflectiebalk tussen leerlingen van T2c en T2d. Gebruik het oude proefwerkpapier in T2d gedurende het onderzoek. Voor de voor- en nameting schrijven leerlingen van T2d het geschatte cijfer in de rechterbovenhoek van het proefwerkpapier. Bij het nakijken van de toets in de voor- en nameting gebruik maken van een antwoordmodel om de betrouwbaarheid van de meting van de toetsscores te bevorderen. (Consequent zijn in het toekennen van punten.) De moeilijkheidsgraad van de toets in de voor- en nameting is vergelijkbaar. Voormeting: deadline 27 september 2010. Alvorens de toets aan de leerlingen te retourneren alles bij Mieke in het postvak deponeren. (Graag met de naam van de betreffende klas en docent!) Mieke maakt kopieën en stopt het daarna weer terug in je postvak. Nameting: deadline 30 November 2010. Alvorens de toets aan de leerlingen te retourneren alles bij Mieke in het postvak deponeren. (Graag met de naam van de betreffende klas en docent!) Mieke maakt kopieën en stopt het daarna weer terug in je postvak. Gedurende de periode 27 september tot 30 november: Als een leerling een onvoldoende heeft behaald voor een toets is het verplicht om feedback te geven onder ‘opmerkingen docent’. Mogelijk is de ruimte niet voldoende. Dan opmerkingen op apart blad bijvoegen met naam van de leerlingen en het vak waarin de toets is gemaakt. Deze opmerkingen ook in postvak Mieke alvorens de toets aan de leerlingen te retourneren. (Graag met de naam van de betreffende klas en docent!) Mieke maakt kopieen en stopt het daarna weer terug in je postvak. Het is handig om zaken die je opvallen in een ‘logboekje’bij te houden. Wellicht levert dit informatie op de relevant is voor de rapportage van het onderzoek.

Succes, en alvast hartelijk dank voor jullie medewerking!

BIJLAGE 6: Instructies voor docenten (vervolg) Conditie 1 en 3 Beste Collega’s, Waar hieronder gesproken wordt over toets, lees proefwerk of schriftelijke overhoring of quiz. • • • •

•

•

•

T2d / T2b is controlegroep. Voor hen verandert er niet veel in de gebruikelijke werkwijze. Doorgaan met het gebruik van het oude proefwerkpapier. Bij de eerste toets voor T2b laat je de leerlingen wel een geschat cijfer in de rechterbovenhoek van het proefwerkpapier schrijven. In T2c / T2a laat je de leerlingen altijd bij het begin van de toets het geschat cijfer op de reflectiebalk invullen.

Bij het nakijken van de toets van T2c / T2a, schrijf je een + of –achter ‘Formuleren’ en ‘Leesvaardigheid’, en geef je feedback op het werk van de leerling in het vakje ‘opmerkingen vakdocent’. Het geven van feedback is verplicht voor leerlingen die een onvoldoende hebben gescoord, voor de andere leerlingen is het gewenst, want ook die kunnen zich nog wel verbeteren. Tijdens de nabespreking van het werk in T2c / T2a, vraag je de leerlingen om voor zichzelf een + of –in te vullen bij ‘voorbereiding’, ‘planning’, ‘herhaling’en ‘werkhouding’. Ook maken de leerlingen een foutenanalyse en vullen in de rechterkolom in hoeveel van de verschillende soorten fouten ze hebben gemaakt. Tot slot stellen leerlingen een stappenplan ter verbetering op. Je kunt ze daar bij helpen. Tot en met de laatste toets in juni, werk je in T2c / T2a volgens de geschetste werkwijze en leg je het nagekeken werk bij Mieke in het postvakje. Mieke kopieert en retourneert het werk in jouw postvakje.

• • •

Zoals boven al gezegd: in T2d / T2b werk je bij het teruggeven van de toets op de voor jou gebruikelijke manier. In T2d / T2b vraag je bij de laatste toets in juni aan de leerlingen om weer een geschat cijfer in de rechterbovenhoek van hun proefwerkpapier te schrijven. Als je deze laatste toetsen hebt nagekeken stop je het werk bij Mieke in het postvak. Mieke kopieert en retourneert het werk in jouw postvakje.

Tot slot nog een aantal punten van belang: • Condities in de interventiegroep en in de controlegroep zijn geheel vergelijkbaar, met uitzondering van het gebruik van de reflectiebalk. • Voorkom uitwisseling over het gebruik van de reflectiebalk tussen leerlingen van de interventiegroep en de controle groep. • De moeilijkheidsgraad van de toets in de start - en eindmeting dient vergelijkbaar te zijn. • Bij het nakijken van de toets in de voor- en nameting gebruik maken van een antwoordmodel om de betrouwbaarheid van de meting van de toetsscores te bevorderen. (Consequent zijn in het toekennen van punten.) • Het is handig om zaken die je opvallen aan mij door te geven. Ik houd deze bij in een ‘logboekje’. Wellicht levert dit informatie op de relevant is voor de rapportage van het onderzoek. Wellicht ten overvloede deze tips voor het geven van feedback en het nabespreken van een proefwerk: o Geef duidelijk aan wat van de leerlingen wordt verwacht: wat moeten ze precies kennen / kunnen. o Geef duidelijk aan waarop leerlingen getoetst worden: waarom is iets goed of fout gerekend o Geef duidelijk aan wat de juiste antwoorden op de vragen zijn en waar leerlingen deze antwoorden kunnen vinden o Geef aan wat al goed gaat en wat te verbeteren is o Geef aan hoe een leerling kan handelen om zich verder te verbeteren o Zorg ervoor dat de leerlingen begrijpen wat je bedoelt met de feedback, gebruik voor leerlingen begrijpelijke taal Succes, en alvast hartelijk dank voor jullie medewerking!