Feedback op geschreven werk in de bovenbouw van de tweetalige havo en het tweetalig vwo – Een verkennende studie naar de kenmerken van de feedback van leraren aan hun leerlingen en de ervaringen van leerlingen en leraren met betrekking tot het feedbackproces. Docentonderzoekers: Michiel Busz en Janneke Helleman Studenten: Dana Devincent, Kasper Schlie, Sheela Verwoerd-Sowariraj Anna van Rijn college Locatie Albatros (Anna Lyceum) October 2013
1
Inhoudsopgave
1 Inleiding 2 Oriënterende fase Probleemstelling Vraagstellingen Theoretische verkenning 3 Onderzoek Onderzoeksopzet Resultaten 4 Conclusies en implementatie reflectie en kennisverspreiding 5 Bronvermelding
3 4 4 5 6 7 7 10 16
21
Bijlage 1
Vragenlijst vooronderzoek
23
Bijlage 2
Vragenlijsten PWS leerlingen en docenten 25
Bijlage 3
Opzet focusgroep leerlingen en docenten 31
2
1 Inleiding Eind mei 2011 tekende Geert Popma, de toenmalige algemeen directeur van het Anna van Rijn College, een convenant met 5 andere scholen voor voortgezetonderwijs en het centrum voor Onderwijs en Leren van de universiteit Utrecht. Het samenwerkingsverband dat hieruit voortvloeide is genaamd Samen Opleiden Onderwijzen en Onderzoeken. SOOO heeft als doelstelling het professioneel leren van docenten te combineren met het uitvoeren van onderzoek in de school door docenten, studenten van de universitaire lerarenopleiding en universitaire onderzoekers. Als speerpunt voor professionalisering van docenten is door de participerende scholen het geven van feedback aan leerlingen gekozen. Aan dit project is de naam ProFeed gegeven. In schooljaar 2012-2013 heeft er op de locatie Albatros van het Anna van Rijn college een verkennend onderzoek plaatsgevonden naar de feedback van docenten aan leerlingen over geschreven werkstukken. De focus van het onderzoek lag op het profielwerkstuk van leerlingen van de tweetalige havo en het tweetalige vwo. Er is gekozen voor het profielwerkstuk omdat deze bij alle vakken binnen dezelfde termijn geschreven moet worden en voor alle vakken dezelfde beoordelingsmomenten en voorschriften kent. De docenten in opleiding die mee deden aan het onderzoek op de locatie Albatros waren studenten van de internationale en tweetalige lerarenopleiding U-teach van de universiteit Utrecht en het Anna van Rijn college. Aangezien zij hun onderzoek moesten richten op CLIL (Content and language integrated learning) beperkte het onderzoek zich tot de Engelstalige profielwerkstukken. In dit verslag zal aandacht worden besteed aan de drie verschillende fasen van het onderzoek. De inbedding van het onderzoek in de school; De verkenning van het huidige niveau van feedback op profielwerkstukken en hoe docenten en leerlingen het feedbackproces hebben ervaren; het vertalen van de resultaten in adviezen en ideëen voor vervolg onderzoek.
3
2 Oriënterende fase 2.1 Probleemstelling Het Anna van Rijn college is een brede openbare scholengemeenschap in Nieuwegein bestaande uit drie locaties. Het onderzoek naar de feedback van docenten aan leerlingen vond plaats op de locatie Albatros, waar ongeveer 1200 leerlingen opleidingen volgen van Mavo tot tweetalig gymnasium. De locatie Albatros is sterk in ontwikkeling. Aan de hand van het schoolplan wordt er sinds schooljaar 2011-2012 gewerkt aan verbetering van de onderwijskwaliteit. Docenten, leerlingen en ouders zijn op verschillende manieren geraadpleegd (klankbordgroepen, enquetes en werkmiddag) om vast te kunnen stellen welke punten aandacht behoeven. Een punt van aandacht dat door leerlingen en ouders werd aangevoerd was dat leerlingen behoefte hebben aan meer bruikbare feedback. Met dit verkennend onderzoek wordt beoogd een beeld te krijgen van de huidige praktijk van feedback geven door docenten aan leerlingen. Op basis van de uitkomsten zullen er aanbevelingen gedaan worden voor een scholingstraject voor docenten op het gebied van het geven van effectieve feedback aan leerlingen. Er is gekozen voor feedback op geschreven werk omdat er in het schooljaar 2013-2014 gestart gaat worden met ICT-versterkt onderwijs. Opdrachten zullen veelal digitaal ingeleverd gaan worden. Docenten zullen waarschijnlijk moeten worden geschoold in de digitale middelen voor het geven van feedback. De kwaliteit van die feedback kan tijdens dezelfde interventie aan de orde worden gesteld. Het is onbekend wat de kwaliteit is van de feedback die docenten van de locatie Albatros aan hun leerlingen geven. Tevens is onbekend waar docenten en leerlingen tegenaan lopen bij het respectievelijk geven en krijgen van feedback. Om inzicht te krijgen in de praktijk van feedback geven is er eerst een schoolbrede (50 docenten) inventarisatie gedaan van de gebruikte vormen van feedback op geschreven opdrachten. Vervolgens is er een verkennend onderzoek gedaan naar de feedback op profielwerkstukken van zes docenten uit verschillende vakgroepen. Het profielwerkstuk is de enige geschreven opdracht die voor alle vakken aan dezelfde eisen moet voldoen en waarvoor dezelfde tussentijdse beoordelingsmomenten gelden, waardoor het makkelijker is om de praktijk in verschillende vakgroepen te vergelijken. Daarnaast is het profielwerkstuk een van de weinige werkstukken waarbij de feedback in het zelfde werkstuk verwerkt kan worden: Na de feedback op de eerste versie moeten leerlingen een verbeterde eindversie inleveren. Leerlingen zullen deze feedback dus ook proberen te gebruiken. In deze studie ligt de focus op profielwerkstukken van leerlingen die een tweetalige opleiding volgen (havo/vwo) opdat de U-Teach studenten hun onderzoek kunnen richten op de kwaliteit van feedback door docenten aan leerlingen over CLIL (content language integrated learning. Om het schrijven van het profielwerkstuk in het Engels voor de leerling meerwaarde te geven is het belangrijk dat ze ook op de taalcomponent feedback krijgen en daarvan kunnen leren.
4
2.2 Vraagstelling De vragen waarop in deze studie antwoord gezocht wordt zijn: Hoe vergelijkt de geschreven feedback van docenten aan leerlingen over hun Profielwerkstuk zich met de in literatuur beschreven niveaus en effectieve kenmerken zoals genoemd in de theoretische verkenning? Hoe ervaren leerlingen en docenten op de locatie Albatros van het Anna van Rijn college het respectievelijk geven en ontvangen van feedback op profielwerkstukken? Aspecten van feedback waar aandacht aan gegeven zal worden zijn de verschillende niveaus: feed back, feed up en feed forward (Hattie & Timperly 2007); of de feedback zich richt op de taak, het proces of de persoon; de duidelijkheid en specificiteit (wordt toegelicht); of deze tot zelfregulatie aanzet; of deze zich richt op wat goed is of wat fout is. De geschreven feedback is geëvalueerd aan de hand van 10 criteria voor effectieve feedback die met behulp van literatuur zijn opgesteld. De ervaringen van leerlingen en docenten van de schriftelijke en mondelinge feedback zijn onderzocht door middel van vragenlijsten en aparte focusgroepen voor leerlingen en docenten.
5
2.3 Theoretische verkenning De onderwijsraad heeft in 2011 geadviseerd dat om tot hogere leerprestaties in het voortgezetonderwijs te komen docenten opbrengstgericht moeten werken. Hierbij wordt het gericht gebruiken van feedback als belangrijk middel gezien (Onderwijsraad, 2011). Het belang van feedback bij het leerproces van leerlingen in het voortgezetonderwijs is een veel besproken onderwerp in de vakliteratuur. Wanneer een leerling alleen een beoordeling ontvangt en geen effectieve feedback leert een leerling niet(Hattie en Timperley, 2007). Feedback van docenten aan leerlingen kan dus een belangrijk middel zijn om het leren van leerlingen te versterken (enhancing learning), maar uit onderzoek is gebleken dat feedback niet altijd effectief is(Kluger en Denisi 1996, Sol en Stokking 2009). Uit een meta-analyse van studies naar de effectiviteit van feedback concludeerden Hattie en Timperley (2007) dat effectieve feedback zich richt op de volgende drie niveaus: kwaliteit van het werk, de voortgang en het huidige niveau in relatie tot het beoogde niveau . Het vierde niveau dat door hen werd onderscheiden is het persoonlijk niveau (meestal prijzen) en werd zelden effectief bevonden (Hattie en Timperley 2007 en Kluger en Denisi 1996). Echter positieve feedback, mits specifiek, kan wel motiverend werken (Kluger en Denisi, 1996). Uit andere studies blijkt dat de hoeveelheid opmerkingen, de leesbaarheid van opmerkingen, hoe specifiek opmerking zijn en of ze toegelicht worden (Shute 2008), of dat de opmerkingen van non-directieve aard zijn en aanzetten tot discussie en een dialoog over het gemaakte werk met de leerling zelf (Sol en Stokking 2009), van belang zijn om dat ze leiden tot zelfregulatie. Shute (2008) concludeerde dat een dialoog bovenop de geschreven feedback bovendien nodig is voor de leerling en begeleidende docent om na te gaan of de geschreven feedback begrepen is zoals deze bedoeld is. Daarnaast biedt het de mogelijkheid om te praten over hoe de leerling verder moet om het gewenste niveau te bereiken. Wanneer de leerling ruimte krijg om vragen te stellen en in discussie te gaan met de docent is het leereffect groter (Van der Schaaf et al. 2011). Op basis van de theoretische verkenning is de volgende definitie voor feedback opgesteld en aan de deelnemende leerlingen en docenten als afbakening van het concept gepresenteerd: Feedback is alle informatie die je krijgt van een docent die gaat over hoe goed je iets nu al doet/gedaan hebt, waar er nog ruimte is voor verbetering om een bepaald doel te bereiken en hoe je dat moet doen.
6
3 Onderzoek Om te komen tot aanbevelingen voor een scholingstraject voor professionalisering op het gebied van het geven van feedback is in schooljaar 2012-2013 een verkennend onderzoek gedaan naar de huidige praktijk van feedback geven op geschreven opdrachten. 3.1 Onderzoeksopzet Er zijn verschillende methodes ingezet om het gebruik en de kenmerken van de feedback te meten alsmede de beleving door docenten en studenten. 3.1.1 Vooronderzoek: Inventarisatie van gebruikte vormen van feedback op geschreven werk onder 51 docenten van de locatie Albatros Een eerste inventarisatie naar de gebruikte vormen van feedback op geschreven werk vond plaats na een presentatie aan het docententeam van de locatie Albatros over het ProFeed project en het onderzoeksvoorstel. De presentatie en inventarisatie hadden als nevendoel draagkracht te genereren voor het onderzoek en collega’s enthousiast te maken om te participeren in het vervolgonderzoek naar feedback op profielwerkstukken. Door middel van een digitale vragenlijst is aan 51 collega’s gevraagd of de docent feedback geeft of alleen een cijfer/beoordeling geeft en of deze mondeling en/of schriftelijk van aard was. Er is gevraagd of er gebruik gemaakt wordt van beoordelingsmodellen of rubrics en of de criteria van tevoren bekend worden gemaakt aan de leerlingen. Daarnaast is geinventariseerd of docenten opdrachten digitaal laten inleveren en beoordelen en of ze bekend zijn met digitale feedback programma’s en deze gebruiken. Verder is gevraagd of de docent de mondelinge feedback klassikaal geeft, of met leerlingen individueel bespreekt en ook of peer feedback ingezet wordt. Tot slot is gevraagd of leerlingen de mogelijkheid krijgen om hun werk te verbeteren nadat ze feedback hebben gekregen. De volledige vragen lijst is opgenomen in bijlage 1. 3.1.2 Feedback op profielwerkstukken van leerlingen van de tweetalige havo en vwo afdelingen 3.1.2.1 Participerende docenten Voor het onderzoek naar de feedback op profielwerkstukken is gekozen voor een spreiding van participerende docenten over de verschillende vakgroepen. Het uitgangspunt hierbij was dat docenten die participeren in het onderzoek naar feedback hun bevindingen binnen hun vakgroep kunnen uitdragen en zo het denken over verbetering van feedback als een olievlek verspreid wordt binnen de school. Bij de keuze van docenten was de andere voorwaarde dat zij leerlingen begeleiden van de tweetalige havo en vwo afdelingen. Tot slot waren we afhankelijk van vrijwillige deelname omdat er geen facilitering was voor de geïnvesteerde tijd. Zes docenten hebben uiteindelijk meegedaan. Zij waren afkomstig uit de vakgroepen economie, geschiedenis, informatica, maatschappijwetenschappen, natuurkunde en scheikunde.
7
3.1.2.2 Analyse geschreven feedback Er is een literatuurstudie gedaan om vast te stellen aan welke eisen effectieve feedback moet voldoen volgens wetenschappelijk onderzoek (zie Theoretische verkenning). De docenten in opleiding hebben samen met de docentonderzoekers 10 categorieën opgesteld (tabel 1). De participerende docenten hebben van alle groepjes leerlingen een kopie van de eerste versie met geschreven feedback voor het onderzoek ter beschikking gesteld. De geschreven feedback is door de docenten in opleiding aan de hand van de 10 categorieën geanalyseerd. Er is vastgesteld in hoeverre de geschreven feedback verschilt van de in de literatuur beschreven effectieve feedback. Tabel 1. Indeling van beoordelingsaspecten in categorieën voor de analyse van geschreven feedback
1 2 3 4 5 6 7 8 9
Categorieën voor analyse geschreven feedback Leesbaarheid, plaatsing en hoeveelheid opmerkingen Inhoud (type opmerkingen en hoeveelheid) Taalgebruik (grammatica, vocabulair en spelling) CLIL (vakterminologie en academisch taalgebruik) Niveau van specificiteit (feedback toegelicht of niet) Positieve of negatieve toon van opmerkingen Zelfregulerend of directief Hogere orde (op opdracht niveau) of lagere orde op zins-/alinea niveau Lay-out, structuur, referenties
3.1.2.3 Vragenlijsten voor docenten en leerlingen De participerende docenten zijn gevraagd direct na afloop van het feedback gesprek over de eerste versie van het profielwerkstuk een vragenlijst in te vullen. Aan de leerlingen die zij begeleidden is ook direct na afloop van het gesprek een vragenlijst voorgelegd. De vragenlijst is gebruikt om een beeld te krijgen van hoe docenten en leerlingen het feedback gesprek ervaren hebben en of bepaalde aspecten van effectieve feedback aan bod zijn gekomen. Voor het opstellen van de vragenlijsten is gebruik gemaakt van een vragenlijst van Sol en Stokking (2009). Deze vragenlijst (vragenlijst leerlingen direct na opname) is door Sol en Stokking opgezet om aan leerlingen voor te leggen na een mondeling feedback moment na het werken aan een opdracht in de klas. De vragenlijst van sol en Stokking beoogt te onderzoeken hoe leerlingen het feedback moment hebben ervaren: hoe de feedback is overgekomen, of ze deze hebben aanvaard en hoe bruikbaar deze was. In de vragenlijst die voor dit onderzoek is gebruikt zijn een aantal vragen anders geformuleerd om ze beter aan te laten sluiten op onze onderzoeksvragen en de situatie van het feedbackgesprek over een ingeleverd werkstuk. Daarnaast zijn er vragen toegevoegd om zicht te krijgen op de hoeveelheid feedback die de leerlingen hebben gekregen(8 en 23); het verschil tussen de geschreven en mondelinge feedback (11,25,26); de feedback op Engels taalgebruik (vraag 5,7,10,13,22); en de ruimte voor een dialoog tussen docent en leerling (9 en 24). Er is een docentenversie en een leerlingenversie gemaakt die dezelfde aspecten bevragen met als doel te testen of de feedback van de docent op de leerlingen is
8
overgekomen zoals de docent deze bedoeld of ervaren had. Van de meeste constructen zijn twee items in de vragenlijst opgenomen. De vragenlijsten zijn uitgeprobeerd op leerlingen die een feedback gesprek over hun profielwerkstuk hebben gehad met een begeleider die niet participeerde in het onderzoek. De docenten vragenlijsten zijn uitgeprobeerd door docentonderzoekers van andere scholen die mee doen aan het ProFeed project. De vragenlijsten zijn vervolgens op kleine punten aangepast. De volledige vragenlijsten zijn opgenomen in bijlage 2. De vragenlijst is op een na door alle leerlingen ingevuld. Alle docenten hebben de vragenlijst ingevuld.
3.1.2.4 Focusgroepen voor docenten en leerlingen Twee maanden na het inleveren van de definitieve versie is er met de participerende docenten en leerlingen in aparte focusgroepen gesproken over de ervaringen met de gegeven feedback en het proces van begeleiding. De vragen die gebruikt werden om het gesprek te voeren met de leerlingen (zie bijlage 3) richtten zich op de bruikbaarheid van de feedback; de motivatie om met behulp van de feedback verbeteringen aan te brengen; hun behoefte aan feedback en wanneer ze het meeste behoefte hadden aan feedback. De opkomst bij de focusgroep voor leerlingen was aantrekkelijk gemaakt door het belang van hun bijdrage in dit verbetertraject op school te benadrukken. Er waren 14 leerlingen van de 20 deelnemende leerlingen aanwezig. De vragen tijdens het gesprek met de docenten (zie bijlage 4) hadden als doel om zicht te krijgen op de ideëen die de participerende docenten hebben over feedback; hun bekendheid met de verschillende niveaus van feedback volgens Hattie en Timperley (2007); op welke punten ze vastlopen; een aantal punten die uit het gesprek met de leerlingen naar voren waren gekomen. Tijdens de focusgroep voor docenten waren er vier van de zes deelnemende docenten aanwezig.
9
3.2 Resultaten 3.2.1 Vooronderzoek: Inventarisatie van gebruikte vormen van feedback op geschreven werk onder 51 docenten van de locatie Albatros De antwoorden op een deel van de vragen uit de vragenlijst uit het vooronderzoek onder 51 docenten staan weergegeven in Tabel 2.Van de 51 docenten die de vragenlijst hebben ingevuld, gaven 46 docenten (90%) aan geschreven opdrachten te geven aan leerlingen. Bijna alle docenten (91%) geven meestal tot altijd van tevoren aan aan welke criteria de opdracht moet voldoen de overige docenten doen het soms. Tabel 2. De antwoorden van 46 docenten op de vragenlijst over de wijze waarop zij feedback geven op geschreven opdrachten.
Ik geef bij het starten van opdrachten aan wat de criteria zijn waaraan voldaan moet worden. Ik geef alleen mondelinge feedback Ik geef klassikaal feedback aan de hand van de best gemaakte opdracht(e n) Ik maak aantekeningen in de kantlijn Ik geef losse aantekeningen op een apart blad als toelichting Ik laat leerlingen elkaars werk beoordelen
Nooit n (%)
Meestal niet n (%)
Meestal wel n (%)
Altijd n (%)
Totaal
0 (0)
Soms wel, soms niet n (%) 4 (9)
0 (0)
16 (35)
26 (57)
46 (100)
12 (26)
3 (7)
17 (37)
8 (17)
6 (13)
46 (100)
15 (33)
9 (20)
13 (28)
5 (11)
4 (9)
46 (100)
8 (17)
1 (2)
14 (30)
15 (33)
8 (17)
46 (100)
17 (37)
6 (13)
13 (28)
5 (11)
5 (11)
46 (100)
15 (33)
10 (22)
18 (39)
2 (4)
1 (2)
46 (100)
Feedback De manieren van feedback geven die in de vragenlijst worden onderscheiden zijn: mondelinge feedback, schriftelijke feedback en peer feedback door de leerlingen. Bij een deel van de docenten (30%) geschiedt de feedback meestal alleen mondeling. Feedback aan de hand van het beste product wordt door 48% in meer of mindere mate ingezet. Acht docenten gaven in antwoord op de open vraag of zij andere manieren van feedback geven gebruikten aan dat zij de meest gemaakte fouten klassikaal bespreken. Voor de geschreven feedback worden verschillende vormen gebruikt. Het maken van aantekeningen in de kantlijn wordt door 80% van de docenten ingezet. Meer dan de helft van hen (62%) doet dit meestal of altijd. Aantekeningen maken op een apart blad wordt door 50% van de docenten ingezet, maar meer dan de helft van hen doet dat slechts af en toe. Peer feedback wordt slechts door een klein aantal docenten (6%) regelmatig ingezet en 39% doet het af en toe (Tabel 2). Peer feedback werkt behalve tijdsbesparend voor de docent motiverend voor de leerlingen omdat ze het gevoel krijgen voor een groter publiek dan de docent alleen geschreven te hebben. Daarnaast geeft het leerlingen meer inzicht in wat er in de opdracht gevraagd wordt (Kleh, 1990)
10
In de vragenlijst is niet gevraagd of docenten uberhaupt feedback gaven. Wel is gevraagd waarom er geen gebruik wordt gemaakt van andere vormen van feedback (Tabel 3). Op die vraag antwoordde 22% van de docenten het nut van de feedback niet in te zien omdat volgens hen leerlingen toch vooral geïnteresseerd zijn in het cijfer en 4% gaf aan zelf de toegevoegde waarde van feedback niet te zien. Andere redenen die zijn aangevoerd voor het niet toepassen van andere vormen van feedback zijn onbekendheid met andere vormen (63%) en dat het teveel tijd kost (53%) geeft aan dat extra feedback geven te veel tijd kost (Tabel 3). Tabel 3. Redenen voor het niet inzetten van andere vormen van feedback door docenten. De docenten konden kiezen uit 4 antwoorden die hieronder staan gepresenteerd en mochten meerdere antwoorden aankruisen. Reden Ik ben onbekend met andere manieren van feedback geven Uitgebreider feedback geven kost teveel tijd Leerlingen lijken meer geïnteresseerd in hun cijfer dan in uitgebreide feedback Uitgebreide feedback geven heeft geen toegevoegde waarde bij mijn opdrachten
Percentage docenten 63% 53% 22% 4%
Beoordeling Wanneer producten worden beoordeeld geeft 41% van de docenten aan meestal alleen een eindcijfer. De mogelijkheid om de feedback te verwerken in een verbeterde tweede versie wordt door 36% van de docenten wel eens tot regelmatig aangeboden (zie Tabel 2). Beoordelingsformulieren waarin het aantal te behalen punten per onderdeel al staat aangegeven worden door driekwart van de docenten (73%) gebruikt om tot een cijfer te komen. Tweederde van hen doet dit meestal of altijd. Beoordelingsformulieren waarin alleen de onderdelen worden aangegeven maar de punten toekenning later door de docent wordt ingevuld worden in meer of mindere mate gebruikt door 42 % van de docenten. Tabel 4. De antwoorden van 46 docenten op de vragenlijst over de wijze waarop zij tot hun beoordeling komen.
Ik geef alleen een eindcijfer Ik gebruik beoordelingsschema's met vooraf door de docent ingevulde scoremogelijkheden per categorie. Ik gebruik beoordelingsschema's waar de categorieën aangegeven worden, maar waar pas later door de docent een opmerking en/of een cijfer wordt gegeven. Ik geef bij opdrachten op een eerste versie een beoordeling met feedback, waarna leerling een tweede versie in moeten leveren.
Nooit n (%)
Meestal niet n (%)
Meestal wel n (%)
Altijd n (%)
Totaal n (%)
5 (11) 5 (11)
Soms wel, soms niet n (%) 10 (22) 13 (28)
12 (26) 7 (15)
12 (26) 14 (30)
7 (15) 7 (15)
46 (100) 46 (100)
17 (37)
7 (15)
11 (24)
10 (22)
1 (2)
46 (100)
17 (38)
12 (27)
8 (18)
5 (11)
3 (7)
45 (100)
11
ICT-gebruik bij het geven van feedback
Driekwart van de docenten (76%) laat geschreven opdrachten digitaal inleveren. In 63% van de gevallen gebeurt dit via ItsLearning en in 27% van de gevallen via de email. Een deel van de docenten (35%) print de opdrachten vervolgens zelf uit. Een meerderheid van de docenten (67%) laat opdrachten op papier inleveren en gezien 76% de opdrachten digitaal laat inleveren betekent dit dat er dus door sommige docenten zowel een digitale versie als een papieren versie wordt gevraagd. Papier blijft dus een (vrij) grote rol spelen. Digitale hulpmiddelen worden door 35% van de docenten ingezet. Niet zeker is of dit de enige manier is, maar duidelijk is dat een meerderheid van de docenten dit niet doet. De digitale hulpmiddelen waar direct navraag naar is gedaan zijn MARKIN, discussiefora (waar lln en docenten elkaar feedback zouden kunnen geven), screenr en aantekeningen in word. De meeste van deze zijn bij de docenten onbekend en zelfs als ze bekend zijn worden ze zelden gebruikt. Aantekeningen maken in word is een uitzondering. Dat is bekend bij 52% van de docenten, maar wordt slechts door de helft van hen in meer of mindere mate gebruikt. Een enkele docent geeft aan feedback te geven via e-mail. 3.2.3 De analyse geschreven feedback De docenten in opleiding hebben het geschreven commentaar op de profielwerkstukken geanalyseerd. De gepresenteerde resultaten zijn een samenvatting. Voor uitgebreidere analyse wordt verwezen naar het artikel Raising the bar for feedback in Bilngual education van Devincent, Schlie en VerwoerdSowariraj (2013). Er werden gemiddeld 45 opmerkingen per profielwerkstuk gemaakt. De verdeling van de opmerkingen was ongelijkmatig met veel meer opmerkingen in het begin dan aan het einde. De leesbaarheid van de profielwerkstukken was in 9 van de 10 werkstukken groot. De toon van de opmerkingen was neutraal. In 6 van de 10 werkstukken werden in geringe mate ook zelfregulerende opmerkingen gemaakt. De meeste opmerkingen gingen over de inhoud. Aan het proces werd in twee werkstukken in geringe mate aandacht gegeven. In 4 van de 10 werkstukken kwamen geen opmerkingen van een hogere orde voor. In de overige twee was het aantal opmerkingen van hogere orde gering. Er werd in de helft van de werkstukken geen feedback gegeven op taalgebruik en in de andere helft in geringe mate. De opmerkingen betroffen vooralspelling en grammaica. Er was bijna geen aandacht voor vakterminologie en academisch taalgebruik. Slechts in een van de werkstukken werden door de docent opmerkingen op CLIL niveau gemaakt. ( Schlie et al. 2013). 2.2.4 Vragenlijsten leerlingen en docenten Over het algemeen genomen lijkt voor de meeste vragen (26 van de 29) op te gaan dat er tussen de leerlingen van een groepje gemiddeld minder verschil is dan 1,5 (op een schaal van 1 tot 6) tussen de antwoorden op de vragen. Dit lijkt te wijzen op een redelijke betrouwbaarheid van de vragen. Het verschil in interpretatie tussen docent en leerlingen was ook niet groot: op 24 van de 28 vragen was het verschil gemiddeld niet groter dan 1,5. Dit zou er op kunnen wijzen dat de feedback boodschap op de leerling is over gekomen zoals de docent hem bedoeld en ervaren heeft. 12
De feedback was begrijpelijk, leerzaam en motiverend en er was ruimte voor discussie en dialoog (gemiddeld 5 punten op antwoordschaal 1-6). Er is bijna geen aandacht besteed aan het proces (gemiddeld 2 punten op antwoordschaal 1-6). Er is aandacht besteed aan wat er nog moest gebeuren (gemiddeld 5 punten op antwoordschaal 1-6) en in geringe mate aan welke eisen er aan het pws worden gesteld Tabel 5. Het gemiddelde van de antwoorden van leerlingen en docenten op de vragenlijsten na het feedback gesprek en het gemiddelde verschil in antwoord tussen leerlingen en begeleider. De gebruikte schaal liep van 1 tot 6: 1 = helemaal oneens; 2=voornamelijk oneens; 3=enigszins oneens; 4= enigszins eens; 5= voornamelijk eens; 6= helemaal eens. categorie
Beschrijving vraag
Vorm van de feedback
De mondelinge fb was een toelichting op de schriftelijke fb
Feedback op het process
Feedback op de taak
Feed up en feed forward
Gemiddeld verschil tussen begeleidend docent en studenten 1,2
Gemiddeld antwoord docenten 4,3
Gemiddeld antwoord leerlingen 5,1
Meer fb gewenst Er was ruimte voor vragen Er was ruimte voor discussie Het was duidelijk over welk deel van het pws de fb ging De fb was begrijpelijk De fb was leerzaam De fb ging over wat goed was De fb gaf me een goed gevoel De fb was motiverend De feedback hielp me zelf te bedenken hoe ik het PWS moest verbeteren De fb ging over de manier van werken
1,9 1,0 0,6 0,9
2,2 4,8 4,7 5,1
2,5 5,4 5,1 5,8
0,7 0,6 1,2 1,2 0,6 1,4
5,0 4,8 3,6 4 4 3,5
5,1 4,9 4,2 4,8 4,8 4,8
1,0
2,7
2,6
De feedback ging over de werkhouding De feedback ging over de samenwerking De fb ging over de inhoud
0,6
1,7
1,2
0,7
2,1
1,5
0,8
4,9
4,8
Het is duidelijk wat nog ontbreekt De fb ging over vak specifieke begrippen Er was veel fb op Engels taalgebruik De fb op Engels taalgebruik was onbelangrijk Meer fb op Engels taalgebruik gewenst De feedback ging over de eisen die aan het PWS worden gesteld
0,6 0,8
5 3,8
5,1 3,9
1,3 2,2
3.1 3,5
3,0 4,8
2,1
3,5
4,8
1,0
4,3
4,2
De fb was duidelijk over wat er nog gedaan moet worden aan het PWS
0,8
5
5,5
De vragen waarbij de antwoorden van de begeleidende docent en de studenten meer dan 1,0 uit elkaar liggen worden hier besproken. Terwijl docenten het gevoel hadden dat tijdens het gesprek ook nog feedback gaven die ze niet hadden opgeschreven, werd dit door de leerlingen niet zo ervaren. Het relatief grote gemiddelde verschil tussen docent en begeleiders op het gebied van de gewenste hoeveelheid feedback, werd veroorzaakt door een groepje dat veel meer feedback wenste (5/6) dan de docent wenselijk achtte(1). Uit de focusgroep gesprekken bleek dat wel 13
meer leerlingen meer feedback wilde maar dan vooral aan het begin van het PWS traject en de vragenlijst ging nu alleen over de hoeveelheid feedback op de eerste versie. Zes van de 10 groepjes hadden meer feedback op het Engels taalgebruik gewenst dan hun docent wenselijk vond. Alle leerlingen vonden de feedback die ze hadden gekregen op het Engels taalgebruik obelangrijker dan hun docent dat vond. Zes van de 10 groepjes hadden een positiever gevoel na het gesprek dan hun docent had ingeschat. Bovendien hadden alle leerlingen in sterkere mate het gevoel dat de feedback ook ging over die dingen die goed gingen. Leerlingen kregen in sterkere mate dan hun docent het gevoel dat de docent ze heeft geholpen om zelf te bedenken hoe ze verder moesten.
2.2.5 Focusgroepen: Ervaringen van docenten en leerlingen Leerlingenfocusgroep Allereerst is gesproken over de gewenste momenten, frequentie en hoeveelheid feedback. Een groot deel van de leerlingen gaf aan voor de eerste versie geen feedback te hebben gehad of erg lang te hebben moeten wachten op die feedback. De leerlingen hebben aangegeven aan het begin van het PWS traject meer behoefte te hebben aan feedback. Bij de opzet van het onderzoek en de aanpak van literatuurstudie hebben een aantal leerlingen ondervonden dat ze niet wisten hoe ze het aan moesten pakken. Ook hadden de leerlingen behoefte aan meer feedback op het Engels taalgebruik. Zij vinden het belangrijk dat hun werkstuk ook taaltechnisch gezien goed in elkaar zit. Daarnaast hebben ze tussendoor behoefte aan terugkoppeling om te weten waar ze staan en of ze op de goede weg zijn. De rubrics die voor de beoordeling van de verschillende fasen van het PWS traject zijn opgezet zouden hiertoe ingezet kunnen worden. Deze waren echter bij een groot aantal leerlingen niet bekend en werden door de meeste begeleiders ook niet ingezet. Een leerling gaf ook aan dat hij vond dat je pas aan het eind beoordeeld moest worden en niet tussendoor, zodat je tussendoor nog echt bij kon stellen en niet meteen al op fouten wordt afgerekend. Een aantal leerlingen leek hem hierin te ondersteunen. Over de manier van feedback geven zei een aantal leerlingen dat de beste feedback die ze hadden gehad de feedback was over die delen die ze goed hadden gedaan. Daarmee wisten ze op welke manier ze verder moesten gaan. Een leerling gaf aan dat hij feedback die je hielp zelf tot een oplossing te komen beter vond dan feedback waarin de oplossing aangedragen werd. Op die manier blijft het toch je eigen product. Nadat werd besproken hoe verschillende docenten in verschillende mate feedback gaven en op verschillende manieren tot hun beoordeling kwamen merkte een leerling op dat het wenselijk zou zijn dat alle docenten op eenzelfde manier zouden beoordelen.
14
Docentenfocusgroep Het succes van een begeleidingstraject was bij vrijwel alle docenten afhankelijk van het contact met de leerlingen. Bij een aantal docenten speelde met name het gebrek aan contactmomenten een rol, maar bij andere docenten speelde de mate waarin en momenten waarop de leerlingen zelf contact zochten een rol. Het doel dat de docenten voor ogen hadden met hun feedback was voornamelijk de tot stand koming van een goed product en in mindere mate het leren van het proces van onderzoek doen. Twee van de docenten gaven aan tussendoor gebruik te hebben gemaakt van de rubrics om aan te geven hoe de leerlingen er op dat moment voor stonden. Drie van de docenten vonden dat de rubrics teveel over het proces gingen en te weinig over de inhoud, waardoor ze op een hogere beoordeling uitkwamen dan het PWS in hun ogen waard was. De docenten gaven allemaal aan dat ze niet of niet veel aandacht besteedden aan het Engels taalgebruik. Zij voelden zich daar niet altijd bekwaam genoeg voor, maar gaven er ook geen prioriteit aan gezien het gebrek aan tijd. Aan het eind van de focusgroep werd aan de docenten de vraag voorgelegd of ze behoefte hadden in bijscholing en zo ja op welk gebied. Alle vier de aanwezige docenten gaven aan te willen horen van ons wat ze niet goed deden omdat ze zelf de indruk hadden dat ze het goed deden. Twee docenten gaven daarnaast aan geïnteresseerd te zijn in ICT-toepassingen.,
15
4. Conclusies en implementatie Naar aanleiding van door de school georganiseerde evaluatiegesprekken en enquetes bij leerlingen en ouders over de kwaliteit van het onderwijs op de locatie Albatros werd duidelijk dat er behoefte was aan meer en bruikbare feedback. Er is besloten verkennend onderzoek te doen naar de handelingspraktijk van docenten met betrekking tot het geven van feedback op geschreven opdrachten. In november 2012 is er in het kader van dit onderzoek onder 50 docenten een eerste inventarisatie gedaan naar de gebruikte vormen van feedback op geschreven werk(stukken). Deze inventarisatie had als secundair doel docenten te informeren over ons onderzoek,draagkracht te creeeren en ze aan het denken te zetten over het onderwerp. De reacties waren positief. Menig docent gaf aan na de enquete weer na te zijn gaan denken over het geven van feedback. Door bovenstaande inventarisatie en het nader onderzoek naar de feedback die zes docenten op profielwerkstukken hebben gegeven, is inzicht verkregen op welke aspecten docenten bijgeschoold zouden kunnen worden. Het merendeel van de docenten gaven tijdens de eerste inventarisatie aan dat ze onbekend waren met andere vormen van feedback en zouden dus baat hebben bij een interventie op dat gebied. De zes profielwerkstuk begeleiders geven veel duidelijk uitgewerkte feedback van lagere orde op het niveau van de taak. De duidelijkheid, leesbaarheid en toelichting van de feedback worden in de literatuur gezien als belangrijke kenmerken van effectieve feedback. Er wordt weinig hogere orde feedback gegeven en ook nauwlijks feedback op het proces tot dan toe en de discrepantie tussen het huidige niveau en het gewenste niveau. Deze aspecten worden in de literatuur toegedeeld aan effectieve feedback en zouden dus meer aandacht moeten krijgen. Positief is dat tijdens de mondelinge feedback gesprekken wordt wel gesproken over de aanpak van de verbeteringen. De leerlingen hebben over het algemeen het gevoel dat zij door hun begeleider geholpen worden om zelf te bedenken hoe ze vooruit moeten. Bovendien is er tijdens de feedback gesprekken is ruimte voor discussie en het stellen van vragen. Al deze aspecten waarbij een leerling reflecteert op het de feedback zijn kernmerken van een effectieve dialoog waar geleerd wordt. Leerlingen hebben tijdens de focusgroep aangegeven meer positieve feedback te willen krijgen. Ze willen ook meer feedback aan het begin van het PWStraject en algaande het PWS-traject. Uit de uitkomsten van de inventarisatie is duidelijk geworden dat voor docenten tijd een belangrijk knelpunt is waardoor ze bepaalde vormen van feedback niet gebruiken. De docenten in de focusgroep gaven aan dat het geven van feedback op profielwerkstukken heel veel tijd kost: veel meer dan de 5 uur die er nu voor de begeleiding van een groepje staat. Tijdwinst zou behaald kunnen worden door meer hogere orde feedback te geven. De feedback op de profielwerkstukken bestond grotendeels uit Lagere orde feedback (op zins en alinea niveau). In Lagere orde feedback gaat veel tijd zitten. De docenten maken weinig gebruik van hogere orde feedback. Hogere orde feedback kost minder tijd en heeft een hogere overdrachtswaarde naar volgende opdrachten (langere termijn effect) dan lagere orde feedback en is dus effectiever. Daarnaast zouden docenten meer gebruik kunnen gaan maken van peer feedback waardoor leerlingen meer inzicht in de beoordelingscategoriën en verwachtingen krijgen en ook tijd gewonnen wordt.
16
Het vergroten van de efficiëntie en effectiviteit is het hoofdthema van de vervolgstudie. Gezien de locatie Albatros (vanaf september 2013 het Anna lyceum) een ICT school wordt ligt deze keuze voor de hand hiertoe een digitale tool in te zetten. De verwachting is dat er op deze manier winst te boeken valt met betrekking tot de efficiëntie en effectiviteit. De efficiëntie kan vergroot worden door onder andere feedback-opmerkingen te recyclen. Daarnaast kan door gebruik van beoordelingsstatistieken en beoordelingscategorieën een docent eraan herinnerd worden om bepaalde vormen van feedback te geven. In het programma dat de docentonderzoekers voor ogen hebben kunnen ook rubrics geïntegreerd worden om een beeld te geven van de afstand tot het gewenste resultaat en kan peer feedback ingezet worden als extra feedback moment.
17
Kennisverspreiding en reflectie Reflectie op onderzoeksproce s
De vragenlijsten zijn uitgebreid getest door leerlingen en collega’s uit het profeed project. Deze tests resulteerden in verscheidene veranderingen in formulering, waardoor de kans dat de deelnemers begrepen waar de vraag over ging vergroot werd. De organisatie van het verzamelen van data kostte meer tijd dan verwacht: zowel docenten als leerlingen moesten regelmatig herinnerd worden aan het inleveren van de vragenlijst en sommige data kwamen uiteindelijk pas toen de analyse al gedaan was. Een persoonlijke benadering bleek veel effectiever dan het sturen van emails. De focusgroep met leerlingen werd door bijna alle deelnemende leerlingen bijgewoond. Het was duidelijk dat zij graag over hun ervaringen praatten en mee wilde werken aan een verbetering van de feedback op school. Het was een levendige discussie waaraan de meeste leerlingen actief mee deden. Het was interessant om te merken dat leerlingen ideëen over feedback en behoeftes naar voren brachten die ook in de literatuur worden besproken. Uit de docenten focusgroep hebben we veel minder informatie gehaald over de ideëen van docenten over feedback. Nuttig was het wel voor het achterhalen van de knelpunten waar docenten tegenaan lopen, maar deze hadden achterafgezien ook in een vragenlijst bevraagd kunnen worden. Wellicht dat de kleine groep (4 docenten) een van de oorzaken was voor de lage opbrengst. Er werd weinig echt gediscussieerd. Het gebruik van stellingen zou mogelijk een betere discussie kunnen opwekken. Na analyse van de data bleek dat de vragenlijsten, analyse van opmerkingen op de eerste versie en de focusgroepgesprekken in grote lijnen dezelfde informatie opleverde. Het beeld dat geschetst is van de feedback van docenten aan leerlingen is hierdoor op drie manieren gevalideerd.
18
Reflectie op inhoud
Er is een beeld verkregen van de huidige praktijk van feedback geven op geschreven werk. Docenten richten zich met name op inhoud en niet op het proces. Leerlingen geven aan meer hulp nodig te hebben bij het opzetten van het PWS (proces) en ook tussentijds feedback te willen hebben over of ze op de goede weg zijn. Er zijn op school rubrics voor het beoordelen van verschillende fasen van het PWStraject die voor dat doel gebruikt zouden kunnen worden. Het begeleiden van PWSgroepjes kost docenten veel tijd: veel meer tijd dan de 5 uur per groepje die er voor staat. Veel van de tijd gaat zitten in de lagere orde feedback (opmerkingen over zinnen en alineas). Hogere orde feedback (op hoofdstuk of werkstuk niveau) heeft volgens de literatuur een hogere transfer waarde en dus een hogere leeropbrengst. Leerlingen geven aan meer feedback op het Engels taalgebruik te willen. Docenten geven aan dat niet als hun taak te zien. Tijd is een reden maar ook wordt door sommige docenten aangedragen dat zij zich niet capabel genoeg achten. Uit de analyse van de opmerkingen over Engels taalgebruik bleek ook dat docenten vooral lagere orde feedback geven op taalgebruik, terwijl er weinig op vakterminologie of academische schrijfstijl wordt ingegaan (hogere orde feedback). Het gebruik van rubrics over het Engels taalgebruik zou een mogelijke oplossing kunnen zijn.
Reflectie op waarde van het onderzoek voor de onderwijspraktijk
Het probleem dat nakijkwerk zeer tijdrovend is is een algemeen bekend probleem in het onderwijs. Gezien bij de zes deelnemende docenten veel opmerkingen maakten van lagere orde en deze veel tijd kosten, is het niet onwaarschijnlijk dat dit probleem zich ook bij andere docenten voor doet. Hogere orde feedback kost minder tijd en heeft een hogere leer effect (transfer). Er zou overwogen kunnen worden om docenten te trainen om zich daar op te richten.
19
Planning voor implementatie
-
Tijdens de evaluatie van de PWSbegeleiders van 2012-2013 zijn de uitkomsten van het onderzoek aan de orde gesteld. Tijdens de discussie die daardoor ontstond zijn een aantal afspraken gemaakt en ideëen voor verandering uit voort gekomen: een algemene bijeenkomst aan de start van de onderzoeksfase (start schooljaar eindexamenklassen) Het gebruik van de rubrics om feedback te geven (niet om te beoordelen) De leerlingen worden gewezen op de Academic phrasebank van de university of Manchester opdat ze daarmee hun schrijfstijl vanaf het begin van het schrijven kunnen aanpassen. Een overleg met de TTO-stuurgroep over het nakijken van het Engels taalgebruik in de profielwerkstukken moet nog gepland worden. Het voorstel is om een rubric te maken met hulp van de sectie Engels en de academic phrasebank met leerlingen door te nemen alvorens het PWS traject start. Tijdens het vervolgonderzoek komen de andere punten waarop de feedback verbeterd kan worden onder de aandacht.
Bijdrage aan centraal thema AOS/Profeed ‘Het Utrechts Model’
Docenten steken veel tijd in feedback, maar werken weinig met feedback op meta-niveau (hogere orde feedback en feedback over het proces en het huidige niveau ten opzichte van het gewenste niveau). Feedback op meta-niveau zou tijdbesparend kunnen werken.
Plannen voor verspreiding van de onderzoeksresult aten
Korte presentatie van bevindingen aan docententeam begin november 2013. Uitgebreidere verlsag digitaal aanbieden. Vervolg onderzoek aankondigen.
20
Voorstel voor toekomstig onderzoek
Efficientie: met welke feedback kun je in weinig tijd zoveel mogelijk bereiken? - Begin volgend jaar benodigde beoordelingscriteria ontwikkelen en opstellen in samenwerking met het docententeam en integreren in digitale feedback tool (Turnitin?). - 0-meting naar feedback over geschreven werk (voor iedereen hetzelfde) met gebruik making van de digitale tool en de traditionele manier van nakijken (testgroep wordt met Turnitin nagekeken en controle groep wordt zonder tool wordt nagekeken).
21
5 Bronvermelding Bruno, I. & Santos, L. (2010). Written comments as a form of feedback. Studies in educational Evaluation, 36, 111-120. Devincent, D. & Verwoerd-Sowariraj, S & Schlie, K. (2013). Raising the bar for feedback in bilingual education. Practise-based research article, Utrecht University. Hattie&Timperley (2007). The power of feedback. Review of educational research, 77, 81112. Kleh, C. L. (1990). Feedback in the writing process- a model and method for implementation. ELT journal volume 44/4. Oxford Universiy Press. Kluger, A. N. &Denisi, A. (1996). The effects of feedback interventions on performance. Psychological Bulletin, 119(2), 254-284. Onderwijsraad (2011). Advies Naar hogere leerprestaties in het voortgezet onderwijs. http://www.onderwijsraad.nl/upload/publicaties/600/documenten/nieuw-naarhogere-leerprestaties-in-het-voortgezet-onderwijs.pdf Shute, V. J. (2008). Focus on formative feedback. Review of educational research, 78, 153189. Sol, Y. & Stokking, K. (2009). Mondelinge feedback bij zelfstandig werken. Interactie tussen docenten en leerlingen in het VO. 159-168, Utrecht, The Netherlands, Universiteit Utrecht. Van der Schaaf, M. & Baartman, L. & Prins, F. & Oosterbaan, A. & Schaap, H. (2011). Feedback dialogues that stimulate students’reflective thinking. Scandinavian journal of educational research, 2011, 1-19, iFirst Article.
22
Bijlage 1: Vragenlijst over vormen van feedback op geschreven opdrachten 2. Datum 3. Ben je man of vrouw? 4 Wat is je leeftijd? 5. Wat is je docentenafkorting? 6. Welke vooropleiding heb je gedaan met betrekking tot les geven?**Ook angeven als je nog geen lesbevoegdheid hebt gehaald graag 7. Hoeveel jaar ben je bij benadering in het onderwijs? 8. Welk vak geef je? 9. Op welke afdeling geef je voornamelijk les? 10. Geef je de meeste lessen in de onderbouw of in de bovenbouw? 11. Hoeveel uur geef je per week les? 12. Neem je schriftelijke toetsen af. 13. Bespreek jij toetsen klassikaal na? Hoe bespreek jij toetsen na? 14. Maak jij aantekeningen in de kantlijn (krullen, +/-, korte opmerkingen etc)? 15. Geef je een antwoordmodel aan de leerlingen en kijken ze hun antwoorden zelf na? 16. Geef je alleen de originele vragen en eiegn antworden terug en laat je ze zelf de toets nogmaals bekijken? 17. Laat je leerlingen samen de toets bespreken? 18. bespreek jij toetsen individueel na met leerlingen die een onvoldoende hebben? 19. Schrijf je de juiste antwoorden naast de foute antwoorden bij het nakijken? 20. Wellicht gebruik je een hele andere manier om toetsen te bespreken. Zou je die in dat geval hieronder kort kunnen beschrijven? Hoe geef jij feedback op opdrachten? 21. Ik geef opdrachten aan leerlingen (bv. praktische opdrachten, werkstukken, projecten die ze moeten uitvoeren), waar ze een beoordeling voor krijgen. 2 = ja, 1 = nee 22. Geef jij van te voren aan wat de criteria zijn voor een bepaalde opdracht? - Ik geef bij het starten van opdrachten aan wat de criteria zijn waaraan voldaan moet worden. 23. Op welke manieren geef jij feedback op opdrachten? - Ik maak aantekeningen in de kantlijn 24. Op welke manieren geef jij feedback op opdrachten? - Ik geef alleen mondelinge feedback 25. Op welke manieren geef jij feedback op opdrachten? - Ik geef losse aantekeningen op een apart blad als toelichting 26. Op welke manieren geef jij feedback op opdrachten? - Ik laat leerlingen elkaars werk beoordelen 27. Indien je nog andere manieren van feedback geven gebruikt, wil je dan een korte beschrijving geven van deze manier?Let op: gebruik je beoordelingsschema's, rubrics of DIGITALE manieren van feedback geven, dan hoef je die hier nog niet te noemen. Deze manieren van feedback geven op opdrachten komen nog aan bod. 28. Ik geef alleen een eindcijfer 29. Ik gebruik beoordelingsschema's met vooraf door de docent ingevulde scoremogelijkheden per categorie. 30. Ik gebruik beoordelingsschema's waar de categorieen aangegeven worden, maar waar pas later door de docent een opmerking en/of een cijfer wordt gegeven. 31. Gebruik jij een ander soort beoordelingsschema, zou je dan kort kunnen beschrijven die eruit ziet? 32. Ik geef bij opdrachten op een eerste versie een beoordeling met feedback, waarna leerling een tweede versie in moeten leveren. Laat je leerlingen opdrachten digitaal inleveren? Hoe kijk je dat na? 33. Laat je leerlingen geschreven opdrachten uitgeprint inleveren? 34. Laat je geschreven opdrachten door leerlingen (ook) digitaal inleveren, bijvoorbeeld op ItsLearning of via de e-mail?(Zo niet, dan kan je de volgende vraag overslaan) - Ja, via e-mail 35. Laat je geschreven opdrachten door leerlingen (ook) digitaal inleveren, bijvoorbeeld op ItsLearning of via de e-mail?- Ja, via ItsLearning 36. Laat je geschreven opdrachten door leerlingen (ook) digitaal inleveren, bijvoorbeeld op ItsLearning of via de e-mail?(Zo niet, dan kan je de volgende vraag overslaan) - Ja, maar anders (je hoeft niet aan te geven hoe)
23
37. Laat je geschreven opdrachten door leerlingen (ook) digitaal inleveren, bijvoorbeeld op ItsLearning of via de e-mail?(Zo niet, dan kan je de volgende vraag overslaan) – Nee 38. Print je digitaal ingeleverde opdrachten altijd eerst uit en geef je dan pas feedback? 39. Gebruik je wel eens digitale hulpmiddelen om feedback te geven op digitaal ingeleverde opdrachten?(Ook al is je antwoord hier nee, graag toch goed kijken naar de volgende vraag, omdat het daar ook gaat over de vraag of je bekend bent met bepaalde manieren van digitaal feedback geven!) Gebruik van digitale feedback tools Sommige docenten zullen ervaring hebben met digitale hulpmiddelen om feedback te geven aan leerlingen. Hieronder staan enkele mogelijke hulpmiddelen kort uitgelegd. De vraag is of deze hulpmiddelen bekend zijn bij jou en of je ze ook gebruikt. Screenr of vergelijkbare software is bruikbaar om digitale opdrachten op je computerscherm te filmen terwijl je er doorheen scrollt, terwijl je ondertussen via een microfoon commentaar kan geven. Het filmpje dat je zo maakt kan vervolgens naar de leerlingen opgestuurd worden of op YouTube geplaatst worden. MARKIN is een programma dat je toestaat om snel standaardfeedback bij digitale documenten toe te voegen, in plaats van deze keer op keer te moeten tikken. Extra commentaar toevoegen is ook mogelijk. Gebruik je nog andere vormen van digitale feedback dan kun je dat bij de volgende vraag aangeven. Anders kun je die overslaan. 40. - Een discussieforum (bv. op ItsLearning) waar docent en leerlingen werk van een leerling van commentaar kunnen voorzien 41. - Screenr of vergelijkbare software. 42. - MARKIN of vergelijkbare software. 43. - De commentaar functie in het tekstverwerkingsprogramma microsoft word (digitaal commentaar toevoegen in de kantlijn) 44. Ik gebruik (naast wat ik bij de vorige vraag heb aangegeven) ook wel andere manieren van digitaal feedback geven op opdrachten, namelijk... Redenen voor ontbreken bepaalde feedbackvormen Je hebt nu van een heel aantal manieren van feedback geven aangegeven of je er bekend mee bent en of je die manieren ook toepast.Graag willen we weten wat je afwegingen zijn om feedback wel of niet op deze manieren te geven.Hieronder kun je meerdere redenen selecteren die aangeven waarom jij wellicht minder feedback geeft dan misschien mogelijk is. Selecteer de opties die voor jou gelden. 45. Ik ben onbekend met andere manieren van feedback geven. 46. Uitgebreider feedback geven kost te veel tijd. 47. Leerlingen lijken meer geinteresseerd in een cijfer dan in uitgebreide feedback. 48. Uitgebreid feedback geven heeft geen toegevoegde waarde bij mijn opdrachten. PWS begeleider? 49. Ik begeleid profielwerkstukken. Wensen voor scholing We zijn benieuwd naar je interesse om eventueel je kennis over het geven van feedback te vergroten. In welke onderwerpen zou je geinteresseerd zijn? Je kunt meerdere opties selecteren. 50. - Ik zou graag meer willen weten over het maken en gebruiken van beoordelingsschema's 51. - Ik zou graag meer willen weten over de voor- en nadelen van verschillende manieren van feedback geven (zoals bijvoorbeeld peer feedback). 52. - Ik zou graag meer willen weten over elektronische hulpmiddelen bij het geven van feedback. We zijn tot slot benieuwd naar de manier waarop je zou willen leren (indien je dat hebt aangegeven bij de vorige vraag). Je kan hier meerdere opties selecteren als je niet direct een echte voorkeur hebt. 53. - Ik zou het liefst willen leren via workshops op school. 54. - Ik zou het liefst buiten school om een cursus volgen/certificaat behalen op een onderwerp naar keuze. 55. - Ik zou het liefst een online lessenprogramma volgen. 56. - Ik zou graag met andere docenten over een onderwerp willen discussieren. 57. Heb je nog vragen, opmerkingen of iets leuks te vertellen, dan mag je dat hieronder aangeven. Anders doorklikken en de vragenlijst inleveren graag. NOGMAALS HARTELIJK BEDANKT VOOR JE MEDEWERKING EN KOSTBARE TIJD
24
Bijlage 2: Vragenlijsten na afloop feedbackgesprek PWS Beste docent/collega, Bedankt voor je belangrijke bijdrage aan ons onderzoek. Belangrijk voor het invullen van de vragenlijst is de definitie van feedback (waar deze vragenlijst over gaat): Feedback is alle informatie die je krijgt van een docent die gaat over hoe goed je iets nu al doet/gedaan hebt, waar er nog ruimte is voor verbetering om een bepaald doel te bereiken en hoe je dat moet doen.
Zou je de ingevulde vragenlijst in de envelop kunnen stoppen en zo spoedig mogelijk kunnen bezorgen in het postvakje van Michiel Busz of Janneke Helleman (persoonlijk geven mag natuurlijk ook altijd!).
25
Vragenlijst Profielwerkstuk Feedback - Docentenversie Titel PWS:___________________________________ Feedback is alle informatie die je krijgt van een docent die gaat over hoe goed je iets nu al doet/gedaan hebt, waar er nog ruimte is voor verbetering om een bepaald doel te bereiken en hoe je dat moet doen. Geef in je eigen woorden een korte samenvatting van wat er besproken is in het feedbackgesprek. Je mag zelf bepalen wat je in de samenvatting wil noemen, maar geef in ieder geval aan wat de feedback volgens jou bij de leerlingen heeft opgeleverd. Wat zijn volgens jou de effecten van het schrijven van PWS in een andere taal dan het Nederlands? Licht je antwoord kort toe. _____________________________________________________________________________________ _____________________________________________________________________________________ _____________________________________________________________________________________ _____________
26
Kruis hieronder aan welke optie het best past bij jouw mening over het feedbackgesprek dat je net hebt gevoerd. 1 = Helemaal NIET mee eens 2 = Voornamelijk NIET mee eens 3 = Enigszins NIET mee eens 4 = Enigszins mee eens 5 = Voornamelijk mee eens 6 = Helemaal mee eens Weet ik niet 1. Mijn feedback was eenvoudig te begrijpen voor de leerlingen. 2. Mijn feedback motiveert leerlingen om verder te werken aan het PWS. 3. Mijn feedback ging over wat goed is aan het PWS. 4. Door mijn feedback weten de leerlingen wat ze moeten doen om door te kunnen met hun PWS. 5. Mijn feedback was gericht op het Engelse taalgebruik in het PWS van de leerlingen. 6. Het was duidelijk op welke delen van het PWS mijn feedback betrekking heeft. 7. Mijn feedback was gericht op het gebruik door leerlingen van de voor het vak belangrijke begrippen. 8. Ik had eigenlijk meer feedback willen geven aan de leerlingen. 9. Er was ruimte voor discussie tijdens het feedbackgesprek. 10. Ik heb veel feedback op het Engelse taalgebruik van de leerlingen gegeven. 11. Mijn feedback was vooral een mondelinge toelichting bij de geschreven opmerkingen bij het PWS. 12. Mijn feedback geeft leerlingen het gevoel dat ze het goed hebben gedaan. 13. Mijn feedback op de kwaliteit van het gebruikte Engels ging over onbelangrijke zaken. 14. Mijn feedback ging over de manier van werken van de leerlingen. 15. Mijn feedback ging over de samenwerking tussen de leerlingen. 16. Mijn feedback maakt duidelijk aan welke eisen het PWS moet voldoen. 17. Mijn feedback was moeilijk te begrijpen voor de leerlingen. 18. Mijn feedback is leerzaam voor de leerlingen. 19. Mijn feedback ging over de inhoud van het PWS. 20. Mijn feedback helpt leerlingen zelf te bedenken hoe ze iets moeten verbeteren. 21. Mijn feedback maakt duidelijk bij leerlingen wat er nog ontbreekt aan het PWS. 22. Ik had meer feedback op het Engels taalgebruik van de leerlingen kunnen geven. 23. De hoeveelheid feedback die ik gaf was overweldigend voor de leerlingen. 24. De leerlingen kregen tijdens het gesprek ruimte om vragen te stellen over de feedback. 25. Tijdens het feedbackgesprek zijn er ook zaken besproken waar ik geen geschreven feedback over heb gegeven. 26. Mijn mondelinge feedback staat ook als geschreven feedback bij het PWS. 27. Mijn feedback kwam negatief over op de leerlingen. 28. Mijn feedback ging over de werkhouding van de leerlingen.
1 1 1
2 2 2
3 3 3
4 4 4
5 5 5
6 6 6
1
2
3
4
5
6
1 1
2 2
3 3
4 4
5 5
6 6
1
2
3
4
5
6
1 1 1
2 2 2
3 3 3
4 4 4
5 5 5
6 6 6
1
2
3
4
5
6
1
2
3
4
5
6
1
2
3
4
5
6
1 1 1 1 1 1 1 1 1 1
2 2 2 2 2 2 2 2 2 2
3 3 3 3 3 3 3 3 3 3
4 4 4 4 4 4 4 4 4 4
5 5 5 5 5 5 5 5 5 5
6 6 6 6 6 6 6 6 6 6
1
2
3
4
5
6
1
2
3
4
5
6
1 1 1
2 2 2
3 3 3
4 4 4
5 5 5
6 6 6
Kun je aangeven wat volgens jou de drie belangrijkste punten waren van de gegeven feedback op het PWS? 1.________________________________________________________ 2.________________________________________________________ 3.________________________________________________________ Heb je nog andere opmerkingen over de ontvangen feedback of over deze vragenlijst? Dank je wel voor het invullen van deze vragenlijst!
27
Beste leerling uit 6vwo, Wij (Janneke Helleman en Michiel Busz) zijn dit jaar begonnen met een onderzoek naar hoe er feedback wordt gegeven op het Anna van Rijn en hoe daar eventueel verbetering in aangebracht kan worden. Dit doet wij samen met de Universiteit Utrecht en enkele andere partijen. Ook andere scholen in de provincie Utrecht doen mee aan dit onderzoek. Uiteindelijk willen wij er voor zorgen dat alle docenten goede feedback aan leerlingen gaan geven, zodat leerlingen nog beter weten hoe zij zo goed mogelijk kunnen presteren op school. We beginnen kleinschalig, bij de profielwerkstukken, en daarom vragen wij jouw hulp. Zou je de vragenlijst in deze envelop in willen vullen? Belangrijk voor het invullen van de vragenlijst is de definitie van feedback (waar deze vragenlijst over gaat): Feedback is alle informatie die je krijgt van een docent die gaat over hoe goed je iets nu al doet/gedaan hebt, waar er nog ruimte is voor verbetering om een bepaald doel te bereiken en hoe je dat moet doen. Verder: Graag deze vragenlijst invullen apart van elkaar in (dus je eigen antwoorden!). Doe dat alsjeblieft in 1.10A: Dit is in de gang van de docentenkamer. Loop via de aula en de trap naar de Anna van Rijn zaal en sla rechtsaf! Stop als je klaar bent met de vragenlijst deze terug in de envelop en lever die in bij de secretaresse van de locatiedirecteur, die in die ruimte zit. Hartelijk bedankt voor je medewerking namens Mevrouw Helleman en Meneer Busz!
28
Vragenlijst Profielwerkstuk Feedback - Leerlingenversie Titel PWS:___________________________________ Feedback is alle informatie die je krijgt van een docent die gaat over hoe goed je iets nu al doet/gedaan hebt, waar er nog ruimte is voor verbetering om een bepaald doel te bereiken en hoe je dat moet doen. Geef in je eigen woorden een korte samenvatting van wat er besproken is in het feedbackgesprek. Je mag zelf bepalen wat je in de samenvatting wil noemen, maar geef in ieder geval aan wat de feedback voor jou heeft opgeleverd. Wat zijn volgens jou de effecten van het schrijven van PWS in een andere taal dan het Nederlands? Licht je antwoord kort toe. ______________________________________________________________________________________________ ______________________________________________________________________________________________ __________________________________ Kun je uitleggen waarom de feedback die je hebt gekregen je wel (of niet) motiveert om je PWS te verbeteren? ______________________________________________________________________________________________ ______________________________________________________________________________________________ __________________________________
29
Kruis hieronder steeds aan welke optie het best past bij jouw mening over het feedbackgesprek dat je net hebt gevoerd. 1 = Helemaal NIET mee eens 2 = Voornamelijk NIET mee eens 3 = Enigszins NIET mee eens 4 = Enigszins mee eens 5 = Voornamelijk mee eens 6 = Helemaal mee eens Weet ik niet 1. De feedback die ik kreeg was eenvoudig te begrijpen. 1 2 3 4 5 2. De feedback die ik kreeg motiveert me om verder te werken aan het PWS. 1 2 3 4 5 3. De feedback die ik kreeg ging over wat goed is aan het PWS. 1 2 3 4 5 4. Door de feedback die ik kreeg weet ik wat ik moet doen om door te kunnen met het 1 2 3 4 5 PWS. 5. De feedback die ik kreeg was gericht op het Engelse taalgebruik in het PWS. 1 2 3 4 5 6. Het was duidelijk op welke delen van het PWS de feedback die ik kreeg betrekking 1 2 3 4 5 heeft. 7. De feedback die ik kreeg was gericht op het gebruik van de voor het vak belangrijke 1 2 3 4 5 begrippen. 8. Ik had eigenlijk meer feedback willen krijgen van de docent. 1 2 3 4 5 9. Er was ruimte voor discussie tijdens het feedbackgesprek. 1 2 3 4 5 10. Ik heb veel feedback op het Engelse taalgebruik gekregen. 1 2 3 4 5 11. De feedback die ik kreeg was vooral een mondelinge toelichting op de 1 2 3 4 5 geschreven opmerkingen bij het PWS. 12. De feedback die ik kreeg gaf me het gevoel dat ik het goed heb gedaan. 1 2 3 4 5 13. De feedback die ik kreeg over de kwaliteit van het Engels taalgebruik ging over 1 2 3 4 5 onbelangrijke zaken. 14. De feedback die ik kreeg ging over de manier van werken. 1 2 3 4 5 15. De feedback die ik kreeg ging over de samenwerking met mijn PWS-partner. 1 2 3 4 5 16. De feedback die ik kreeg maakt duidelijk aan welke eisen het PWS moet voldoen. 1 2 3 4 5 17. De feedback die ik kreeg was moeilijk te begrijpen. 1 2 3 4 5 18. De feedback die ik kreeg is leerzaam. 1 2 3 4 5 19. De feedback die ik kreeg ging over de inhoud van het PWS. 1 2 3 4 5 20. De feedback die ik kreeg helpt me zelf te bedenken hoe ik iets moet verbeteren. 1 2 3 4 5 21. De feedback die ik kreeg maakt duidelijk wat er nog ontbreekt aan het PWS. 1 2 3 4 5 22. Ik had meer feedback willen krijgen op het gebruikte Engels in het PWS. 1 2 3 4 5 23. De hoeveelheid feedback die ik kreeg was overweldigend. 1 2 3 4 5 24. Ik kreeg tijdens het gesprek ruimte om vragen te stellen over de feedback. 1 2 3 4 5 25. Tijdens het feedbackgesprek zijn er ook zaken besproken waar ik geen geschreven 1 2 3 4 5 feedback over heb gekregen. 26. Alle feedback die ik heb gekregen staat ook als geschreven feedback bij het PWS. 1 2 3 4 5 27. De feedback die ik kreeg kwam negatief op mij over. 1 2 3 4 5 28. De feedback die ik kreeg ging over mijn werkhouding. 1 2 3 4 5 29. De feedback die ik heb gekregen had ik voorafgaand aan het gesprek al verwacht. 1 2 3 4 5 Kun je aangeven wat volgens jou de drie belangrijkste punten waren van de gegeven feedback op het PWS? 1.________________________________________________________ 2.________________________________________________________ 3.________________________________________________________ Heb je nog andere opmerkingen over de ontvangen feedback of over deze vragenlijst? Dank je wel voor het invullen van deze vragenlijst!
30
6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6
Bijlage 3 Focusgroepvragen leerlingen Reflectievragen: 1. Welke belangrijke veranderingen hebben jullie aangebracht in jullie PWS na de laatste keer feedback gekregen te hebben? 2. Kun je aangeven bij welke (onder)delen van het PWS je het meest hebt gehad aan de feedback die je kreeg of waar die juist minder nuttig was? 3. Veel gehad aan feedback over… 4. Minder/niet nuttig was de feedback over… 5. Hoeveel tijd hebben jullie besteed aan het afmaken van jullie PWS na het laatste feedback gesprek (in uren): 6. Heb je nog andere opmerkingen over het PWS of de feedback die je op het PWS hebt gekregen? Gespreksvragen: 1. Hoe heb je het schrijven van het PWS beleefd? 2. In hoeverre vind je dat de werkstukken die je in voorgaande jaren hebt moeten schrijven, je hebben voorbereid op het schrijven van het PWS? 3. Hoe ziet de ideale begeleider eruit? 4. Wat is feedback? 5. Wat is de beste feedback die je gehad hebt? (Leg uit) 6. Feedback kan sturend zijn (er wordt je verteld wat je moet doen) of aanzetten tot het zelf vinden van een oplossing. Hebben jullie beiden ervaren? Zo ja, hoe? 7. Heb je aan het begin van het proces een gesprek gehad met je begeleider waarin besproken werd wat er van je werd verwacht (Inhoudelijk- niet over de procedure)? 8. In welke fase van het proces had je het meeste hulp gewild/nodig? 9. In hoeverre hebben de PWS gesprekken met je begeleider iets toegevoegd aan de geschreven feedback? 10. Wat verwacht je aan feedback op taalgebied?
31
Focusgroep docenten Focusgroepvragen docenten Reflectievragen 1. Hoe heb je het begeleiden van het PWS beleefd? (positieve / negatieve aspecten) 2. Wat wilde je met je feedback bereiken? Heb je dat ook bereikt (als kan per groepje aangeven)? Waar ligt dat aan? 3. Wat wil je dat leerlingen met je feedback doen? Hoe denk je dat ze er mee om gaan? 4. Welk doel hebben jullie bij het geven van feedback? 5. Aspecten van feedback: Gebruiken jullie sturende of zelf regulerende feedback, feedback op het process; de voortgang en het huidige niveau ten opzichte van het gewenste niveau; positieve en negatieve feedback?? 6. Ingaan op randvoorwaarden (evt tijd noemen)/knelpunten 7. In welke fase hebben leerlingen de meeste hulp en feedback nodig? Leerlingen hebben aangegeven aan het begin van het proces meer begeleiding te willen. Weet je welke belemmeringen ll zien bij de start? (Inhoudelijk en over de procedure)? 8. In hoeverre vind je dat de werkstukken die de leerlingen in voorgaande jaren hebben moeten schrijven, ze hebben voorbereid op het schrijven van het PWS? 9. Wat is volgens jullie het belang van het houden van een gesprek naast het geven van geschreven feedback? 10. Hoe hebben jullie de rubrics gebruikt bij het geven van feedback? (voor en nadelen bespreken) 11. Hoe zie je jouw rol bij het geven van feedback op taalgebruik? 12. Op welke aspecten zou je graag getraind/bijgeschoold willen worden? De video opname van de focusgroep met docenten is te vinden op: http://www.youtube.com/watch?v=At1s15xKgco&list=PLGffIN9M46qDafpic2qwzf6I3rqm_R qOX http://www.youtube.com/watch?v=vxeo9_cj3M&list=PLGffIN9M46qDafpic2qwzf6I3rqm_RqOX http://www.youtube.com/watch?v=VHClmW7iBic&list=PLGffIN9M46qDafpic2qwzf6I3rqm_ RqOX http://www.youtube.com/watch?v=mddMo7weltM&list=PLGffIN9M46qDafpic2qwzf6I3rqm_ RqOX http://www.youtube.com/watch?v=ttpmYMSuFqQ&list=PLGffIN9M46qDafpic2qwzf6I3rqm_ RqOX
32
