Projecten Educatieve Middelen Pool 2007 – 2008 Aanvraagformulier ondersteuning Onderwijscentrum VU
Peer review en Academische Vaardigheden
auteurs: Rob van Leeuwen en Janneke van Eijk; FPP, Onderwijsbureau
opdrachtgever: FPP bestuur Namens deze: Joyce Aalberts en Janny Westra
1.
Projectbeschrijving
1.1 Samenvatting In de komende periode wil de faculteit FPP de implementatie van de onderwijsvisie toespitsen op de academische vaardighedenlijn. Dat betekent dat we nagaan hoe het onderwijs AV meer door de hele bachelor heen geoefend en getoetst kan worden. Daarbij focussen we vooral op de academische vaardigheden beoordelen en presenteren. Er is de mogelijkheid deel te nemen aan het SURF project Proof. Dit project onderzoekt en ontwikkelt peer review als onderwijsmethode. Studenten leren dan zowel beoordelen als beoordeeld worden. Vooralsnog zal het daarbij vooral gaan om schriftelijke presentaties (schrijfopdrachten; papers e.d.) . In dit EMP project vragen we onderwijskundige ondersteuning aan bij de implementatie van peer review als onderwijsvorm en toetsmiddel voor het versterken van de academische vaardighedenlijn in het bacheloronderwijs. Concreet gaat het om ondersteuning bij het ontwerpen van peer review opdrachten, het maken en testen van beoordelingsschema’s, en het ondersteunen van docenten bij de invoering daarvan in tenminste drie vakken, in elk jaar van de bachelor één. Het doel van het project is ervoor te zorgen dat de academische vaardigheden als lijn verder ontwikkeld wordt én dat peer review ingezet kan worden als onderwijsmethode. Op dit moment is de faculteit FPP de lijn aan het expliciteren door de drie bachelorjaren heen. Daar waar nodig worden onderwijsverbeteringen doorgevoerd. Het ontwikkelen en verbeteren van de academische vaardighedenlijn staat daarmee in de grondverf. Het project geeft de ondersteuning die nodig is om de academische vaardighedenlijn bekend en geaccepteerd te maken en helpen het benodigde materiaal te ontwikkelen. Het einddoel is om een document te hebben waarin de academische vaardighedenlijn duidelijk is neergezet en dat docenten gebruik kunnen maken van peer-review.
1.2 Doelstellingen Korte inleiding op het project: In de onderwijsontwikkeling van FPP neemt het onderwijs rond academische vaardigheden (av) een belangrijke plaats in. Het vormt één van de lijnen in het onderwijs (naast het vakinhoudelijke onderwijs en het MSD onderwijs). Het gaat bij academische vaardigheden om vier vaardigheden: 1. Leesvaardigheden (op een adequate manier kennis kunnen nemen van teksten waarin verslag wordt gedaan van systematisch onderzoek); 2. Beoordelingsvaardigheden (uitgevoerd systematisch onderzoek aan de hand van de gepaste criteria kunnen beoordelen); 3. Uitvoeringsvaardigheden (zelf systematisch onderzoek kunnen bedrijven) 4. Presentatievaardigheden te splitsen in a. schrijfvaardigheden (adequaat verslag kunnen doen van uitgevoerd systematisch onderzoek); b. mondelinge presentatievaardigheden (adequaat mondeling kunnen presenteren van systematisch onderzoek). De academische vaardigheden worden door studenten door de drie bachelorjaren heen ontwikkeld. De start wordt gemaakt in het eerste bachelorjaar waarin studenten de criteria leren kennen en wennen aan feed-back geven. In het tweede jaar wordt meer zelfstandigheid vereist en
2
in het derde jaar wordt de ontwikkeling afgerond met een zelfstandig geschreven Bachelor-these. Hoe deze lijn er precies moet uitzien, wat de eisen en leerdoelen zijn en in welke vakken de lijn onderwezen wordt, kan binnen het project verder uitgewerkt worden door overleg met de betrokken docenten.De verbeteringen en veranderingen zullen zoveel mogelijk in alle Bachelorjaren doorgevoerd worden tijdens de duur van het project. Indien blijkt dat vernieuwingen voor ouderejaars te laat komen zullen extra opdrachten ervoor zorgen dat ook deze studenten op het gewenste niveau afstuderen. Op die manier kan ervoor gezorgd worden dat er voor eerstejaars een duidelijke leerlijn klaarligt waarmee ze binnen drie jaar de benodigde academische vaardigheden leren. Binnen het peer review project gaat het dan vooral om de beoordelings- en presentatievaardigheden. De ouderejaars zullen door de extra opdrachten eveneens op het door dit project ontwikkelde eindniveau afstuderen. Bovendien kan peer review ingezet worden om essays/papers en onderzoeksverslagen van feedback te voorzien vóórdat het werk bij de docent ingeleverd wordt. Daarmee helpt peer review studenten drie van de vier vaardigheden te oefenen, namelijk leesvaardigheden, beoordelingsvaardigheden en presentatievaardigheden. Studenten moeten het werk van een aantal medestudenten voorzien van feedback aan de hand van beoordelingsschema’s. Daarmee leren ze kritisch lezen (leesvaardigheden) en ze leren om volgens een set criteria vast te stellen of het werk aan de normen voldoet (beoordelingsvaardigheden). Dat helpt ze ook om zelf beter te schrijven of te presenteren (presentatievaardigheden). Daarnaast leren studenten hoe op een adequate manier feedback gegeven moet worden (beoordelings- en presentatievaardigheden). Studenten leren op deze manier van elkaar en daarmee wordt de community of learners gedachte vorm gegeven. Vervolgens kan de schrijver de feedback verwerken en zo een betere versie schrijven en uiteindelijk inleveren bij de docent. Er zijn op die manier meer mogelijkheden voor studenten om feedback op hun werk te krijgen. Het voordeel daarvan is dat de kwaliteit van het onderwijs omhoog gaat doordat studenten intensiever met hun werk bezig zijn terwijl het docenten nauwelijks extra tijd kost als de digitale peer review eenmaal is ingericht. Om de workflow rond peer review te vereenvoudigen en de onderwijsvorm daarmee hanteerbaar te houden bij grotere aantallen studenten bestaat de wens om peer review digitaal te ondersteunen. De voordelen daarvan zijn legio: beoordelingsschema’s kunnen digitaal geleverd worden, het werk van studenten kan anoniem aan medestudenten uitgedeeld worden (waardoor studenten het minder ‘eng’ vinden om kritisch te zijn op hun medestudent), studenten kunnen digitaal gedwongen worden zich aan deadlines te houden (waarmee ze leren met harde deadlines om te gaan) en zo meer. Projectdoelstellingen: - Er is in overleg met docenten een document ontwikkeld waarin de academische vaardigheden als duidelijke leerlijn is neergezet. - Voor een aantal Bachelorvakken, waarbij academische vaardigheden een belangrijke component van het onderwijs vormt, in de verschillende Bachelorjaren worden peer review-opdrachten ontwikkeld, uitgevoerd en geëvalueerd. - Studenten bereiken een hoger niveau van academische vaardigheden en waarderen de inzet van peer review. Het hogere niveau is niet gedurende het project te meten maar zal gevalideerd worden op termijn door docenten, studenten en experts. - Docenten geven een hoge waardering aan het werken met peer review vóórdat de student de schrijfopdracht bij de docent inlevert en geven een hoge waardering aan het gebruik van digitale middelen voor peer review.
3
-
Docenten beoordelen de gegeven feedback binnen de peer review opdrachten als voldoende en de opdrachten als effectief voor het ontwikkelen van academische vaardigheden.
Bovenstaande doelen passen bij de onderwijsvisie van onderzoekend en samenwerkend leren (VU/FPP) .
1.3 Afbakening Dit EMP project sluit aan bij het SURF-project PROOF. Alle middelen en materialen die daar worden ontwikkeld, kunnen dus wel in dit project gebruikt worden maar maken geen deel uit van dit project (o.a. trainingsmateriaal voor docenten over het ontwerpen van peer review opdrachten en over het gebruik van ICT hierbij). De software wordt derhalve VU-breed middels het SURFproject PROOF uitgekozen uit een aantal sofware pakketten. Die keuze wordt in dit project niet gemaakt. Dit EMP project richt zich op twee dingen. Ten eerste op de explicitering van de leerlijn academische vaardigheden en ten tweede op de onderwijskundige implementatie van peer review binnen de faculteit, o.a. ontwerpen van peer review opdrachten en bijbehorende studenthandleidingen, evaluatie, verspreiding van ervaringen binnen de faculteit. Dit project richt zich niet op het selecteren van geschikte software; er worden geen applicaties ontwikkeld.
1.4 Resultaten Na afloop van het project beschikt de faculteit over de volgende resultaten: 1) Een document met de leerlijn academische vaardigheden waarmee docenten hun academische vaardigheden onderwijs kunnen vormgeven en waarmee voor studenten duidelijk is wat de te ontwikkelen vaardigheden zijn, hoe die ontwikkeld worden en wat de eisen en leerdoelen zijn en een beoordelingsschema voor de validiteit. 2) Studenten vinden het gebruik binnen het onderwijs van peer review leerzaam en evaluëren het positief (score > 3 op vijfpuntsschaal). 3) Docenten evaluëren het gebruik van digitale ondersteuning bij peer review als positief (score > 3 op vijfpuntsschaal). 4) Er is een bruikbare handleiding beschikbaar voor docenten m.b.t. de inzet van icthulpmiddelen op het gebied van de academische vaardigheid schriftelijk presenteren, inclusief mogelijke taken voor studenten; 5) Er is een bruikbare handleiding beschikbaar voor docenten m.b.t. de inzet van icthulpmiddelen op het gebied van de academische vaardigheid beoordelen, inclusief mogelijke taken voor studenten; 6) Er is een bruikbare handleiding beschibaar voor docenten over formatief toetsen met behulp van peer review als toetsingsinstrument; 7) Er is een bruikbare handleiding beschikbaar, eventueel in de vorm van een website, voor studenten over het specifieke gebruik van ICT bij peer review 8) Er is bruikbaar cursusmateriaal ontwikkeld behorend bij een korte cursus/workshop voor docenten op het gebied van ICT bij peer reviewen het gebruik daarvan in het onderwijs 9) Er zijn beoordelingsschema’s ontwikkeld (afhankelijk van het type opdracht: bijvoorbeeld onderzoeksverslag, essay, literatuurverslag/paper) t.b.v. peer review. 10) Aan reguliere practicumevaluatieformulieren zijn beoordelingsvragen over peer review toegevoegd.
4
Het succes van het project kan worden vastgesteld door op elk van de 10 beoogde resultaten vast te stellen of en in hoeverre deze zijn bewerkstelligd.
1.5 Facultair commitment Uit ieder Bachelor jaar doet tenminste één cursusonderdeel mee aan een pilot met peer review. De keuze voor de vakken zal in overleg met de betrokken docenten worden gemaakt. Er wordt daarbij aansluiting gezocht bij vakken waarin het element academische vaardigheden een belangrijk onderdeel vormt. Binnen de faculteit is een Stuurgroep Academische Vaardigheden gestart. De taak van deze Stuurgroep is om een bijdrage te leveren aan het verder versterken van het onderwijs in academische vaardigheden en het borgen van de onderlinge samenhang door de hele Bachelor heen. De Stuurgroep zal derhalve een belangrijke taak vervullen in de ontwikkeling van de lijn academische vaardigheden. Daarnaast zal de stuurgroep de inzet van peer review als onderwijsmethode begeleiden.. Ze zal ook na afronding van dit project actief blijven. Op die manier wordt gewaarborgd dat de aandacht voor academische vaardigheden en de inzet van peer review en andere toetsvormen binnen het onderwijs in academische vaardigheden levend blijft, ook na afronding van dit project. De Stuurgroep zal tevens tot taak krijgen om de resultaten van het project verder binnen de faculteit te verspreiden en een bijdrage te leveren aan de verdere implementatie daarvan.
1.6 Onderwijskundig kader De onderwijsvisie van de VU wordt door FPP opgevat als ‘onderzoekend en samenwerkend leren’. Deze onderwijsvisie sluit precies aan bij de ambitie van FPP om bij studenten een onderzoekende, kritische en academische ambitie te stimuleren. De ontwikkeling van academische vaardigheden is hier een belangrijk onderdeel van. In de afgelopen jaren heeft FPP veel aandacht besteed aan de oefening en explicitering van academische vaardigheden. De oordeelsvorming speelt daarbij een belangrijke rol, ook in de profilering van het WO-onderwijs t.o.v. het HBO onderwijs.
1.7 Kwaliteit Met de docenten moeten duidelijke afspraken worden gemaakt over de kwaliteitseisen van de projectresultaten. Dat betekent dat de docenten al in een vroeg stadium moeten worden betrokken bij de ontwikkeling van de leerlijn academische vaardigheden en de eisen waaraan handleidingen, cursussen en het beoordelingsschema moeten voldoen. De pilots zullen per studieonderdeel worden geëvalueerd aan de hand van de hand van een standaard vragenlijst of toegevoegde vragen aan het review. Met de betrokken docenten zal een evaluatiegesprek gehouden worden. Met een vertegenwoordiging van de studenten ( 5-10) per cohort zal ook een evaluatiegesprek gehouden worden.
1.8 Disseminatie
5
Het project wordt begeleid door een Stuurgroep AV waarin docenten, leden van de opleidingscommissie’s en medewerkers van het onderwijsbureau zitten. De kennis die het project oplevert zal vooral via het facultaire intranet (in ontwikkeling) en vanuit onderwijsbureau bekend gemaakt worden. Daarbij wordt gedacht aan informatie en voorlichting in GV (Gemeenschappelijke Vergadering), voltallige opleidingscommissie, examencommissies, Afdelingshoofdenoverleg. Ook andere evenementen (lunchbijeenkomsten; onderwijsmiddag) kunnen worden gebruikt om de resultaten van het project bekend te maken.
2. Gewenste ondersteuning Onderwijscentrum VU Gewenste ondersteuning vanuit onderwijscentrum: Onderwijskundig expertise academische oordeelsvorming 0,1 fte Onderwijskundige expertise peer review 0,1 fte Zij zullen worden ingezet voor: - Trainen van docenten over peer review en gebruik van ICT daarbij - Ondersteunen van docenten bij het gebruik van ICT ten behoeve van peer review - Ondersteunen bij evalueren van peer review opdrachten - Reageren op verzoeken op ondersteuning of advies vanuit participerende docenten - Ondersteunen van docenten bij het opstellen/ aanpassen van feedbackformulieren en de implementatie ervan in hun onderwijs zowel organisatorisch als inhoudelijk.
3. Projectstructuur (zie criteria projectstructuur) Officiële opdrachtgever is het bestuur van de faculteit, vertegenwoordigd door Joyce Aalberts (portefeuillehouder onderwijs) en Janny Westra (directeur bedrijfsvoering).
3.1 Projectleider en medewerkers Naam Functie Afdeling Rob van Leeuwen FPP ICTO Onderwijskundige expertise op gebied van peer review Onderwijskundige expertise op gebied van academische oordeelsvorming Anja Ruhland FPP
Projectrol
Uren p/w
projectmedewerker
6u
projectmedewerker
2u
projectmedewerker
4u
projectleider
4u
Telefoon
Email
[email protected]
[email protected]
6
3. 2 Begeleidingscommissie Namen, rol/verantwoordelijkheden/taken, titel, functie, afdeling Joyce Aalberts Janneke van Eijk Henk Kelderman Martijn Meeter Anja Ruhland Marjoke Rietveld Ina ter Avest Studentlid
portefeuillehouder onderwijs bestuur FPP hoofd onderwijsbureau coördinator MSD docent statistiek en lid opleidingscie docent Academische Vaardigheden psy docent academische vaardigheden peda docent pedagogiek vertegenwoordiger van opleidingscommissie
De begeleidingscommissie fungeert als taakgroep om richting te geven aan het project en om zorg te dragen voor voldoende draagvlak in de faculteit.
4. Planning 4.1 Projectplanning Beoogde startdatum project: 1-9-2007 Beoogde einddatum project: 1-9-2008 N.B. Het project mag maximaal 1 jaar duren en start in principe niet voor september 2007.
7
4.2 Activiteitenplanning
Activiteit Consultatie en overleg; vaststellen welke vakken/docenten gaan meedoen. Maken plan van aanpak Besluit go/no go Uitvoeren Plan van Aanpak, inclusief uitvoeren van tussenevaluaties Rapportage
Betrokkenen Betrokken docenten Allen Opdrachtgever i.o. met stuurgroep Projectgroep Projectgroep
Periode Vóór september September 1 november November t/m juni Juli en augustus
8
5. Begroting Geef in een tabel volgens onderstaand schema aan welk deel van de kosten ten laste komt van de betrokken faculteit(en), voor welk deel een beroep wordt gedaan op personele ondersteuning door het Onderwijscentrum VU en wat de totale kosten zijn.
Fac. in fte
# mnd
0,05
12
Fac. in K€
OND in fte # mnd
PERSONEEL projectleiding onderwijskundige expertise
12
technische expertise
0,15
vakinhoudelijke expertise
0,20
n.v.t.
n.v.t.
n.v.t.
n.v.t.
hardware/ infrastructuur
n.v.t.
n.v.t.
software
n.v.t.
n.v.t.
secretariële ondersteuning MATERIEEL
TOTAAL
6. Ondertekening en datum Datum: Namens het Faculteitsbestuur, Joyce Aalberts, Portefeuillehouder onderwijs
9
