Standaardisatie en formulering stellingen en vragen voor module evaluaties VHL versie 27 maart 2011
Inleiding In het voorjaar van 2010 is het project Standaardiseren module evaluaties VHL breed o.l.v. Tjallie Botden van start gegaan. Door ziekte van Tjallie is de voortgang van het project geremd. In januari 2011 is besloten het project voort te laten zetten door Ben Rankenberg, Sietse Miedema en Elsbeth Hugenholtz. Dit voorstel is het resultaat van hun samenwerking. Het voorstel is in het ODO van 27 september 2011 goedgekeurd. Dit voorstel bevat: - een nieuwe versie van de uitgangspunten voor module-evaluaties - met daarin een voorstel voor de grens voor het trekken van conclusies (op welk moment noemen we iets een knelpunt?) - een statistische onderbouwing daarbij, rekening houdend met kleine responsgroepen - een voorstel voor het gebruik van uniforme stellingen en vragen voor module-evaluaties - met verantwoording: koppeling van resultaten van de stelling aan bijv. een accreditatie-onderwerp - een voorstel voor een koppeling aan de jaarlijkse management rapportage (de ‘management-sheet’) met daarbij aangegeven welke resultaten wel en niet opgenomen worden op deze sheet (zie ook punt 6 van Module-evaluatie Uitgangspunten) - een voorbeeld van de nieuwe vragenlijst (alleen de standaard onderdelen, voor afname op papier). De vragenlijst De vragenlijst voor de module-evaluatie is bedoeld als een signalerende lijst. De stellingen en vragen waarvan afgesproken is dat zij als ‘standaard’ gelden, worden niet verwijderd uit deze lijst. Respondenten worden altijd uitgenodigd toelichtingen te schrijven. Voor duidelijk afwijkende modules, zoals stages, zijn andere vragenlijsten beschikbaar. (De hier voorgestelde vragenlijst betreft alleen de ‘reguliere’ module-evaluaties.) In dit document zijn bij ‘de verantwoording’ per stelling en vraag de volgende aspecten aangegeven: - of de stelling of vraag als standaard benoemd is en het resultaat ervan opgenomen wordt in het ‘management sheet’ (voorstel is om 13 van de 18 standaard onderdelen op te nemen) - welke koppeling er is met het nieuwe accreditatiekader (verwezen wordt naar de Graadmeter van AeQui) - of de resultaten ervan vergeleken kunnen worden met resultaten van de Nationale Studenten Enquête (NSE) of de Hbomonitor. Voor intern gebruik bij een opleiding wordt gerapporteerd over alle stellingen, vragen, toelichtingen enz.
Qteam project Standaardisatie module-evaluaties
Pagina 1 van 7
Uitgangspunten voor module evaluatie m.b.v. vragenlijsten N.B. In plaats van module wordt ook de term period of semester gebruikt, in het examenreglement staat de meer algemene term onderwijseenheid.
1. Het doel van de vragenlijsten is om met de resultaten ervan de inhoud en organisatie van het onderwijs te verbeteren. 2. In principe wordt de vragenlijst afgenomen bij alle modules onder alle studenten, elk jaar weer. 3. Er is een basisset van standaard evaluatievragen die bij elke module gesteld worden. Daar kunnen modulespecifieke vragen aan worden toegevoegd, de standaardvragen kunnen niet worden verwijderd. Aan de student wordt ook gevraagd een totaalbeoordeling te geven voor de module in de vorm van een rapportcijfer. 4. De vragen in de vragenlijsten zijn zo veel mogelijk gerangschikt volgens de clusters in het accreditatiekader en zijn vastgelegd in een database evaluatievragen. De vragen zijn ook in het Engels beschikbaar. 5. Per vraag wordt een conclusie getrokken t.a.v. de tevredenheid (beter gezegd: de kwaliteit betreffende inhoud en/of organisatie van het onderwijs) tenzij het responspercentage en/of het aantal studenten dat de enquête heeft ingevuld te laag is. Ligt het resultaat bij een vraag onder de norm, dan noemen we dat een ‘knelpunt’ (zie ook de toelichting hieronder). 6. Ten behoeve van trendgegevens wordt per module het totaal aantal knelpunten m.b.t. de standaardvragen vastgesteld. 7. De kwaliteitszorg coördinator per opleiding zorgt er voor dat de vragenlijst aan het eind van of z.s.m. na de uitvoering van de module wordt afgenomen. 8. De kwaliteitszorg coördinator zorgt voor publicatie van een samenvatting van de resultaten. 9. Het proces van module-evaluatie is vastgelegd in het processchema ‘Evaluaties VHL’. NB Naast de vragenlijsten voor studenten over modules zijn er aparte evaluatieformulieren voor externe deskundigen bij modules en externe begeleiders bij stages/afstudeerprojecten. Er zijn ook aparte vragenlijsten voor studenten over stages/afstudeeropdrachten, en voor studenten en alumni over het gehele onderwijsprogramma en de voorzieningen van VHL. Toelichting bij punt 5 Het kental is het percentage tevreden studenten. Per vraag kan gescoord worden van 1 tot 4. We spreken van een knelpunt als dit percentage lager is dan 50%. De manier waarop dit percentage bepaald wordt verschilt bij Larenstein en VHI: bij Larenstein is er sprake van een knelpunt als de score 3 en 4 samen lager is dan 50%, voor VHI als de gemiddelde score < 2,5 is. Bij een respons van minder dan 70% èn minder dan 50 studenten is het kental het aantal tevreden studenten. De aanduiding knelpunt wordt in dat geval uit onderstaande tabel gehaald, waarbij rekening gehouden wordt met een statistische afwijking. Aantal respondenten 50 45 40 35 30 25 20 15 10
Er is sprake van een knelpunt als het aantal tevreden studenten kleiner is: 24 22 19 16 14 11 8 6 3
Bij een respons van minder dan 70% èn minder dan 10 studenten worden er geen conclusies getrokken.
Qteam project Standaardisatie module-evaluaties
Pagina 2 van 7
Voorstel formulering stellingen en vragen voor module evaluaties VHL: de ‘verantwoording’ Nr
Onderwerp
Stelling / vraag
Standaard? Indien ja: naar management sheet
Koppeling accreditatie (Beperkte opl. beoordeling)
Vergelijking mogelijk met hbo(-monitor) of NSE?
Algemeen 1 kernvraag
Ik heb van deze module veel geleerd.
ja
niet specifiek
niet specifiek
*
voldoende uitdagend
Het programma was voldoende uitdagend.
nee
inhoud + docenten
*
duidelijkheid competenties
Het was mij duidelijk aan welke competenties ik deze module moest werken.
nee
2.4
hbo: selectie NSE: inhoud -
Het was mij duidelijk welke prestaties en/of producten er tijdens de module van mij verwacht werden.
ja
2.6
-
Ik vind dat ik in de module voldoende bruikbare feedback heb gekregen op mijn prestaties en/of producten. * De deadlines voor deze prestaties en/of producten stonden duidelijk aangegeven.
ja
2.7
NSE: docenten
ja
2.7
-
Tijdens deze module werd uitgegaan van de actuele beroepspraktijk.
ja
2.2
De module als geheel 2 duidelijkheid producten 3 bruikbaarheid feedback 4 duidelijkheid deadlines Het programma 5 actuele beroepspraktijk 6
werkvormen
De werkvormen (contacturen, opdrachten, begeleiding) hebben mij goed geholpen de competenties te verwerven.
ja
2.4
hbo: progr. NSE: voorber. beroep -
7
leermiddelen
ja
2.10
NSE: studiefac.
8
rooster
De leermiddelen waren goed bruikbaar (studiehandleiding, Blackboard, boeken, dictaten, internet enz.). Ik ben tevreden over het rooster van deze module.
ja
2.6
NSE: rooster
* Voorstel is om tijdens het studiejaar 2011/2012 ervaring met deze stelling op te doen en daarna te beslissen om gespecificeerd moet worden of het om tussentijdse feedback of feedback op een tentamen gaat. Qteam project Standaardisatie module-evaluaties
Pagina 3 van 7
Nr
Onderwerp
Stelling / vraag
Standaard? Indien ja: naar management sheet
Koppeling accreditatie (Beperkte opl. beoordeling)
Vergelijking mogelijk met hbo(-monitor) of NSE?
De docenten (algemeen) 9 vakkennis Ik ben tevreden over de vakinhoudelijke kwaliteiten van de docent(en). docenten
ja
2.8
10
begeleiding
Ik ben tevreden over de (proces)begeleiding door de docent(en).
ja
2.8
*
SLB
Ik ben tevreden over de studieloopbaanbegeleiding.
nee
2.7
hbo: personeel NSE: docenten hbo: personeel NSE: docenten NSE: studiebeg.
nee
nee
hbo: personeel NSE: docenten
ja
3.3
NSE: toetsing
ja
3.4
NSE: toetsing
nee
3.2
-
De docenten (specifiek) Ik ben tevreden over de individuele docenten van onderdeel – naam docent (Indien je * individuele geen mening hebt over een bepaalde docent, kun je de desbetreffende docent waardering overslaan.) De beoordeling (assessment/toetsen/tentamens) 11 beoordelingsDe beoordelingscriteria van de toetsen waren duidelijk. criteria 12 inhoud De inhoud van de toets(en) was relevant voor de competenties waar ik deze periode aan assessment moest werken. * vorm De vorm van het assessment was geschikt. assessment
Qteam project Standaardisatie module-evaluaties
Pagina 4 van 7
Nr
Onderwerp
Stelling / vraag
Standaard? Indien ja: naar management sheet
De studiebelasting Leeuwarden 4-puntsschaal, Velp en Wageningen 5-puntsschaal (m.i.v. 2011/2011, tot nu toe 3-puntsschaal) 13 studiebelasting Ik vond de studiebelasting van deze module goed (niet te hoog en niet te laag). ja (Bij toelichting: Als je het niet eens bent met de stelling, dan graag hier vermelden of je (Leeuwarden) de studiebelasting te hoog of te laag vond.) 13 studiebelasting Ik vond de studiebelasting van deze module te laag / laag / goed / hoog / te hoog. ja (Velp+Wag) (verslag altijd in ongewogen percentages, alleen ‘te’ = bij > 50% knelpunt) (tot nu toe 3-puntsschaal: verslag altijd in ongewogen percentages; alleen ‘goed’ = bij < 50% knelpunt) * verdeling De totale studielast van de module is evenredig over de weken verdeeld. nee Rapportcijfer 14 rapportcijfer De open vragen 15 sterkste onderdeel 16 zwakste onderdeel 17 aanvulling *
open vraag naam SLB’er
18
(open vraag) afsluiting
Welk rapportcijfer geef je deze module?
ja
Wat vond je het sterkste onderdeel van deze module?
nee
Welke suggesties heb je ter verbetering van het zwakste onderdeel van deze module?
nee
Heb je nog aanvullende opmerkingen?
nee
Wie is je studieloopbaanbegeleider? (alleen opnemen als de stelling over SLB opgenomen is) Dank + contact
nee
Koppeling accreditatie (Beperkte opl. beoordeling)
Vergelijking mogelijk met hbo(-monitor) of NSE?
2.6
hbo: progr. NSE: studielast
2.6
hbo: progr. NSE: studielast
2.6
-
nvt
-
nee
We hebben o.a. ook gesproken over: - aansluiting op voorkennis, samenhang programma, meeliften => horen thuis in een programma-evaluatie - inzien toetsen => kan niet worden opgenomen want evaluatie in lesweek 1 en inzien in lesweek 3.
Qteam project Standaardisatie module-evaluaties
Pagina 5 van 7
Evaluatie module …………………………………………………………………………………………………………… Hierna volgen 14 stellingen en 3 open vragen. Indien een stelling niet van toepassing is, laat dan het antwoord open. helemaal niet mee mee eens helemaal niet mee eens mee eens eens Algemeen 1 Ik heb van deze module veel geleerd. Toelichting
De module als geheel 2 Het was mij duidelijk welke prestaties en/of producten er tijdens de module van mij verwacht werden. 3 Ik vind dat ik voldoende bruikbare feedback heb gekregen op mijn prestaties en/of producten. 4 De deadlines voor deze prestaties en/of producten stonden duidelijk aangegeven. Toelichting
Programma 5 Tijdens deze module werd uitgegaan van de actuele beroepspraktijk. 6 De werkvormen (contacturen, opdrachten, begeleiding) hebben mij goed geholpen de competenties te verwerven. 7 De leermiddelen waren goed bruikbaar (studiehandleiding, Blackboard, boeken, dictaten, internet enz.). 8 Ik ben tevreden over het rooster van deze module. Toelichting
De docenten (algemeen) 9 Ik ben tevreden over de vakinhoudelijke kwaliteiten van de docent(en). 10 Ik ben tevreden over de (proces)begeleiding door de docent(en). De docenten (specifiek) Ik ben tevreden over de individuele docenten van onderdeel (Indien je geen mening hebt over een bepaalde docent, kun je de desbetreffende docent overslaan.) docent A (onderdeel A) docent B (onderdeel B) docent C (onderdeel C) docent D (onderdeel D) docent E (onderdeel E) Toelichting
Qteam project Standaardisatie module-evaluaties
Pagina 6 van 7
helemaal niet mee eens
niet mee eens
mee eens
helemaal mee eens
De toetsen (assessments) 11 De beoordelingscriteria van de toetsen waren duidelijk. 12 De inhoud van de toets(en) was relevant voor de competenties waar ik deze periode aan moest werken. Toelichting
De studiebelasting (Leeuwarden) 13 Ik vond de studiebelasting van deze module goed (niet te hoog en niet te laag). De studiebelasting (Velp+Wageningen) 13 Ik vond de studiebelasting van deze module
te laag
laag
goed
hoog
te hoog
Toelichting Voor Leeuwarden: Als je het niet eens bent met de stelling, dan graag hier vermelden of je de studiebelasting te hoog of te laag vond.
14
Welk rapportcijfer geef je deze module?
15
Wat vond je het sterkste onderdeel van deze module?
1 zeer slecht 2 slecht 3 zwak 4 onvoldoende 5 twijfelachtig 6 voldoende 7
ruim voldoende
8 goed
16
Welke suggestie heb je ter verbetering van deze module?
9 erg goed 10 uitstekend
17
Heb je nog aanvullende opmerkingen?
Hartelijk dank voor je medewerking! Als je daar behoefte aan hebt, kun je contact met mij opnemen via (emailadres coördinator kwaliteitszorg)
Qteam project Standaardisatie module-evaluaties
Pagina 7 van 7
