Beheersen eindtermen GS-LS en kwaliteit begeleiding gedurende onderzoeksproject en thesis: bevindingen van 11 afgestudeerden 1. Inleiding Het is belangrijk dat de diploma’s die de Graduate School of Life Sciences (GSLS) uitgeeft een garantie zijn voor kwalitatief goed afgestudeerden. Om dit te bereiken zijn diverse stappen ondernomen. Allereerst werden gemeenschappelijke eindtermen opgesteld, waarna deze vertaald zijn in leerdoelen voor de diverse curriculumonderdelen. De GS-LS heeft hiervoor in de afgelopen jaren met behulp van een Educatieve Middelen Pool (EMP) project gewerkt aan een gemeenschappelijk onderwijsfundament. In het kader van dit project zijn er gemeenschappelijke eindtermen opgesteld voor de 12 masterprogramma’s van de GS-LS. Deze eindtermen zijn weergegeven in bijlage 1. Daarnaast zijn er voor elk curriculumonderdeel (verplichte cursussen, onderzoeksprojecten, gemeenschappelijke seminars, etc.) toetsbare leerdoelen opgesteld.1 Op papier worden de eindtermen dus gedekt. Maar in hoeverre worden deze eindtermen in de praktijk ook behaald? Dat is een vraag die het Assessment Panel1 (AP) van de GS-LS zich heeft gesteld. Deze vraag wordt gedeeltelijk beantwoord door de uitkomsten van de exit-enquête van de GS-LS. Deze enquête noemt alle eindtermen en vraagt per eindterm een score tussen de 1 en 5 in te vullen, waarbij 1 de laagste score is en 5 de hoogste score. De enquête wordt ingevuld door studenten die de opleiding verlaten omdat zij het masterprogramma hebben afgerond. Het AP heeft 122 exit-enquêtes van 7 masterprogramma’s uit de periode xx t/m xx 2013 bekeken.2 Uit deze enquêtes komt naar voren dat afgestudeerden alle eindtermen in het programma terug vinden komen. De enquête geeft echter niet aan of het gaat om aan de orde komen van de eindtermen of het daadwerkelijk behalen ervan. Tevens wordt niet duidelijk in welke programma-onderdelen de eindtermen worden behaald. Het AP wilde daarom beoordelen in welke onderdelen van de masterprogramma’s en studenten de eindtermen aan de orde komen, en of afgestudeerden daarin een zodanig niveau bereiken dat zij deze eindtermen daadwerkelijk beheersen. Daarnaast wilde het AP weten hoe afgestudeerden achteraf denken over het door hen gevolgde masterprogramma. Hierbij was het AP vooral benieuwd naar de ervaringen met de begeleiding en beoordeling van de onderzoeksprojecten en de thesis. Het AP heeft daarom een onderzoek uitgevoerd bij een steekproef van elf afgestudeerden van drie verschillende masterprogramma’s binnen de GS-LS. Onder afgestudeerden wordt verstaan: alumni die het masterprogramma ten tijde van het onderzoek niet langer dan een jaar geleden hadden afgerond. Hierbij zijn de volgende twee onderzoeksvragen gesteld: - Beheersen de afgestudeerden, naar eigen inzicht, de eindtermen van de GS-LS? - Hoe hebben de afgestudeerden de begeleiding, beoordeling en organisatie van het onderzoeksproject, de thesis en de overige programmaonderdelen ervaren?
1
2. Materialen en methode In de periode augustus 2012 – april 2013 zijn 11 afgestudeerden van drie masterprogramma’s van de GS-LS geïnterviewd. Er is voor de volgende masterprogramma’s gekozen: - Neuroscience & Cognition (NSCN), 4 afgestudeerden - Molecular and Cellular Life Sciences (MCLS), 4 afgestudeerden - Biology of Disease (BIDM), 3 afgestudeerden De programma’s zijn om de volgende redenen gekozen: - een relatief grote instroom van studenten (BIDM, NSCN); - een instroom uit verschillende nationale en internationale bacheloropleidingen (BIDM, MCLS, NSCN); - een gevarieerde opbouw van het programma mogelijk (BIDM, MCLS). De afgestudeerden zijn geïnterviewd aan de hand van een semigestructureerde vragenlijst (bijlage 2). De vragenlijst en de eindtermen van de GS-LS werden van tevoren via de mail opgestuurd. De afgestudeerden kregen het verzoek om voorafgaand aan het interview de vragen door te lezen. Daarnaast moesten ze per eindterm nagaan of deze gedurende het programma aan de orde was gekomen en of zij deze naar eigen inzicht beheersten. Indien een eindterm aan de orde was gekomen moesten de afgestudeerden ook aangeven in welke programmaonderdelen dat was gebeurd. Het onderwijsprogramma, de thesis, het verslag van de major en de minor onderzoeksprojecten, de bijbehorende cijfers en beoordelingsformulieren van de geïnterviewde studenten zijn voorafgaand aan het interview bekeken door de interviewers en leverden input en context voor de interviews. Daarnaast zijn de coördinatoren van de programma’s BIDM en NSCN geïnterviewd aan de hand van een semigestructureerde vragenlijst (bijlage 3). In deze interviews werden vragen gesteld over de toetsing van de verschillende programmaonderdelen, het behalen van de eindtermen en het gebruik van de onderzoeksproject guide en thesis guide. De interviews met de coördinatoren leverden input en context voor de interviews met de afgestudeerden. Het interview met de coördinator van het programma MCLS moest ten tijde van het schrijven van dit verslag nog plaatsvinden. Van alle interviews is een verslag gemaakt. Deze verslagen zijn ter goedkeuring voorgelegd aan de betrokkenen. In tabel 1 staan opleidinggerelateerde kenmerken van de geïnterviewde afgestudeerden.
2
Nr.
Vooropleiding
Programma
Buitenlandse stage
Duur opleiding (jaar) 2,0
Baan na opleiding
1
Filosofie, Cognitieve en Kunstmatige Intelligentie (niet afgemaakt), UvA Psychobiologie, UvA
NSC
University of Cambridge
NSC
University of Pennsylvania
2,7
NSC
University of Cambridge
2,8
Psychologie, UU
NSC
University of Cambridge
3,0
Biomedische Wetenschappen, UU Biomedische Wetenschappen, UU
BIDM
-
2,2
BIDM
2,2
Biomedische Wetenschappen, UU Biologie, UU
BIDM
9
Biomedische Wetenschappen, UU
MCLS
Albert Einstein College of Medicine Whitehead Institute, MIT University College London -
Projectmedewerker organisatie en kwaliteit, reseacher in Behavioural Biology PhD Netherlands Institute for Neuroscience Research Assistant, Donders Institute for Brain, Cognition and Behaviour, Centre for Cognitive Neuroimaging Clinical Research Associate bij PPD PhD Experimental Cardiology UMC Utrecht PhD UMC Utrecht
3
Moleculaire Biologie, HU
4
5
10
Scheikunde, UU
MCLS
-
3,0
11
HLO, Rotterdam + premaster
MCLS
Uppsala University
2,3
2
6 7 8
MCLS
Tabel 1: kenmerken geïnterviewde afgestudeerden.
2,2 2,3 2,0
PhD Autism Research Centre Cambridge
PhD Sanquin Blood Supply Employee Scientific & Regulatory Affairs Synofit Europe BV PhD Department of Membrane Biochemistry and Biophysics, UU PhD Uppsala University
3. Resultaten 3.1 Realisering van de eindtermen GS-LS In tabel 2 staat per eindterm aangegeven bij welk programmaonderdeel de eindterm volgens de afgestudeerden aan de orde kwam. Daarnaast is voor elke eindterm weergegeven hoeveel afgestudeerden aangaven dat zij deze eindterm naar eigen inzicht niet hebben behaald gedurende het masterprogramma. De afgestudeerden gaven aan dat vrijwel alle eindtermen aan de orde gekomen zijn tijdens het programma. Zij hebben ook het gevoel dat zij deze eindtermen beheersen. Dit geldt in mindere mate voor de eindtermen die gericht zijn op het kunnen reflecteren op eigen werk, ontwikkeling en carrière, en het kunnen functioneren in de arbeidsmarkt. Vijf afgestudeerden gaven aan dat zij niet het gevoel hadden eindterm 2i (‘critically reflecting on their own research work in Life Sciences, from a social perspective’) of 2m (‘function independently and result-oriented in a competitive labour market’) te beheersen. Van eindterm 2l 3
Eindtermen (ET) GS-LS Knowledge & Insights 2a insight specialised subjects of LS
2b insight developments in LS 2c use literature Skilled 2d translate problem
2e design research
2f perform research
Toelichting afgestudeerden
ET in verplichte cursussen
ET in keuze cursussen
ET in seminar
ET in thesis
ET in onderzoeksprojecten
ET niet behaald
“Specialist groot woord, brede opleiding.” “Je bent geen specialist, maar je hebt je wel gespecialiseerd in een onderwerp.” “Bij BIDM heb je niet echt een profiel gekweekt. Dat is een beetje een probleem bij deze master. Je kiest niet echt een richting.”
5
2
3
7
10
1
4
0
3
4
8
0
9
3
3
10
9
1
4
1
1
3
9
1
3
0
0
2
6
3
1
3
0
2
10
0
“Wordt niet echt geleerd tijdens de stages, de vraag ligt er meestal al. In het klein wordt het geleerd tijdens stages en misschien enigszins tijdens thesis.” “Echt een onderzoeksplan zelf geschreven niet, er ligt een plan klaar. Je mag wel invloed uitoefenen in hoe je het pad gaat bewandelen. De grote lijnen staat al vast.” “Bij stages stond onderzoeksplan vast, dat werd toegepast. Bij cursussen wel plan geschreven. Dat zou meer mogen gebeuren.” “Een beetje maar niet structureel.” “Niet echt geleerd, wel enigszins als voortgang van het project.”
4
Eindtermen (ET) GS-LS 2g discuss outcomes 2h indicate importance
2i reflect own research 2j report Attitudes 2k function research team 2l reflect own development and study career
2m function comp. market 2n eligible for position
Toelichting afgestudeerden
ET niet behaald
4
ET in onderzoeksprojecten 11
1
3
3
2
1
2
4
5
5
3
5
1
6
8
0
“Niet bij alle stages.”
6
1
0
1
11
0
“Niet expliciet. Coördinatoren gaan ervan uit dat je onderzoeker wordt. Wil je dat niet dan valt dat niet goed maar het kan wel.” “Hangt af van begeleider en lab waar je stage doet.” “Je leert het passief aan.” “Kwam niet specifiek naar voren in opleiding.”
2
0
0
1
2
4
1
1
0
1
7
5
4
2
1
4
9
0
“Wel onderdeel van besprekingen met begeleider, leer je indirect.” “Niet in de master geleerd, maar door over je onderwerp te praten met familie, vrienden en zo.” “Vrij fundamenteel. Toepassing nog ver weg maar implicaties worden bediscussieerd.” “Je kan het wel maar geen structureel onderwerp van gesprek tijdens stages.” “Doel moest toegelicht worden.”
ET in verplichte cursussen 4
ET in keuze cursussen
ET in seminar
ET in thesis
2
1
2
1
2
0
Tabel 2:overzicht behalen eindtermen door afgestudeerden. De eindtermen zijn te vinden in bijlage 1. De getallen geven het aantal afgestudeerden weer. 5
(‘reflect on their own development and study career’) gaven vier afgestudeerden aan dat zij het gevoel hadden deze niet te beheersen, al werd daarbij opgemerkt dat het wel impliciet wordt geleerd. Alle studieonderdelen leveren volgens de afgestudeerden een bijdrage aan het realiseren van de eindtermen, maar de onderzoeksprojecten spelen hierin de belangrijkste rol. 3.1.1 Realisatie eindtermen in cursussen en keuzecursussen De cursussen en keuzecursussen zijn in termen van aantal studiepunten een relatief klein en zeer gevarieerd deel van de opleiding. Vanuit het perspectief van de eindtermen dragen deze programmaonderdelen vooral bij aan de oriëntatie op de discipline, het uitbreiden van de kennisbasis, het kritisch leren lezen en bespreken van literatuur en het opdoen van praktische vaardigheden. De keuzemogelijkheden stellen studenten in staat eigen accenten te leggen. De afgestudeerden vinden dat de verplichte cursussen en keuzecursussen als geheel een duidelijke bijdrage leveren aan de realisatie van de eindtermen, met name aan 2a (‘profound knowledge of specialised subjects of Life Sciences’), 2c (‘adequately use and interpret specialist literature in at least one of the subjects of Life Sciences’), 2d (‘translating a problem into a research question’), 2j (‘reporting research results’), 2k (‘function effectively in a multidisciplinary research team’) en 2n (‘to be eligible for a PhD position or a position in another sector’). 3.1.2 Realisatie eindtermen in onderzoeksprojecten De onderzoeksprojecten leveren een grote bijdrage aan het realiseren van de eindtermen. De onderzochte programma’s kennen een major en minor onderzoeksproject. Studenten beginnen over het algemeen met het major onderzoeksproject, dit vindt in bijna alle gevallen plaats aan de UU of het UMCU. Na toestemming van de programmacoördinator en de examencommissie kan het minor project desgewenst in het buitenland worden uitgevoerd. Bijna alle eindtermen worden door de afgestudeerden herkend in de activiteiten die werden ondernomen tijdens het onderzoeksproject. Van twee eindtermen (2h: ‘indicating the importance of solving the question from a social perspective’ en 2l: ‘reflect on their own development and study career’) werd door acht respectievelijk negen afgestudeerden aangegeven dat dit niet aan de orde was gekomen tijdens het onderzoeksproject. Eindterm 2h werd meestal wel in één van de andere programmaonderdelen behaald. Over eindterm 2e ‘designing a suitable research plan to test the formulated research questions’ merkte een aantal afgestudeerden op dat het onderzoeksplan al klaar lag bij het onderzoeksproject en dat zij niet zelf een plan hebben ontworpen. Desalniettemin hebben zij meestal wel het gevoel dat de eindterm is behaald, bijvoorbeeld doordat zij het in een ander programmaonderdeel hebben gedaan, wel zelf richting mochten geven aan een bestaand onderzoeksplan of binnen het onderzoeksplan zelf de uit te voeren experimenten mochten ontwerpen. 3.1.3 Realisatie eindtermen in thesis De thesis wordt door de meeste studenten binnen de UU of het UMC gedaan. Bij de onderzochte programma’s is er ruimte om de thesis verschillend in te vullen: als reviewstudie of als een onderzoeksvoorstel. 6
De thesis draagt volgens de afgestudeerden duidelijk bij aan de realisatie van de eindtermen 2a (‘knowledge of subjects of Life Sciences’), 2b (‘knowledge of recent developments within Life Sciences’), 2c (‘interpret specialist literature’) en 2j (‘reporting research results’). Vier afgestudeerden geven ook aan dat de thesis voor hen een rol speelde bij het verwerven van een baan na het afstuderen, zoals een PhD-position (2n). 3.2 Waardering van begeleiding en beoordeling bij onderzoeksproject en thesis De begeleiding en beoordeling van het onderzoeksproject gebeurt onder verantwoordelijkheid van de examinator, die tevens 1e beoordelaar is. Bij elk onderzoeksproject en elke thesis is er ook een tweede beoordelaar, die oordeelt op basis van de schriftelijke rapportage (report) en presentatie. In geval van een onderzoeksproject buiten de UU of het UMC (zowel in binnen- als buitenland) wordt er altijd een examinator van de UU of het UMC aangewezen. Vaak wordt er daarnaast een dagelijks begeleider aangewezen, meestal een AIO/OIO. Voor het begeleiden en beoordelen van de researchprojecten zijn de Onderzoeksproject Guide en de Master Writing Assignment Guide beschikbaar. Hierin staan de beoordelingscriteria voor het doen van onderzoek én voor de rapportage. Er zijn versies voor zowel studenten als begeleiders beschikbaar. De meeste afgestudeerden hebben goede ervaringen met de begeleiding tijdens hun onderzoeksproject. Vier afgestudeerden vonden dat de begeleiding van een van de onderzoeksprojecten of de thesis niet goed verliep. Deze afgestudeerden hadden overigens wel goede ervaringen tijdens het andere onderzoeksproject en/of de thesis. Coördinatoren gaven aan dat als er problemen ontstaan tussen student en examinator of dagelijks begeleider men dit probeert op te lossen door een gesprek met de student en betrokken personen. Helpt dit niet, dan kan de stage worden stopgezet en wordt een andere plek gezocht. Afgestudeerden vonden de beoordelingen die ze hebben gekregen van hun eerste en tweede beoordelaars terecht. Zeven afgestudeerden merkten echter op dat ze nauwelijks tussentijdse feedback kregen op basis van de criteria. Daarnaast gaven vier afgestudeerden aan dat ze de feedback graag op schrift hadden ontvangen. Eén afgestudeerde gaf de criteria bij beide onderzoeksprojecten aan de examinator en tweede beoordelaar met de vraag om deze te gebruiken voor de beoordeling en om de eindbeoordeling toe te lichten. Volgens de afgestudeerden zijn begeleiders in het buitenland niet altijd even goed geïnformeerd over de gang van zaken, de beoordelingscriteria en het niveau waaraan de studenten moeten voldoen. Drie afgestudeerden gaven aan dat de buitenlandse begeleider niet op de hoogte was van het niveau of de becijfering in Nederland. Coördinatoren gaven aan dat als de beoordeling van de het ‘report’ door de UUexaminator teveel afwijkt van het oordeel van de begeleider elders er contact opgenomen wordt met die persoon. De waardering voor de thesis is 7,5 ECTS (omgerekend 5 weken effectieve studietijd). De meeste afgestudeerden hebben hun thesis niet binnen 5 aaneengesloten weken afgerond. Het is niet bekend hoeveel effectieve studietijd de afgestudeerden aan de thesis hebben besteed. Drie afgestudeerden gaven 7
aan dat hun begeleider niet altijd in staat was om op de juiste momenten tijd vrij te maken voor het bekijken van het werk of voor een bespreking. De ervaringen van afgestudeerden met de begeleiding en beoordeling van de thesis komen overeen met die bij de researchprojecten, en zijn over geheel genomen positief. Kritische punten zijn dat de begeleiding sterk afhankelijk is van de persoon die men treft; dat er (te) weinig tussentijdse feedback is en dat de eindtermen te weinig als feedbackcriteria worden gehanteerd. De afgestudeerden vinden, net als bij de researchprojecten, dat hun beoordeling overeenkomt met het afgeleverde product en de geleverde inspanning. Negen van de elf afgestudeerden hebben langer over de opleiding gedaan dan de twee jaar die er voor stond. Dat had onder andere te maken met het regelwerk rondom programmaonderdelen zoals onderzoeksprojecten en thesis (met name in geval van een buitenlandse stage), met het niet op elkaar aansluiten van programmaonderdelen en met het feit dat feedback van de begeleider op het verslag of de thesis op zich liet wachten. De uitloop was overigens niet groot; gemiddeld hebben de elf afgestudeerden de opleiding in 2,4 jaar afgerond.
4. Conclusies, beperkingen, discussie en aanbevelingen De hoofdconclusie van het onderzoek is dat de eindtermen in de onderwijsprogramma’s zijn geoperationaliseerd en dat afgestudeerden de eindtermen grotendeels zeggen te bereiken. De onderzoeksprojecten leveren een grote bijdrage aan het behalen van de eindtermen. De meeste afgestudeerden ontwikkelen niet zelf een compleet onderzoeksplan tijdens het onderzoeksproject, desondanks hebben de meeste van hen wel het gevoel dat de eindterm is behaald. Dit beeld komt overeen met de resultaten van de exit-enquêtes. Afgestudeerden zijn in het algemeen positief over de begeleiding, maar de meesten (7 van de 11) vinden dat ze te weinig tussentijdse feedback krijgen. Afgestudeerden vonden de beoordeling die ze kregen meestal wel terecht maar gaven aan dat vooral buitenlandse begeleiders niet altijd op de hoogte waren van de criteria en het niveau waaraan studenten moeten voldoen. Negen van de elf afgestudeerden hebben langer over de opleiding gedaan dan de twee jaar die er voor stond. Ook slaagden de meeste afgestudeerden er niet in de thesis binnen vijf aaneengesloten weken af te ronden. Beperkingen huidig onderzoek Dit onderzoek kent een aantal beperkingen. Ten eerste is dit onderzoek uitgevoerd onder 11 afgestudeerden van drie masterprogramma’s, een kleine steekproef. De resultaten zijn daarmee mogelijk niet representatief voor alle studenten van alle programma’s van de GS-LS. Om de representativiteit te verhogen zijn de resultaten vergeleken met andere beschikbare data, zoals de resultaten van de exit-enquête. Ten tweede zijn de interviews door verschillende mensen afgenomen, waardoor de resultaten niet altijd vergelijkbaar waren. Hoewel door alle personen van dezelfde vragenlijst gebruik is gemaakt is het mogelijk dat verschillende vragen door verschillende personen anders zijn gesteld of geïnterpreteerd. Zo is bij het 8
vragen naar het behalen van de eindtermen niet door iedere interviewer een duidelijk onderscheid gemaakt tussen het aan de orde komen van de eindterm in het programma en het beheersen van de eindterm aan het eind van het programma. Ook in de exit-enquête is het onderscheid tussen aan de orde komen en beheersen van eindtermen niet duidelijk gemaakt. We kunnen daardoor wel concluderen dat alle eindtermen aan de orde komen, maar weten niet zeker of alle afgestudeerden de eindtermen volledig beheersen. Tien verslagen (91%) zijn goedgekeurd, één verslag is niet naar de geïnterviewde afgestudeerde gestuurd. Discussie en aanbevelingen 1.Begeleiding en beoordeling Afgestudeerden zijn over het algemeen positief over de begeleiding die zij kregen gedurende de onderzoeksprojecten en de thesis. Wel komt duidelijk naar voren dat afgestudeerden graag meer tussentijdse feedback op basis van vaste beoordelingscriteria zouden willen ontvangen. Hier lijkt winst mogelijk, zowel voor de student, de docent als voor de opleiding. De student kan profiteren van tijdige leerdoelgerichte feedback, de docent kan aan expliciete criteria meer houvast ontlenen voor begeleiding en beoordeling, en de opleiding kan de beoordelingen beter onderbouwen en verantwoorden. De begeleiding en het gebruik van beoordelingscriteria tijdens de researchprojecten en thesis kan worden verbeterd door meer sturing te geven aan het geven van feedback, zowel schriftelijk als mondeling, op eindresultaten én tussenresultaten. Dit kan studenten helpen gerichter aan hun ontwikkeling tot onderzoeker te werken en meer uit de opleiding te halen. Door bij het geven van feedback uit te gaan van vaste beoordelingscriteria, weet de student welk niveau het eindresultaat dient te hebben en is de beoordeling transparant. Dit kan bijvoorbeeld in de vorm van rubrics. Ook voor de start van het onderzoek en bij de tussentijdse feedback kan gebruik gemaakt worden van deze rubrics. Studenten weten dan voor aanvang van het project aan welke criteria zij uiteindelijk moeten voldoen en ontvangen gedurende het project feedback over hun vorderingen hierin. Het AP werkt momenteel aan het opstellen en implementeren van rubrics voor het doen van onderzoek, het schrijven van een onderzoeksverslag, het houden van een presentatie en het schrijven van de thesis. De opgestelde rubrics zijn recent voorgelegd aan een klankbordgroep, die hier positief op reageerde. Deze rubrics zullen in de toekomst binnen alle programma’s van de GS-LS worden geïmplementeerd. Het AP hoopt hierdoor ook buitenlandse begeleiders meer houvast te kunnen geven hoe studenten van de GS-LS te beoordelen. Daarnaast beveelt het AP aan om expliciet aandacht te besteden aan het leren begeleiden van onderzoek, bijvoorbeeld door dit aan de orde te laten komen in BKO/SKO-trajecten en door het aanbieden van scholing op dit gebied aan nieuwe begeleiders. 2.Eindtermen Over drie eindtermen bestaat twijfel over het aan de orde komen en in voldoende mate beheersen ervan: 2i. Critically reflecting on their own research work in Life Sciences, from a social perspective; 2l. Reflect on their own development and study career; en 2m. Function independently and resultoriented in a competitive labour market. Er zijn reeds stappen ondernomen om de eerste twee genoemde eindtermen explicieter in het curriculum te plaatsen. Zo is er in de inloopweek een verplicht 9
onderdeel toegevoegd waarin ethische dilemma’s in- en het maatschappelijk belang van onderzoek in de Life Sciences aan de orde komen. Voor wat betreft de eindtermen l en m, die beide gericht zijn op de voorbereiding op de arbeidsmarkt, is ook al een projectgroep aan het werk. Deze ontwikkelt plannen voor het implementeren van een traject dat studenten gaat stimuleren bij het maken van keuzes, het reflecteren op de eigen ontwikkeling en hun profilering als voorbereiding op de arbeidsmarkt. 3.Duur opleiding De meeste afgestudeerden in dit onderzoek hebben langer over de opleiding gedaan dan de twee jaar die er voor staat. Overigens is de gemiddelde uitloop binnen de programma’s van de GS-LS klein: gemiddeld doen studenten 2,3 jaar over de opleiding [bron]. Toch beveelt het AP aan uit te zoeken wat de belangrijkste oorzaken zijn van studievertraging en in hoeverre de thesis hierin een rol speelt. De meeste afgestudeerden in dit onderzoek slaagden er niet in de thesis binnen vijf weken af te ronden. Dit beeld komt overeen met wat algemeen in de opleiding wordt gezien. De Board of Studies (BoS) van de GS-LS heeft recent het verzoek gedaan aan de werkgroep Scriptie om een beschrijving van de randvoorwaarden van de master scriptie te maken.3 Deze werkgroep heeft onder meer geadviseerd dat student en begeleider goede afspraken maken ten aanzien van de tijdsplanning van het schrijven van de scriptie. Op die manier kan mogelijk wachttijden en dus uitloop voorkomen worden. Vervolgonderzoek Het AP wil graag een vervolg geven aan dit onderzoek. Momenteel is het AP bezig met het opstellen van rubrics met als doel deze te implementeren binnen de gehele GS-LS. In het vervolgonderzoek wil het AP recent afgestudeerden van alle programma’s vragen naar de kwaliteit van de begeleiding en beoordeling en de gegevens van studenten waarbij wel en niet gebruik is gemaakt van de ontwikkelde rubrics met elkaar vergelijken. Daarnaast zou het AP graag de bestaande exit-enquête verbeteren. We stellen voor om de vraag naar het behalen van de eindtermen scherper te formuleren, en voor een hogere respons te zorgen bij opleidingen waar dit nu nog niet het geval is. Verder wil het AP ook verslagen van onderzoeksprojecten en thesis gaan beoordelen. Hiermee hoopt het AP een beeld te krijgen van het niveau dat studenten hierin bereiken en na te kunnen gaan of de beoordeling van het AP overeenkomt met die van de examinator. Literatuur 1. Research-intensive education a common educational basis for the Master’s programmes of the Utrecht University, Graduate School of Life Sciences. Update March 2012. 2. Exit-enquêtes GS-LS 2013. 3. Sorge van N, Sashidaran R, Heyden van der M, Burgh van der A, Graan de P, Post JA. Advies Werkgroep Scriptie. Graduate School of Life Sciences 2013.
10
Bijlagen 1. Eindtermen GS-LS 2. Vragenlijst interview studenten 3. Vragenlijst interview coördinatoren
11
Bijlage 1: Eindtermen GS-LS 1) The Master’s degrees aim to: 1a. provide specialised knowledge, skills and insight in (parts of) the life sciences, and enable achievement of the exit qualifications referred to in the second clause below; 1b. prepare the student for a career in research, regulation, management and/or communication in the life sciences. 2) The successful candidate in the Life Sciences Master’s degree programme will satisfy the following objectives: Graduates will have profound knowledge of, and insights into: 2a. at least one of the specialised subjects of Life Sciences. With this knowledge graduates are able to make a substantial contribution to the development and/or application of scientific concepts and methods, often in a research context; 2b. important, recent developments within the Life Sciences. Graduates are able to point out the implications of these developments on the Life Sciences field and society; 2c. the way to adequately use and interpret specialist literature in at least one of the subjects of Life Sciences.
Graduates will become skilled in:
2d. translating a Life Sciences problem into a relevant research question, suitable for research development or product design; 2e. designing a suitable research plan to test the formulated research questions, according to methodological and scientific standards; 2f. independently performing research, with the required accuracy. Graduates are able to handle, analyse, interpret and evaluate the empirically derived data in a correct manner; 2g. discussing the outcomes of empirical research and linking them with scientific theories; 2h. indicating the importance of research activities for solving a biomedical question or problem, if applicable from a social perspective; 2i. critically reflecting on their own research work in Life Sciences, from a social perspective; 2j. comprehensibly reporting research results verbally and in writing, to specialised and non-specialised audiences in an international context.
Graduates will display attitudes that enable them to:
2k. function effectively in a multidisciplinary research team; 2l. reflect on their own development and study career. If necessary, graduates will be able to motivate themselves and make any necessary adjustments; 2m. function independently and result-oriented in a competitive labour market; 2n. to be eligible for a PhD position or a position in another sector.
12
Bijlage 2: vragenlijst interview studenten Instap in Masterprogramma -Hoe is student gekomen tot keuze voor GS-LS? -Was het nodig om aanvullende cursussen/stages, premaster te doen? -Vindt student dat hij/zij voldoende vooropleiding had? M.a.w. voldeed bachelorniveau? Het Masterprogramma algemeen -Hoe typeert student het leerklimaat? Wordt er feedback gegeven op leerresultaten of staat vooral het doen centraal en blijft het leren impliciet? -Wat heeft student in master geleerd? Voldeed master aan verwachtingen? -Wat is het niveau van de master? Voldoende niveau? Hoe kijkt student tegen de eindtermen aan (langslopen met student)? -Was hard werken voldoende? Hoeveel uur besteed je aan je studie? Wat is je doel (voor welk resultaat ga je)? -Heeft student hobbels in het programma ervaren / kun je op een efficiënte manier je diploma halen? Zijn er ‘sluiproutes’? -Hoe breed ben je opgeleid (super specialist of breder inzetbaar)? Wie heeft daar oog voor? Wie bewaakt het belang van de student? -Is student tevreden over de opleiding vanuit het perspectief van het latere beroep? Researchproject -Hoe is student gekomen tot keuze researchproject? Wie heeft het onderzoeksproject geschreven? -Hoe is er gewerkt tijdens het onderzoek? Veelal individueel of met anderen? Nadruk op uitvoering? Ruimte voor eigen inbreng / vragen? Had je als student zelf een echte onderzoeksvraag of zijn de onderzoeksvragen vooral opgesteld door de begeleider? Wanneer ben je ‘echt’ geïnteresseerd geraakt? -Hoe werd de begeleiding vormgegeven, door wie? In hoeverre heeft de examiner zich bemoeid met de begeleiding? Was er aandacht voor ‘leren onderzoeken’? Op welke manier? -Was duidelijk op basis waarvan student zou worden beoordeeld? -Is er beoordeeld op het bereiken van leerresultaten (zoals zelfstandigheid, onderzoekende houding, ...) of telde vooral het onderzoeksresultaat? Wie geeft het cijfer? Waarop is dat gebaseerd? Is er terugkoppeling naar de dagelijks begeleider en examinator? -Hoe is het verslag tot stand gekomen? Tevreden? -Hoe verliep de presentatie? Was er interactie? -Wat vindt student van de beoordeling? Minor onderzoeksproject -Vragen als bij major onderzoeksproject. Thesis -Hoe is student gekomen tot keuze onderwerp thesis? -Hoe is er gewerkt tijdens het literatuuronderzoek? Ruimte voor eigen inbreng / vragen? Is student ‘echt’ geïnteresseerd geraakt? Wanneer/hoe? -Hoe werd de begeleiding vormgegeven? Was er aandacht voor kritische analyse? Op welke manier? 13
-Was duidelijk op basis waarvan student zou worden beoordeeld? -Is er tussentijdse feedback gegeven? -Wat vindt student van de beoordeling? -Welke rol speelt de thesis bij het inschatten van de talenten van de student? Cursussen -Wat waren je motieven om voor de cursussen te kiezen? -Waren de cursusdoelen bekend? -Was duidelijk hoe de toetsing zou plaats vinden? -Hoe verliep de beoordeling? -Was de relatie tussen beoordeling en leerdoelen duidelijk? -Heeft student tussentijdse toetsing/feedback gekregen? -Was inspanning en aanwezigheid voldoende? Was er kans om te ‘zakken’ voor een cursus? Tot slot -In hoeverre is het beeld van deze student representatief? Kent de student voorbeelden van medestudenten die wellicht afstudeerden zonder aan de leerdoelen te voldoen? -Welk advies wil student opleiding meegeven?
14
Bijlage 3: vragenlijst interview coördinatoren Instap -Achtergronden studenten die programma volgen -Selectie voor programma? Cursussen -Niveau cursussen -Wijze van toetsing cursussen Major/Minor -Gebruik master research guide voor begeleiders / studenten? -Wordt aanvraag /onderzoeksplaats gecontroleerd? -Eisen aan begeleiders (AIO?) / examinatoren (BKO, onafhankelijke tweede examinator?) -Afspraken over begeleiding (feedbackmomenten, mate van begeleiding)? - Worden beoordelingsformulieren examencommissie gebruikt? Wordt feedback standaard vastgelegd? -Hoe wordt gecontroleerd of met stages eindtermen GSLS worden bereikt? -Overleg tussen examinatoren en programmaleider? -Hoe wordt gecontroleerd op fraude / plagiaat? -Wordt cijfer gecontroleerd? -Controle op niveau / toetsing buitenlandstages? Thesis -Gebruik master thesis guide voor begeleiders/studenten? -Zie major/minor Programma algemeen -BKO docenten -Hoe wordt omgegaan met ‘bespreekgevallen’ -Hoe wordt omgegaan met klachten van studenten? -Vinden gesprekken met studenten plaats over voortgang e.a.? -Heeft master voldoende niveau? Hoe wordt dit bewaakt?
15
