Jaarverslag Toetscommissie FSW 2010-2011
1
Verslag van de werkzaamheden van de Toetscommissie FSW over de periode 1 september 2010 tot 1 september 2011 In jaarverslagen wordt in de regel een terugblik gegeven. In dit jaarverslag is dit slechts beperkt het geval en wordt ook en voornamelijk vooruitgekeken. De reden hiervoor is gelegen in het feit dat de Toetscommissie pas betrekkelijk kort in functie is en zich tot nu toe vooral heeft bezig gehouden met het formuleren van haar missie en de daarmee samenhangende vragen over procedures en afspraken.
1.
Rol en samenstelling van de Toetscommissie
Met ingang van 1 september 2010 is de wettelijke verantwoordelijkheid van de Examencommissie ingrijpend gewijzigd. In de WHW, artikel 7.12, is nu vastgelegd dat de Examencommissie dient vast te stellen of een student voldoet aan de eisen ten aanzien van kennis, inzicht en vaardigheden die nodig zijn voor het verkrijgen van een graad en deze commissie is verantwoordelijk voor het borgen van de kwaliteit van tentamens en examens. Hoewel de opleidingen menen dat in het algemeen de borging van de kwaliteit van de toetsen op orde is heeft de wetswijziging toch tot aanscherpingen in de organisatie en processen geleid. Met ingang van januari 2011 zijn de opleidingsExamencommissies geherstructureerd in een drietal facultaire Examencommissies, één voor de bacheloropleidingen, één voor de academische masterprogramma’s en één voor de researchmasterprogramma’s. Conform suggesties van de Onderwijsinspectie is een centrale Toetscommissie gevormd uit de voorzitters van de drie Examencommissies waaraan een toetsdeskundige als voorzitter en een expert uit de afdeling M&T als lid zijn toegevoegd. Tijdelijk is nog een medewerker toegevoegd die in het kader van de leergang van het Center of Excellence in University Teaching een project uitvoert ter verbetering van de kwaliteit van de toetsing en het toetsproces. De Toetscommissie geeft onder verantwoordelijkheid van de Examencommissies uitwerking aan de nieuwe taken en doet daarvan jaarlijks verslag aan de Examencommissies. De leden van de Toetscommissie zijn per 1 april 2011 als zodanig in functie getreden. In 2010-2011 was de Toetscommissie als volgt samengesteld: Herman van Boxtel Lorenz van Doornen Carol van Nijnatten Jan Vermunt Dave Hessen Sibe Doosje
Voorzitter Toetscommissie / toetsdeskundige Voorzitter Examencommissie bacheloropleidingen Voorzitter Examencommissie academische masters Voorzitter Examencommissie research masters Toetsdeskundige, toegevoegd vanuit de afdeling M&T Projectleider ‘Toetskwaliteit’; tijdelijk toegevoegd
De Toetscommissie wordt ambtelijk ondersteund door Erline Rood. 2.
Afspraken over werkwijze
De Toetscommissie is specifiek belast met werkzaamheden die tot doel hebben de kwaliteitsborgende rol van de Examencommissie zoals deze is vastgelegd in de “nieuwe wettelijke taken” nader in te vullen. De taak van de commissie is als volgt te omschrijven. De Toetscommissie: • Ontwerpt regelingen en procedures die een bijdrage leveren aan de borging van de kwaliteit van examens en tentamens. Voorbeelden zijn:
Jaarverslag Toetscommissie FSW 2010-2011
2
o de expliciete verantwoording van de aansluiting van leerdoelen van onderwijsonderdelen op de eindtermen van de opleiding als geheel, en van de keuze van toetsvormen bij het operationaliseren van de leerdoelen; o voorschriften voor het construeren van toetsen, bijvoorbeeld ten aanzien van het formuleren van toetsmatrices en het bepalen van de cesuur voldoende – onvoldoende; o controle van de toetskwaliteit op basis van psychometrische gegevens; o richtlijnen voor het beoordelen van open vragen, papers en andere werkstukken en theses zodat een objectieve beoordeling, ook bij meer dan één beoordelaar, gegarandeerd is. Bij het ontwerpen van deze procedures en richtlijnen sluit de Toetscommissie aan bij de richtlijnen zoals deze door de Onderwijsinspectie zijn geformuleerd (‘de 16 indicatoren’) en nieuwe ontwikkelingen in het beoordelen van examens en examensystemen (analoog aan het beoordelingssysteem voor psychologische testen en toetsen zoals dat door de Cotan wordt gehanteerd). • Ziet toe op de uitvoering van de genoemde richtlijnen en procedures en daarmee op de kwaliteit van de toetsing. Hierbij gaat het bijvoorbeeld om het verzamelen van gegevens en kengetallen over aantallen geslaagden, herkansingen, diploma’s, bindend studieadvies et cetera; het steekproefsgewijs opvragen van voorbeelden van toetsen, papers, werkstukken, theses en stageverslagen en het opnieuw laten beoordelen daarvan door een groep deskundige docenten; het zoeken naar vormen van samenwerking met andere universiteiten met vergelijkbare opleidingen: uitwisseling van gegevens; wederzijds toezicht op elkaars toetsen. • Ziet toe op en bevordert de kwaliteit van docenten, waar deze verantwoordelijkheid dragen voor de keuze en het ontwerpen van toetsvormen. Ze bevordert deze kwaliteit door het doen aanbieden van professionalisering voor docenten en leden van Examencommissies en Toetscommissie. Dit betreft ook het onderbrengen van vormen van professionalisering en expertisevorming in BKO- en SKO-trajecten en het versterken van het toezicht daarop. Omdat de nieuwe Examencommissies en de Toetscommissie nog betrekkelijk kort geleden zijn gestart met het uitoefenen van hun nieuwe rol en taak, moet aan bovengenoemde maatregelen, richtlijnen en procedures nog verder vorm gegeven worden. Daarbij zullen de commissies ook gebruik maken van de expertise waarover de faculteit zelf beschikt in de afdelingen Educatie, Methoden en Technieken en in het Centrum voor Onderwijs en Leren. 3.
Expertise en deskundigheid
De samenstelling van de Toetscommissie is er vooral op gericht om enerzijds de benodigde expertise te garanderen en anderzijds de lijnen met de Examencommissies kort te houden. Bij de start van de commissie heeft zij zich op de eerste plaats afgevraagd of zij voldoende deskundigheid in huis heeft om haar taken te kunnen uitvoeren. De commissie heeft op basis van een inventarisatie vastgesteld dat deze vraag positief beantwoord kan worden. De commissie kent drie hoogleraren die voldoende kennis hebben van de betrokken opleidingen en programma’s. In hun rol als voorzitter van een examencommissie hebben zij een jarenlange ervaring opgedaan met het beoordelen van vrijstellingsverzoeken, het uitvoeren van procedures in het kader van het bindend studieadvies, het beoordelen van vrijstellingsverzoeken en elders gevolgd onderwijs, fraudegevallen, recht- en beroepszaken. Daarnaast is er in ruime mate expertise op het gebied van de psychometrie, algemene dataanalytische, statistische en methodologische kennis met betrekking tot het uitvoeren van onderzoek en veel kennis met betrekking tot de kwaliteit en kwaliteitsbeoordeling van bijvoorbeeld meerkeuzetoetsen, toetsen met open vragen, essays, papers en theses. In aanvulling hierop is er ook deskundigheid met betrekking tot competentie-evaluatie en ten aanzien van toetsvormen die als innovatief kunnen worden beschouwd ten opzichte van de meer traditionele vormen (toetsing aan de hand van portfolio’s, essays, casuïstiek).
Jaarverslag Toetscommissie FSW 2010-2011
3
Niettemin acht de Toetscommissie verdere professionalisering van belang, niet alleen voor zichzelf (inclusief de voorzitters van de Examencommissies), maar ook voor de leden van de Examencommissies. Daarom zijn er professionaliseringsactiviteiten gepland in het najaar van 2011. Deze activiteiten zullen, waar dit effectief lijkt, verbonden worden met de concreet te nemen maatregelen omtrent procedures, afspraken en communicatie in en met Toetscommissie, Examencommissies en onderwijsdirecteuren, c.q. programmaleiders. De volgende activiteiten staan op het programma: • Interne conferentie UU over de nieuwe rol van examencommissies 28-09-2011 • Professionalisering door RCEC van leden Toetscommissie c.q. voorzitters Examencommissies (inclusief implementatie van procedures) 23-11-2011 • Professionalisering RCEC van leden Examencommissies • Interne UU-Workshop ‘Betrouwbaarheid en validiteit van toetsen’ ten behoeve van voorzitters van examencommissies 21-11-2011 4.
Kwaliteitsborgingsprojecten voor 2011-2012
Zoals aangegeven is de nieuwe (horizontale) organisatie van de Examencommissies en de installatie van de Toetscommissie nog te recent om over 2010-2011 te kunnen rapporteren over concrete resultaten van kwaliteitsborgingsactiviteiten. Daar komt nog bij dat de Universiteit Utrecht en de opleidingen die FSW biedt in 2012 zullen worden gevisiteerd (instellingsaudit UU en ‘lichte’ visitatie van de opleidingen). In dat kader is door de faculteit besloten om nog op de gebruikelijke wijze te rapporteren in de zelfevaluatierapportages (ZER) over de kwaliteitsborging van de toetsing. Ten behoeve daarvan zijn diverse kengetallen over de opleidingen verzameld en in de ZER opgenomen. Hieraan heeft de Toetscommissie nog een beschrijving toegevoegd over de door haar voor de toekomst beoogde werkwijze (zie verder paragraaf 2). Voorts hebben de visitatiecommissies aanvullende informatie opgevraagd over (een willekeurige selectie van) theses en de beoordeling daarvan. Omdat het hier een vorm van informatie verzamelen betreft die normaliter tot de activiteiten van de Toetscommissie behoort lijkt het niet nodig dat de Toetscommissie hier in het studiejaar 2011-2012 zelf nog werk van maakt. De inschatting is dat de facultaire organisatie met alle visitatieactiviteiten zwaar belast zal zijn. Op twee andere manieren zal de Toetscommissie in 2011-2012 niettemin een eerste stap maken in het ontwikkelen van haar rol als toezichthouder op de kwaliteit van de toetsing: • Er vindt bij de bacheloropleiding Psychologie een innovatieproject plaats dat is gericht op de kwaliteit van de toetsing (tentamens met meerkeuze- en open vragen) in de basisfase. Naast een inventarisatie van de gehanteerde werkwijzen wordt beoogd deskundige begeleiding door toetsdeskundigen te bieden bij het construeren en evalueren van tentamens. Doel is structurele constructie- en evaluatieprocedures te implementeren die het de Toetscommissie mogelijk maken zijn kwaliteitsborgende rol in te vullen (bijvoorbeeld in de vorm van toetsmatrijzen, item- en toetsanalyses, explicitering van de cesuur- en cijferbepaling). De Toetscommissie zal dit project in 2011-2012 intensief volgen en begeleiden. Bij welslagen van het project zal de Toetscommissie aan de onderwijsdirecteuren van de bacheloropleidingen voorstellen om het project in 2012-2013 te verbreden naar de basisfase van alle bacheloropleidingen en naar de cursussen in het tweede en derde jaar van de bacheloropleiding psychologie. • De toetscommissie zal voor een selectie van cursussen en onderwijsonderdelen in alle bacheloropleidingen en masterprogramma’s de toetsplannen opvragen. Er wordt aangesloten bij de (globale) overzichten van eindtermen, onderwijsonderdelen en toetsvormen die in de ZER zijn opgenomen. Daarbij zal
Jaarverslag Toetscommissie FSW 2010-2011
4
worden nagevraagd in hoeverre de toetsplannen expliciet beargumenteerd zijn. Verder wordt geïnventariseerd welke procedures bij de toetsing, afname, scoring en cijferbepaling worden gehanteerd. De verzamelde informatie zal een eerste inzicht geven in de kwaliteit en aanknopingspunten bieden om een speerpuntenbeleid te voeren. De toetscommissie gaat ervan uit op basis van zijn deskundigheid en dit speerpuntenbeleid zodanig aan de onderwijsdirecteuren en programmaleiders te kunnen adviseren dat deze een kwaliteitsslag kunnen maken waar dit nodig zal blijken te zijn.
Jaarverslag Toetscommissie FSW 2011‐2012
1
Verslag van de werkzaamheden van de Toetscommissie FSW over de periode 1 september 2011 tot 1 september 2012 1. Samenstelling van de Toetscommissie In 2011‐2012 was de Toetscommissie als volgt samengesteld: Herman van Boxtel Voorzitter Toetscommissie / toetsdeskundige Lorenz van Doornen Voorzitter Examencommissie bacheloropleidingen Carol van Nijnatten Voorzitter Examencommissie academische masters Jan Vermunt Voorzitter Examencommissie research masters Dave Hessen Toetsdeskundige, toegevoegd vanuit de afdeling M&T Sibe Doosje Projectleider ‘Toets de toets’ en lid examencommis‐ sie bacheloropleidingen; tijdelijk toegevoegd De Toetscommissie werd ambtelijk ondersteund door Erline Rood. 2. Inwerken; professionalisering De Toetscommissie, ingesteld per 1 april 2011, heeft zich in het eerste half jaar van zijn bestaan verdiept in zijn rol. Dit gebeurde door relevante stukken door te nemen en professionaliseringsbijeenkomsten bij te wonen. o Mini‐conferentie examencommissies (georganiseerd door O&O) [28‐09‐2011] o Studiemiddag voorzitters examencommissies en toetscommissie onder leiding van Adema (RCEC) [23‐10‐2011] o Studiedagdeel leden examencommissies 09‐01‐2012 o Deelname voorzitter aan UU‐workshop toetskwaliteit voor leden examencommissies [21‐11‐2011]. Deze activiteiten hebben geresulteerd in afspraken over de werkwijze, afbakening rol examencommissies en toetscommissie, het scheiden van het overleg in de toetscommissie en het afstemmend overleg tussen voorzitters van examencommissies, vergaderfrequentie, omschrijving rol secretaris examencommissies en ondersteuners (George, Remko, Erline), en een format voor het jaarverslag. Daarnaast is er een notitie geschreven over kwaliteitsborging (zie volgende sectie). 3. De notitie ‘Kwaliteitsborging van toetsing en beoordeling’ In januari 2012 is de notitie ‘Kwaliteitsborging van toetsing en beoordeling’ – nog voor de start van de visitaties – opgeleverd, namens de examencommissies geschreven in en door de toetscommissie. Om de verhoudingen binnen alle betrokkenen in de faculteit te verhelderen geeft de notitie een overzicht van de ontwikkelingen in het wettelijk kader (WHW, wijze van accrediteren), een beschrijving van ieders rol en verantwoordelijkheden binnen FSW (conform de door de UU centraal gemaakte afspraken), een globale beschrijving van de te hanteren richtlijnen voor kwaliteitsbeoordeling en een concreet, gefaseerd plan van aanpak. In februari 2012 is een concept namens de examencommissies naar de vice‐decanen gestuurd. Vervolgens is de notitie in juni‐augustus vastgesteld in de examencommissies. Daarbij werden kleine wijzigingen aangebracht, onder andere met betrekking tot de wijze van afhandelen van klachten van studenten over toetsing en beoordeling. De definitieve versie wordt in september 2012 aangeboden aan de vice‐decanen.
Jaarverslag Toetscommissie FSW 2011‐2012
2
4. Contacten met andere toets‐ en examencommissies De toetscommissie vindt contact met andere toets‐ en examencommissies binnen en buiten de UU voor haar functioneren erg belangrijk. Eerste contacten werden opgebouwd in diverse universiteitsbrede bijeenkomsten, vanaf juni 2011 is er een geregeld overleg tussen de toetscommissies op initiatief van O&O. Deelnemers aan dit overleg gaan hun netwerk ook extern vertegenwoordigen. Zo heeft de voorzitter van de toetscommissie plaatsgenomen in het Kennisplatform Examinering HO. 5. Instellingsaudit en visitaties Examen‐ en toetscommissies hebben geparticipeerd in de (voor de UU succesvol verlopen) instellingsaudit in januari 2012. In aansluiting daarop werden alle bacheloropleidingen en academische materprogramma’s ‘in lichte vorm’ gevisiteerd (alleen de visitatie van CA vindt in september plaats). Er is veel tijd gestoken in het bestuderen van de zelfevaluatierapporten (ZERs), het deelnemen aan proefvisitaties en panelgesprekken met visitatiecommissies (inclusief voor‐ en nabesprekingen met de opleidingsverantwoordelijken). Belangrijk bijproduct van deze activiteiten was, dat de toetscommissie op grond van de ZERs en de ter inzage gelegde materialen efficiënt een globaal inzicht kon krijgen in de kwaliteit van verschillende toetsen en toetsvormen (meerkeuzetoetsen, thesis‐ en stagebeoordeling, beoordeling bacheloronderzoek) en in de wijze en mate waarin de facultaire opleidingen en programma’s een expliciet toetsbeleid voeren, respectievelijk dit beleid verwoorden in toetsplannen (zie verderop onder eigen onderzoek en adviezen). De tot nu uitgebrachte (schriftelijke) rapportages over de visitaties hebben geen onvoldoendes laten zien. De toetscommissie zal in 2012‐2013 een overzicht opstellen van de kritische kanttekeningen en aanbevelingen van visitatiecommissies met betrekking tot toetsing en beoordeling. 6. Onderzoek en advies Tot de belangrijkste taken van de toetscommissie behoort het – in opdracht van de examencommissies – uitvoeren van onderzoek naar de kwaliteit van toetsing en beoordeling en naar het niveau van afgestudeerden. Zoals aangegeven in de notitie kwaliteitsborging vindt dit onderzoek vooralsnog thematisch en in een vastgelegde prioritering plaats. In 2011-2012 heeft het onderzoek zich in hoofdzaak beperkt tot de volgende activiteiten:
o
o
o
De commissie heeft geprobeerd inzicht te krijgen in de kwaliteit van de procedures die worden gehanteerd bij het construeren van meerkeuzetoetsen en de aanwezige expertise bij cursuscoördinatoren en docenten. Dit gebeurde door de vinger aan de pols te houden bij het project ‘Toets de toets’ bij Psychologie en door globale inspectie van de toetsen die ter inzage werden gelegd voor de visitatiecommissies. De commissie heeft zich een beeld gevormd van de diverse formulieren die door opleidingen en programma’s worden gehanteerd bij de beoordeling van bachelor‐ en mastertheses. De commissie heeft geprobeerd zich een globaal beeld te vormen van de toetsing zoals die bij de onderscheiden opleidingen en programma’s plaatsvindt. Daarbij is de vraag leidend geweest of er sprake is van een expliciet toetsbeleid, neergelegd in een integraal toetsplan.
Jaarverslag Toetscommissie FSW 2011‐2012
3
Hieronder volgen de conclusies en adviezen van de toetscommissie zoals deze in en door de examencommissies zijn vastgesteld: I. De facultaire opleidingen en masterprogramma’s voeren toetsbeleid, maar dit beleid is niet overal en op alle punten geëxpliciteerd. Het komt tot uiting in verschillende documenten zoals de OER en het reglement examencommissie, maar er is nergens sprake van een toetsplan, dan wel toetsbeleidsplan waarin een samenhangend toetsbeleid wordt beschreven. De examencommissie acht het wenselijk dat elke bacheloropleiding en elk masterprogramma binnen de faculteit dat beschikt over een eigen CROHO‐label zijn toetsbeleid beschrijft in een toetsplan. II. In het kader van de visitatie kon de toetscommissie beschikken over alle richtlijnen, criteria en formulieren die in de bacheloropleidingen worden gehanteerd bij de beoordeling van het bacheloronderzoek (de bachelorthesis, dan wel –scriptie). Daarnaast was het mogelijk om inzicht te krijgen in de kwaliteit van de eindproducten en de wijze waarop de beoordeling daarvan wordt onderbouwd, gedocumenteerd en gearchiveerd. In de panelgesprekken die tot nu toe gevoerd werden met de verschillende visitatiecommissies zijn er kritische kanttekeningen geplaatst bij de gehanteerde beoordelingsprocedures. De examencommissie acht het dan ook noodzakelijk om de beoordelingsprocedures voor bacheloronderzoek en –thesis tegen het licht te houden. Daarbij dienen de opleidingen te komen tot zoveel mogelijk gelijkvormige procedures en criteria (waarbij uiteraard recht gedaan worden aan de eigen aard en eindtermen van het bacheloronderzoek van elke opleiding afzonderlijk), die in ieder geval twee beoordelaars kent, garandeert dat elke student individueel wordt beoordeeld, duidelijk aangeeft hoe zowel het proces van totstandkoming als het eindproduct in de beoordeling worden betrokken en hoe de oordelen van de beide beoordelaars tezamen leiden tot een eindoordeel voor elke student afzonderlijk. Ook ten aanzien van de beoordeling van mastertheses zijn soortgelijke kritische kanttekeningen te maken, zij het in mindere mate. De examencommissie zal hier in een later stadium nog op terugkomen als alle visitatiecommissies hebben gerapporteerd. III. Via het project ‘Toets de toets’ in de basisfase van de bacheloropleiding Psychologie, heeft de toetscommissie geprobeerd zicht te krijgen op de procedures die cursuscoördinatoren en docenten hanteren bij het construeren, afnemen, scoren en evalueren van meerkeuzetoetsen. Ook kreeg de commissie een indruk van hun expertise. Gelet op de verschillende cursussen in de basisfase is het beeld wisselend, bij sommige cursussen is men al heel ver in het toepassen, bij andere moet er nog veel gebeuren. Weinig cursussen zouden op dit moment in staat zijn om alle materiaal aan te leveren dat de toetscommissie nodig heeft om zich een oordeel te kunnen vormen over de kwaliteit. De examencommissie acht het noodzakelijk dat de constructie van meerkeuzetoetsen volgens vastgelegde regels en procedures gebeurt, adviseert om deze in het toetsplan op te nemen en ze te implementeren in alle cursussen. Daarnaast adviseert de examencommissie om een begin te maken met het systematisch opslaan van meerkeuze‐opgaven (‘itembanking’) met het oog op efficiëntie en niveauhandhaving. Bij deze adviezen hoort een schriftelijk vastgelegd nadere concretisering met bijbehorend tijdpad. De BoS van de Undergraduate School en de BoS van de Graduate School met ontvangt hierover in september 2012 een brief van de examencommissies.
Jaarverslag Toetscommissie FSW 2011‐2012
4
7.
Samenvatting
De facultaire toetscommissie werd ingesteld in april 2011. Sindsdien, dus ook in 2011‐ 2012, bestond de commissies uit Herman van Boxtel (voorzitter), de drie voorzitters van de facultaire examencommissies (Lorenz van Doornen, Carol van Nijnatten en Jan Vermunt), met Dave Hessen en Sibe Doosje als toegevoegd leden. Erline Rood was ambtelijk ondersteuner. De commissie heeft zich bezonnen op de haar toegewezen taken, orde op zaken gesteld door interne afspraken te maken en door afstemming te zoeken met de examencommissies, en door zich nader te laten professionaliseren, met vooral ten aanzien van de “nieuwe wettelijke taken”. Daarnaast is samenwerking gezocht met andere toetscommissies binnen de UU. In de notitie kwaliteitsborging en beoordeling is het nieuwe wettelijke kader beschreven, zijn de rollen en verantwoordelijkheden van actoren binnen FSW vastgelegd, is een kwaliteitsbeoordelingskader uitgewerkt en een plan van aanpak opgesteld. In 2011‐2012 heeft de toetscommissie veel tijd geïnvesteerd in de voorbereiding op de instellingsaudit en de visitatie van vrijwel alle facultaire opleidingen en programma’s (bestuderen van zelfevaluatierapporten en ter inzage gelegd materiaal, deelname aan proefvisitaties en panelgesprekken). Deze activiteiten dienden ook het eigen onderzoek door de toetscommissie en haar beeldvorming ten aanzien van de kwaliteit van de toetsing en beoordeling. Deze en andere onderzoeksactiviteiten leidden tot de volgende conclusies en adviezen: o
o
o
De toetscommissie acht het wenselijk dat elke bacheloropleiding en elk masterprogramma binnen de faculteit dat beschikt over een eigen CROHOlabel zijn toetsbeleid beschrijft in een toetsplan. De toetscommissie acht het noodzakelijk om de beoordelingsprocedures voor bacheloronderzoek en –thesis tegen het licht te houden. Daarbij dienen de opleidingen te komen tot zoveel mogelijk gelijkvormige procedures en criteria, die in ieder geval twee beoordelaars kennen, garanderen dat elke student individueel wordt beoordeeld, duidelijk aangeven hoe zowel het proces van totstandkoming als het eindproduct in de beoordeling worden betrokken en hoe de oordelen van de beide beoordelaars tezamen leiden tot een eindoordeel voor elke student afzonderlijk. Ten aanzien van de beoordeling van mastertheses komt de toetscommissie met aanvullende aanbevelingen in het najaar van 2012. De toetscommissie acht het noodzakelijk dat de constructie van meerkeuzetoetsen volgens vastgelegde regels en procedures gebeurt, adviseert om deze in het toetsplan op te nemen en ze te implementeren in alle cursussen. Daarnaast adviseert de toetscommissie om een begin te maken met het systematisch opslaan van meerkeuze-opgaven (‘itembanking’) met het oog op efficiëntie en niveauhandhaving.
De conclusies en adviezen (inclusief nadere concretisering en tijdpad) zijn besproken en vastgesteld door de facultaire examencommissies.
Jaarverslag Toetscommissie FSW 2012-2013
1
Verslag van de werkzaamheden van de Toetscommissie FSW over de periode 1 september 2012 tot 1 september 2013 1.
Samenstelling van de toetscommissie
In de loop van 2012 hebben Lorenz van Doornen (voorzitter Examencommissie bacheloropleidingen) en Jan Vermunt (voorzitter Examencommissie researchmasters) afscheid genomen van de faculteit en daarmee ook van de toetscommissie. In 2012-2013 was de toetscommissie als volgt samengesteld: Herman van Boxtel Gerdien Steenbeek Carol van Nijnatten Jan van Tartwijk Dave Hessen
Voorzitter toetscommissie / toetsdeskundige Voorzitter Examencommissie bacheloropleidingen Voorzitter Examencommissie academische masters Voorzitter Examencommissie researchmasters Toetsdeskundige, toegevoegd vanuit de afdeling M&T
De toetscommissie werd ambtelijk ondersteund door Erline Rood. 2.
Werkwijze
De toetscommissie is in het verslagjaar te werk gegaan volgens de werkwijze die de examencommissies hebben beschreven in de notitie ‘Kwaliteitsborging van toetsing en beoordeling’. De definitieve versie van deze notitie is in september 2012 aangeboden aan de vice-decanen, en aan de onderwijsdirecteuren en programmaleiders. In de notitie is onder meer een gefaseerd plan van aanpak beschreven dat in eerste instantie gericht is op het thematisch doorlichten en – waar nodig – doen verbeteren van de praktijk en kwaliteit van toetsen en beoordelen. Deze thematische aanpak zal geleidelijk en gedeeltelijk worden vervangen door systematische en steekproefsgewijze kwaliteitscontroles. In het plan van aanpak zijn speerpunten geformuleerd die gekoppeld zijn aan een meerjarenplanning. Voor 2012-2013 stonden op de agenda: Het opstellen van toetsplannen De kwaliteit van meerkeuzetoetsen De (individuele) beoordeling van bacheloronderzoek en -thesis De toetscommissie kwam zeven keer bijeen. Twee besprekingen werden geheel of gedeeltelijk besteed aan overleg met de vice-decanen. 3.
Visitaties
In aansluiting op de voor de UU succesvol verlopen instellingsaudit van januari 2012 werden alle bacheloropleidingen en academische materprogramma’s ‘in lichte vorm’ gevisiteerd. De laatste, die van Culturele Antropologie, vond in september 2012 plaats. Ook nu weer hebben leden van de toetscommissie veel tijd gestoken in het bestuderen van het zelfevaluatierapport (ZER), het deelnemen aan een proefvisitatie en het voeren van panelgesprekken met de visitatiecommissie. Belangrijk bijproduct van deze activiteiten was, dat de toetscommissie efficiënt een globaal inzicht kon krijgen in de kwaliteit van verschillende toetsen en toetsvormen en in de wijze waarop en mate waarin de facultaire opleidingen en programma’s een expliciet toetsbeleid voeren. De rapportages over de visitaties hebben geen onvoldoendes laten zien, ook niet met betrekking tot de voor de rol van de examencommissies en toetscommissie direct relevante
Jaarverslag Toetscommissie FSW 2012-2013
2
criteria (kwaliteit van toetsing en beoordeling, eindniveau afgestudeerden). De toetscommissie heeft in 2013 een overzicht opgesteld van de kritische kanttekeningen en aanbevelingen van visitatiecommissies met betrekking tot toetsing en beoordeling. Daarbij lag het accent op de beoordeling van bacheloronderzoek en –thesis (zie verderop in dit jaarverslag). 4.
Contacten met andere toets- en examencommissies
De toetscommissie vindt contact met andere toets- en examencommissies binnen en buiten de UU voor haar functioneren erg belangrijk. Er is geregeld overleg tussen de (voorzitters van) toetscommissies van de UU op initiatief van O&O. Uit uitwisseling van informatie is gebleken dat de toets- en examencommissies steeds meer op één lijn zijn gekomen qua invulling van hun rol. Het beleid zoals de FSW-commissies dat hebben ingezet past prima in die lijn. De voorzitter van de toetscommissie participeert voorts in het Kennisplatform Examinering HO via een LinkedIn-site en regelmatige bijeenkomsten. Het netwerk groeit snel: in ruim één jaar tot 139 participanten, vooral afkomstig uit het hbo. Het is niet onbelangrijk de ontwikkelingen te volgen, met name die welke voortvloeien uit het rapport ‘Vreemde ogen dwingen’. Ten slotte participeert de voorzitter van de toetscommissie in de SIG (‘Special Interest Group’) die zich bezighoudt met de invoering van digitale toetssystemen. In de loop van 2014 is aanschaf van verschillende digitale platforms te verwachten (een voor summatieve toetsing en een voor formatieve toetsing en feedback). Daarnaast houdt de commissie zich bezig met de implementatie en de ondersteuningsstructuur. Te verwachten is dat de invoering van deze systemen een kwaliteitsimpuls met betrekking tot toetsing en beoordeling met zich meebrengt. 5.
Onderzoek en advies
Tot de belangrijkste taken van de toetscommissie behoort het – in opdracht van de examencommissies – uitvoeren van onderzoek naar de kwaliteit van toetsing en beoordeling en naar het niveau van afgestudeerden. In overeenstemming met de notitie kwaliteitsborging vindt dit onderzoek vooralsnog thematisch en in een vastgelegde prioritering plaats. In september 2012 hebben de examencommissies na onderzoek door de toetscommissie over de volgende speerpunten geadviseerd in een brief aan de Bos UGS en GS:
I.
II.
III.
De examencommissie acht het wenselijk dat elke bacheloropleiding en elk masterprogramma binnen de faculteit dat beschikt over een eigen CROHO-label zijn toetsbeleid beschrijft in een toetsplan. De examencommissie acht het noodzakelijk om de beoordelingsprocedures voor bacheloronderzoek en –thesis tegen het licht te houden. Daarbij dienen de opleidingen te komen tot zoveel mogelijk gelijkvormige procedures en criteria (waarbij uiteraard recht gedaan worden aan de eigen aard en eindtermen van het bacheloronderzoek van elke opleiding afzonderlijk), die in ieder geval twee beoordelaars kent, garandeert dat elke student individueel wordt beoordeeld, duidelijk aangeeft hoe zowel het proces van totstandkoming als het eindproduct in de beoordeling zijn betrokken en hoe de oordelen van de beide beoordelaars tezamen leiden tot een eindoordeel voor elke student afzonderlijk. Met betrekking tot het construeren, afnemen, scoren en evalueren van meerkeuzetoetsen zouden weinig cursussen op dit moment in staat zijn om alle materiaal aan te leveren dat de toetscommissie nodig heeft om zich een oordeel te kunnen vormen over de kwaliteit. De examencommissie acht het noodzakelijk dat de
Jaarverslag Toetscommissie FSW 2012-2013
3
constructie van meerkeuzetoetsen volgens vastgelegde regels en procedures gebeurt, adviseert om deze in het toetsplan op te nemen en ze te implementeren in alle cursussen. Daarnaast adviseert de examencommissie om een begin te maken met het systematisch opslaan van meerkeuze-opgaven (‘itembanking’) met het oog op efficiëntie en niveauhandhaving. De adviezen betroffen in eerste instantie vooral de bacheloropleidingen. De vicedecaan UGS en de onderwijsdirecteuren van de bacheloropleidingen hebben in reactie op de adviezen initiatieven genomen, waarbij de toetscommissie op verzoek voortdurend de vinger aan de pols heeft gehouden. Ad I. Toetsplannen Op advies van de toetscommissie werd in 2012-2013 gewerkt aan een toetsplan per opleiding. Daartoe is eerst een facultair model ontwikkeld met inzet van expertise vanuit het COLUU. De toetscommissie heeft verschillende versies van dit model bestudeerd en becommentarieerd, onder meer in overleg met de vicedecaan. Eind augustus 2013 is het model ter verdere invulling per bacheloropleiding door de vice-decaan UGS naar de onderwijsdirecteuren gestuurd. Het streven van de vice-decaan is om per 1 januari 2014 een volledig ingevuld toetsplan per opleiding beschikbaar te hebben (conform de planning in de notitie ‘Kwaliteitsborging van toetsing en beoordeling’). De toetscommissie zal deze toetsplannen in 2014 bestuderen. De verwachting is dat het opstellen van toetsplannen voor de masterprogramma’s (academische masters) enige vertraging zal oplopen omdat deze programma’s in het najaar van 2013 zullen worden geherprogrammeerd. Ad II. Beoordeling bacheloronderzoek en –thesis De toetscommissie heeft alle studiegidsteksten voor betreffende onderwijsonderdelen voor alle zes bacheloropleidingen bestudeerd. De conclusie was dat deze teksten voor studenten te weinig inzicht boden in de wijze van beoordelen (i.e. dat studenten individueel beoordeeld worden, ook al is de aanpak van het bachelorproject groepsgewijs). De examencommissie heeft de onderwijsdirecteuren gevraagd om hierover al in de studiegids voor 2013-2014 meer duidelijkheid te verschaffen. Voorts heeft de toetscommissie in dit kader de rapportages van de visitatiecommissies bestudeerd en alle student- en docenthandleidingen (inclusief beoordelingsformulieren) opgevraagd. Een analyse van dit materiaal wordt omstreeks november 2013 gerapporteerd. Ad III. Kwaliteit meerkeuzetoetsing Het advies van de examencommissies om het project ‘Toets de toets’, dat gericht was op kwaliteitsverbetering van meerkeuzetoetsen in de basisfase van Psychologie, in het studiejaar 2012-2013 op te schalen naar andere opleidingen binnen FSW is nog niet opgevolgd. Er is – in overleg met de toetscommissie – wel gewerkt aan de voorbereiding van een dergelijk project. Dit zal in september 2013 starten. Het is de verwachting dat dit project resultaat zal opleveren voor de basisfasecursussen in het eerste semester. De toetscommissie is voornemens vanaf februari 2014 steekproefsgewijs materialen op te vragen die het mogelijk maken de kwaliteit van de meerkeuzetoetsen in deze cursussen te beoordelen. In dit kader hebben de beoogde projectleider en de toetscommissie zich bezig gehouden met een checklist kwaliteit meerkeuzetoetsen en een overzicht van op te vragen materialen. Het project krijgt het karakter van ‘hands on’ deskundigheidsbevordering die er toe moet leiden dat cursuscoördinatoren en docenten in staat zijn kwaliteit te leveren en zich hierover te verantwoorden richting de examencommissie.
6.
Samenvatting
Jaarverslag Toetscommissie FSW 2012-2013
4
De facultaire toetscommissie bestond in 2012-2013 uit Herman van Boxtel (voorzitter), de drie voorzitters van de facultaire examencommissies (Gerdien Steenbeek, Carol van Nijnatten en Jan van Tartwijk), en Dave Hessen vanuit de afdeling Methodenleer en Statistiek. Erline Rood was ambtelijk ondersteuner. In september 2012 hebben de examencommissies de definitieve versie van de notitie ‘Kwaliteitszorg van toetsing en beoordeling’ formeel aan de beide vice-decanen UGS en GS overhandigd. De notitie is voorbereid en geschreven in en door de toetscommissie. In de notitie wordt het kader geschetst waarbinnen de toetscommissie en de examencommissie opereren. Daarnaast is er een meerjarenplanning uitgewerkt waarin het opstellen van toetsplannen per bacheloropleiding en masterprogramma, de beoordeling van bachelor- en masterthesis, en de kwaliteit van de meerkeuzetoetsing belangrijke speerpunten vormen. In 2012-2013 heeft de toetscommissie zijn participatie in diverse relevante netwerken geïntensiveerd. De voorzitter nam en neemt deel aan het overleg tussen voorzitters van toetscommissies binnen de UU, aan de SIG (‘Special Interest Group’) Digitale toetsing en aan het Kennisplatform Examinering HO. In september 2012 heeft de laatste visitatie (van de bachelor- en masteropleidingen Culturele Antropologie) in een lange en intensieve reeks van visitaties plaatsgevonden. Alle visitaties leiden tot een beoordeling op alle standaarden met ten minste de kwalificatie ‘voldoende’. De toetscommissie heeft alle schriftelijke rapportages bestudeerd en de kanttekeningen van visitatiecommissie geïnventariseerd, met name ten aanzien van de derde standaard. De conclusies worden in de oordeelsvorming door toets- en examencommissies betrokken. In 2012-2013 heeft de toetscommissie zich vooral gericht op de bovengenoemde drie speerpunten. Er is overleg geweest met de vice-decaan UGS over verschillende versies van een beoogd model-toetsplan. Dit is omstreeks augustus 2013 door de vice-decaan ter verdere invulling naar de opleidingen gestuurd. De toetscommissie is voornemens de toetsplannen per opleiding vanaf januari 2014 te gaan bestuderen; de planning van faculteitswege is erop gericht de toetsplannen voor de bacheloropleidingen op 1 januari 2014 gereed te hebben. De toetsplannen voor de masterprogramma’s zullen waarschijnlijk enige vertraging oplopen vanwege de herprogrammering ervan in het najaar van 2013. De toetscommissie heeft de studiegidsteksten met betrekking tot het bacheloronderzoek bestudeerd. Op basis daarvan hebben de examencommissies er bij de onderwijsdirecteuren op aangedrongen om de noodzakelijke individuele beoordeling van studenten in deze teksten duidelijker in beeld te brengen. Daarnaast heeft de toetscommissie alle cursushandleidingen en beoordelingsformulieren met betrekking tot de bachelorprojecten opgevraagd en bestudeerd. Rapportage hierover volgt in het najaar van 2013. Ten slotte heeft de toetscommissie een checklist met betrekking tot de kwaliteit van meerkeuzetoetsen uitgewerkt en een overzicht van in dit kader door de toetscommissie op te vragen materiaal. Deze kunnen door de opleidingen worden ingezet in de deskundigheidsbevordering. De faculteit start in september 2013 met een faculteitsbreed project dat hierop is gericht. De conclusies en adviezen zijn besproken en vastgesteld in en door de facultaire examencommissies.
