Conferentie Verdere versterking

Conferentie ‘Verdere versterking’ |

Verslag workshop 15 en 16 Valide en betrouwbaar toetsen in het kunstonderwijs Jackelien ter Burg

Thema 1: Borging van het eindniveau art. 7.12 lid 2 WHW De examencommissie is het orgaan dat op objectieve en deskundige wijze vaststelt of een student voldoet aan de voorwaarden die de onderwijs- en examenregeling stelt ten aanzien van kennis, inzicht en vaardigheden die nodig zijn voor het verkrijgen van een graad Wat is het eindniveau? Een eindwerkstuk kan technisch en inhoudelijk goed zijn, maar toont slechts een momentopname van iemands kunnen. Alleen op basis van een eindwerkstuk of eindvoorstelling kun je niet bepalen of iemand een goed beeldend kunstenaar, danser, acteur, architect, circusartiest, musicus, et cetera is. Daarnaast hebben we niet alleen te maken met artistieke competenties, maar moet de student ook andere competenties laten zien. Het gaat immers om een diploma op hbo-niveau. Het binnen een opleiding beschreven eindniveau wordt gezien als een minimumniveau; als de student laat zien dat hij of zij aan het minimumniveau voldoet, krijgt hij of zij het getuigschrift. Het doel van de kunstopleidingen is juist om het maximale uit de student te krijgen en zo ver mogelijk boven het minimumniveau uit te laten stijgen. In hoeverre dat lukt, kan per klas verschillen. Het eindniveau is in de tijd flexibel. Onderdelen van de opleiding kunnen van jaar op jaar verschillen en een curriculum zal altijd in beweging moeten blijven. Nu is er bijvoorbeeld veel meer aandacht voor professionalisering dan vroeger. Belangrijk voor het te eisen eindniveau is het contact met het werkveld en als opleiding duidelijk te hebben waartoe je je verhoudt. Beoordelen binnen een team De artistieke component is misschien wel het moeilijkst te benoemen. Kon een beoordeling vroeger nogal erg afhankelijk zijn van de beoordelaar, tegenwoordig gaat het heel anders. Ton Lamers van ArtEZ ligt de beoordeling van een zogenoemde auditietentamen bij het conservatorium kort toe: drie tot vijf beoordelaars beoordelen het optreden van de student, onafhankelijk van elkaar en aan de hand van een beoordelingsformulier. Elke beoordelaar geeft een cijfer en een onderbouwing van het cijfer. De cijfers gaan blind naar de voorzitter van het beoordelingsteam. Als de beoordelaars twee cijferpunten van elkaar verschillen, dan wordt de beoordeling besproken binnen het beoordelingsteam. Als het verschil tussen de beoordelaars blijft bestaan, dan vermeldt de voorzitter dit op het beoordelingsformulier. Deze methode werkt maar krijgt ook wel kritiek, ook binnen ArtEZ zelf; de methode is mogelijk te rigide en is deze methode wel voldoende objectief als je je mening na de discussie bij kunt stellen? Bij andere opleidingen komt men juist op basis van de gezamenlijke discussie tot een eindbeoordeling en bij een aantal opleidingen zit de student zelf ook bij de discussie. Het risico is hier dat wie het hardst schreeuwt of het dominantst in de groep is, eerder zijn gelijk Pagina 1 van 7

krijgt. Genoemd wordt dat je wel werkt met professionals, dus je wel enige integriteit mag verwachten. Er is ervaring dat de toevoeging van iemand van buiten hierop een positieve invloed kan hebben. Het belang van discours De discussie over het kader waarbinnen beoordeeld wordt, moet voorafgaand aan de beoordeling gevoerd zijn. Het klinkt raar, maar dat is binnen het kunstonderwijs niet altijd het geval. Dat komt vooral omdat de wegen die studenten afleggen erg kunnen verschillen. Als vooraf de kaders duidelijk zijn, is het beoordelingsgesprek gereglementeerd en veel eenvoudiger te voeren. Zonder kader of regels praat je snel langs elkaar heen. Ook moeten beoordelaars het vooraf eens zijn over de beoordelingscriteria en het niveau waaraan de student (minimaal) moet voldoen. De criteria moeten de gehele opleiding vergelijkbaar zijn; tijdens de formatieve beoordelingen kun je het gesprek met de student aangaan, bij de summatieve beoordeling wordt dan de klap gegeven. De borging van het eindniveau zit voor een belangrijk deel in deze kaders, naast het gebruik van protocollen zoals afstudeerhandleidingen - en de kwaliteit van de examinatoren. Objectief, als in iedereen moet onafhankelijk van elkaar hetzelfde cijfer geven, wordt als onhaalbaar gezien. Een objectieve beoordeling bestaat niet. Onafhankelijkheid bij de beoordeling wordt wel belangrijk gevonden. Betrouwbaarheid van de beoordeling zit meer in de intersubjectiviteit, gezamenlijk tot een eindconclusie komen dat transparant en dus uit te leggen is. Belang van feedback Men is het er over eens dat de onderbouwing een heel belangrijk onderdeel van de beoordeling is en dat de woordelijke onderbouwing van het eindoordeel binnen een kunstopleiding niet mag onderbreken. De feedback is voor de student op een kunstopleiding van essentieel belang voor zijn verdere ontwikkeling. Bovendien moet de wijze waarop de eindbeoordeling tot stand is gekomen voldoende inzichtelijk zijn, voor zowel de student als ook voor anderen. Een cijfer op zich zegt te weinig. Genoemd wordt wel dat een beoordeling op papier hard en ongenuanceerd kan zijn en dat in sommige gevallen (een combinatie met) mondelinge feedback verstandiger is. Is de kunst dan zo anders dan ander opleidingen? Nee. Ook binnen andere opleidingen zoals de journalistiek spelen dezelfde discussie en is het eindniveau ook niet zo zwart-wit en heb je ook te maken met ontwikkelingen. Als opleiding moet je bepalen wat je wilt en kunt beoordelen en wat vast te leggen is.

Thema 2: Beoordelingssystematiek Art.7.12b WHW lid 1a Het vaststellen van richtlijnen en aanwijzingen binnen het kader van de onderwijs- en examenregeling om de uitslag van tentamens en examens te kunnen vaststellen. Jan Wirken leidt het tweede thema in door te vertellen over zijn onderzoek binnen Hogeschool Zuyd. Hij heeft als externe het beoordelingsproces binnen de hogeschool onder de loep genomen. Het onderzoek betrof zowel de eindexamens, als de ingangtentamens en

Pagina 2 van 7

overgangstentamens. Bij het onderzoek heeft hij gebruik gemaakt van de criteria1 validiteit, betrouwbaarheid, transparantie, authenticiteit en procedure. Voldoende tijd In het onderzoek viel op dat de beschikbare tijd per beoordeling van een student krap ingeroosterd was. Hierdoor was er vaak te weinig tijd voor de feedback en de evaluatie met de student. Om dat goed te kunnen doen is er veel tijd nodig. Ook kwam uit het onderzoek dat inzicht in de beoordelingssystematiek belangrijk is voor zowel de student als de opleiding. Als de beoordelingssystematiek leeft bij de hoofddocenten, dan leeft het ook bij de studenten. Iedereen spreekt dan dezelfde taal en men kan zich met elkaar vergelijken. Rol externen bij beoordeling Tijdens de bespreking kwam de rol van externen tijdens de beoordeling van studenten naar voren. Elke kunstopleiding maakt veel gebruik van externe examinatoren. De externe examinator heeft vaak als rol om mee te kijken met het proces en ook om het eindniveau te bewaken. Wel wordt de vraag gesteld hoelang iemand nog als extern gezien kan worden. Vaak beoordeelt een externe beoordelaar voor meerdere jaren en er is ook vaak een connectie met de hoofddocent van het vak. Een van de aanwezige hogescholen heeft hiervoor de regel ingesteld dat iemand niet langer dan twee jaar als externe bij de beoordelingen betrokken kan zijn. Geconcludeerd wordt dat een school goed moet blijven nadenken over de rol van de externe. Het wordt soms als verplichting gezien (er moet een externe bij), maar het is een middel en geen doel op zich; de externe moet natuurlijk wel iets toevoegen. De leden van een beoordelingsteam moeten met elkaar verschillende disciplines dekken, net als de leden van de examencommissie. De externe hoeft niet altijd uit het werkveld te komen, een externe kan ook expertise op onderwijskundig vlak of op het vlak van onderwijsrecht inbrengen. Voorbereiden op accreditatie De indruk wordt gewekt dat veel ingewikkelde schema´s overtuigend werken bij een accreditatie, maar in de praktijk blijken die schema´s niet te werken. Er is soms een groot verschil tussen de opleiding op papier en de opleiding in de praktijk. De uitdaging zit er in om datgene op papier te zetten dat de sterke en zwakke punten van een opleiding zichtbaar maakt, zodat verbeterdoelen geformuleerd kunnen worden. Alleen controleren en veel administratie werkt onproductief. Opleidingen zien liever iemand die meedenkt, dan iemand die alleen op zoek is naar de zwakke punten in de opleiding. Bij een accreditatie moet de examencommissie kunnen laten zien dat zij een bijdrage levert aan de kwaliteit van het onderwijs. Alleen door samen te werken met opleiding, de afdeling Onderwijs en Kwaliteit en de directie bereik je de doelen. Soms moet je als kunstopleiding afwijken van de regels van hogescholen. Zo kun je als kunstopleiding vaak niet drie weken van te voren een toetsschema met tijden, lokalen en examinatoren beschikbaar hebben. Er moet een goede balans gezocht worden tussen kwaliteit en realiteit, met in het achterhoofd dat elke student recht heeft op een valide, betrouwbare en transparante beoordeling.

1

Het beoordelingsformulier is toegevoegd en in het e-magazine te vinden onder ‘Meer informatie’. Pagina 3 van 7

Thema 3: Kwaliteit van examinatoren Art. 7.12c WHW lid 1 Voor het afnemen van tentamens en het vaststellen van de uitslag daarvan wijst de examencommissie examinatoren aan. Intern vs externe examinator René de Klein van Fontys Hogeschool vertelt over het advies met betrekking tot examinatoren dat zij als examencommissie hebben geschreven voor het management van Fontys. In dit advies is onderscheid gemaakt tussen interne en externe examinatoren. Een interne examinator, dus personeelslid van Fontys, moet aangetoond vak- en toetsdeskundig zijn. Ook moet hij minimaal één jaar les hebben gegeven. De studieleider moet de deskundigheid van de interne examinator elk jaar aantonen, zodat de examencommissie dat vast kan stellen, alleen dan is een examinator bevoegd. Een extern examinator is iemand uit het werkveld, die mee beoordeelt. Voor een extern examinator geldt dat moet blijken dat men deze als expert beschouwd en hij of zij op hboniveau functioneert. De examencommissie komt in actie als een docent bijvoorbeeld alleen maar negens of zes minnen geeft of als er veel bezwaren van studenten zijn. Dit geeft aanleiding voor een nader onderzoek. BKE en externe examinatoren De ervaring bij de kunstopleidingen leert dat een goed expert nog geen goed examinator hoeft te zijn. Veel beoordelaars vinden het erg leuk om over kunst te praten en kunnen dan uit het oog verliezen waar het eigenlijk over moet gaan. Opgemerkt wordt ook dat een aantal externen zich makkelijk voegen in de opinie van de andere beoordelaars, in de hoop dan vaker als externe beoordelaar terug gevraagd te worden. Een beoordelaar moet beoordelen of de student aan de beoordelingscriteria voldoet en zijn ego of eigen belangen thuislaten. Ook moet de extern beoordelaar de juiste taal gebruiken en snappen waarover het gaat. Een extern beoordelaar moet dus wel geïnstrueerd worden. Het is lastig om externen uitgebreid te scholen op het gebied van beoordelen. De ervaringen met externen en opleiden verschillen; er zijn externen die graag meer weer willen weten over hoe zij valide en betrouwbaar kunnen beoordelen, maar er zijn ook externen die het overbodig vinden. Een extern examinator beoordeelt meestal niet zelfstandig, maar in een team met één of meerdere examinatoren vanuit de opleiding. De interne examinatoren moeten dan voldaan aan de BKE-eisen. Bij sommige opleidingen worden externen niet aangesteld als examinator, maar is er onderscheid gemaakt tussen examinators - die altijd intern zijn – en al dan niet externe beoordelaars. Een externe beoordelaar adviseert dan de examinator. Bij een andere opleiding beoordeelt alleen de vaste staf, en is ingeval van externe docenten bij de beoordeling altijd iemand van de staf aanwezig. In geval van een groter beoordelingsteam moet in ieder geval de voorzitter examinator zijn. De meningen verschillen of de voorzitter dan wel of niet mee zou moeten beoordelen. Alleen eindproduct of ook groei Een keuze die je als opleiding moet maken is in hoeverre je alleen kijkt naar het eindniveau of ook het proces mee laat wegen in de beoordeling. Bij de meeste kunstopleidingen speelt het ontwikkelingsproces van de student de grootste rol. Beoordelaars kunnen naar Pagina 4 van 7

verschillende zaken kijken; de opleiding en staf hebben zicht op wat er ‘in’ de student gaat en daarom kan ook alleen de opleiding afvinken of het geland is. De opleiding kan dus goed naar het proces kijken. Externen kijken dan naar zaken als het eindproduct, de attitude van de student, communicatievaardigheden ed. De ervaring is dat externen hier snel beoordelen in negens en tienen. Duidelijk is wel dat het hoe, wat en wie met betrekking tot beoordelen verschilt per studieonderdeel. Kleine aanstellingen Verschil extern – intern is bij kunstopleidingen vaak niet zo helder als bij andersoortige opleidingen. Binnen de kunstopleidingen zijn er namelijk veel docenten met maar een heel kleine aanstelling, sommigen geven maar een paar uur les per jaar. Binnen een aantal kunstopleidingen zijn hier afspraken over, zo wordt bij een opleiding een docent met een aanstelling kleiner dan 0,2 fte altijd gekoppeld aan een examinator. De docent zelf kan dan geen examinator zijn. Men is erover eens dat je als docent goed moet kunnen beoordelen om goed les te kunnen geven. Ouderejaars moeten eigenlijk ook zichzelf kunnen beoordelen. Ook moet elke docent, net als elke examinator, goed feedback kunnen geven.

Thema 4: Vastleggen van beoordelingen Wanneer je regels stelt over de studie met betrekking tot punten, mogelijke afwijkingen en scores om daar consequenties aan te verbinden (diplomeren of niet) dan is het logisch dat je administratie moet voeren. De opleiding moet kunnen bewijzen op welke wijze aan de gestelde normen is voldaan.... Marcel Doorduin van ArtEZ leidt dit thema in. Een examinator moet zijn beoordeling kunnen verantwoorden, maar heeft daar vaak maar weinig uren voor en men heeft weinig zin in bureaucratie. Voor opleidingen ligt er de uitdaging om de beoordelingen goed te kunnen verantwoorden naar bijvoorbeeld de examencommissie en de inspectie, maar het ook werkbaar te houden. Zo is men bij Art&Design ooit begonnen om de competenties netjes uit te werken naar beoordelingscriteria maar kwam men uit op een beoordelingsformulier van twintig pagina´s. Dat heeft men terug kunnen brengen door nog eens kritisch te kijken naar wat eigenlijk beoordeeld moet worden. Het beoordelingsformulier moet zo beknopt mogelijk zijn, maar wel leesbaar blijven voor mensen die niet ingevoerd zijn in onderwijskundige taal. Descriptoren moeten vertaald worden naar de taal van de beoordelaars. Eisen aan studentendossier Een opleiding kan zich met behulp van het studentendossier verantwoorden naar de examencommissie en de inspectie. De examencommissie kan zijn beleid baseren op analyse van de dossiers en in geval van een bezwaar moet het studentendossier als basis kunnen dienen en bewijsmateriaal kunnen leveren voor Cobex. ArtEZ werkt met een instroom-, doorstroom- en uitstroomdossier. In het instroomdossier zijn gegevens als vooropleiding en betaling van collegegelden opgenomen, het doorstroomdossier is voor de docenten interessant, en met het uitstroomdossier kan het eindniveau verantwoord worden. In het doorstroomdossier zijn alle beoordelingsformulieren opgenomen. Hierin komen, gelukkig, steeds minder mailwisselingen tussen docenten in voor in de trant van ´Wat geef jij?´ en zinloze opmerkingen. Pagina 5 van 7

Pagina 6 van 7

Verantwoorden van beoordeling Men vindt het belangrijk dat de woordelijke onderbouwing en het cijfer overeenstemmen. Stel dat het beoordelingsformulier zes beoordelingspunten bevat, dan moeten alle zes beoordelingspunten wel terug komen in de eindbeoordeling. Er zijn kunstopleidingen waarbij niet met cijfers gewerkt wordt. De ervaringen met het gebruik van rubrics zijn niet positief. Rubrics blijken de betrouwbaarheid van een beoordeling niet te verhogen. De meeste opleidingen gebruiken een combinatie van holistisch en analytisch beoordelen. Men kijkt holistisch, maar onderbouwt de beoordeling wat meer bij analytisch beoordelen past. Die onderbouwing wordt belangrijk gevonden, want beoordeeld worden is vooral ook een moment om van te leren.

Samenwerkingsverband De beide workshops werden bijgewoond door deelnemers van meer dan tien instellingen voor kunstonderwijs. In totaal 22 deelnemers hebben aangegeven geïnteresseerd te zijn in vervolgbijeenkomsten over thema’s die specifiek met het kunstonderwijs te maken hebben. Voor meer informatie hierover kunt u contact opnemen: Ton Lamers, voorzitter centrale examencommissie ArtEZ ([email protected]) Anton Neggers, voorzitter examencommissie Fontys Hogeschool voor de Kunsten ([email protected])

Pagina 7 van 7