Beoordeling Audiovisuele Werkstukken in het beeldend onderwijs (VO)

Beoordeling Audiovisuele Werkstukken in het beeldend onderwijs (VO)

Tesse Kok & Guido Paap Master Kunsteducatie

1

Beoordeling Audiovisuele Werkstukken in het beeldend onderwijs (VO)

Tesse Kok & Guido Paap Praktijkonderzoek Master Kunsteducatie Onder begeleiding van Folkert Haanstra Amsterdamse Hogeschool voor de Kunsten Amsterdam, 1 juli 2013

2

Inhoudsopgave Samenvatting

5

Inleiding

6

-Aanleiding -Actualiteit -Context

Onderzoeksvraag Onderzoeksopzet

10

-Soort onderzoek -Deelnemers -Interview -Analyse interviews

Resultaten

12

-Beoordeling product -Beoordeling proces -Verslaglegging -Samenwerking -Inzet -Presentatie -Vorm -Rubrics -Normering -Samenspraak -Betrouwbaarheid -Weging -Bron -Standaard model

Conclusie

21

Aanbevelingen

18

Literatuurlijst

19

Bijlage 1 Onderzoeksinstrument

20

Bijlage 2 Labelschema

 

3

Samenvatting (abstract) Met dit kleinschalig beschrijvend kwalitatief onderzoek inventariseren wij de stand van zaken in het voortgezet onderwijs (VO) wat betreft de beoordelingsproblematiek bij de inzet van moderne media bij beeldende vakken. Op basis van literatuur wordt aangetoond dat er sprake is van een problematiek rondom het beoordelen van audiovisuele werkstukken. In de VS wordt momenteel gezocht naar richtlijnen om moderne media te beoordelen. In Nederland zijn slechts algemene richtlijnen gesteld, waaraan docenten hun beoordelingspraktijk kunnen spiegelen. In het onderzoek op basis van interviews met 6 docenten is gekeken naar ‘wat’ er wordt beoordeeld (product, proces en presentatie) en ‘hoe’ er wordt beoordeeld (vorm, norm, bron en weging). Hieruit blijkt dat er geen concensus bestaat over doelen en beoordelingscriteria.

4

Inleiding AANLEIDING Uit eigen ervaring zien wij dat tegenwoordig steeds meer docenten te maken hebben met de invloed van het gebruik van moderne media bij de uitwerking van een opdracht bij Beeldende Vorming. Leerlingen krijgen naast de traditionele 2D en 3D-technieken vaak de mogelijkheid om met 4D-technieken te werken door de toename van het gebruik van moderne media. Vrijwel iedere leerling heeft tegenwoordig de beschikking over een telefoon met ingebouwde foto- of videocamera en eenvoudige software om (bewegende) beelden mee te kunnen bewerken. Onder 4D-technieken verstaan wij moderne media waarbij een tijdsverloop essentieel is, zoals bij video, animatie en games. Deze technieken worden in de praktijk steeds vaker ingezet als onderdeel van hun beeldende proces of als vorm voor het uiteindelijke werkstuk. Omdat deze technieken onderdeel zijn van een opdracht is het belangrijk dat hier beoordelingscriteria voor worden gebruikt die bij de technieken horen. In dit onderzoek wordt consequent de term ‘audiovisuele werkstukken’ gehanteerd voor beeldende werkstukken met een 4D-component, hoewel niet altijd een audio-component aanwezig is.

ACTUALITEIT Er zijn meerdere initiatieven, vanuit Cinekid, Frisse Blik, Kijk Goed, Eyefilm, Centrum Beeld & Geluid en Waag Society en MediaCultuur, die laten zien dat moderne media een belangrijke rol spelen in de beeldende vakken, vaak met als uitgangspunt een bijdrage te leveren aan de ontwikkeling van mediawijsheid bij leerlingen. Maar ook in hun eigen lesbrieven zijn algemene beoordelingscriteria niet of nauwelijks te vinden. Alleen het project MediaCultuur hanteert de lesbrieven voor de leerlingen waarin specifieke criteria worden beschreven die aansluiten op de opdracht. De overige instellingen besteden vaak wel aandacht aan de presentatie van de opdracht en een reflectie hierop, maar beschrijven geen concrete beoordelingscriteria in hun lesbrieven.

CONTEXT Onderzoek in de Verenigde Staten, State and media arts standards, (Cassidy,C; Charleroy,A; Dzula,M; Greco,A; 2011) laat zien dat er gezocht wordt naar richtlijnen om moderne media te beoordelen. Wat het onderzoek laat zien is dat de beoordelingscriteria vanuit standaarden die bij bijvoorbeeld muziek, beeldende kunst en dans worden gehanteerd zijn opgebouwd en verder zijn uitgebouwd. ‘...the framers of media arts standards are charged with these items and with defining the discipline for the field at large’. (p.39)

5

Aan de hand van 4 voorbeelden uit verschillende staten in de VS illustreert het onderzoek welke beoordelingscriteria er worden gehanteerd en zijn vorm gegeven op het gebied van moderne media. ’Researchers examined the media standards in an attempt to understand how media arts is defined in each area, how these standards were concieved of, how the are constructed an organized, and how media arts standards relate to the standards of other art disciplines’. (p.39) In het onderzoek wordt dus duidelijk welke rol moderne media heeft binnen een kunstdiscipline, hoe de standaarden/competenties zijn opgevat, hoe ze zijn opgebouwd en georganiseerd, en hoe de standaarden in relatie staan met/tot de andere kunstdisciplines. Het toont aan dat de beoordelingscriteria bij moderne media heel veel parallellen tonen met die van andere kunstdisciplines. Het laat ook zien dat moderne media een relatief nieuwe discipline is en dat docenten vanuit hun achtergrond (eigen vakgebied) de beoordelings- criteria benaderen en hier en daar aanvullingen doen die specifiek over de moderne media gaan. Hier wordt ons vermoeden bevestigd dat docenten vanuit hun eigen praktijk de beoordelingscriteria invullen. In het onderzoek wordt gezegd dat het wordt gezien als een ‘hedendaagse’ behoefte om beoordelingscriteria te hebben die passen bij moderne media. ’..all of the documents address the need for these types of standards as a specifically contemporary need; the skills that students develop in these courses and activities are skills that are necessary for meaningful participation in 21st century life, and the standards often draw connections between learning in the media arts and learning across other disciplines’. (p.42) De interdisciplinariteit van de discipline moderne media wordt als positief punt gezien: ‘Although the standards of many arts disciplines feature a component on cross-disciplinary learning or “making connections,” the concept of working across disciplines seems to be especially strongly embedded in media arts standards.’ (p.41)

In Nederland geven meerdere websites wel suggesties of voorbeelden over beoordelingscriteria maar vaak zijn deze vrij te interpreteren of blijft het bij brede of algemene uitspraken. In het recente verleden (Rass,A, Concretisering van Kerndoelen,2007) is bijvoorbeeld niet concreet beschreven hoe de doelen voor audiovisuele vormgeving getoetst kunnen worden of wat specifieke medium eigen beoordelingscriteria zijn of kunnen zijn (bron1). De kerndoelen van de beeldende vakken zijn toen opgedeeld in 3 domeinen: domein A (beeldende problemen), domein B (werkproces) en domein C (middelen). De kerndoelen uit domein A en C zijn verder opgedeeld in doelen voor de vakken AV, Handenarbeid, Tekenen en Textiele Werkvormen, terwijl domein B voor alle vier de vakken algemeen zijn opgesteld.

 

6

Domein C. Middelen Voor audiovisuele vormgeving 11. De leerlingen kunnen vakeigen beeldende aspecten en symbolen zo gebruiken dat ze bijdragen aan de zeggingskracht van eigen beeldend werk. 12. De leerlingen kunnen basale beeldende mogelijkheden van fotografische en videotechnieken, al dan niet ondersteund door eenvoudige computergestuurde vormgevingsprogramma's, adequaat in eigen beeldend werk gebruiken. 13. De leerlingen kunnen audiovisuele materialen en apparatuur op een veilige manier gebruiken. Bron 1: Domein C uit Kerndoelen beeldende vakken basisvorming 1998-2003. Hieruit kan men niet opmaken hoe- en wat getoetst wordt bij audiovisuele vormgeving.

Een bron die wel specifieke doelen beschrijft bij de inzet van audiovisuele middelen is ‘Audio-Visuele Vorming - Het gebruik van AV-middelen in sociaal-agogische opleidingen’ (Hottinga, A; 2003). Het boek richt zich op studenten in sociaal-agogische beroepen, maar is ook bedoeld als handleiding voor zowel de vakdocent audio-visuele vorming als voor de methodiekdocent, die audio-visuele middelen inzet tijdens zijn lessen. De taal van beeld en geluid wordt besproken en er wordt uitgelegd hoe door beeld en geluid een boodschap ontstaat. Het biedt de student de achtergrondinformatie en praktische training die hij nodig heeft om zicht te krijgen op de mogelijkheden van audio-visuele middelen. Door de inzet van bijvoorbeeld een videocamera in een opdracht voor beeldende vorming gaan andere specifieke beeldende aspecten een rol spelen, die niet gangbaar zijn bij een 2D of 3D-werkstuk. Bij de beoordeling van een audiovisueel (4D) werkstuk, kan dan naast licht en kleur ook worden gekeken naar de omgeving, het kader en het camerastandpunt. Daarnaast heb je bij videobeelden ook te maken met geluid, zoals spraak en omgevingsgeluid die tijdens de opnamen zijn vastgelegd of met muziek en geluidseffecten die in de montage zijn toegevoegd. In de beoordeling zou dan ook rekening gehouden kunnen worden met de geluidssterkte, toonhoogte en klankkleur van het geluid. De montage van een video leidt verder tot specifieke beeldende aspecten met betrekking tot tijd, ritme en herhaling. De taal van de beeldenreeks wordt mede bepaald door vertragen, versnellen of weglaten van tijd (shots), de overgangen tussen scènes en eventuele special effects. Bij de beoordeling van een video waarin leerlingen acteren, gaan ook dramatische aspecten een rol spelen en zou vanuit de beeldende discipline gelet kunnen worden op de attributen, kleding, haardracht en make-up. De begrippen die worden genoemd in dit boek hebben als leidraad gediend voor de inhoud van dit onderzoek.

Bij de integratie van de vakken Tekenen (2D), Handvaardigheid, Textiele Werkvormen (3D) en Audiovisuele Vorming (4D) tot het vak ‘Beeldende Vormgeving’ in 2003 zijn de doelen en beoordelingscriteria voor het vak nog algemener opgesteld. De SLO adviseert daarin dat er wordt beoordeeld op basis van de 5 kernvaardigheden voor de kunstvakken: produceren, presenteren,

7

receptieve vaardigheden (kijken naar, luisteren naar), verslaglegging en reflecteren. (10+ Beoordelen in het leergebied Kunst en Cultuur, 2006, p.7) Het streven van de SLO was om op basis van de kerndoelen een set kernvaardigheden te krijgen die in een oogopslag het karakter van het leergebied Kunst en cultuur weergaf. Per kerndoel is een zogenaamde kernvaardigheid toegekend. Gezocht is naar één kernvaardigheid per kerndoel die zo kort en krachtig mogelijk de kern aanduidt van het betreffende kerndoel. Aan bijvoorbeeld de kernvaardigheid ‘receptieve vaardigheden’ wordt door de SLO kerndoel 50 gekoppeld: ‘De leerling leert op basis van enige achtergrondkennis te kijken naar beeldende kunst, te luisteren naar muziek en te kijken en luisteren naar theater-, dans- of filmvoorstellingen.’ (Concretisering van Kerndoelen, 2007, p.7). In dit onderzoek richten wij ons op deze 5 kernvaardigheden in het kader van de beoordeling van audiovisuele werkstukken. De 5 kernvaardigheden kunnen - al of niet in combinatie met elkaar - de basis vormen voor een opdracht of een activiteit voor het leergebied. Elke opdracht dient dan te bestaan uit minimaal een praktisch onderdeel, een presentatie, een receptief onderdeel en een onderdeel dat aandacht besteedt aan verslaglegging en reflectie. Niet alle genoemde onderdelen hoeven altijd in een opdracht aan bod te komen. Er kunnen accenten gelegd worden. Dit geldt ook voor de beoordeling. Niet elk onderdeel wordt even uitgebreid en op dezelfde wijze beoordeeld. Je kunt in het algemeen stellen dat de beoordeling dient te voldoen aan eisen van validiteit, betrouwbaarheid en transparantie, zodat leerlingen weten waar ze aan toe zijn. De kernvaardigheden leiden echter niet tot concrete beoordelingscriteria voor bijvoorbeeld het werken met specifieke media, zoals audiovisuele middelen. Het document ‘Een 10+ Beoordelen in het leergebied Kunst en Cultuur’ (2006, p.8) beschrijft een aantal onderdelen aan die docenten mogelijk kunnen beoordelen in een praktijkopdracht (Bron 2). Er wordt o.a. gekeken naar het product en het proces, tussen deze twee begrippen wordt een onderscheid gemaakt. In dit onderzoek wordt met het ‘product’ het eindresultaat: een animatie of filmpje bedoeld. Onder het proces vallen alle activiteiten die zijn uitgevoerd om te komen tot dat eindresultaat.

Mogelijk te beoordelen onderdelen in de praktijkopdracht: • oriëntatie: criteria en kwaliteit van de voorbereidende fase • onderzoek: eisen ten aanzien van schetsen, ontwerpen of informatie verwerven en verwerken • product: criteria ten aanzien van het eindresultaat • proces: algemene vaardigheden, zoals samenwerken, plannen en organiseren, informatie verwerven en verwerken, communiceren (rubrics) • presentatie: vorm en tijd • verslaglegging: inhoud en vormgeving. Bron 2 : Mogelijk te beoordelen onderdelen in de praktijkopdracht uit ‘Een 10+ Beoordelen in het leergebied Kunst en Cultuur’ 2006.

 

8

Onderzoeksvraag HOOFDVRAAG Onze eigen ervaring en de beschikbare bronnen laten zien dat er geen eenduidigheid bestaat over de beoordelingscriteria van werkstukken waarbij een 4D-techniek wordt gebruikt. Met dit onderzoek inventariseren wij de stand van zaken in het VO wat betreft de beoordelingsproblematiek bij de inzet van moderne media bij beeldende vakken. Hierdoor zijn wij tot de volgende hoofdvraag gekomen:

Hoe beoordelen docenten in het VO (die zich profileren met de inzet van moderne media) specifieke kenmerken van audiovisuele (4D) werkstukken bij het vak beeldende vorming?

DEELVRAGEN De deelvragen die wij hierbij proberen te beantwoorden zijn de volgende:

Wat wordt er beoordeeld? (Product, Proces, Presentatie) En hoe wordt er beoordeeld? (Vorm, Norm, Bron, Weging)

9

Onderzoeksopzet SOORT ONDERZOEK We hebben een kleinschalig beschrijvend kwalitatief onderzoek uitgevoerd (een survey over 6 scholen), gericht op de middenbouw van het VO (2de en 3de jaar VMBO, HAVO of VWO). Hiertoe hebben we één docent beeldende vorming (BV) geïnterviewd per school over hun beoordeling van beeldende audiovisuele (4D) werkstukken, zoals videomontage en animatie.

DEELNEMERS De selectie van deelnemende docenten is tot stand gekomen door middel van een beredeneerde, selectieve steekproef, waarbij we docenten BV in noord- en zuid-Holland hebben benaderd, waarvan vermoed werd of bekend was dat zij moderne media in hun lespraktijk inzetten.

De docenten die aan dit onderzoek hebben meegewerkt: ●

Ger Smits , St. Nicolaas Lyceum, Amsterdam

●

Daisy Duivenvoorden, Fioretticollege, Lisse

●

Jeroen Kinsbergen, Jan van Egmond Lyceum, Purmerend

●

Jane Waltman, Maris College, Den Haag

●

Abbey Smit, IJburg College, Amsterdam

●

Jasper Vreken, Montessori Lyceum, Amsterdam

INTERVIEW De 6 docenten is ter voorbereiding op het interview gevraagd om een opdrachtbeschrijving, werkstuk en beoordelingsmodel toe te sturen of mee te nemen ter uitgangspunt voor het gesprek. Alle deelnemende docenten hebben hier gehoor aan gegeven, zodat elk interview op basis van een concreet voorbeeld is afgenomen. De vorm waarin zij moderne media inzetten en hoe zij deze 4D-component beoordelen, is onderzocht door middel van een een-op-een interview op locatie wat ongeveer een uur per docent in beslag heeft genomen. De onderwerpen en vragen in het interview zijn van te voren bepaald, maar niet eerder aan de deelnemers van ons onderzoek voorgelegd (zie bijlage 1). Tijdens het interview zijn de docenten bevraagd over welke specifieke criteria zij hanteren bij de beoordeling van het product (werkstuk), het proces, de verslaglegging en de presentatie. Dit zijn 4 van de 5 kernvaardigheden zoals vastgelegd door de SLO (Concretisering van kerndoelen, 2007) Daarnaast hebben we gevraagd naar hoe de verschillende criteria tot stand zijn gekomen, met betrekking tot de vorm, norm en het gewicht bij (onderdelen van) de beoordeling en of de docent bij het beoordelen bepaalde moeilijkheden ervaart. Met ‘vorm’ wordt de manier waarop een werkstuk wordt beoordeeld (met een cijfer of anderszins) bedoeld. Kijkt men naar de ‘Norm’ dan wordt daarmee aangegeven wanneer een docent een werkstuk

10

als voldoende of onvoldoende beschouwt. Bij de ‘bron’ is gekeken waar docenten, de door hen opgestelde criteria, op baseren. En met de ‘ Weging’ wordt het zogeheten ‘gewicht’ bedoeld wat docenten aan de criteria voor de verschillende onderdelen (product, proces, verslaglegging of presentatie) hangen.

ANALYSE INTERVIEWS De audio van de interviews is opgenomen en vervolgens woordelijk uitgetypt. Vervolgens hebben uitspraken in het interview een passend label gegeven, op basis van begrippen uit de theorie (coding down) en vanuit begrippen uit de interviews (coding up). Deze labels zijn geordend onder verschillende kernlabels volgens een labelstructuur (zie bijlage 2), die uiteen is gezet op basis van de twee deelvragen. De uitspraken met hetzelfde label zijn met elkaar vergeleken en in dit onderzoek verwerkt in het hoofdstuk ‘Resultaten’.

11

Resultaten De resultaten van dit onderzoek zijn onderverdeeld op basis van de twee deelvragen. Ten eerste wordt in dit hoofdstuk beschreven ‘wat’ door de geïnterviewde docenten wordt beoordeeld en ten tweede ‘hoe’ die onderdelen door hun worden beoordeeld. Met ‘wat’ worden het product, het proces en de presentatie verstaan en de specifieke criteria waarnaar tijdens de beoordeling wordt gekeken. Onder ‘hoe’ zijn de vorm, norm, bron en weging uiteengezet en de mogelijke bronnen waarop docenten de beoordeling hebben gebaseerd.

BEOORDELING PRODUCT De meeste criteria, die door de docenten worden genoemd bij de beoordeling van het product, betreffen de vorm, techniek en inhoud. Bij 4D-werkstukken speelt bijvoorbeeld de camera een grote rol, wat blijkt uit het feit dat alle geïnterviewde docenten letten op de kadrering van het beeld in het product. Hierbij noemen alle docenten specifiek verschillende typen shots, waarvan zij verwachten dat leerlingen die toepassen, zoals close-up, mediumshot en totaalshot (vorm). Het uitgangspunt bij de beoordeling verschilt echter per docent. Eén docent noemt specifiek dat hij het belangrijk vindt hoe deze verschillende shots bijdragen aan het vertellen van het verhaal (inhoud), terwijl een andere docent deze slechts formeel afvinkt (techniek). Vrijwel alle docenten noemen het wisselende camera-standpunt als een belangrijk aspect voor de overdracht van het verhaal (inhoud), waarbij één docente concreet de beeldende begrippen ooghoogte, kikvors- en vogelvluchtperspectief hanteert. Weer een andere docente geeft aan dat ze het belangrijk vindt dat leerlingen proberen een bepaalde sfeer op te roepen of emotie bij de kijker los te krijgen door een goede keuze te maken in de bepaling van het camera-standpunt (vorm).

Overige kenmerken bij het gebruik van een camera, die worden genoemd als onderdeel waar docenten op beoordelen, zijn de cameravoering, belichting en het geluid. Zo let één docent erop of leerlingen de beelden opnemen vanaf statief, zodat het beeld scherp blijft (techniek), terwijl een andere docent de stabiliteit van het beeld belangrijk vindt, mits de keuze om het te laten bewegen met opzet is gedaan (vorm op basis van inhoud). De helft van de docenten let ook op of leerlingen rekening houden met het licht en de belichting van het beeld en de camera hierbij goed instellen of zelfs in één geval de ruimte goed uitlichten (techniek). Aan het geluid in de video wordt in de beoordeling slechts beperkt aandacht besteed. Eén docente vindt het belangrijk dat bijvoorbeeld bij een interview de personen in beeld in elk geval verstaanbaar zijn en de muziek bij de beelden past (inhoud).  Een andere docent vindt ook dat, zolang het beeld in de montage maar ‘een beetje past’ op de muziek, bijvoorbeeld een ruis in het geluid niet zo storend is (techniek). Bij brugklasleerlingen verwacht hij van de montage vooral dat de video goed loopt: “Het einde loopt niet. Dat moet anders. Gewoon een paar foto's extra maken om dat einde goed voor elkaar te krijgen en die er weer invoegen. Zo simpel is het eigenlijk. Dat is eigenlijk alles wat we van zo'n montage verwachten.” Bij de montage van videobeelden op muziek heeft één docente aangegeven

12

dat zij heeft gekeken of de zeggingskracht van de inhoud is bepaald doordat beelden op het ritme (van een tango) zijn gesneden (vorm).

Uit de interviews blijkt dat de meeste docenten de montage beoordelen in relatie tot de inhoud en dan met name op de opbouw van de verhaallijn. Zo noemt een docente dat zij het belangrijk vindt dat een video volledig is, met een duidelijk begin, middenstuk en eind, dat duidelijk is te zien waar elk fragment over gaat en dat alle vereiste fragmenten met betrekking tot het onderwerp erin zitten. Een andere docent vindt daarnaast ook belangrijk dat er afwisseling in de verhaallijn zit. De helft van de geïnterviewde docenten kent aan een goed idee, die ten grondslag kan liggen aan een video, een hoge waardering toe. De focus in de beoordeling kan op zo’n moment bij hen verschuiven van de vorm naar de inhoud: “Als je heel goed idee hebt, dan hoeft de uitvoering niet eens zo geweldig te zijn, maar omdat er iets zit in dat idee dat gewoon werkt, kom je aan een hoge kwaliteit. Aan de andere kant heb je niet zo'n goed idee, maar besteed je heel veel zorg aan de vorm, dan kan er een kwalitatief heel mooi filmpje uitkomen.”

Bij de beoordeling van het product staan problemen met de techniek de helft van de docenten in de weg. Eén docent rekent leerlingen dan ook niet af op problemen met de techniek, omdat ze zich volgens hem moeten behelpen met weinig en heel eenvoudige technische middelen. Hij stelt niet te hoge eisen aan de technische kant evenals een docente die vaak problemen met het geluid ondervindt.

BEOORDELING PROCES De meeste criteria die door de docenten worden genoemd bij de beoordeling van het proces zitten in de voorbereidings-, uitvoerings- en reflectiefase. Daarnaast speelt de inzet en het aandeel van individuele leerlingen in de samenwerking bij groepsopdrachten een belangrijke rol. Alle docenten hebben aangegeven dat het proces in meer of mindere mate deel uitmaakt van de beoordeling. De wijze waarop het proces wordt begeleid, vastgelegd en beoordeeld verschilt echter per docent, afhankelijk van de opdracht en het leerjaar. Eén docent begint met een oriëntatiefase, waarbij hij verwacht dat leerlingen zelf research doen naar minstens 5 reclamefilmpjes ter inspiratie en dat ook beoordeelt, terwijl twee andere docenten eerst voorbeelden van video of animatiefilms tonen, waarbij zij bepaalde kenmerken bespreken waarvan wordt verwacht dat leerlingen die in hun eigen werkstuk zullen verwerken.

De voorbereidingsfase, die hier bij alle docenten op volgt, kenmerkt zich vooral door leerlingen die zelf aan de slag gaan. Zo laat één docent leerlingen vooral eerst proeven door “gewoon het doen” zonder specifieke opdracht of criteria. Een ander beoordeelt tijdens ‘de ideeënfase’ of er een mindmap en schetsen worden gemaakt, afbeeldingen worden gezocht en of er met elkaar wordt gebrainstormd en gediscussieerd. Twee van de geïnterviewde docenten hechten veel belang aan het ontwerp van een storyboard in de voorbereidingsfase, waarbij één van hen de leerlingen eerst een scenario met een duidelijke opbouw laat schrijven en dialogen op basis van actie en reactie met ergens een stilte. Aan het

13

scenario heeft zij ook van tevoren bepaalde criteria gehangen en daarnaast zou zij ook leerlingen individueel op ‘floorplans’ willen beoordelen. Een aantal docenten heeft aangegeven dat zij erop beoordelen of leerlingen tijdens de ‘decoupage’ van het verhaal een bewuste keuze maken voor het camerastandpunt ten behoeve van de spanning en de sfeer.

Vrijwel alle docenten vinden het heel belangrijk dat leerlingen hun keuzes kunnen onderbouwen tijdens de uitvoeringsfase. Eén docent verwoordt dit duidelijk met de uitspraak: “Als je niet kan uitleggen waarom je die camera daar neerzet dan heb je een onvoldoende.." Zo wijst bijvoorbeeld één docent tijdens het proces op het effect van een bepaald geluid bij het beeld en een ander wijst weer op een dynamische cameravoering met betrekking tot spanning. De helft van de docenten verwacht ook dat leerlingen keuzes in de reflectieve fase goed kunnen verwoorden en hiermee aantonen dat zij goed hebben nagedacht. Eén docent vindt het in dit kader ook zinvol om op basis van de argumentatie van leerlingen te kunnen beoordelen of een werkstuk uiteindelijk geen ‘toevalstreffer’ is. Hij vindt ook dat een reflectie op het product en het proces belangrijker wordt naarmate leerlingen in een hoger leerjaar komen. Vier docenten zien het gesprek of de coaching als een middel van evaluatie of beoordelen tijdens en na de lessen. Zo zegt een docente: “Tijdens de les ben je bezig met beoordelen. Je stuurt steeds bij. Je probeert de hele tijd een beetje aanwijzingen te geven, zodat ze het nog beter doen. Dus dan ben je eigenlijk steeds bezig al met die criteria duidelijk te maken aan ze, aan de leerlingen, maar ook aan jezelf." En een andere docent geeft tips, coacht en praat met de leerlingen over waar ze vast zitten.

VERSLAGLEGGING Slechts de helft van de docenten heeft aangegeven dat zij het proces daadwerkelijk laten vastleggen middels een verslag, logboek of dummy en een van hen blijkt die ook als zodanig te beoordelen: “Hoe meer je daar in hebt gezet in die dummy, hoe meer verschillende dingen, hoe meer verschillende tekeningetjes en plaatjes je gezocht, hoe beter ik het proces vind." Daarnaast houdt zij iedere les een logboek bij van het groepsproces wat zij meetelt in de beoordeling. Eén docent noemt tijdgebrek als reden om het proces niet te laten vastleggen, maar bespreekt het proces wel altijd met de leerlingen na. Vrijwel alle docenten hebben aangegeven dat zij het lastig vinden om het groepsproces bij het maken van een video of animatiefilm te beoordelen. Twee docenten maken zelf aantekeningen van de inzet van bepaalde leerlingen, zodat zij bij de beoordeling van het groepsproces het cijfer voor het product kunnen differentiëren.

  SAMENWERKING De beoordeling van het samenwerking bij dit soort opdrachten wordt door alle docenten als moeilijk ervaren. Vijf van de zes docenten hebben aangegeven het lastig te vinden om inzicht te hebben in het aandeel van individuele leerlingen in het groepsproces. Een docent zegt hierover: “De moeilijkheid is: veel werkstukken zijn in groepen en niet alle leden van de groep doen hetzelfde en verdienen eigenlijk

14

hetzelfde cijfer. En dat is heel erg lastig." Alle docenten blijken het erover eens dat een onevenredig aandeel in de samenwerking consequenties zou moeten hebben in de beoordeling, zoals ook blijkt uit deze uitspraak van één docent: “De leerling die de kar trekt, die gaat een hoger cijfer krijgen.” De problemen met het gewicht van de samenwerking in het eindoordeel wordt misschien wel het beste verwoord door één docente die het probleem als volgt samenvat: “Omdat ik niet altijd kan zien hoe iemand werkt. Iemand kan ook in zijn hoofd werken. Iemand kan ook langzamer werken. Iemand kan ook een hele andere groepsfunctie hebben: die kan veel inspiratie en mensen sturen en verder niets doen. Dus dat is een ingewikkeld dilemma.” Zij geeft daarnaast aan dat ze bijvoorbeeld de werkhouding van leerlingen in het examenjaar officieel niet mag beoordelen. Deze uitspraak is opvallend in relatie tot die van een docente die aangeeft juist meer te verlangen van de werkhouding bij leerlingen in het examenjaar: “Dan ben je van te voren ook veel duidelijker over de criteria waarvan je wilt dat het werkstuk aan voldoet. En wat dan anders is, is dat ik bij een 4-vwo groep dan meer verwacht: dat zij meer eigen keuzes maken en meer eigen initiatief tonen.” Een andere docent vindt dat een groepsopdracht nooit voor teveel percentage kan meetellen in je eindcijfer, omdat de samenwerking volgens hem niet valt te controleren en te coachen.

INZET De helft van de docenten kijkt naar de inzet van individuele leerlingen. Twee docenten zijn van mening dat de kwaliteit van het werkstuk afhangt van de aandacht die een leerling hieraan besteedt. Specifiek letten zij op de energie en inspanning leerlingen in een opdracht stoppen, daarbij rekening houdend met de capaciteiten van de betreffende leerling: “Natuurlijk zal diegene zonder enige kwaliteit nooit een 9 halen, maar toch ga je kijken naar wat heeft die (leerling) geprobeerd, gepresteerd en niet heel koud alleen naar wat is het product.” Daarnaast blijkt uit een uitspraak van de derde docent dat gebrek aan inzet ook mee kan wegen: “Iemand kan nooit iets doen en de laatste les een perfect filmpje in elkaar zetten, maar dan heb ik toch niet de neiging om dat perfecte filmpje een 9 te geven. Want die heeft de hele tijd de kantjes ervan afgelopen.”

PRESENTATIE Opvallend is dat slechts twee docenten de presentatie laten meewegen in de beoordeling van het product. Het betreft hier in een geval de vertoning van video’s op een filmfestival die binnenschools is georganiseerd en mede door externe deskundigen wordt beoordeeld. En één docent heeft aangegeven dat hij meer zou willen inzetten op de beoordeling van de presentatie in de toekomst. De helft van de docenten laten leerlingen ter reflectie zelf een beoordeling maken, waarvan twee docenten deze zelfbeoordeling specifiek benoemen. Een docent zegt: “De presentaties; daar maak ik speciale formulieren voor. Dan is de afspraak dat iedereen die meer dan anderhalve punt met mijn cijfer verschilt, die tel ik niet mee. Want anders krijg ik ontzettend veel vriendjes die een 9 geven. Maar dat werkt.” VORM

15

De meeste docenten geven qua vorm van beoordeling een cijfer voor de opdracht. Er is één docent die met een vierpuntsschaal een onvoldoende, voldoende, goed of uitstekend hanteert, mede omdat er vanuit de schoolvisie geen cijfers worden gegeven. Een docent benoemt specifiek dat hij een cijfer geven “als een laatste stap ziet in dat een vak professioneel wordt” en vindt het belangrijk dat je een cijfer kunt onderbouwen. Dat laatste vinden meer docenten. Wat naar voren komt uit de interviews is dat de beoordeling, het cijfer of de (on)voldoende, bij de meesten tot stand komt door per onderdeel of criterium in de opdracht punten toe te kennen. Er is sprake van een analytische wijze van beoordeling. Zo zegt een docente: “Ik vind het wel belangrijk dat ze zien hoe hun cijfer is opgebouwd, dus ik geef op die analytische wijze per criterium een aantal punten." Er wordt zowel op product-criteria als op procescriteria beoordeeld binnen het eindproduct. Een enkeling hanteert een holistische wijze van beoordelen, waarbij alleen naar het totaal wordt gekeken, zoals blijkt uit de uitspraak van een docent: “Uiteindelijk krijgen ze alleen een cijfer.” Eén docent vindt dat je het product niet apart kunt beoordelen: “Het product is het resultaat van alle kleine opdrachtjes samen, zoals je ook een praktische opdracht (PO) beoordeelt.” RUBRICS De manier waarop de docenten hun beoordeling of beoordelingscriteria naar hun leerlingen duidelijk maken, verschilt per docent. Een van de opties is het gebruik van een ‘rubric’ (beoordelingsmodel), zoals een docent hanteert: “De punten (in de rubric) zijn altijd vooraf duidelijk voor de leerling.” Terwijl een andere docent liever geen rubric gebruikt: “Geen schema’s waarin ze zichzelf dan terug kunnen vinden." Drie docenten geven aan dat zij de rubric hanteren als een middel bij het beoordelen. Zo zegt een docente: “De beoordeling zit soms in de rubric. Dat een leerling de rubric kan gebruiken en elk onderdeeltje wat in de film moet zitten, dat-ie dat kan afstrepen.” Zij laat wel doorschemeren hier niet zo consequent mee om te gaan. “Ik heb - om heel eerlijk te zijn - deze rubric een beetje losgelaten. Dus ik heb stiekem een klein beetje mijn eigen rubric ervan gemaakt.” Eén docent voegt bij de rubric ook een geschreven beoordeling toe: “Ze krijgen van mij altijd nog een geschreven beoordeling. Met alle punten die ik sterk vind aan het werkstuk. Dat geschreven gedeelte is een meer een verhaal van wat ik van hun werkstuk vind en wat ik van het proces vind.” Dit kan zorgen voor nuancering of uitleg bij het cijfer of de gegeven punten.

NORMERING Uit de interviews met de docenten blijkt dat verschillende normen worden gebruikt om tot een beoordeling te komen. Zo worden bijvoorbeeld de groepsnorm, de norm van de jaargroep, die van collega’s, de docent zelf of het gevoel genoemd dat de norm bepaalt. Vier docenten geven in de interviews aan een groepsnorm te hanteren (norm referenced). Hierbij worden bijvoorbeeld de werkstukken naast elkaar gelegd om vervolgens te bepalen waar de grens ligt van een voldoende en onvoldoende (cijfer). Zo beschrijft een docent: “Ik moet eerst een beeld hebben van het geheel en dan neem ik een ijkpunt. Dan zeg ik van nou, dit vind ik de onderkant en die onderkant dat vind ik echt een onvoldoende bijvoorbeeld.

16

En dan in stapjes gaat het omhoog.” Hij merkt ook dat als je de leerlingen het zelf op volgorde laat leggen, dat ze ook op de volgorde uitkomen die jij zou kiezen. Omdat de groep van hem dezelfde lessen krijgt, vindt hij dat hij de groep aan elkaar moet relateren. Een andere docent vindt een groepsnorm fijn werken, omdat zij hiermee kan laten zien waarom de ene beoordeling hoger uitpakt dan de andere: "Door het naast elkaar te leggen en te zeggen nou, zie je, daar en daar, die finesse, is net, dat is wat het net iets beter maakt.” Naast een groepsnorm, die kan worden gehanteerd, geven vier docenten aan rekening te houden met de norm van de jaargroep. Het verwachte niveau bij de jaarlaag speelt dan een rol. Zo zegt een docent: "Criteria zijn afhankelijk van de soort opdracht en ook van welke jaarlaag natuurlijk”. Hij geeft daarbij aan dat leerlingen in de bovenbouw pas gekaderde opdrachten krijgen, omdat dit moeilijker is: “Na de derde, vierde en door, dan ga ik het wel verlangen. Dus dan moeten ze zelf in kunnen zien dat ook als ze een gekaderde opdracht hebben hoe vrij ze nog zijn." Een andere docente zegt dit in iets andere bewoordingen, maar ook zij laat blijken uit haar antwoord dat in de onderbouw een bepaalde basis wordt aangeleerd die zij in de bovenbouw nog steeds inzetten alleen komt dan een stukje vrijheid en creativiteit erbij: "Voor brugklassers (zijn de beoordelingscriteria) dus heel specifiek. Wil ik ze zo specifiek mogelijk hebben eigenlijk. Want ik denk dat je in de brugklas en misschien in de tweede ook wel, daar leg je een basis en als die basis eenmaal goed zit, dan kunnen ze wat meer vrijheid krijgen en dan zelf ontdekken." Ze merkt wel dat leerlingen in de onderbouw aan zoveel moeten denken in een opdracht met maar weinig tijd, dat veel intuïtief gebeurt: “En dat vind ik ook niet slecht, dat vind ik ook wel goed. Wat maakt eigenlijk uit? Dit is allemaal misschien net iets te uitgebreid voor een brugklas-opdracht. Als ze al iets gedaan hebben, helemaal geweldig en dat komt dan later wel als ze wat ouder zijn." En weer een ander vertelt dat zij iets ‘extra’s’ verwacht in de bovenbouw, namelijk eigen keuzes maken en meer initiatief tonen. Eén docent geeft aan dat hij er in principe van uit gaat dat alle leerlingen, ongeacht wat ze kunnen, in staat moeten zijn om een goede beoordeling voor een opdracht te halen.  Ook hij laat doorschemeren dat opgedane kennis in een eerder jaar moet worden meegenomen naar de bovenbouw. Hij hanteert een lijst met criteria in de onderbouw en deze criteria moeten zonder uitzondering in de bovenbouw aanwezig zijn in een werkstuk (criterion referenced). Hij geeft als voorbeeld een leerling die een stop-motion filmpje maakt en niet goed op zijn achtergrond gelet heeft, dan wordt die bovenbouw leerling daar extra zwaar op afgerekend. Verder zegt hij dat de norm meer gerelateerd is aan het onderwijsniveau: “De norm zoals we die vaststellen, is een norm waarvan je zegt: dat kun je redelijkerwijs verwachten van iemand die in 3 atheneum zit.”

SAMENSPRAAK De norm wordt soms vooraf in samenspraak met een collega bepaald. Vier van de zes docenten heeft gezegd dit regelmatig te doen. Zo zegt een docent dat, wanneer er een opdracht van een collega wordt uitgevoerd, deze opdracht en criteria met collega’s besproken worden en eventueel worden aangepast. Ook GS bepaalt samen met de sectie de beoordelingscriteria en ze proberen dan bij beoordelen zoveel

17

mogelijk op een lijn te zitten. In een ander interview zegt een docent ook te overleggen met haar collega, maar bij de opdracht ‘documentaire maken over een wereldreligie’ vond ze dat lastig: “Ik heb helemaal geen ervaring met documentaires of filmpjes. Echt helemaal niets. Dus voor mij was het zo'n onbekend terrein dat ik het heel lastig vond hier iets over te zeggen op voorhand.” Eén docente had eerst wel een collega om te overleggen, maar na splitsing van de school is zij nu de enige AV-docent. Ze vond het eerst heel prettig om vooraf te kunnen overleggen over de beoordelingcriteria en de beoordeling van de werkstukken te kunnen doen in samenspraak. Dit kwam de betrouwbaarheid van de beoordeling ten goede, doordat zij er ‘met een frisse blik’ naar kon kijken, maar dat kan nu niet meer. Ook een andere docent zonder vakcollega zegt het jammer te vinden dat hij alleen is, omdat hij dan niet kan ‘sparren’. Hij bepaalt nu voornamelijk zelf de norm. Twee van de geïnterviewde docenten geven aan hun eigen norm te hanteren en weleens bij te stellen als zij dat nodig vinden. Zo past een docent bijvoorbeeld weleens een rubric bij, een schemaatje aan of voegt extra bonuspunten als dit ervoor zorgt dat het (gemiddelde) cijfer dan beter klopt. Ook de andere docent stelt haar eigen norm weleens bij: “In eerste instantie was het idee dat het al helemaal vast stond. Dat bijvoorbeeld bij het gebedshuis filmen een detail gefilmd moest worden en een totaal. Maar uiteindelijk heb ik dat bijvoorbeeld losgelaten en gedacht: nou 3 verschillende shots, dan is het al goed.” Daarentegen zeggen twee andere docenten, ondanks het niveau van de groep, altijd hun eigen norm aan te houden, waarbij één docent als voorbeeld geeft: “Goed gedaan is een 7. Is dat heel mager, dat je zegt van ja, nou ja, dan is het een 6. Maar op het moment dat we extra kwaliteiten gaan zien, dan gaat het cijfer verder omhoog, dan kan je een 8, een 9 halen. Dat is een beetje de manier waarop we dat beoordelen.”

BETROUWBAARHEID De helft van de docenten geeft aan dat zij merken dat gevoel kan meespelen bij de norm die zij hanteren. Zij ervaren dit als lastig, omdat het de betrouwbaarheid van de beoordeling kan ondermijnen. Zij gaan hier ieder op eigen wijze mee om. Een docente erkent dat ‘gevoel’ lastig is om te beoordelen, maar dat het er wel is: “Het gebeurt natuurlijk weleens, ik geef ook weleens een 10. Dat heeft heel erg met de opdracht te maken. Op het moment dat je mond openvalt, het filmpje start en je bent echt gewoon door de... dat hoeft geeneens mijn stijl of opvattingen over hoe cinema of video in elkaar gezet worden, maar als het gewoon adembenemend is wat iemand gemaakt heeft, ja als het boeit, als je echt benieuwd bent naar de volgende minuut, dan heeft iemand een goede inhoud weten te maken. En dat kan komisch, tragisch... Dit is echt heel erg lastig om te beoordelen...” Zij is zich ook bewust dat ze weleens aan stemmingen onderhevig is waardoor zij zichzelf vaak afvraagt of het cijfer wel klopt, dat het een 6,7 is en het andere werkstuk een 6,4. Zij zegt ook bewust te zijn van het feit dat als zij over meerdere dagen nakijkt er weleens een strenge dag tussen zit. Daarom stelt zij de vraag ‘klopt dit wel?’ Een docent ziet enerzijds de waarde en anderzijds het gevaar in van gevoel. "Ik denk dat er een klein twistpunt zou kunnen zijn of je kunstvakken tot in de kleinste criteria bot kan slaan.

18

Of het ook een ding is van moet je voelen, raakt je of niet, kwestie van smaak, dat kan een lastig punt zijn.” Een andere docente vindt een ‘gevoelsnorm’ in het algemeen een lastige bij kunstvakken. Zij gaat ervan uit dat er altijd een subjectief element in zit wat je niet kan uitschakelen: "Nee, dat zou voor mijn gevoel niet kloppen. Maar dat kan toch ook niet anders?” Bij een beoordeling vallen haar bepaalde films meer op, doordat er een stukje subjectiviteit bij komt kijken: “Er zijn natuurlijk meerdere films die voldoen aan de eisen zoals ze gesteld worden, maar sommige grijpen je toch ook meer. Ik kan dan wel uitleggen aan ze wat dat is, maar dat is niet goed altijd in zo'n modelletje te vatten.” Zij geeft ook aan dat als criteria niet zo helder gesteld zijn het ook lastig is om het te beoordelen: “Ik heb vooral gekeken naar: past de muziek die jij hebt uitgekozen goed bij de inhoud? Sommigen hadden bijvoorbeeld een flinke housebeat onder een mooi shot van de synagoge gezet... maar dat was ook wel weer heel cool juist, dat gaf ook wel weer iets heel eigens aan het verhaal.” Een bepaald beoordelingscriterium blijkt dan breed interpreteerbaar.

WEGING De wijze waarop docenten het product beoordelen, eventueel in samenhang met het proces en/of de presentatie, en het gewicht dat ze voor verschillende onderdelen hanteren, verschilt per docent. Over het algemeen stellen de bevraagde docenten de beoordeling van het product boven die van het proces. Slechts de helft van de docenten kon een duidelijk antwoord geven op de vraag hoe de verdeling van het gewicht is bij hun beoordeling. Zo leggen twee docenten het zwaartepunt van de beoordeling bij het product, maar noemen hierbij geen weging van de criteria voor het cijfer: “In de beoordeling aan het einde laat ik het proeven (gewoon het doen) minder zwaar wegen dan het eindresultaat, waarin alles bij elkaar moet komen.” Over de beoordeling van het product tegenover het proces stelt één docente een verhouding van 65 punten tegenover 35 punten, maar maakt hierbij de kanttekening: “soms is het fifty-fifty.” Dit geldt ook voor docent die het cijfer middelt op basis van een beoordeling voor het product en een beoordeling voor het proces. Weer een andere docent telt het eindproduct altijd 2x zo zwaar mee als het proces, wat in het besproken voorbeeld een storyboard betreft. Verder hanteert een van deze docenten nog een verschillende weging binnen het product: 35 punten voor de vorm, materialen en technieken tegenover 30 punten voor de inhoud. En daarnaast telt ze het product meestal 2 keer zo zwaar mee als de presentatie. Slechts een van de docenten vindt de weging van het proces belangrijker dan die van het product: “Ik beoordeel nu vooral op inzet.”

BRON Op de vraag of docenten kerndoelen hanteren als bron bij de opstelling van hun beoordelingscriteria, is slechts door één docent concreet bevestigend beantwoord: “Ik gebruik de kerndoelen van beeldende vorming, muziek en drama. Waar ik bijvoorbeeld bij kunst beeldend op let, is dat ik voor de leerlingen, maar ook voor mezelf, een link probeer te leggen tussen die verschillende perioden en onderwerpen in

19

de kunst- en cultuurgeschiedenis die ze behandelen, en wat ze maken als werkstuk.” Zij hanteert geen kerndoelen voor AV hoewel ze die weleens voorbij heeft zien komen, maar als zij met de bovenbouw een animatie-opdracht zou doen, dan zou ze daar wel naar zoeken. Twee docenten hebben aangeven dat zij de kerndoelen wel in hun hoofd hebben of op basis van ervaring kennen, maar ze niet specifiek voor AV hanteren. En een andere docent gaf aan dat hij zich baseert op zijn eigen kennis en werkervaring en wanneer hij de kerndoelen naast zijn beoordelingscriteria zou leggen, dat die wel overeen zullen komen. Aansluitend hierop heeft één docent aangegeven dat, hoewel hij de kerndoelen heel breed vond, hij wel de intentie heeft zijn beoordelingscriteria hieraan te relateren, maar nog niet zover is. Hij baseert zijn criteria nu op zijn opleiding en het boek ‘Films maken’ van Roemer Lievaart. En één docente gaf aan wel een lijst met criteria in haar hoofd te hebben, maar eigenlijk niet van het bestaan van kerndoelen af te weten: “De bron die ik gebruikt heb, is mijn collega's hier zo.”

STANDAARD MODEL Alle zes de docenten hebben uitlatingen gedaan over of een model (waar de beoordelingscriteria in vaststaan) voorkeur zou hebben of niet. Een docent heeft aangegeven dit persoonlijk niet nodig te hebben, maar hij ziet dat als er een format is waaraan je je aan kan vasthouden dat dit waarde kan hebben. Ook zegt hij dat hij het fijn vindt dat als je informatie aan het zoeken bent en dit aansluit bij je eigen denkbeeld dat dat alleen maar fijn is. Hij denkt dat iedereen behoefte heeft aan een standaard model. Dit model wil hij kunnen bijstellen net als een andere docent, die zegt: “Ik ben wel iemand die dat soort dingen heel prettig vindt. Wel zolang je er zelf nog aan kan sleutelen. Ik wil graag eerst duidelijkheid en eerst allerlei criteria en dan aan de slag. Dan kan je creativiteit erop loslaten. Zo werk ik.” Twee docenten vragen om specifieke criteria op te nemen in het model. Een andere docent zou de groepsopdracht meer individueel willen beoordelen, dat je binnen een groepsopdracht toch criteria hebt om iedereen individueel te beoordelen. Verder vindt één docent het interessant als er criteria in staan over de component muziek en geluid en ook over techniek.

20

Conclusie (antwoord op onderzoeksvraag, discussie) Het blijkt dat docenten in het VO de specifieke kenmerken van audiovisuele (4D) werkstukken op een verschillende manier beoordelen. Zowel de criteria bij het product, het proces en de presentatie worden op andere wijze ingevuld en beoordeeld. Het onderzoek laat zien dat docenten zelf een keuze maken in welke specifieke kenmerken zij bij de opdracht beoordelen. Ook komt uit het onderzoek naar voren dat de vorm van de beoordeling, de norm die bij de beoordeling gebruikt wordt en het gewicht wat aan onderdelen gehangen wordt van de docent afhankelijk is.

PRODUCT Uit de interviews blijkt dat docenten vrijwel dezelfde criteria benoemen, die bij zij van belang vinden bij de beoordeling van het product, maar dat zij het gewicht van de belangrijkste onderdelen, vorm, inhoud en techniek, verschillend benaderen. Wanneer bijvoorbeeld het idee achter het werkstuk als heel goed wordt beschouwd zijn er docenten die de inhoud verkiezen boven de vorm. Daarentegen wanneer er veel aandacht is besteed aan de vorm, kan de inhoud van het werkstuk ondergeschikt raken bij de beoordeling. In sommige gevallen, waarbij alleen formeel is afgevinkt of bepaalde technieken in een werkstuk zijn gehanteerd, is in de ogen van de docent aan de eisen van de opdracht voldaan. Dit toont aan dat de onderdelen vorm, inhoud en techniek niet consequent in samenhang worden benaderd bij de beoordeling van het product. In vergelijking tot de onderzochte literatuur, met betrekking tot de beoordeling van audiovisuele werkstukken, wordt slechts een deel van de criteria behandeld. Bij de montage van een video zijn specifieke beeldende aspecten met betrekking tot tijd, ritme en herhaling bijvoorbeeld niet genoemd door de geïnterviewde docenten. Ook wordt in de video’s waarin leerlingen acteren, bijvoorbeeld niet beoordeeld op de attributen, kleding, haardracht en make-up. Er blijkt geen overeenkomstige wijze van beoordelen door de verschillende docenten die zijn geïnterviewd. Dit hangt ook samen met de problemen die sommige docenten ondervinden bij de inzet van de technische middelen en mogelijkheden. Zodra problemen met de techniek zich voordoen, zijn de docenten geneigd om hier rekening mee te houden bij de beoordeling en het gewicht te verschuiven naar de onderdelen vorm of inhoud.

PROCES De meeste criteria die door de docenten worden genoemd bij de beoordeling van het proces zitten in de voorbereidings-, uitvoerings- en reflectiefase. De receptieve kernvaardigheid blijkt in het algemeen van ondergeschikt belang te zijn bij de beoordeling van audiovisuele werkstukken. Slechts één docent verwacht dat leerlingen op basis van een receptieve fase bepaalde beeldende aspecten verwerken in hun werkstuk en twee andere docenten verwachten dat leerlingen zich oriënteren middels een research dat zij zelf doen. De andere docenten beoordelen dit niet. Vrijwel alle docenten vinden het heel belangrijk dat leerlingen hun keuzes kunnen onderbouwen tijdens de uitvoeringsfase, maar dit proces blijkt nauwelijks

21

te worden vastgelegd middels een verslag, logboek of dummy. Daarbij wordt dit in de beoordelingscriteria door docenten niet specifiek benoemd. Alle docenten hebben aangegeven dat het proces in meer of mindere mate deel uitmaakt van de beoordeling, maar een concrete uitwerking blijkt vaak achterwege te blijven. Zo blijkt de beoordeling van het proces vaak geïntegreerd met de beoordeling voor het product. Het komt zelfs voor dat de inzet tijdens het proces als meest belangrijke aspect wordt beoordeeld en de docent het product als ondergeschikt beschouwd in het eindoordeel. Daarnaast speelt de inzet en het aandeel van individuele leerlingen in de samenwerking bij groepsopdrachten een belangrijke rol. De beoordeling van de samenwerking bij dit soort opdrachten wordt door alle docenten als moeilijk ervaren. Met name het aandeel van individuele leerlingen in het groepsproces vinden zij lastig om te benoemen en te beoordelen, terwijl ze het erover eens blijken te zijn dat een onevenredig aandeel in de samenwerking consequenties zou moeten hebben in de beoordeling. De beoordeling van het aandeel pakken zij op een verschillende manier aan. De leerlingen die een groter aandeel hebben in de samenwerking krijgen soms extra punten en leerlingen die een kleiner aandeel hebben, krijgen soms puntenaftrek.

PRESENTATIE Aan het presenteren van werkstukken wordt door maar door twee docenten aandacht besteed. In deze gevallen dient de presentatie ter reflectie op de gemaakte werkstukken, die mede wordt beoordeeld door externe experts of door de leerlingen zelf. Evenals bij het proces vinden de docenten het hierbij belangrijk dat de leerlingen tijdens de presentatie kunnen beargumenteren of een werkstuk aan de gestelde beoordelingscriteria voldoet. Slechts één docent laat de argumentatie van leerlingen tijdens de presentatie meewegen in het eindoordeel. De vorm van de presentatie op zich wordt ook door slechts één docent beoordeeld, waarbij het voor de helft meetelt ten opzichte van het product.

VORM De meeste docenten geven de voorkeur om de opdracht met een cijfer te beoordelen. Hierbij maken zij vaak gebruik van een analytische wijze van beoordelen. Zowel productcriteria als procescriteria worden gehanteerd in de beoordeling van het eindproduct. Het blijkt dat de meeste docenten de voorkeur geven aan een beoordelingsmodel waarin specifieke criteria staan vermeld. Twee docenten doen dit in de vorm van een ‘rubric’ en anderen hebben het over een lijstje met punten of een afvinklijst. De rubric blijkt in beide gevallen nog onvoldoende uitgewerkt of tijdens het proces aan verandering onderhevig. Docenten vinden het lastig om de criteria in een model te vatten die recht doet aan de meerwaarde die volgens hen inherent is aan ‘kunst’.

 

 

22

BRON Alle zes de docenten zien de meerwaarde in van een standaard model (met beoordelingscriteria voor audiovisuele werkstukken), wat ze zouden kunnen gebruiken bij de beoordeling van audiovisuele werkstukken. De meeste docenten geven aan dat zij dit model wel willen kunnen aanpassen naar eigen inzicht. Er is behoefte om de specifieke medium eigen beoordelingscriteria hierin op te nemen en ook te kijken naar hoe je het individu kan beoordelen binnen een groepsopdracht. Verder blijkt uit de gegevens dat de kerndoelen die algemeen gelden voor de kunstvakken door slechts één van de docenten concreet gehanteerd worden bij de opstelling van een beoordelingsmodel. De meeste docenten hebben aangeven dat zij de kerndoelen wel in hun hoofd hebben of op basis van ervaring kennen, maar dat ze die niet specifiek voor audiovisuele werkstukken hanteren.

NORM Uit de interviews met de docenten blijkt dat verschillende normen worden gebruikt om tot een beoordeling te komen. Hierbij worden met name de groepsnorm en de norm van de jaargroep gehanteerd. De groepsnorm wordt meestal bereikt door de werkstukken aan het eind van de opdracht met elkaar te vergelijken. De meeste docenten houden ook rekening met het niveau van de jaargroep en verwachten meer van de leerlingen naarmate zij in de bovenbouw komen, maar blijken daarbij geen overeenkomstige doelen te hanteren. Docenten letten dan bijvoorbeeld vooral op de keuzes die leerlingen maken, het initiatief dat zij nemen, de kwaliteit van het product of de creativiteit waarmee zij bij een meer gekaderde of juist vrije opdracht omgaan. Hoewel de meeste criteria in samenspraak met vakcollega’s worden opgesteld, hebben twee docenten aangegeven de norm weleens bij te stellen als zij dat nodig vinden hun eigen norm te hanteren. Bijvoorbeeld wanneer het gehanteerde beoordelingsmodel tot een ander cijfer leidt dan zij van tevoren in hun hoofd hadden. Opvallend is dat hierbij vaak het gevoel van de docent meespeelt. Docenten erkennen dat het de betrouwbaarheid niet ten goede komt, maar kiezen er vaak toch voor om op basis van gevoel of ervaring een cijfer bij te stellen.

WEGING Uit de gegevens blijkt geen eenduidigheid over de verdeling van het gewicht in het cijfer voor de onderdelen product, proces en presentatie. Over het algemeen stellen de bevraagde docenten de beoordeling van het product boven die van het proces. Het proces maakt vaak onderdeel uit van de beoordeling van het product, waarbij de inzet of het aandeel van een leerling in de samenwerking wordt meegewogen, waardoor het gewicht per onderdeel vaak onduidelijk blijft. Bij alle docenten wisselt de verdeling van het cijfer per onderdeel ook per opdracht, waarbij het proces soms voor de helft meetelt ten opzichte van het product of soms voor een derde. In één geval blijkt de inzet het grootste gewicht te hebben in de totstandkoming van het cijfer. Slechts één docente weegt naast het proces de presentatie van het product mee in het eindcijfer.

23

Aanbeveling en discussie Uit de conclusie blijkt dat docenten behoefte hebben aan medium (AV) specifieke criteria uiteengezet in een standaard model. De meeste docenten geven hier de voorkeur aan om tot een betrouwbare beoordeling te kunnen komen, zolang de mogelijkheid bestaat om het naar eigen inzicht aan te passen. De vrijheid om het te kunnen aanpassen staat echter haaks op de functie van een eventueel standaard model. De vraag is dan ook of het zinvol is een standaard model te ontwikkelen, als kunstvakdocenten de neiging hebben op basis van gevoel het cijfer voor een werkstuk aan te passen. De redenen om een subjectivief element te laten meewegen in de beoordeling, blijken volgens dit onderzoek te ontstaan op voornamelijk twee manieren: Ten eerste speelt het gevoel van de docent een belangrijke rol in de totstandkoming van het cijfer wanneer bijvoorbeeld een werkstuk er uitspringt ten op zichte van de rest. Er blijkt een verschil te bestaan tussen de intentie die docenten hebben om te gaan beoordelen, waarop ze letten tijdens het proces en wat ze uiteindelijk feitelijk beoordelen aan de hand van het product. Ook kunnen problemen met de techniek ertoe leiden dat bepaalde beoordelingscriteria vervallen en andere hierdoor meer gewicht krijgen. Een standaard model zou voor een groot deel kunnen voorzien in de betrouwbaarheid van deze factor, omdat de criteria voor de beoordeling van audiovisuele werkstukken van te voren bekend zijn, tijdens het proces aangehaald kunnen worden en uiteindelijk getoetst kunnen worden. Tevens zal de verdeling in het gewicht tussen proces, product en presentatie door verschillende docenten evenredig kunnen worden beoordeeld. Ten tweede kan het aandeel in de samenwerking van invloed zijn op het cijfer van de individuele leerling een groep. De mate waarin dit consequenties heeft voor het cijfer blijkt niet van tevoren te worden vastgelegd door docenten en verschilt per docent en situatie. Of het standaard model in deze vaak voorkomende gevallen zou kunnen voorzien, zonder te vervallen in algemeen omschreven criteria die breed interpreteerbaar zijn, is dan ook de vraag. Een afweging zou kunnen zijn om de samenwerking van leerlingen niet mee te wegen in de beoordeling van audiovisuele werkstukken. Op de eerste plaats omdat docenten het lastig blijken te vinden om inzage te hebben in het groepsproces en te kunnen aantonen wat het aandeel is geweest van individuele leerlingen. Als we uitgaan van de kerndoelen voor de kunstvakken, zien we dat leerlingen in de reflectie op het product en proces hun aandeel in de samenwerking kunnen beschrijven. Zolang dit proces wordt vastgelegd in de vorm van een procesverslag, dummy of logboek, zou de docent op basis hiervan kunnen beoordelen hoe het groepsproces is verlopen en op basis van concrete criteria hier een beoordeling aan kunnen geven. In de praktijk blijkt dit nauwelijks te gebeuren. Op de tweede plaats is het de vraag of het het doel met de kunstvakken is om de samenwerking te beoordelen bij groepsopdrachten. De SLO (Een 10+ Beoordelen in het leergebied Kunst en Cultuur, 2006) noemt dat algemene vaardigheden, zoals samenwerken, plannen en organiseren onderdeel kunnen uitmaken bij de beoordeling van het proces tijdens een praktijkopdracht. Echter worden hier geen suggesties bij gedaan

24

hoe je dat als docent het beste zou kunnen beoordelen en in welke mate het samenwerken zou kunnen meewegen in die beoordeling. Naar de noodzaak en vorm van een standaard model zou in dit kader verder onderzoek kunnen worden gedaan.

 

 

25

Literatuur(lijst) Bollegraf,G, Lanschot Hubrecht van,V, 10+ Beoordelen in het leergebied Kunst en Cultuur, SLO, Enschede, 2006 Cassidy,C, Charleroy,A, Dzula,M, Greco,A, A Review of Selected State Arts Standards, New York, 2011 Hottinga,A, Audio-Visuele Vorming - Het gebruik van AV-middelen in sociaal-agogische opleidingen, Baarn, 1997 Rass,A, Concretisering van Kerndoelen, Enschede, 2007 Centrum Beeld & Geluid http://www.beeldengeluid.nl/ Cinekid http://www.cinekid.nl/ Eyefilm http://www.eyefilm.nl/ Frisse Blik http://www.defrisseblik.nl/home/1 Kijk Goed http://www.kijk-goed.nl/ MediaCultuur http://www.mediacultuur.net/ SLO http://www.slo.nl/ Waag Society http://waag.org/nl

26

Bijlage 1 - Onderzoeksinstrument (interview) 3 Topics voor vragen in het interview 1. Welke beoordelingscriteria en beoordelingsvormen hanteert de docent in het algemeen? Beoordelingscriteria 1a. Welke criteria hanteert u bij de beoordeling van een audiovisueel (4D) werkstuk (of praktijkopdracht waarbij moderne media worden ingezet)? Andere vraagstelling: - Welke doelen/eisen stelt u aan een praktijkopdracht BV waarbij moderne media worden ingezet? - Hoe hangen deze doelen/eisen samen met de beoordeling van het audiovisueel (4D) werkstuk? Verdere vraagstelling: - Op welke aspecten let u bij de beoordeling van het beeld? - Hanteert u bij audiovisuele (4D) werkstukken ook beoordelingscriteria die gericht zijn op de audio? Op welke aspecten let u bij de beoordeling van het geluid en/of muziek? - Hanteert u bij audiovisuele (4D) werkstukken ook beoordelingscriteria die gericht zijn op het spel (indien aan de orde)? Op welke aspecten let u bij de beoordeling van het spel? - Op welke aspecten let u bij de beoordeling van het gebruik van de camera? - Op welke aspecten let u bij de beoordeling van de montage? - Op welke aspecten let u bij de beoordeling van de inhoud of boodschap? - Op welke aspecten let u bij de beoordeling van de beleving of doelgroep? - Op welke aspecten let u bij de beoordeling van de stijl of het genre? - Op welke aspecten let u bij de beoordeling van de nabewerking? - Op welke aspecten let u bij de beoordeling van de presentatie? - Op welke aspecten let u bij de beoordeling van de samenwerking? (mits groepsopdracht) 1b. Op welke aspecten van het proces let u bij de beoordeling? Of welke criteria hanteert u bij de beoordeling van het proces? Verdere vraagstelling: - Moeten leerlingen een procesverslag maken? - Wegen bepaalde criteria zwaarder dan andere? - Zijn proces, product en presentatie even belangrijk? 1c. Hanteert u bij audiovisuele (4D) werkstukken andere beoordelingscriteria dan bij 2D of 3D werkstukken? 1d. Hoe specifiek zijn de criteria die u hanteert voor een 4D werkstuk per leeftijdsgroep? Beoordelingsvormen 1e. Hoe beoordeelt u audiovisuele (4D) werkstukken? Met een cijfer, (on)voldaan, verslag, rubric of anders? 1f. Geeft u een waardering per onderdeel/criterium (analytisch) of alleen over het totaal (holistisch)? Beoordelingsnormen 1g. Kunt u iets zeggen over hoe u normen vaststelt? Wanneer is iets voldoende of onvoldoende? Andere vraagstelling:

27

- Hanteert u bij de beoordeling van een werkstuk een groepsnorm? Is een voldoende (mede) afhankelijk van hoe de rest van de klas het maakt of houdt u rekening met de individuele leerling (dus hoe iemand eerder heeft gepresteerd, of iemand veel of weinig vooruit gaat etc.)? Of zijn er ‘objectieve’ normen die voor iedereen gelden (zoals bij rubrics)? 1h. Hoe beoordeelt u de bijdrage van de individuele leerling bij groepsopdrachten met een 4D-component? 1i. Beoordeelt u audiovisuele (4D) werkstukken alleen zelf of laat u de leerling of klas mede het cijfer bepalen? Of mogen ze wel oordeel geven, maar telt niet mee voor cijfer?

2. Waar baseren de docenten hun beoordelingscriteria op? 2a. Welke bron heeft u gebruikt als het gaat om beoordelingscriteria op het gebied van AV? 2b. Heeft u beoordelingscriteria opgesteld in samenspraak met collegakunstvakdocenten? 2c. Heeft u beoordelingscriteria opgesteld op basis van de kerndoelen voor BV, MU, DR? 2d. Heeft u beoordelingscriteria opgesteld op basis van de kerndoelen voor AV?

3. Wat vindt de docent een goede beoordeling van een audiovisueel (4D) werkstuk? 3a. Ervaart u moeilijkheden of problemen bij het beoordelen van een audiovisueel (4D) werkstuk? Verdere vraagstelling: - Zo ja kunt u uitleggen wat die zijn? In hoeverre denkt u dat uw beoordeling valide en effectief is? 3b. Aan welke aspecten zou u meer aandacht willen besteden bij de beoordeling van zo’n werkstuk? 3c. Heeft u behoefte aan een leidraad of model bij het beoordelen van een audiovisueel (4D) werkstuk?

Dataverzameling Interviews, focusgroups, observaties, vragenlijsten, documenten. Data-analyse Hoe je hebt gelabeld en hoe je tot die labels bent gekomen. Deels uit theorie, maar vnl. uit interviews.

28

Bijlage 2 - Labelschema CRITERIA (WAT) #PRODUCT >VORM >ASPECT >SHOT (TOTAAL, MEDIUM, CLOSE-UP) >UITSNEDE (KADRERING) >STANDPUNT >DECOR >MISE EN SCENE >UITVOERING >OPBOUW >TECHNIEK >ASPECT >(ON)SCHERP >BELICHTING >GELUID >MONTAGE >KLEUR >RESOLUTIE >PHOTOSHOP >VERDIEPEN >INHOUD >ONDERWERP >GOED IDEE (CONCEPT) >MUZIEK >PATROON >DOOR JOUW OGEN >SCENARIO >VERHAALLIJN >DIALOOG

29

CRITERIA (WAT) #PROCES >FASE >ORIËNTATIE >PROEVEN >RESEARCH >VOORBEREIDING >STORYBOARD (MAKEN) >SCHETSEN >SCENARIO (SCHRIJVEN) >PLANNEN (DRAAIBOEK) >MOODBOARD (MAKEN) >BRAINSTORMEN (MINDMAP) >KEUZES (MAKEN) >DECOUPAGE >UITVOERING >STANDPUNT (BEPALEN) >KADRERING (BEPALEN) >REFLECTIE >BEARGUMENTEREN >GEEN (TOEVAL/GELUKSTREFFER) >VERSLAG >GEEN >DUMMY >KWANTITEIT >LOGBOEK >SCHETSBOEK >INZET >PRESTATIE >AANDACHT (ZORG) >ENERGIE >SAMENWERKING >AANDEEL #PRESENTATIE

30

CRITERIA (HOE) #VORM >CIJFER >(ON)VOLDAAN >RUBRIC >BESCHRIJVING >ZELFBEOORDELING >ANALYTISCH >HOLISTISCH >COACHING >GESPREK #NORM(ERING) >GROEP (NORM REFERENCED) >JAARGROEP >DOCENT >COLLEGA(E) >EXPERTS >GEVOEL >TECHNIEK (PROBLEMEN) >MODEL (CRITERIUM REFERENCED) >GEWENST >NIET NODIG #BRON >GEEN >WERKPRAKTIJK/ERVARING >EIGEN KENNIS >KERNDOELEN >STAGIAIRES >LITERATUUR >OPLEIDING #GEWICHT >EVENREDIG >VORM EN INHOUD >VERSCHUIFT >PRODUCT >TECHNIEK >KWALITEIT >PROCES >INZET >SAMENWERKING >BEARGUMENTERING >PRESENTATIE >REFLECTIE >VERWERKTE LESSTOF >WEGING ONDERDEEL >EIGEN GESTELDE CRITERIA

31