R&D onderzoeksrapportage Toetsen en beoordelen van leeropbrengsten

R&D onderzoeksrapportage

Toetsen en beoordelen van leeropbrengsten

Guido van Hoek Jannet Maréchal Masja Mesie Mehmet Okuducu Lambrecht Spijkerboer (eindredactie)

Stichting APS is een not-for-profit onderwijsinstituut op het gebied van leren, onderwijsvormgeving, schoolontwikkeling en leiderschap. Via advies, training, coaching, projectleiding, onderzoek en ontwikkeling, werken wij met docenten, leidinggevenden en bestuurders aan duurzame vernieuwing. Onze aanpak is geënt op wetenschappelijke inzichten, deelname aan innovatieprojecten en ervaring in de praktijk van alledag. Het resultaat? Kinderen en jongeren leren hun talenten ten volle te ontwikkelen. Dat is leren inspireren volgens APS.

COLOFON Titel: R&D onderzoeksrapportage Toetsen en beoordelen van leeropbrengsten Auteurs: Guido van Hoek Jannet Maréchal Masja Mesie Mehmet Okuducu (projectleider) Lambrecht Spijkerboer (eindredactie) Uitgave © APS, Utrecht, juni 2014 Deze publicatie is ontwikkeld door APS voor ondersteuning van het regulier en speciaal onderwijs in opdracht van het ministerie van OCW. APS vervult op het gebied van R&D een scharnierfunctie tussen wetenschap en onderwijsveld.

Het is toegestaan om in het kader van educatieve doelstellingen (delen van) teksten uit deze publicatie te gebruiken, te verveelvoudigen, op te slaan in een geautomatiseerd gegevensbestand of openbaar te maken in enige vorm zodanig dat de intentie en de aard van het werk niet worden aangetast. Bronvermelding is in alle gevallen vereist en dient als volgt plaats te vinden: Bron: auteur(s), jaar van uitgave, titel (en ondertitel), publicatie, plaats: naam instituut, (gevolgd door) in opdracht van het ministerie van OCW.

© APS – R&D onderzoeksrapportage Toetsen en beoordelen van leeropbrengsten | 2

INHOUD

Voorwoord

5

1.

Aanleiding, probleemstelling en doel van het onderzoek

7

2.

Onderzoeksvragen

8

3.

Onderzoeksopzet

9

3.1

Typering van het onderzoek

9

3.2

Typering van interventies en instrumenten

3.3

Methode van dataverzameling, eenheden en onderzoekspopulatie

10

en data-analyse

10

3.3.1

Deelonderzoek één: pre-/posttest met vragenlijsten

10

3.3.2

Deelonderzoek twee: studie pre-/posttest met interviews

11

4.

Theoretische onderbouwing

13

4.1

Lagere orde denken en hogere orde denken

13

4.1.1

De taxonomie van Bloom

14

4.1.2

Taxonomie van Romiszowski

16

4.2

Leren 1 en leren 2

18

4.3

Surface en deep approach

19

4.4

Leeractiviteit en complexiteit.

19

4.5

Niveauverschillen

20

4.6

Werking van de hersenen

20

4.7

Toetsen

21

4.7.1

Het maken van toetsvragen

21

4.7.2

Complexiteit in toetsen.

22

4.7.3

Kwaliteitsstandaarden voor toetsen

23

4.7.4

Feedback en reflectie op toetsen

23

5.

Resultaten van onderzoeksvragen

25

5.1. De resultaten van de analyses van de vragenlijsten van docenten

25

5.2. De resultaten van de analyses van de vragenlijsten van leerlingen

26

5.3

Nadere analyse

27

5.4

Analyse interviews docenten

30

5.4.1

Visie

31

5.4.2

Waartoe toetsen?

31

5.4.3

Maken van proefwerken

31

© APS – R&D onderzoeksrapportage Toetsen en beoordelen van leeropbrengsten | 3

5.4.4

Hulpinstrumenten

32

5.4.5

Andere toetsvormen

32

5.5

Conclusies vanuit de interviews docenten

33

5.6

Welke instrumenten helpen docenten om zaken in hun praktijk anders te gaan

doen? 33

4

5.7. Analyse interviews leerlingen

34

5.7.1

Visie

34

5.7.2

Manier van leren

35

5.7.3

Hoe ontstaat het beeld van het vak?

36

5.7.4

In hoeverre test de toets wat je hebt geleerd?

36

5.7.5

Nog enkele opvallende opmerkingen van leerlingen

37

5.8

Conclusies vanuit de interviews met de leerlingen

37

6

Handleiding om hogere denkvaardigheden te toetsen en onderwijzen 38

6.1

SPA

38

6.1.1

Oefening 1

38

6.1.2

Oefening 2

39

6.2

Toetsanalyseformulier voor docenten

42

6.3. Feedbackrapportage

44

6.4. Toetsanalyse door leerlingen (bovenbouw HV)

44

6.5. Toetsscanner

48

6.6. Voorbereidingswijzer

49

6.7. Vragenvoorspeller

50

6.7.1 Variant I

50

6.7.2 Variant II

53

6.8 De koninklijke weg

53

6.9. Begeleiden van leerlingen op het voorbereiden van een toets

55

7.

57

Conclusies en aanbevelingen

Bijlagen: vragenlijsten en interviewopzet

59

Bronnen

65

© APS - R&D onderzoeksrapportage Toetsen en beoordelen van leeropbrengsten

VOORWOORD 2013 was het laatste jaar dat APS onder de wet SLOA onderzoek kon verrichten in opdracht van het ministerie van onderwijs, cultuur en wetenschappen. Dit onderzoeksverslag betreft een kortlopend éénjarig project naar het toetsen van met name hogere orde denkvaardigheden. Met de (her)nieuw(d)e aandacht voor toetsen en toetsresultaten door de overheid (rekentoetsen, SE-CE-verschillen, sturing op opbrengsten, etc.) komt naar voren dat er in toetsinstrumenten een duidelijk onderscheid gemaakt moet worden in reproductieve kennisvragen en vragen waarbij leerlingen moeten laten zien iets met de leerstof te kunnen aanvangen (hogere orde denkvaaardigheden). De gebruikswaarde van kennis in de vorm van productief taalgebruik (spreken, luisteren, lezen, schrijven) of kunnen toepassen van die kennis, is een belangrijke voorwaarde voor het kunnen omgaan met schoolse informatie in een zich snel en voortdurend veranderende werkelijkheid. Leerlingen van nu worden voorbereid op beroepen die we nu nog niet kennen, zijn niet meer zo sterk afhankelijk van parate kennis als in het verleden (omdat veel kennis direct beschikbaar is met hun ict-device). Leerlingen van nu zullen worden uitgedaagd om zich in de toekomst snel te kunnen aanpassen aan de nieuwe eisen van hun tijd. Dat daarvoor kennis onontbeerlijk is, zal blijken, maar zeker de mogelijkheden om kennis te gebruiken is een belangrijke voorwaarde voor succesvol participeren in de samenleving van morgen. Vanaf 2010 worden van een aantal vakken de examenprogramma's voor havo/vwo vernieuwd. De vakkennis moet verder gaan dan het reproduceren van feitenkennis of het aanleren van standaardprocedures; leerlingen moeten de stof diepgaand beheersen en problemen kunnen oplossen (Toetsing en de context-conceptbenadering in het voortgezet onderwijs, SLO 2010). Het is daarom belangrijk dat leerlingen op deze nieuwe examens worden voorbereid gedurende hun schoolcarrière, onder andere doordat zij ook dan al op deze gevarieerde wijze worden getoetst. In het onderhavige onderzoek is daarom het accent komen te liggen op het toetsen van hogere orde denkvaardigheden. Uiteraard mag van een zo’n kleinschalig onderzoek geen grootste resultaten worden verwacht, maar met enige trots presenteren wij hier het resultaat van één jaar werken met 5 VO-scholen en 12 docenten in 30 onderzoeksklassen. Leeswijzer Dit onderzoeksrapport beschrijft de weg die in dit onderzoek is afgelegd. Het eerste hoofdstuk bevat de probleemstelling en het doel van het onderzoek. Het tweede hoofdstuk concretiseert deze probleemstelling in de onderzoeksvragen. In hoofdstuk 3 is een verantwoording van de onderzoeksopzet en de wijze van uitvoering opgenomen. Het resultaat van de literatuurverkenning, met een beschrijving van de belangrijkste definities en relevante literatuur is te vinden in hoofdstuk 4. In hoofdstuk 5 zijn de analyse en resultaten van het vragenlijstonderzoek en de interviews opgenomen. Een handleiding om hogere denkvaardigheden te toetsen en onderwijzen is uitgewerkt in hoofdstuk 6. In het laatste hoofdstuk zijn de conclusies van dit onderzoek beschreven.


5

Dankwoord Onze dank gaat uit naar de betrokken personen van de scholen en bedrijven die een bijdrage hebben geleverd aan dit onderzoekproject: •

Onderzoeksdocenten en leerlingen van het Bonifatius College te Utrecht;

•

Onderzoeksdocenten en leerlingen van het Bornego te Heerenveen;

•

Onderzoeksdocenten en leerlingen van het Maurick College te Vught;

•

Onderzoeksdocenten en leerlingen van het Kennemer Lyceum te Overveen;

•

Onderzoeksdocenten en leerlingen van het Twents Carmel College, locatie Potskampstraat en locatie de Thij te Oldenzaal;

•

Lynn Voogt en Timon Hoitink, onderzoekers van d&b te Nijmegen voor het ontwikkelen van de vragenlijsten en het doen van de statistisch analyses.

Guido van Hoek Jannet Maréchal Masja Mesie Mehmet Okuducu (projectleider) Lambrecht Spijkerboer

6


1.

AANLEIDING, PROBLEEMSTELLING EN DOEL VAN HET ONDERZOEK

Docenten dragen de verantwoordelijkheid voor de kwaliteit van de toets. Slechts weinigen zijn daarvoor opgeleid. Hun kennis over toetsontwikkeling en toetsen is daarom vooral ontstaan door veel (praktijk)ervaring. Niet alle toetsitems/-opgaven en –opdrachten worden door docenten zelf geconstrueerd. Voor het kiezen en analyseren van de geschiktheid van de toetsopdrachten (uit bijvoorbeeld een methode) moet de kennis van docenten over toetsen worden verbeterd. Het maken, aanpassen of zelf construeren van toetsopgaven moet ertoe leiden, dat niet slechts datgene getoetst wordt wat gemakkelijk te toetsen is, maar dat de variatie van toetsing een beter beeld geeft van de leeropbrengsten van de leerling. Voor leerlingen is het verkrijgen van feedback op hun leerproces van belang om te weten hoe en wat zij leren en of dat aansluit bij hun kansen en mogelijkheden voor verdere studie in het vak. Een goede gevarieerde toets die aansluit bij wat leerlingen geleerd hebben, geeft hen daarover een beter beeld. Door gevarieerd te toetsen, wordt een beter beeld verkregen van wat een leerling aan kennis in huis heeft. Hiermee verbetert de voorspellende waarde van toetscijfers, waardoor beter onderbouwde beslissingen kunnen worden genomen over / met de leerling. Als docenten valide en betrouwbare toetsing ontwerpen, kan met meer zekerheid worden vastgesteld dat in toetscijfers gevarieerde leeropbrengsten terug te zien zijn en dat de leerling goed wordt voorbereid op het examen. Bovendien is het voor de leerling belangrijk dat hij/zij het gevoel heeft dat de toets een juist beeld geeft van zijn/haar leeropbrengsten. Daarom zijn ook leerlingen in dit onderzoek betrokken. Het ontwerpen van toetsen op zo'n manier dat de toets aansluit bij de stof, een goed beeld geeft van de kennis van de leerling en valide en betrouwbaar is, is echter niet eenvoudig (Cito, 2011). Het gevolg van eenzijdige toetsing met het accent op reproductieve vaardigheden is dat cijfers op toetsen onvoldoende tot uitdrukking brengen wat leerlingen in de volle breedte aankunnen en dat leerlingen onvoldoende worden voorbereid op het examen. In examens worden voornamelijk integratie- en toepassingsvragen gesteld (hogere orde denkvaardigheden). De vraag is, hoe in bestaande toetsen meer opgaven kunnen worden opgenomen die hogere orde denkvaardigheden toetsen. Ook voor leerlingen is het niet altijd duidelijk waardoor het komt hoe zij scoren en in welke mate dat te maken heeft met hun inspanning, zowel in kwaliteit als kwantiteit. Leerlingen worden soms door eenzijdige aandacht voor reproductieve vaardigheden in toetsing op het verkeerde been gezet. Het doel van het onderzoeksproject is om docenten bewust te maken van het belang van gevarieerde toetsing en te onderzoeken hoe ze hierin kunnen worden ondersteund. Gevarieerde toetsing bestaat uit een goede mix van reproductie- en productievragen, van vragen naar onthouden en begrijpen (oppervlakkig leren), alsook integratie en toepassing van het geleerde (dieper leren). Hiermee wordt niet alleen voor de docent / de school, maar vooral ook voor de leerling zelf een beter beeld verkregen van de leeropbrengsten en kan op basis daarvan de leerling niet alleen beter geadviseerd worden voor een vervolgloopbaan in de school, maar wordt deze bovendien beter voorbereid op het examen, dat immers ook gevarieerde toetsing kent.


7

2.

ONDERZOEKSVRAGEN

Bovenstaande probleemstelling leidt tot de onderzoeksvraag op welke wijze (bestaande) toetsen en toetspraktijken kunnen worden aangepast, zodat er gevarieerd getoetst wordt door hogere orde denkvaardigheden af te wisselen met reproductieve vaardigheden. Dat leidt tot de volgende deelvragen: 2. Vanuit welke visie op leren en op welke manier stellen docenten hun toetsen samen wat betreft de leervaardigheden die worden bevraagd? 3. Welke instrumenten en strategieën kunnen docenten ondersteunen bij het construeren van toetsvragen die hogere orde denkvaardigheden toetsen? 4. Wordt er een verschil ervaren door docenten en leerlingen wat betreft het beeld van de leerling dat de toets geeft vóór en na de aanpassing van de toetsing en zo ja, wat voor verschillen ervaren zij? Enerzijds richt dit onderzoeksproject zich dus op docenten om hen te ondersteunen in het toetsen van hogere orde denkvaardigheden, anderzijds richt dit onderzoek zich op de vraag of toetsen daarmee een beter beeld geven van de leerling en of ook leerlingen dat zullen (h)erkennen.

8


3.

ONDERZOEKSOPZET

In dit hoofdstuk wordt beschreven met welke onderzoeksopzet antwoorden op de onderzoeksvragen zijn gevonden en welke keuzes zijn gemaakt gedurende het onderzoeksproces. 3.1

Typering van het onderzoek

Het vooronderzoek bevat een literatuurstudie. Daarmee is er een onderbouwing van de vragenlijsten, interventies en instrumenten. De eerste deelvraag is onderzocht met een kwalitatief onderzoek. Dit bestond uit het afnemen van semi-gestructureerde interviews aan de hand van een interviewguide door de onderzoekers van APS. Zij hebben de docenten in een individueel gesprek geïnterviewd. Daarnaast zijn per klas drie willekeurig gekozen leerlingen in een groepsgesprek geïnterviewd. De afname vond plaats voor én na het inzetten van de handreikingen en instrumenten voor het construeren van toetsvragen. Tijdens de interviews zijn op een scoringslijst de resultaten gescoord op de standaarden en de deelaspecten daarvan. De scoringslijst is ontwikkeld op basis van literatuur. Onderzoeksvraag twee is onderzocht met een ontwerponderzoek en een kwalitatief onderzoek. Op basis van de literatuur worden handreikingen en instrumenten gemaakt, die docenten kunnen helpen om de eigen toetspraktijk aan te passen en om ook in de les aanpassingen te doen in de wijze waarop leeractiviteiten, de voorbereiding op de toets en het nabespreken van de toets worden gedaan. Het kwalitatieve onderzoek bestaat uit het afnemen van semi-gestructureerde interviews aan de hand van een interviewguide door de onderzoekers van APS. Zij hebben de docenten in een individueel gesprek geïnterviewd. De afname vond plaats voor én na het inzetten van de handreikingen en instrumenten voor het construeren van toetsvragen. Tijdens de interviews zijn op een scoringslijst de resultaten gescoord op de standaarden en de deelaspecten daarvan. De scoringslijst is ontwikkeld op basis van literatuur. Van de docenten die in het onderzoek participeerden, is een aantal bestaande toetsen en hun toetspraktijk geanalyseerd op de leervaardigheden die daarin aan de orde komen. Geselecteerde toetsen zijn daarop door de onderzoekers schriftelijk van feedback voorzien. Een pre-/posttest design was niet mogelijk, omdat docenten in de onderzoeksperiode hun toetsen niet hebben aangepast. Vaak werden toetsen gebruikt die in sectieverband waren gemaakt, of die door een methode geleverd zijn. Onderzoeksvraag drie is onderzocht met een pre-/posttest design. Het onderzoeksinstrumentarium (vragenlijst) is gemaakt op basis van de kennis die is opgedaan in de literatuurstudie. Voorafgaand aan de handreikingen en instrumenten voor het construeren van toetsvragen is een pre-test afgenomen. Aan het einde van de fase, waarin de handreikingen en instrumenten zijn ingezet, is de posttest afgenomen. De onderzoeksgegevens zijn geanalyseerd om zo antwoord te kunnen geven op de onderzoeksvraag. Met leerlinginterviews voor- en achteraf is achterhaald, of zij veranderingen ervaren hebben in de mate waarin docenten hen op hogere orde denkvragen in de toets hebben voorbereid. Dit is een kwalitatief onderzoek, dat bestaat uit het afnemen van semi-gestructureerde interviews aan de hand van een


9

interviewguide door onderzoekers van APS (zie voor verder beschrijving bij typering van deelvraag 1). Gedurende het onderzoeksproces werden de activiteiten, ervaringen en keuzes vastgelegd in een onderzoeksportfolio. Hiermee is het onderzoek in haar uitvoering te volgen. In het onderzoek worden op basis van de onderzoeksresultaten en -ervaringen, waar nodig, de interventies aangepast. 3.2

Typering van interventies en instrumenten

Om de onderzoeksvragen te beantwoorden, zijn interventies zoals handreikingen, instrumenten, werkwijzes én daarbij passende begeleiding ontwikkeld. Deze interventies hebben de volgende kenmerken: a. interventies waarmee de docenten hun eigen attitude/visie op toetsen in beeld krijgen; b. interventies waarmee de docenten vaardiger worden om zicht te krijgen op de opzet van hun eigen toetsen; c. interventies om het toetsdesign aan te passen; d. Interventies om docenten binnen hun vak een gerichte ontwikkelingsaanzet te geven. Voorbeelden daarvan zijn: - toetsen van vaardigheden; - spreekvaardigheid toetsen; - verhogen/verlagen van complexiteit van toetsvragen. e. interventies waardoor leerlingen gericht worden meegenomen in leeractiviteiten, toetsvoorbereiding en toetsnabespreking passend bij de leerdoelen en de toets. 3.3

Methode van dataverzameling, eenheden en onderzoekspopulatie en data-analyse

De twee onderzoeksmethoden vragenlijsten pre-/posttest en interviews pre-/posttest worden hier uitgewerkt op de aspecten: methode van dataverzameling, eenheden en onderzoekspopulatie en data-analyse.

3.3.1

Deelonderzoek één: pre-/posttest met vragenlijsten

In dit deelonderzoek zijn vijf VO-scholen betrokken en in ieder van deze scholen twee à drie docenten. Dat levert wat betreft de onderzoekseenheid docenten maximaal vijftien docenten op. De vragenlijsten zijn door omstandigheden uiteindelijk afgenomen bij twaalf docenten. Wat betreft de onderzoekseenheid leerlingen: ieder van de onderzoeksdocenten heeft met twee klassen deelgenomen. Uitgaande van een gemiddeld aantal leerlingen in een klas van 25, levert voor de onderzoekseenheid leerlingen maximaal zeshonderd (12x2x25) leerlingen op, die meedoen aan het onderzoek. In de analyse zijn de vragenlijsten meegenomen van klassen waarvan is vastgesteld dat er ook werkelijk interventies zijn uitgevoerd door de docent. Uiteindelijk zijn de pre-/postvragenlijsten van achttien klassen geanalyseerd. Doordat in het nieuwe schooljaar mutaties zijn geweest in de klassen, zijn per klas minder leerlingen in de nameting meegenomen. Hoeveel per klas minder leerlingen, wisselt per klas. Gezien het aantal leerlingen, die met naam te achterhalen zouden moeten zijn, bleek het niet mogelijk een aparte analyse te maken van de groep leerlingen die zowel aan de vóór- als aan de nameting hebben deelgenomen. In de analyses zaten meer dan genoeg leerlingen om een statistische betrouwbare wetenschappelijke analyse uit te voeren voor vergelijking als groep.

10


Het volgende onderzoeksinstrumentarium is in samenwerking met onderzoeksbureau d&b te Nijmegen ontwikkeld: •

vragenlijst toetsen voor leerlingen;

•

vragenlijst toetsen voor docenten.

De vragenlijst voor docenten bestond uit zestien stellingen over hun eigen toetspraktijk en werkwijze als docent. De docenten gaven antwoord op een zevenpuntsschaal. Twaalf docenten hebben de vragenlijst ingevuld in zowel de pre- als de postmeting. De vragenlijst voor leerlingen bestond uit acht stellingen over hun docent en tien stellingen over hun eigen werkwijze tijdens de lessen van hun onderzoeksdocent. Ook de leerlingen gaven antwoord op een zevenpuntsschaal. 607 Leerlingen hebben de vragenlijst ingevuld in de premeting en 417 leerlingen deden mee in de postmeting. Het verschil laat zich verklaren door klassen die uit het onderzoek zijn gevallen, omdat de docent na de zomervakantie die klassen geen les meer gaf. De vergelijking tussen pre- en postmeting is derhalve gedaan op de 417 leerlingen die in beide metingen mee deden. In tegenstelling tot bij de docenten, zijn er wel genoeg data van leerlingen om statistische analyse uit te voeren. Deze analyse, alsmede de resultaten uit het vragenlijstonderzoek, is in hoofdstuk 5 opgenomen. De docenten die de vragenlijst hebben ingevuld zijn zowel in april / mei 2013 als in oktober/november 2013 bevraagd. De leerlingen hebben de vragenlijst ingevuld in april/mei 2013 en (rekening houdend met de mutaties) in oktober/november 2013. De scores op de vragenlijsten zijn statistisch geanalyseerd door onderzoeksbureau d&b te Nijmegen. De items op de vragenlijsten zijn beoordeeld op betrouwbaarheid door middel van de homogeniteitcoëfficiënt alpha (α). De vragenlijst voor leerlingen heeft een alpha van 0,824. Dit betekent dat de scores op de verschillende vraagitems hoog met elkaar samenhangen. Dat betekent dat de interne consistentie voldoende is om de resultaten van het onderzoek te gebruiken voor het trekken van conclusies. Door factoranalyse is geconstateerd dat er geen groepjes vragen anders beantwoord worden dan andere groepjes vragen.

3.3.2

Deelonderzoek twee: studie pre-/posttest met interviews

In dit deelonderzoek zijn dezelfde vijf scholen betrokken. Dat levert wat betreft de onderzoekseenheid docenten twaalf docenten op. Wat betreft de onderzoekseenheid leerlingen: uit iedere deelnemende klas zijn interviews gehouden met groepjes van drie tot vier leerlingen. In totaal is in voorjaar 2013 met twaalf groepjes leerlingen en in najaar 2013 met tien groepjes leerlingen uit de onderzoeksklassen gesproken. Het volgende onderzoeksinstrumentarium is gebruikt: •

semi-gestructureerd interview leerlingen;

•

semi-gestructureerd interview docenten.

De interviews van zowel de leerlingen als de docenten bestonden uit een aantal gespreksvelden met richtvragen.


11

Om de data van de interviews vast te leggen is gebruik gemaakt van een scoreformulier waarop per richtvraag een score (bijvoorbeeld 0, 1, 2 of 3) gegeven kon worden. Op het scoreformulier konden per vraag opmerkingen/toelichtingen worden gegeven. Daarnaast is op het scoreformulier ruimte om aantekeningen te maken op andere vragen, die tijdens het interview gesteld zijn. De interviews zijn bij dezelfde docenten gehouden. De leerlingen die zijn bevraagd in interviews, kwamen bij beide interviews uit de onderzoeksklassen, maar dat waren niet noodzakelijkerwijs dezelfde leerlingen. De interviews zijn zowel kwantitatief gescoord als kwalitatief vastgelegd. De kwantitatieve data zijn, waar mogelijk, statistisch geanalyseerd. De kwalitatieve data zijn inductief geanalyseerd. In hoofdstuk 5 is een meer uitgebreide verantwoording van de werkwijze opgenomen.

12


4. THEORETISCHE ONDERBOUWING Leren is een complex geheel en leren kan op veel manieren. Wanneer er geleerd wordt hangt af van veel verschillende factoren en omstandigheden. Iets leren kan betekenen dat je iets onthouden hebt, iets ervaren hebt, iets ontdekt hebt, iets gekoppeld hebt aan andere kennis, iets gecreëerd hebt, iets geëvalueerd hebt… Kortom: ‘je hebt iets geleerd’ is voor meerdere uitleg vatbaar. Op school wordt het geleerde op verschillende manieren begeleid en gemonitord. Een zeer gebruikelijke manier om na te gaan wat er geleerd is, is het inzetten van (schriftelijke) toetsen. Om in dit onderzoek begripsverwarring te voorkomen, gaan we nader in op enkele veelgebruikte begrippen wanneer het gaat over ‘toetsen en beoordelen’. Een toets is een leerlingenwerk of -prestatie, waarvoor een beoordeling gegeven wordt. Bij de beoordeling wordt een oordeel gegeven over de kwaliteit van het werk, gemeten aan een vooraf vastgestelde schaal. Het belang van gevarieerde toetsing en kenmerken van gevarieerde toetsing is al in veel onderzoeken naar voren gekomen. Hoe en waarop leerlingen en/of studenten getoetst en beoordeeld worden, bepaalt echter in niet geringe mate de kwaliteit en de opbrengst van het onderwijs (Wilbrink, 2005). In deze theoretische verdieping gaan we in op kenmerken van toetskwaliteit, alsmede de mix van reproductie- en productievragen (beschreven vanuit de begrippen lagere orde en hogere orde denkvaardigheden). 4.1

Lagere orde denken en hogere orde denken

Wanneer we spreken over leren, gaat het vrijwel altijd ook over denken. De termen denkactiviteiten en leeractiviteiten komen veel voor. Verschillende onderwijskundigen hebben deze denk-/leeractiviteiten geordend in verschillende taxonomieën. Vrijwel elke indeling kent een tweedeling als basis, met daarin de volgende begrippen: Lagere orde denken

Hogere orde denken

Begrip

Toepassing

Oppervlakkig leren

Leren met diepgang

Reproductie

Productie

Reproductie

Inzicht

Kennis

Vaardigheden

Surface approach

Deep approach

In dit onderzoek worden de termen van lagere orde denken en hogere orde denken gehanteerd. Het leren en denken om te komen tot leren, kan zich daarnaast ook nog afspelen binnen verschillende domeinen. Waar de meeste taxonomieën (de meest bekende is de taxonomie van Bloom) zich voornamelijk richten op het cognitieve domein, richt de taxonomie van Romiszowski zich op meerdere vaardigheidsterreinen, zowel cognitief, psychomotorisch, affectief als interactief/sociaal. Hieronder worden twee taxonomieën, die van Bloom en die van Romiszowski, verder toegelicht om van


13

daaruit de kaders van het onderzoek ‘toetsen en beoordelen’ aan te duiden.

4.1.1

De taxonomie van Bloom

De taxonomie van Bloom (1968) geeft een indeling van cognities in hiërarchische niveaus, van simpel (kennis) naar complex (evaluatie). Activiteiten met een lage cognitieve belasting worden vertaald als lagere orde denkvaardigheden. Activiteiten met een hoge cognitieve belasting worden hogere denkvaardigheden genoemd. Bloom geeft aan dat een hogere orde denkvaardigheid gepaard gaat met een hogere moeilijkheidsgraad c.q. complexiteit. Volgens Bloom kun je pas bepaalde kennis toepassen, wanneer je daarvoor de zaak, waarover je het hebt, eerst begrepen hebt. En voordat je iets begrijpt, moet je ook iets weten. Om iets te kunnen evalueren (synthetiseren) moet je eerst de zaak weten, begrijpen, kunnen toepassen en analyseren. Vanwege voortschrijdende inzichten is de taxonomie van Bloom (1968) later aangepast door Anderson & Krathwohl (2001). Anderson en Krathwohl hebben in de herziene versie de hoogste denkniveaus verwisseld. Daarin wordt verondersteld dat je eerst iets moet evalueren, alvorens je iets kunt creëren. Onderstaand schema is afgeleid van de taxonomie van Bloom en Anderson en Krathwohl, gebaseerd op het schema in “Flexiblisering van toetsing” (Draaijer, 2004).

Silvester Draaijer (2004) komt met het oog op het formuleren van toetsvragen, die ook voor digitale toetsen geschikt zouden zijn, tot het volgende onderscheid: Kennistoetsen: voornamelijk gesloten vragen gericht op lagere orde denkvaardigheden. Inzichtstoetsen of complexe inzichtstoetsing: gericht op hogere orde denkvaardigheden, kennistoepassing en probleemoplossing (kan in open of gesloten vorm). Vaardigheidstoetsen: gericht op hogere orde (probleemoplossende) denkvaardigheden.

14


Cognitief niveau

Omschrijving

Werkwoorden

Lagere of hogere orde denkvaardigheden

Kennisvragen

Vragen waarbij het voor het

Herinneren

Lagere orde

beantwoorden alleen nodig is

Benoemen

denkvaardigheden

dat de leerling zich bepaalde

Opsommen

zaken herinnert.

Onthouden Herhalen Definiëren

Begripsvragen

Vragen die verlangen dat de

Begrijpen

Lagere orde en hogere

leerling classificeert. Het gaat

Beschrijven

orde denkvaardigheden

om hoofdzaken en bijzaken te

Herformuleren

onderscheiden, verschillen en

Verklaren

overeenkomsten te benoemen,

Samenvatten

voorbeelden geven, een begrip

Identificeren

hanteren, e.d. Toepassingsvragen

Vragen waarbij de leerling voor

Gebruiken

Lagere orde en hogere

de hand liggende regels moet

Uitvoeren

orde denkvaardigheden

toepassen. Hieronder vallen

Oplossen

routineberekeningen, standaard

Demonstreren

oplosmethoden, algoritmen, e.d. Analysevragen

Voor dit soort vragen is het

Vergelijken

Hogere orde

vereist dat de leerling regels

Contrasteren

denkvaardigheden

Vragen die van de leerling iets

Creëren

Hogere orde

van creativiteit vergen: een voor

Ontwerpen

denkvaardigheden

hem nieuwe regel zelf

Componeren

ontdekken of een bekende

Ontwikkelen

regel generaliseren naar een

Combineren

weet te vinden die weliswaar geleerd zijn, maar die bij dit probleem niet voor de hand liggen (of gegeven zijn). De leerling moet de probleemsituatie eerst analyseren, zodat hij kan beslissen welke regels geschikt zijn om erop toe te passen. Synthesevragen

voor hem nieuw toepassingsgebied. Evaluatievragen

Bij deze vragen moet de

Beoordelen

Hogere orde

leerling relevante criteria

Inschatten

denkvaardigheden

ontwikkelen, zoals

Evalueren

bruikbaarheid, wenselijkheid en

Beslissen


15

efficiëntie, en deze kunnen

Bekritiseren

toepassen.

Verdedigen

Anderson en Kratwohl ontwikkelden een tweedimensionale taxonomietabel (Anderson, 2001): Kennis

Cognitieve procesdimensie

dimensie Herinneren

Begrijpen

Toepassen

Analyseren

Creëren

Evalueren

Identificeren

Uitleggen

Uitvoeren

Organiseren

Construeren

Checken

Weergeven

Illustreren

Gebruiken

Plaatsen

Ontwerpen

Beoordelen

Rangschikken Verklaren Vergelijken Concluderen Samenvatten

Feitenkennis Terminologie Details Conceptuele kennis Classificatie Categoriseren Principes Procedurele kennis Vaardigheden Gepaste procedures Metacognitieve kennis Strategische kennis Kennis over cognitieve taken Zelfkennis

4.1.2

Taxonomie van Romiszowski

Romiszowski maakt een onderscheid in kennis en vaardigheden. Onder kennis verstaat hij 'informatie opgeslagen in de hersenen'; kennis heb je of heb je niet. Onder vaardigheden verstaat hij 'acties die een persoon uitvoert om een bepaald doel te bereiken'. Vaardigheden ontwikkelen zich door ervaring en oefening. Je kunt dus in meer of mindere mate over een bepaalde vaardigheid beschikken. 16


Binnen de taxonomie van Romiszowski wordt de volgende indeling gehanteerd: •

feitelijke kennis (F);

•

begripsmatige kennis (B);

•

reproductieve vaardigheden (R);

•

productieve vaardigheden (P).

Kennis wordt door Romiszowski opgesplitst in feitelijke kennis en begripsmatige kennis:

 

Feitelijke kennis: bij feitelijke kennis is het kernwoord 'herinneren' of 'herkennen'. Feiten staan op zichzelf, ze behoeven geen voorbeeld. Deze kennis kan in twee categorieën geclassificeerd worden, namelijk in feiten en in procedures. Begripsmatige kennis: bij begripsmatige kennis is het kernwoord 'inzicht'. Het gaat hier om eigenschappen of denkbeelden, die voorbeelden en tegenvoorbeelden verlangen om hun grens te bepalen. Men kan een onderscheid maken in begrippen en principes.

Romiszowski onderscheidt vier domeinen van vaardigheden:

1. Cognitieve vaardigheden: intellectuele vaardigheden zoals analyseren, hoofd- en bijzaken kunnen onderscheiden, schematiseren e.d. (= denken). 2. Reactieve vaardigheden: gevoelens, attitudes, waarden, kortom het reageren op mensen, gebeurtenissen en objecten (= reageren op). 3. Psychomotorische vaardigheden: lichamelijke vaardigheden als lopen, ruiken, zien e.d. (=handelen). 4. Interactieve vaardigheden: interpersoonlijke vaardigheden, zoals het vermogen tot communicatie, samenwerking e.d. (= communiceren). Op elk van deze vier terreinen kan een onderscheid gemaakt worden tussen reproductieve en productieve vaardigheden: Reproductieve vaardigheden zijn eenvoudige, repeterende activiteiten, die met weinig of geen planning gepaard gaan. Het gaat meestal om standaardprocedures of regelmatig voorkomende handelingen. Productieve vaardigheden doen een beroep op de creativiteit en planningsvaardigheden van de student; ze gaan gepaard met (complexe) beslissingsvorming op bewust (of onderbewust) niveau. De student moet de geleerde informatie spontaan toepassen in nieuwe situaties, waarin niet van tevoren geoefend is. Er moeten nieuwe oplossingen voor nieuwe problemen gevonden worden.


17

Het onderzoek ‘toetsen en beoordelen van leeropbrengsten’ is met name gericht op de schriftelijke toetsen, die leerlingen krijgen na afloop van een lessenserie. We gaan er gemakshalve vanuit dat deze schriftelijke toetsen voornamelijk gericht zijn op het cognitieve domein. Binnen dit cognitieve domein richten we ons op het onderscheid lagere orde denken en hogere orde denken. 4.2

Leren 1 en leren 2

Sebo Ebbens (Ebbens, 2013) onderscheidt oppervlakkig leren (leren 1 genoemd) en leren met diepgang (leren 2 genoemd). Ook hij spreekt over een tweeslag in het leren gebaseerd op het lagere orde denken en het hogere orde denken. Ebbens onderscheidt vier leeractiviteiten, gebaseerd op drie leerfuncties, afgeleid van de leertheorie van Boekaerts en Simons (2003). De drie functies voor het leren zijn: leren gericht op beheersing, leren gericht op beklijving en leren gericht op wendbaar gebruik. Leren 1 (lagere orde denken)  gericht op beheersing. Onthouden Begrijpen

18


Leren 2 (hogere orde denken) Integreren  gericht op beklijving (Creatief) toepassen  gericht op wendbaar gebruik. Onthouden en begrijpen worden gezien als reproductieve leeractiviteiten. Integreren en toepassen als productieve leeractiviteiten. Voor leeractiviteiten passend bij leren 2 is inzicht nodig. De brug tussen leren, gericht op beheersing, en leren, gericht op wendbaar gebruik, is het leren gericht op beklijving. De leeractiviteit integreren vormt daarmee een belangrijke schakel tussen de verschillende leerfuncties. In dit onderzoek wordt naast de tweedeling lagere orde en hogere orde denken ook de indeling van Ebbens gebruikt, afgekort tot OBIT. Echter, het gaat niet om de invulling van deze letters, maar om het onderscheid tussen reproductie en productie. De OBIT-theorie van Ebbens hanteert, in tegenstelling tot de indeling van Bloom geen hiërarchie in de leeractiviteiten. Totaal leren bestaat volgens Ebbens uit zowel leren 1 als leren 2, maar de volgorde van deze activiteiten staat niet per definitie vast. Leerlingen kunnen leren door te beginnen met het onthouden en te eindigen bij het toepassen (dus de lijn van leren 1 naar leren 2), maar het is ook denkbaar dat leerlingen beginnen bij leren 2 om vervolgens iets te kunnen reproduceren (leren 1). Van belang is dat het gaat om zowel leren, gericht op beheersing als om het leren, gericht op wendbaar gebruik. 4.3

Surface en deep approach

Colby en Smith (2007) geven aan dat 64% van de docenten in de VS zich richt op het oppervlakkige leren. Oppervlakkig leren (surface approach genoemd) wordt dan gezien als leren, waarbij de lerende weinig verbintenis heeft met de taak, en gefocust is op het onthouden en reproduceren van simpele procedures. De leerling is gericht op het behalen van een cijfer en minder gericht op reflectie. Leren met diepgang (deep approach genoemd) richt zich op relaties tussen verschillende aspecten van de inhoud, het formuleren van hypotheses of opvattingen over de structuur van een probleem, gekoppeld aan intrinsieke interesse in het leren en begrijpen. Volgens Colby en Smith zou het leren met diepgang centraal moeten staan op plaatsen waar geleerd wordt. Het leren met diepgang komt tegemoet aan een diepgewortelde intellectuele nieuwsgierigheid, daar waar we bij het oppervlakkig leren met name oog hebben voor de extrinsieke motivatie van leerlingen. We zien in de praktijk dat leerlingen in (te) hoge mate gericht zijn op het memoriseren van feitenkennis (oppervlakkig leren). 4.4

Leeractiviteit en complexiteit.

Bij de taxonomieën bestaat er onduidelijkheid over het onderscheid tussen een leeractiviteit en de complexiteit bij deze leeractiviteit. Waar de taxonomie van Bloom spreekt over een hiërarchische indeling van cognitieve activiteiten,


19

onderscheidt Ebbens de complexiteit náást de leeractiviteit. Bij het lagere orde denken, kun je kennis beschouwen als iets weten en begrijpen. Bij het hogere orde denken, kun je deze kennis (wendbaar) gebruiken in andere en/of nieuwe situaties. De lagere orde denkvaardigheden sluiten aan bij het eerder genoemde oppervlakkige leren, surface approach genoemd door Colby en Smith (2007). De hogere orde denkvaardigheden accorderen met het leren met diepgang (‘deep approach’). De complexiteit van deze vaardigheden zien we graag los van de leeractiviteit in dit onderzoek. Dat wil zeggen, dat ook leerlingen met een lager intelligentieniveau, de kennis kunnen leren gebruiken in nieuwe situaties naast het reproduceren van de kennis. Je zou kunnen zeggen: elk jongere leert niet alleen om kennis te hebben, maar ook om iets met deze kennis te kunnen doen. De complexiteit van de lagere en hogere orde denkvaardigheden hangt af van aspecten als:

     4.5

Abstractheid Hoeveelheid te combineren gegevens Formulering Mate waarin een opdracht ‘open’ is … Niveauverschillen

Verschillende niveaus waarop leerlingen in de schoolse context functioneren, worden in beeld gebracht door naar lagere en hogere orde denkvaardigheden te kijken en naar het niveau waarop deze denkvaardigheden worden ingezet. Het gaat dus niet alleen om het type cognitieve actie (leren 1 of leren 2) maar ook om het niveau waarop die cognitieve actie zich afspeelt (Nierop, 2012). (relatief) hoog

(relatief) laag

Leren 1: Onthouden (lagere orde denken) Leren 1: Begrijpen (lagere orde denken) Leren 2: Integreren (hogere orde denken) Leren 2: Toepassen (hogere orde denken) Reproductief leren en inzichtelijk leren (leren 1 en leren 2) zijn op alle niveaus van belang. De complexiteit van elk type leren bepaalt op welk niveau (van vmbo naar vwo) er wordt gewerkt. Leeractiviteiten vinden plaats op alle niveaus: het is dus niet zo dat het leren van lagere denkvaardigheden slechts voor vmboleerlingen is bedoeld en hogere orde denkvaardigheden voor de hogere afdelingen (zoals het havo en vwo). Daarmee zouden we alle leerlingen tekort doen. 4.6

Werking van de hersenen

Wanneer een leerling binnen 18 seconden niet gemotiveerd is om zijn aandacht erbij te houden, dwaalt hij af (Ebbens, 2013). De leeractiviteiten beïnvloeden de werking van de hersenen gedurende het leerproces. Wanneer informatie wordt aangeboden, beslist een leerling in een fractie van een seconde of hij/zij er wel of geen aandacht aan schenkt door deze informatie te filteren en te selecteren. Hersenen zijn bovendien op zoek naar nieuwigheden. Geselecteerde informatie zal vervolgens geordend worden. In het werkgeheugen 20


zal nieuwe kennis gekoppeld worden aan reeds aanwezige kennis (opgehaald uit het lange termijn geheugen). Wanneer de nieuw binnen gekomen informatie goed geordend is in het werkgeheugen (dat zal slechts 24 uur het geval zijn), kan er actieve koppeling plaatsvinden tussen de nieuwe kennis en opgehaalde kennis. Wanneer er bij deze actieve koppeling een nieuw ‘construct’ wordt gevormd, kan deze verankerd worden in het langetermijngeheugen. In het langetermijngeheugen kan informatie op meer dan één plaats opgeslagen worden; daardoor ontstaan netwerken. Een leerling die veel inzicht heeft in een bepaald thema, zal een sterker/groter netwerk hebben gebouwd (meerdere wegen leiden dan naar de opgeslagen kennis). Informatie in het langetermijngeheugen gaat nooit weg, maar soms kan wel de route naar de kennis weg zijn en is de kennis (tijdelijk) niet meer terug vinden. Betekenisvolle informatie en informatie gekoppeld aan een emotie zijn bepalend voor de overgang van het korte termijn- naar het langetermijngeheugen. Het leren gericht op beheersing (leren 1, lagere orde denken) zal over het algemeen minder betekenisvol zijn en minder contextrijk, waardoor het moeilijker in het langetermijngeheugen wordt opgeslagen (tenzij het gepaard gaat met meerdere prikkels, zoals emotie en het gebruik van andere zintuigen). Het leren, gericht op wendbaar gebruik (hogere orde denken) zal in belangrijke mate betekenisvol zijn en om die reden beter kunnen beklijven in het langetermijngeheugen. De focus op het leren met diepgang, de hogere denkvaardigheden is hiermee een voor de hand liggend streven. 4.7

Toetsen

Hoe en waarop leerlingen en/of studenten getoetst en beoordeeld worden, bepaalt in niet geringe mate de kwaliteit en de opbrengst van het onderwijs (Wilbrink, 2005). Het streven naar voldoende hogere orde denkvragen in een toets sluit aan bij de bovenstaande onderbouwing over leren, taxonomieën en de werking van de hersenen. Wanneer leerlingen meer vragen aan kunnen, die gericht zijn op het beklijven en wendbaar gebruiken van kennis, is de kans groter dat het geleerde ook op een later moment nog opgevraagd kan worden. Wanneer we spreken over de voorspellende waarde van een toets(cijfer) gaat het over de mate waarin eerder geleerde stof op een later moment opgehaald zou kunnen worden. Een toets met voldoende hogere orde denkvragen geeft dus een betere voorspelling voor het succes van het leren, dan in een toets met voornamelijk reproductieve vragen (gericht op beheersing van de leerstof, met een geringere kans op het vormen van een construct in het langere termijn geheugen).

4.7.1

Het maken van toetsvragen

Eén van de doelen van dit onderzoek is het maken of herformuleren van goede toetsvragen, zodat een gevarieerde toetsing ontstaat. In het boek ‘toetsvragen maken’ (Wilbrink, 2005) geeft de auteur al aan dat toetsvragen maken geen kunst moet zijn, maar een kunde. Hij onderscheidt 3 typen vragen:

  

Opstelvragen Aanvul- of invulvragen Keuzevragen

Opstelvragen, zijn vragen die een korte uiteenzetting, een verklaring, een werkstuk of iets dergelijks vragen. Het biedt de leerling enige vrijheid in de wijze van formuleren. Met deze vragen wordt helderheid van


21

formuleren, diepgang van analyse en dergelijke getoetst. Aanvulvragen zijn er in soorten:

   

Quiz-achtige vragen: korte vragen met een kort antwoord Rekenopgaven: antwoord moet worden berekend Probleemsituaties: vraagt veel leestijd, maar volstaat met kort antwoord Beschrijfvragen: definities, opsommingen, een schets… (vragen een wat langer antwoord).

Bij aanvul- of invulvragen valt de eenvoud op; het is gericht op het antwoord dat de docent graag wil horen/zien. Landbouw bestaat uit …… en ……. Is het antwoord ‘akkerbouw en veeteelt’ of ‘land en bouw’? Bij keuzevragen kiest een leerling uit aangeboden alternatieven. De hoeveelheid alternatieven kan variëren van twee tot soms wel vijf. Soms is één antwoord juist, maar dat kunnen er ook meerdere zijn.

   

Kies het beste alternatief. Kies het juiste alternatief. Kies één of meerdere juiste alternatieven. Matchingvraag.

Bij keuzevragen wordt onderscheid gemaakt in een ‘stam’ (de kern van de vraag) en de zogenaamde afleiders. Goede meerkeuzevragen bevatten afleiders, die op enigszins natuurlijke wijze bij de vraagstelling passen. Meerkeuzevragen zijn geschikt om te toetsen, of de leerling een bepaald onderscheidingsvermogen heeft met betrekking tot de geleerde leerstof. Soms gebruiken leerlingen ten onrechte dit onderscheidingsvermogen, terwijl de vraag dit niet beoogt. In feite wordt daarmee eerder de ‘toetsvaardigheid’ gemeten, terwijl dit dikwijls niet als onderwijsdoel is geformuleerd. Wilbrink (2005) geeft docenten het advies om de verleiding te weerstaan om zinnen uit het studieboek te knippen en hierachter ja/nee te plakken. Dit heeft in zijn ogen niet met behoorlijk toetsen te maken. Keuzevragen hebben daarnaast het nadeel dat ze worden beïnvloed door ‘raadkansen’. Daarentegen worden keuzevragen geroemd, omdat ze objectief zouden zijn. Het antwoord van de leerling hoeft niet geïnterpreteerd te worden, het is ondubbelzinnig goed of fout. Waardóór een leerling tot het antwoord komt, wordt niet onderzocht, alleen de uitkomst van het denkproces wordt gemeten. De verschillende typen vragen kunnen ingevuld worden met lagere orde en hogere orde denkvaardigheden.

4.7.2

Complexiteit in toetsen.

Complex betekent volgens de woordenboeken: ingewikkeld, een geheel van dingen die bij elkaar horen, samengesteld (uit ongelijksoortige elementen). Vermaak (2009) geeft aan dat complexe vraagstukken worden ervaren als taaie vraagstukken met de volgende kenmerken:

 

22

multidimensioneel, d.w.z. de vragen leveren een bijdrage aan allerlei verschillende factoren; systemisch, d.w.z. de factoren versterken elkaar waardoor onduidelijk is wat nou eigenlijk oorzaken en wat gevolgen zijn. Vaak zijn complexe vraagstukken systemisch; © APS - R&D onderzoeksrapportage Toetsen en beoordelen van leeropbrengsten

 

dilemmakarakter, d.w.z. er moet een probleem worden gehanteerd omdat het niet oplosbaar is (het verschil tussen problemen en dilemma’s is, dat je de eerste kan oplossen en de tweede enkel kan hanteren). Complexe vragen hebben soms dit kenmerk; sociaal complex, d.w.z. de vragen zijn vaak van iedereen en van niemand (het gaat dwars over hokjes, lagen en muurtjes heen).

Complexe vragen kunnen taai zijn, maar zijn nooit saai. In tegendeel: ze zijn betekenisvol en daarmee relevant volgens Vermaak. Van Dokkum (2010) onderzocht of de complexiteit van vragen een positief effect heeft op de nieuwsgierigheid van kinderen. Uit haar onderzoek blijkt dat complexere vragen gemiddeld gezien in hogere mate nieuwsgierig gedrag oplevert. Met name open vragen, die uitdagen om nieuwe kennis te combineren met kennis die kinderen al hebben, en laten nadenken over alternatieven stimuleren deze nieuwsgierigheid volgens Van Dokkum.

4.7.3

Kwaliteitsstandaarden voor toetsen

Een toetsmatrijs is een middel om te checken of er voldoende toetsvragen zijn bedacht en of deze toetsvragen de lading van de leerdoelen dekken. Tevens wordt duidelijk of er voldoende vragen zijn opgesteld op een ‘deep-learning-niveau’ zegt onderwijskundige Bartels in ‘Docent, kom aan je werk toe’ (2013, Kralingen, van R.). Zolang toetsvragen op intuïtieve en impressionistische wijze bedacht worden (omdat docenten nu eenmaal niet over betere mogelijkheden beschikken, sic.), zal het lastig zijn om de kwaliteit van het onderwijs te verbeteren, op welke manier ook, aldus Wilbrink (2005). Hoe en waarop leerlingen en/of studenten getoetst en beoordeeld worden, bepaalt echter in niet geringe mate de kwaliteit en de opbrengst van het onderwijs. Zo zijn er bijvoorbeeld geen vuistregels voor vragen die gericht zijn op het geven van verklaringen; dit terwijl verklaren van verschijnselen zo’n prominente rol speelt in het wetenschappelijk onderwijs. Dit geldt in zekere zin ook voor het oplossen van problemen (Wilbrink, 2005). Wilbrink stelt dat vuistregels voor het maken van toetsvragen vooral gericht zouden moeten zijn op denkprocessen van leerlingen in de zin van psychologische termen en hij pleit voor vuistregels die aansluiten bij de aard en structuur van de gevraagde leerstof. Het bedenken van steeds weer nieuwe toetsvragen kost veel moeite, met name omdat er geen technologie is voor het schrijven van (een grote diversiteit van) toetsvragen. Toetsvragen moeten representatief zijn voor wat er in de les behandeld is en overeenstemmen met de onderwijsdoelen. Tegelijkertijd moeten toetsvragen ook verschillen tussen leerlingen vastleggen. Met gemakkelijke vragen kunnen geen verschillen gemeten worden, omdat iedereen deze vragen ongeveer even goed maakt, terwijl ze wel de kern van de stof dekken en daarmee representatief zijn.

4.7.4

Feedback en reflectie op toetsen

Een toets heeft feedforward effecten (Wilbrink, 2005). Wat waarschijnlijk gevraagd zal worden, zal worden geleerd. De toets straalt daarmee een sterk effect naar voren uit, feedforward. “Maak daar gebruik van” is Wilbrinks advies en zorg dat onderwijs en toets zoveel mogelijk op elkaar afgestemd zijn. Het is slecht wanneer leerlingen zich in allerlei bochten moeten wringen om te achterhalen wat er van hen verwacht wordt. Dan wordt de toets op negatieve wijze gebruikt. Hiermee wordt niet bedoeld dat toetsvragen letterlijk overeenkomen met de opgaven die in de les(sen) behandeld zijn, maar de toetsvragen moeten representatief


23

zijn voor het nagestreefde en bereikte niveau van stofbeheersing. Daarnaast is het belangrijk om de leerlingen goede feedback te geven op hun toetsresultaten. Uit onderzoek van Hattie en Timperly (2007) is gebleken dat feedback, naast het geven van effectieve instructie, een belangrijk aspect is van succesvol onderwijs. Feedback helpt bij het overbruggen van het verschil tussen het huidige niveau en het gewenste niveau van de leerlingen. Daarbij staat feedback in nauwe relatie met het stellen van doelen. Zonder heldere doelen zal het lastig zijn om effectieve feedback te geven. Het effect van feedback is het grootst als de doelen specifiek en uitdagend zijn en de taak niet te complex is. Hattie en Timperly geven aan dat feedback effectiever is, wanneer de docent aan de leerling vertelt hoe goed hij de opdracht heeft gedaan en zich verbeterd heeft ten opzichte van de situatie waarin het minder goed ging. Met name voor leerlingen met een laag zelfvertrouwen is dit soort positieve feedback cruciaal. Effectieve feedback beantwoordt volgens Hattie en Timperly drie vragen, gesteld door docenten of leerlingen:

  

Waar ga ik heen ? Wat is mijn doel of welke resultaten wil ik bereiken (feedup)? Hoe heb ik het doel tot nu toe aangepakt? (feedback)? Wat ga ik verder doen om de gestelde doelen te kunnen realiseren? (feedforward)?

Hierbij is een voorwaarde dat docent en leerlingen dezelfde doelen hanteren. Daarnaast is het belangrijk dat de docent betrokkenheid van leerlingen creëert bij de taak die zij moeten uitvoeren. Onvoldoende specifieke feedback, die niet doelgericht is, leidt niet tot beter leren bij de leerling. Specifieke taakgerichte feedback daarentegen wel. Daarbij geldt dat de kwaliteit van de feedback belangrijker is dan de frequentie van de feedback. Volgens Hattie (2002) zou er vaak niet meer, maar vooral betere feedback gegeven moeten worden. Van belang is de timing, bij voorkeur ontvangt de leerling de feedback direct na het uitvoeren van de taak. Dit is het meest effectief.

24


5.

RESULTATEN VAN ONDERZOEKSVRAGEN

Aan docenten én leerlingen zijn vragenlijsten voorgelegd die in een pre- en posttest zijn uitgevoerd, zoals beschreven in hoofdstuk 3. 5.1. De resultaten van de analyses van de vragenlijsten van docenten Gezien het aantal docenten kan over de significantie van de uitkomsten geen uitspraak worden gedaan. Uit de analyse blijkt dat de docenten gemiddeld over alle vragen 0,6 punt stijgen (5,2  5,8). Het gaat om 16 vragen, waarbij nauwelijks verandering is te zien op de vragen 2 t/m 7, 10, 11, 15 en 16. Op de andere vragen is wel een duidelijk verschil in gemiddelde te zien, zie onderstaand diagram.

6,00 5,80 5,60 5,40 5,20 5,00 4,80 4,60 4,40 4,20 4,00 1.

8.

9.

12.

13.

14.

De uitspraken zijn: 1) Ik besteed in de les aandacht aan het onthouden van de leerstof. 8) In mijn proefwerken test ik of mijn leerlingen vergelijkbare opgaven / oefeningen als in de les kunnen maken. 9) In mijn proefwerken test ik of mijn leerlingen de behandelde stof kunnen koppelen aan eerder opgedane kennis. 12) In mijn lessen besteed ik aandacht aan hoe leerlingen zich op een proefwerk kunnen voorbereiden. 13) Ik heb duidelijk voor ogen wat ik met een proefwerkvraag wil toetsen. 14) Proefwerken zijn voor mij een middel om leerlingen te verplichten met de leerstof aan de slag te gaan. (De waar te nemen afname past bij de te verwachten trend in het onderzoek.)


25

Conclusie en discussie. De waar te nemen stijging bij de uitspraken 1 en 8 en de daling bij 14 zijn wellicht toe te schrijven aan een meer bewust omgaan met toetsen, dat tijdens de interventies is ontstaan. De waar te nemen stijging van de scores bij de uitspraken 9, 12 en 13 zijn vermoedelijk toe te schrijven aan het resultaat van gerichte interventies tijdens het onderzoek. 5.2. De resultaten van de analyses van de vragenlijsten van leerlingen Gezien het aantal leerlingen (N=417) kan er een statistische analyse worden gedaan, die kan leiden tot significante uitspraken. Uit de analyse blijkt dat de score van de leerlingen gemiddeld over alle vragen 0,12 daalt (5,2  5,08). Dit is een significant verschil. De richting van dit verschil is anders dan in het onderzoek verwacht werd. Dit vraagt een aantal nadere analyses die vanaf blz. 21 zullen worden gedaan. Omdat er een significant verschil is gevonden over de hele vragenlijst, mag er een statistische analyse worden gedaan per vraagitem. In onderstaande grafiek zijn de vragen opgenomen van de leerling over de docent. Vraag 1 en 6 laten een significant verschil zien. 6,50 6,00 5,50 5,00 4,50 4,00 3,50 1.

2.

3.

4.

5.

6.

7.

8.

1) De docent maakt in de les duidelijk wat je van de behandelde stof moet onthouden. 6) De docent behandelt alle leerstof die ik nodig heb voor het maken van een proefwerk. In de volgende vragen opgenomen van de leerling over zichzelf. Vraag 9 en 15 laten een significant verschil zien.

26


6,00

5,50

5,00

4,50

4,00 9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

9) In de proefwerken kan ik laten zien, hoe goed ik de lesstof heb onthouden. 15) Ik weet dat ik een proefwerk goed kan maken als ik actief meedoe in de lessen. Conclusie en discussie. De leerlingen lijken met de antwoorden op de vragen 1 en 6 aan te geven, dat de docent duidelijker is over wat er van hen wordt verwacht. Dit in tegenstelling tot wat docenten aangeven bij vraag 1: ze geven minder aan wat ze moeten onthouden. Uit vraag 6 kan worden opgemaakt, dat docenten minder oppervlakkige kennis hebben behandeld, die door leerlingen wordt gezien als kennis die herkenbaar in de toets terugkomt. Als er hoge orde denkvragen worden gesteld, die niet zo letterlijk aan de orde zijn geweest in de les en waarbij de leerlingen dus actief eigen denkstappen moeten zetten, zien ze dit wellicht als dat niet alle leerstof is behandeld. De verandering bij vraag 9 was een te verwachten verandering door de gepleegde interventies. De verandering bij vraag 15 is juist in tegenstelling tot de verwachting. Dit is omdat met de interventies gepoogd is om docenten in hun lessen leerlingen beter voor te bereiden op dit type vragen. Als discussiepunt is het van belang te noemen dat de beginmeting (april/mei) in een andere periode van het jaar is afgenomen dan de eindmeting (oktober/november). Dit feit kan een invloed hebben op de manier waarop leerlingen de vragenlijst invullen. Doordat er geen controlegroep is, kan deze invloed helaas niet uitgesloten worden. 5.3

Nadere analyse

Omdat de richting van de verandering (daling met 0,12) anders is dan verwacht, is er een nadere analyse gemaakt. Wanneer de gegevens uitgesplitst worden naar de mate waarin docenten actief in de les interventies naar leerlingen hebben ingezet, blijkt dat de docenten die in hoge mate interventies actief hebben ingezet een andere trend laten zien in de voor en nameting, dan de docenten die minder actief waren op dit


27

terrein. Deze trend beschouwen we nu nader:

Bij de groep docenten, die de meest actieve interventies hebben ingezet in de klassen is wel een stijgende trend te zien. Dit interactie effect is significant. Opvallend is dat docenten die nauwelijks interventies hebben ondernomen in de klas op de voor- en nameting gemiddeld hoog scoren en dat daarin tussen voor- en nameting geen verandering is. Deden zij al veel aan het voorbereiden op hogere orde denkvaardigheden in de toets en hebben dien ten gevolge tijdens de onderzoeksperiode weinig veranderd? Conclusie en discussie. Uit deze nadere analyse kan de conclusie worden getrokken dat het blijkbaar erg veel inspanning vergt om een effect te bereiken (te meten met vragenlijsten bij leerlingen). Maar het leveren van deze inspanning laat wel een significant verschil zien. Minder inzet levert meteen geen stijging meer op. Dit abrupte verschil is niet

28


nader te verklaren uit deze onderzoeksdata. Beschouwen we de antwoorden van leerlingen binnen de groep van docenten die interventies het meest actief hebben ingezet, dan ontstaat het volgende beeld bij vragen over hun docenten (zie diagram hieronder). 6,50 6,00 5,50 5,00 4,50 4,00 3,50 1.

2.

3.

4.

5.

6.

7.

8.

Vraag 5, 7 en 8 laten een significant verschil zien. Dit zijn de vragen: 5) De docent geeft tijdens de lessen feedback op wat ik goed en minder goed doe bij dit vak. 7) Ik krijg van mijn docent na afloop het proefwerk te zien om er van te leren. 8) Ik krijg feedback van de docent op het leren en voorbereiden van een proefwerk. Al deze vragen zijn te herleiden tot gerichte feedback. Interventies die gericht zijn op het geven van goede en frequente feedback zouden hier een bijdrage aan geleverd kunnen hebben. Beschouwen we de antwoorden van leerlingen binnen de groep van docenten die interventies het meest actief hebben ingezet, dan ontstaat het volgende beeld bij vragen over zichzelf (zie diagram hieronder).


29

6,50

6,00

5,50

5,00

4,50

4,00 9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

In dit diagram is te zien dat leerlingen bij alle vragen hoger scoren. Bij vraag 14 en 17 is dit verschil significant. 14) Een proefwerk bevat voor mij geen verrassingen, ik weet wat ik kan verwachten. 17) Als ik mijn nagekeken proefwerk terugkrijg, weet ik bij elke vraag wat ik goed of minder goed heb gedaan. Ook dit zijn vragen die te herleiden zijn op geven en ontvangen van feedback. Ook bij de vragen over de docent waren de vragen, gericht op het ontvangen van feedback, significant gestegen. De hogere orde denkvragen lijken de leerlingen niet meer te verrassen. Conclusie en discussie. Vooral de vraagitems die gericht zijn op geven/ontvangen van feedback laten een significant verschil zien in deze nadere analyse. Dus de docenten, die het meest actief interventies hebben ingezet, krijgen significant hogere scores op vraagitems die over feedback gaan. 5.4

Analyse interviews docenten

In de voor- en nameting zijn interviews met docenten gehouden. Dit om uit te zoeken:

  

wat de toetscultuur van de docenten is en wat daarin is veranderd door de interventies en welke interventies door de docenten worden beschouwd als nuttig om hun praktijk te veranderen.

De interviews zijn uitgewerkt in een format. Op de interviews is een kwalitatieve analysemethode toegepast. Er is gewerkt vanuit een labelingsysteem. Dit labelingsysteem is ontwikkeld voorafgaand aan de afname van de interviews. 30


Aan de hand van het labelingsysteem zijn de fragmenten in het format gelabeld. Vanuit de probleemstelling in dit onderzoek is een verdere analyse gemaakt van de labels. Dit heeft geresulteerd in de volgende conclusies.

5.4.1

Visie

Alle docenten geven in de voormeting een expliciete visie op hun vak. Dit bevat in veel gevallen elementen die gaan over gebruik van het vakgebied (breed) in de wereld en over de cognitieve ontwikkeling van de leerling. Daarbij is soms een scheiding in visie te zien tussen onderbouw en bovenbouw (of misschien in hoe het vak op de school wordt ingezet): de trend is dan in de onderbouw meer leren-1 en in de bovenbouw meer leren2. Er worden regelmatig metacognitieve vaardigheden genoemd (het zou gaan om denkprocessen, oplossingsstrategieën, etc.) en het ontwikkelen van kwaliteiten van leerlingen (bijv. durf om te spreken). Wanneer je de verhouding tussen lagere en hogere orde denkvaardigheden bekijkt, die op de school lijkt te worden gehanteerd, dan is dat in veel gevallen 50%-50%. Met vooral in de bovenbouw soms wat meer leren2. Soms wordt door docenten herkent dat deze verdeling niet strookt met hun visie op het vak. Enkele docenten geven aan dat er eerst reproductief geleerd moet worden, voordat iets met de stof kan worden gedaan in leren2 activiteiten. In de nameting wordt duidelijk dat de visie op het vak niet veranderd is. Wel wordt scherper gesteld dat de keuze in de school voor een model van vraaganalyse (zoals OBIT) van belang is. Bij een aantal docenten wordt dit ook concreet in de verdeling lager-/hogerorde denkvaardigheden, waarbij 10% meer hogere orde denkvragen is genoemd. Enkele docenten geven aan minder te (willen) toetsen.

5.4.2

Waartoe toetsen?

Docenten geven in de voormeting aan te toetsen om hele diverse redenen. De meest genoemde redenen zijn: zichtbaar maken van wat de leerling heeft geleerd, leerlingen krijgen zicht op wat ze hebben geleerd en hiaten opsporen. De diversiteit in antwoorden is verder hoog:

       

Dwangmiddel bij leerwerk. Het moet nu eenmaal. Bevestigen van beeld dat docent toch al heeft. Verantwoording afleggen aan de buitenwereld. Stok achter de deur. Voor een cijfer. Voor mezelf om zicht te hebben op mijn lessen. Soms nemen leerlingen een onderwerp pas serieus wanneer het met een toets wordt afgesloten.

In de nameting is niet veel veranderend met betrekking tot de redenen waarom docenten toetsen.

5.4.3

Maken van proefwerken

In de voormeting blijkt dat de wijze waarop, docenten tot een proefwerk komen, veel verschilt. Veel docenten noemen dat het sectieverband ertoe doet. Maar wat er in de sectie gebeurt, verschilt tussen: toetsen


31

individueel maken en aan elkaar geven tot aan een bewust vormgegeven werkwijze om toetsen te maken met feedbackrondes. De mate waarin afspraken zijn gemaakt, verschilt ook. Een van de docenten zit in een sectie, waarin afspraken zijn over de manier waarop lessen worden ingericht, zodat er een mooie aansluiting is tussen de doelen, de les en de toets. Er zijn ook secties waar wel afspraken zijn over welke toeten worden gegeven. Maar er is geen gezamenlijkheid in de wijze waarop de toetsen worden gemaakt en de lessen worden gegeven. Docenten geven aan deze gezamenlijkheid prettig te vinden. In de nameting blijkt dat een aantal docenten meer contact heeft met collega’s over de toetsen. Dat wordt als prettig ervaren. Ook is er in enkele secties een verandering in de aanpak bij toetsen te bespeuren. Bijvoorbeeld minder toetsen, meer IT opdrachten in de leerlijn en het gaan werken met Rubrics.

5.4.4

Hulpinstrumenten

Uit de voormeting blijkt dat docenten allen een eigen manier hebben om tot toetsen te komen. Vaak een manier die is ontstaan in de loop van de jaren. Veel wordt gebruik gemaakt van methodetoetsen, het boek, oude toetsen en/of een toetsenbank. Er wordt nauwelijks gebruik gemaakt van hulpinstrumenten om het toetsdesign zoals gewenst te krijgen. In de afsluitende interviews geven bijna alle docenten aan meer hulpinstrumenten te gebruiken (of te willen gebruiken) bij het maken van de toetsen. Er is een grote diversiteit in wat docenten zeggen te gebruiken. Veel docenten geven aan nu wel een toetsmatrijs/toetsanalyseformulier te gebruiken. Maar ook worden genoemd:

           

5.4.5

Artikelen Omschrijvingen OBIT Toetsanalyseformulier Gesprekken met anderen Rubrics Voorbereidingswijzer Toetsscanner Leeractiviteitenschema Eindtermen Hoger orde denkvragen Arceren van belangrijke begrippen Belgische olympiade (prachtige vragen)

Andere toetsvormen

Veel docenten zetten soms andere toetsvormen in, al is de variatie bij de meeste vakken beperkt. De toetsvormen zijn vaak passend bij het karakter van het vak. Bijvoorbeeld een experiment bij een exact vak en een presentatie bij een taal. Er is geen verschil de voor- en nameting opgevallen.

32


5.5

Conclusies vanuit de interviews docenten

De interventies in het onderzoeksproject hebben een aantal veranderingen in de praktijk van de docenten opgeleverd en ze hebben voor de docenten een aantal zaken verhelderd. Opsommend gaat het om:

                     

De gemaakte toets kan gebruikt worden om leerlingen meer zicht te geven op zichzelf. Wanneer dit vaker wordt gedaan, versterkt dat het beeld en de ontwikkeling. De verhouding in onderbouw en bovenbouw tussen lagere en hogere orde denkvragen willen we bewuster kiezen. Het is nodig om bewuster te werken aan toetsen. Instrumenten hebben gezorgd dat ik me bewuster ben van het vormgeven van toetsing. Leerlingen zijn meer bezig met nabespreken van toetsen dan voorheen. In de lessen moet ik meer communiceren waarom bepaalde activiteiten zo worden gedaan. Helder maken van verwachtingen. Inzicht in hoe je dingen kunt doen. Toetsanalyse door docent geeft aanleiding om in gesprek te gaan. Al die instrumenten geven meer bodem onder je gevoel. Dat helpt bij het gesprek met leerling/ouder. Leerlingen zijn minder bereid zaken op te pakken, wanneer ze het idee hebben dat ze het al snappen. Belangrijk is om met de sectie samen aan toetsing te werken. Vooral behoefte aan concrete instrumenten, die makkelijk om te zetten zijn naar eigen praktijk. Feedback op lesbezoeken was nuttig. Leerlingen betrekken in toetsen en ook bij feedback op de toetsen. Bewuster inzetten van het ideale stappenplan voor een toetsconstructie (de koninklijke weg). Hogere orde denken in mijn vak ontdekt en dat is de essentie van mijn vak! Wanneer helder is wat voor een toets het is, dan kan ik ook de leerlingen erop voorbereiden. Toets veranderen is ook je lessen veranderen. Leerlingen kunnen moeilijkere vragen best aan. Indeling van toets in de gaten houden (van makkelijk naar moeilijk). Het is nuttiger dan de meeste cursussen. Begripsniveau beter onderscheiden van inzichtsniveau.

Een aantal docenten gaf aan het moeilijk te vinden om een verandering in te gaan. Dit had te maken met eigen overtuigingen, met de tijd die ze hadden voor het uitproberen en dat de schoolleiding in veel van de projectscholen niet betrokken was. Ook werd het ontbreken van rust genoemd om zaken goed in te zetten in de les. Het moment in het schooljaar waarop het onderzoek is gestart, is lastig gebleken (april-juni). Een korte periode met een zomervakantie tussen voor- en nameting. 5.6

Welke instrumenten helpen docenten om zaken in hun praktijk anders te gaan doen?

In de nameting is specifiek gevraagd welke instrumenten de docenten geholpen hebben. Dit levert een heel


33

divers beeld op. Het denken in leren1/leren2 (of oppervlakkig leren/leren met diepgang of OBIT) heeft iedereen geholpen. Verder noemden docenten de volgende concrete opbrengsten:

          

Feedback rapportage De koninklijke weg Koppeling van toets aan les Toetsanalyseformulier Voorbereiden op de toets SPA Vragenvoorspeller Toetsscanner Voorbereidingswijzer Begrippenkader OBIT Concrete tips van onderzoekers en collega’s

5.7. Analyse interviews leerlingen In de voor- en nameting zijn interviews met leerlingen gehouden. Dit om uit te zoeken wat leerlingen ervaren aan visie van een docent op het vak en de toetsing daarvan. Daarnaast ook om uit te zoeken of er door leerlingen verschil wordt ervaren in de voorbereiding en afname van toetsing. De interviews zijn uitgewerkt in een format. Op de interviews is een kwalitatieve analysemethode toegepast. Er is gewerkt vanuit een labelingsysteem. Dit labelingsysteem is ontwikkeld voorafgaand aan de afname van de interviews. Aan de hand van het labelingsysteem zijn de fragmenten in het format gelabeld. Vanuit de probleemstelling in dit onderzoek is een verdere analyse gemaakt van de labels. Dit heeft geresulteerd in conclusies.

5.7.1

Visie

Leerlingen hebben zicht op het doel/de visie van het vak. Ze gebruiken daarin woorden die gaan over oppervlakkig leren (begrippen kennen, theorie) en leren met diepgang (leren van vroeger, verbanden leggen, niet jaartal wel de volgorde, leesstrategie, debat, bronnen vertrouwen of niet). Bij leren met diepgang geven leerlingen aan dat toetsen niet goed te leren zijn. De uitleg in de les wordt belangrijk gevonden. Leerlingen zijn ook reflectief op hun eigen leercapaciteit ten aanzien van het vak. Ze geven aan beter of slechter te zijn in oppervlakkig leren, dan wel leren met diepgang. Per vak is door de leerlingen een andere verdeling gegeven tussen welke kennis bij het vak nodig is (oppervlakkig/diepgang). wat moet uit je hoofd geleerd en wat moet je snappen/doen (bijvoorbeeld namen van ionen). Over het algemeen hebben de meeste leerlingen het beeld dat een vak ook gaat over diepgaande kennis. Enkele leerlingen zien verschil tussen de onderbouw en bovenbouw. In de bovenbouw is meer leren met diepgang. Leerlingen weten niet waar dit beeld van hen over het vak vandaan komt. Ze geven aan dat de docent hier niet expliciet over vertelt.

34


In de nameting wordt duidelijk dat de visie op het vak niet veranderd is. Er lijkt geen grondige verschuiving te zijn tussen vóór- en nameting. Bij enkele vakken geven leerlingen aan dat er moeilijkere vragen worden gesteld dan eerder. En dat het nodig is meer zaken te koppelen. Er worden enkele andere voorbeelden gegeven, bijvoorbeeld diepgaand leren: je eigen opvatting verkopen; tegenwoordig wordt niet alles letterlijk teruggevraagd; je moet zelf zinnen construeren.

5.7.2

Manier van leren

Over de manier van leren geven leerlingen in de interviews een aantal voorbeelden van hoe ze zich op een proefwerk voorbereiden:

           

Niet stampen, maar snappen In de les meer theorie; in de toets meer toepassing Theorie bekijken Voorbeeldvragen maken Lessen zijn belangrijk (opletten) Veel lezen Het antwoordenboekje vaak doorlezen Elkaar overhoren Docent wijst de moeilijke sommen aan Belangrijkste komt nog op het bord Belangrijkste dingen opschrijven Samenvatting

In enkele interviews zeggen leerlingen dat een docent aangeeft wat belangrijk is. Hoe leerlingen leren verschilt per leerling en per vak. Leerlingen geven aan dat ze bewust een keuze maken hoe ze leren (samenvattingen maken, werkt voor mij niet; wel meerdere keren doorlezen). Dit is deels gekoppeld aan wat voor een vak het is (visie; meer gericht op leren1 of leren2). Of hun leerwijze effectief is of niet, kunnen leerlingen niet helder beargumenteren. Leerlingen geven in de interviews aan dat het bespreken van proefwerken en SO-tjes zin heeft. Dan weet je wat je fout hebt gedaan. In de eindmeting ontstaat geen grondig ander beeld van hoe leerlingen leren. Wel geven leerlingen in enkele interviews aan dat docenten explicieter aangeven hoe je hogere orde denkvragen moet leren. Docenten geven aan hoe leerlingen zaken moeten opschrijven. Leerlingen geven er in enkele interviews meer blijk van dat ze weten dat uit het hoofd leren niet voldoende is. Ze geven aan zaken te moeten snappen. Leerlingen geven aan het lastiger te vinden om dan een opgave goed te maken. Enkele andere opmerkingen: o Voorbeeldvragen maken net voor de toets o Zelf een tijdlijn maken o Alles lezen tot ik het snap o Zelfbedachte opgaven maken o Eerder beginnen met vluchtig doorlezen


35

5.7.3

Hoe ontstaat het beeld van het vak?

Zowel in de voor- als nameting geven leerlingen aan dat de toetsen en het cijfer dat ze halen voor de toets, van belang zijn voor het beeld dat de leerlingen hebben over hoe goed ze in het vak zijn. Daarbij maakt het voor enkele leerlingen uit of een toets veel hogere orde denkvragen heeft. In dat geval geeft het voor deze leerlingen een beter beeld. Ook wordt aangegeven dat de mate waarin het leren voor een toets hen afgaat, bijdraagt aan dit beeld. Daarnaast werd ook genoemd:  Docent geeft doelen van hoofdstuk aan.  Hoe snel je de hoofdgedachte van een vak door hebt  De mate waarin een leerling het vak leuk vindt.  Of het handig is dat je het huiswerk maakt voor het vak  Wanneer je, ondanks dat je veel tijd in leren hebt gestopt, toch een laag cijfer haalt.  Gebruik van vakkennis in de dagelijkse werkelijkheid (vakantie en films kijken),  Of je het snel snapt.  Diagnostische toets.  Dat je inzicht niet kunt leren; dat heb je of je hebt het niet.  Vooral veel oefenen totdat je een klik hebt.  Docent moet niet veel nieuwe stof doen net voor een toets.  Toepassen is belangrijk. Veel oefenen.  We hebben ook maakdingen (familiewapen maken).  SO-tjes zijn een hulp om te kijken of je het snapt.

5.7.4

In hoeverre test de toets wat je hebt geleerd?

In de voormeting is er een divers beeld over of de toets test wat de leerlingen geleerd hebben. Aan de ene kant weten leerlingen wat ze kunnen verwachten, omdat de toets aansluit bij de lessen. Aan de andere kant is het cijfer van een toets ook regelmatig een verrassing. Ook wordt aangegeven dat leren niet altijd invloed heeft op het toetscijfer. Je weet het of je weet het niet. Er wordt aangegeven dat de ene toets van een vak wel vooraf helder is en ander toetsen niet. Dit heeft met het karakter van deze toets te maken. Veel lagere orde vragen zijn wel helder en meer hogere orde vragen zijn minder helder. Ook in de nameting is er ten aanzien van de duidelijkheid van de toets een divers beeld. Aan de ene kant geven leerlingen deels aan dat toetsen echt testen wat ze geleerd hebben. Bijvoorbeeld:  Het beoordelingsformulier heeft geholpen bij wat je kan verwachten in een debat.  Alles wat geleerd moest worden, is vooraf duidelijk gezegd. Aan de andere kant zijn er ook voorbeelden waarin dit niet het geval is: ik heb nu een 6,3, maar ik had wel een 8 kunnen halen (ik heb punten verloren met spelling). Bij hogere orde denkvragen geven leerlingen vaker aan het moeilijk in te kunnen schatten wat voor soort vragen er komen. In de nameting geven enkele leerlingen aan een nabespreking in de klas te hebben gehad op basis van een analyse van de gemaakt toets (met behulp van toetsanalyse voor leerlingen). Dit vinden leerlingen prettig, omdat helder wordt waar punten zijn blijven liggen. Leerlingen die daar zelf al zicht op hadden, vinden dit instrument minder handig. Maar ze snappen wel dat het voor enkele leerlingen prettig is om te doen.

36


5.7.5

Nog enkele opvallende opmerkingen van leerlingen  De invloed van de docent op resultaten is gering.  De les bestaat voor het overgrote deel uit luisteren.  Reflecteren is van belang na maken van de toets.  Leerlingen hoeven niet alle gemaakte fouten te bespreken; dat is beter.

5.8 Conclusies vanuit de interviews met de leerlingen Uit de interviews met de leerlingen komt een zeer divers beeld. Dit lijkt samen te hangen met de mate waarin docenten actief interventies in de les hebben ingezet. Waar leerlingen veranderingen zien, is dat met name bij:  Meer hoge orde denkvragen in de toets.  Toetsvoorbereiding en nabespreking anders dan daarvoor (toetsanalyse bespreken).  Leerlingen merken een opbouw in de toetsen van begrijpen naar meer inzichtsvragen.  In enkele interviews geven leerlingen aan dat individuele feedback helpt. Voorts blijkt uit enkele interviews dat met name goed scorende leerlingen minder belang hechten aan het expliciet onderscheiden van lagere en hogere orde denkvragen. Sommige leerlingen geven aan niet veel gemerkt te hebben van ander docentgedrag. Verder lijkt het er niet op, dat leerlingen zich anders zijn gaan voorbereiden op een toets door interventies van docenten.


37

6 HANDLEIDING OM HOGERE DENKVAARDIGHEDEN TE TOETSEN EN ONDERWIJZEN Tussen de voor- en nameting in hebben op de onderzoeksscholen interventies plaats gevonden. Afhankelijk van de door de docenten aangegeven streefdoelen, zijn verschillende instrumenten ingezet om:  de leerlingen te helpen zich beter op de toets voor te bereiden;  docenten te helpen een toets te maken met meer hoger orde denkvragen erin;  de toetsnabespreking effectiever te maken. In dit hoofdstuk worden de instrumenten beschreven die in dit onderzoek gebruikt zijn. Telkens wordt daarbij aangegeven wat doel en werkwijze zijn. Gepoogd is zo concreet mogelijk de mogelijkheden voor het gebruik van zo’n instrument in de praktijk aan te geven. 6.1

SPA



Wat is het?

Met behulp van SPA (Systematische Probleem Aanpak) vergroten de leerlingen hun vaardigheid in het oplossen van problemen.



Doel

Het leren maken van "productieve" opgaven is een nuttig onderwijsdoel. Vergroting van de vaardigheid om met enig zelfvertrouwen zelfstandig een "nieuwe" opgave aan te pakken en op te lossen is een goede voorbereiding op het maken van de toetsen.



Bron

SLO, Enschede.



Activiteit

Oefeningen hoe SPA-onderlegger in te slijpen.

6.1.1

Oefening 1

In tweetallen. Wat moet je doen?

Je krijgt een opdracht uit een examen (probleem A, B of C). Eén van jullie is probleemoplosser, de ander observator.

Hoe moet je het

Bepaal wie probleemoplosser is en wie de observator. De probleemoplosser krijgt een opdracht

aanpakken?

(probleem A), de observator zorgt dat hij pen en papier heeft. De oplosser zegt hardop wat hij/zij doet om het probleem op te lossen. De oplosser mag het opdrachtenformulier gebruiken om op te schrijven, te onderstrepen, tekeningen te maken, etc. De observator houdt zo nauwkeurig mogelijk bij wat de probleemoplosser doet (en zegt) om het probleem op te lossen. Let goed op de volgorde waarin dingen worden gedaan.

38


De observator vraagt de oplosser hardop te denken en mag eventueel aanmoedigen als de probleemoplosser dreigt op te geven. Na 15 minuten stop je (ook al is het probleem nog niet opgelost). Hulp:

Houd je aan de rollen. Als de probleemoplosser er niet uitkomt, geeft de observator geen inhoudelijke

bij wie en waar?

hulp. De observator helpt de probleemoplosser niet, maar stelt vragen en moedigt aan om hardop te denken.

Tijd:

Jullie krijgen 15 minuten voor probleem A. Als je probleem A nog niet hebt opgelost na 15 minuten,

hoeveel krijg je?

dan is dat niet erg.

Uitkomst:

Aan het einde, dus na 15 minuten, bespreken we klassikaal de uitkomst. Het gaat dan vooral om de

wat doen we ermee?

probleemaanpak, de oplossingsstrategie, dus dat wat de observator heeft opgeschreven. We spiegelen deze observaties aan een systematische aanpak, genaamd SPA.

Klaar?

Als je klaar bent met probleem A en de 15 minuten zijn nog niet voorbij, ga dan verder met probleem

Wat ga je dan doen?

B. Vraag deze opdracht aan de docent. Opdracht B voer je op dezelfde manier uit, maar je wisselt van rol.

6.1.2

Oefening 2

In tweetallen. Wat moet je doen?

Je krijgt een opdracht uit een examen (probleem A, B of C). Eén van jullie is probleemoplosser, de ander de helper.

Hoe moet je het

De helper leidt de oplosser via de stappen van SPA naar de oplossing van het probleem door vragen te

aanpakken?

stellen aan de oplosser. De helper stelt alleen vragen. Die vragen staan bij elke stap van SPA. De helper geeft dus geen antwoorden. De helper vraagt net zo lang door bij elke stap totdat hij/zij een compleet en bevredigend antwoord heeft gekregen. Dan pas gaat de helper naar de volgende stap. De oplosser mag schrijven, onderstrepen, tekenen op het opgaveblad. Het uiteindelijke antwoord komt op een apart blaadje.

Hulp:

De oplosser krijgt alleen hulp in de vorm van vragen van de helper. Als de helper er niet uitkomt, kan

bij wie en waar?

hij de docent om hulp vragen.

Tijd

Jullie krijgen 30 minuten voor probleem C. Als je probleem C nog niet hebt opgelost in die tijd, dan is

hoeveel krijg je?

dat niet erg.

Uitkomst:

Aan het einde, dus na 30 minuten, bespreken we klassikaal de uitkomst. Het gaat dan vooral om de

wat doen we ermee?

probleemaanpak, de oplossingsstrategie: welke vragen helpen je bij het goed oplossen van de opdracht?

Klaar?

Als je klaar bent met probleem C en de 30 minuten zijn nog niet voorbij, ga dan verder met probleem

Wat ga je dan doen?

D. Vraag deze opdracht aan de docent. Opdracht D voer je op dezelfde manier uit, maar je wisselt van rol.



Wie?

De leerlingen.


39



Tijd

Afhankelijk van de opdracht (zie hierboven).



Benodigd materiaal

Toetsopgaven, de volledige instructie, SPA-model.



Beoogde opbrengst

Leerlingen leren om zelfstandig een probleem op te lossen met behulp van het SPA-model.

40


SPA= systematische probleemaanpak Voorbereiding

Aanpak

Antwoord

Controle

Waar gaat het over?

Hoe ga ik het aanpakken?

Wat is het antwoord?

Klopt het?

Wat is de vraag? a) De vraag goed lezen (eventueel arceren / onderstrepen). b) Nagaan wat er precies gevraagd wordt (in eigen woorden formuleren).

Hoe ga ik het aanpakken?

Wat is het antwoord?

Op zoek naar de oplossing: - verbanden zoeken, en/of - een schema of een tekening maken, en/of - in stapjes werken.

Opschrijven wat voor het antwoord

Klopt het? a) Is de vraag beantwoord? b) Zijn alle aanwijzingen en gegevens gebruikt? c) Is de uitkomst van de berekening realistisch? (als dit niet zo is, pas het antwoord + uitwerking doorstrepen als je ook een betere versie hebt)

nodig is.

Wat weet je er al van? a) Over welke leerstof gaat het? b) Wat weet je er zelf al van? c) Wat denk je zelf dat het antwoord (ongeveer) zal zijn? Alles op een rijtje zetten: Welke gegevens zijn er in de tekst of in de bronnen (tabel, grafiek, .), die nodig zijn om de vraag te kunnen beantwoorden?


41

6.2

Toetsanalyseformulier voor docenten

 Wat is het? Een toetsanalyseformulier is een instrument waarmee een docent zijn toets kan analyseren op de mate waarin verschillende leeractiviteiten (Onthouden, Begrijpen, Integreren en Toepassen) aan bod komen binnen de verschillende opdrachten/vragen. Daarnaast kan de toets ook worden geanalyseerd op het aanbod van vragen op basis- en extra niveau (het hogere en lagere niveau binnen het leerjaar).  Doel Het doel van de toetsanalyse is het bieden van inzicht in de mate waarin de toets een beroep doet op oppervlakkig leren of leren met diepgang door de leerling . Met het resultaat van de analyse in de hand kan de docent bepalen, of de toets goed aansluit bij de doelen die de docent met het onderwijs voor ogen heeft. Als de analyse op alle toetsen binnen de toetslijn van een leerjaar wordt toegepast, wordt dit beeld nog duidelijker. Toetsen kunnen vervolgens worden bijgesteld. Hetzelfde is denkbaar naar aanleiding van de analyse van de toetsen binnen de doorlopende leerlijnen van een vak van klas 1 t/m klas 6.



Wie?

Docenten die een OBIT training hebben gevolgd, waarbij zij de verschillende leeractiviteiten van elkaar hebben leren onderscheiden.



Tijd?

Gemiddeld 30 minuten per toets.



Benodigd materiaal

Een toets en het bijbehorende correctiemodel (voor het puntenaantal per vraag).



Werkwijze

Per vraag kijkt de docent, of het om een O, B, I of T-vraag gaat. De docent vult vervolgens in het schema het aantal punten dat per per vraag kan worden gehaald bij O, B, I of T. Als alle vragen geanalyseerd zijn, kan het aantal punten per leeractiviteit worden berekend en dus ook het percentage van de leeractiviteiten in de toets. De vragen kunnen ook gelabeld worden als basis- en extra vragen. De docent kan het aantal punten per vraag invullen, zodat een beeld ontstaat van het percentage vragen op basisniveau en op extra niveau.



Beoogde opbrengst

Een toetsanalyseformulier levert op dat de docent gaat nadenken over zijn leerdoelen bij het vak en de wijze waarop hij zijn toetsen samenstelt. De docent kan na de toetsanalyse, indien gewenst, zijn/haar toets (of meerdere toetsen binnen de toetslijn) gericht aanpassen zodat de toets beter aansluit bij de gestelde doelen.

42


PROEFWERK ANALYSE FORMULIER Toetsonderwerp __________________________________________________________________ Klas en schoolsoort __________________ vmbo

Vraag (nummers invullen)

1

2

3

4

5

6

7

8

9

10 11 12 13 14 15 16 17 18 19 20

100%

100%

Verdeling * Onthouden % Samen

* Begrijpen %

100%

* Integreren % * Toepassen % Niveau van de vraag * Lagere niveau % Samen

* Hogere niveau %


43

100%

6.3. Feedbackrapportage



Wat is het?

Een feedbackrapport is een instrument waarbij een docent die zijn toets geanalyseerd heeft, feedback ontvangt op zowel de toets als zijn/haar analyse.



Doel

Het doel is niet de toets van de docent beoordelen, maar de analyse voorzien van schriftelijke feedback, waardoor de docent zich gaat afvragen of hij de vragen nog gerichter kan stellen en/of de toets toetst wat de docent voor ogen heeft.



Wie?

Een OBIT deskundige, dat kan in de school een OBIT coach zijn die hiervoor opgeleid is, of een extern OBIT deskundige.



Tijd?

50 – 75 minuten per feedbackrapport.



Benodigd materiaal

De toets van de collega, een antwoordenblad (incl. het puntenaantal per vraag) en de OBIT analyse van de collega.



Werkwijze

Per vraag kijkt de maker van het feedbackrapport of de docent denkt dat het een O, B, I of T-vraag is. Vervolgens zal de maker van het feedbackrapport per vraag feedback formuleren, waardoor de docent aan het denken wordt gezet. Naast het geven van feedback per vraag, zal de maker van het feedbackrapport ook wat algemene opmerkingen plaatsen over de lay-out, de OB:IT verhouding, de complexiteit, de lengte van de toets, etc.



Beoogde opbrengst

Een feedbackrapport levert op, dat de docent gaat nadenken over de wijze waarop hij toetsen maakt en afneemt. De docent kan na het ontvangen van het feedbackrapport zijn toets gericht aanpassen op basis van de ontvangen feedback, zodat de toetskwaliteit omhoog gaat. 6.4. Toetsanalyse door leerlingen (bovenbouw HV)



Wat is het?

Een toetsanalyseformulier is een instrument, waarmee de leerling van zijn toets kan leren. Dat kan op twee manieren. Bijvoorbeeld letten op fouten en wat wel goed gegaan is, om te weten waar de aandacht voor bijvoorbeeld een herkansing naar uit moet gaan, maar het kan ook een analyse zijn op het type vragen, om te achterhalen welk type vragen nog onderbelicht blijven in de voorbereiding bijvoorbeeld.

44




Doel

Het doel van de toetsanalyse is het bieden van inzicht in de mate waarin de toets een beroep doet op oppervlakkig leren of leren met diepgang door de leerling en op welke vragen vooral punten worden verloren. Daarmee kan de leerling reflecteren op de voorbereiding van toetsen en de focus van zijn leren.



Wie?

Voor leerlingen, met eventueel meer begeleiding van docenten als de zelfstandigheid nog geen eigen toetsanalyse toelaat.



Tijd?

Gemiddeld 20 minuten per toets.



Benodigd materiaal

Een toets met het bijbehorende correctiemodel (voor het puntenaantal per vraag) en het eigen werk.



Werkwijze

De leerling neemt uit het correctiemodel het aantal punten dat per vraag kan worden gehaald in het schema over. Per vraag kijkt de leerling om wat voor reden punten zijn blijven liggen. Bij elke vraag wordt het aantal punten bij de bijpassend analyse geplaatst. Als alle vragen geanalyseerd zijn, kan het aantal punten per foutencategorie worden bepaald. De leerling trekt daaruit zijn conclusies. Een tweede stap kan zijn dat de leerling de gemiste punten overneemt in het typevragen formulier en hij kan reflecteren op waar vooral punten gemist worden, bij wat voor soort vraag (O,B,I of T). De leerling trekt daaruit zijn conclusies.



Beoogde opbrengst

Een toetsanalyseformulier levert op dat de leerling reflecteert op zijn aanpak en toetsvoorbereiding. Daarna kan hij een gerichte (begeleidings)vraag formuleren.


45

Toetsanalyse door leerlingen (bovenbouw HV)

Klas:

Onderwerp:

Naam:

Vak:

Foutenanalyse toets Geef het aantal gemiste punten per item weer, noteer het bij de juiste reden. Tel de punten op (per categorie) en bereken het %. Vraagnummer Max. te behalen punten FOUTENANALYSE Niet goed geleerd Begrijp vraag niet Vraag niet goed gelezen Te weinig tijd Onvolledig geantwoord Kan niet goed met hulpmiddel* werken Begreep de bron niet Anders, nl. ……..

1a 1

1b 1

2a 1

2b 2

2c 2

3a 2

3b 1

4 4

5 1

6a 2

*denk aan bijvoorbeeld de atlas, een rekenmachine. Conclusie: ………………………

46


6b 2

6c 1

6d 1

7 3

8 1

Totaal % 25 (../25) *100

Type vragen – Analyse

Klas:

Onderwerp:

Naam:

Vak:

Noteer het aantal behaalde punten, per type vraag. Bereken vervolgens per vraagtype hoe je hierop hebt gescoord.

Vraagnummer Max. te behalen punten TYPE VRAGEN Analyse Letterlijke leervragen (onthouden) Geoefende (leer)vragen (begrijpen) Verbanden leggen (aantonen dat je het snapt) (integreren) Iets (nieuws) doen/creëren met wat je snapt (toepassen)

1a 1 O

1b 1 B

2a 1 B

Type vraag

Te behalen punten

Onthouden Begrijpen Integreren Toepassen

7 6 6 6

2b 2 T

2c 2 I

Behaalde punten

3a 2 O

3b 1 I

4 4 T

5 1 O

6a 2 O

% (behaalde punten/te behalen punten*100)


6b 2 B

6c 1 O

6d 1 B

CONCLUSIE:

47

7 3 I

8 1 B

Totaal % 25 (../25) *100

6.5. Toetsscanner  Wat is het? Een instrument om leerlingen zicht te laten krijgen op hun sterke en minder sterke punten voor en tijdens het maken van een toets met tips voor alternatieve manieren van werken voor een volgende toets(voorbereiding).  Doel Reflecteren op de gemaakte toets (inclusief voorbereiding). In de PDCA cyclus systematisch werken aan verbetering van de manier waarop je (effectief) leert.  Activiteit Leerlingen gaan in gesprek aan de hand van kaartjes. Dit gesprek kan 1:1 zijn met de docent of mentor, maar het kan ook in kleine groepjes (maximaal 4 leerlingen) plaatsvinden. In een 1:1 gesprek:  In de eerste ronde kiezen leerlingen van de 10 kaartjes, er drie uit waar ze tevreden over zijn (‘dit ging goed’).  In de tweede ronde kiezen leerlingen van dezelfde 10 kaartjes, er drie uit waar ze minder tevreden over zijn (‘dit ging minder goed’).  Vervolgens vindt het gesprek plaats tussen leerling en docent/mentor over alternatieve manieren van werken. Op ieder kaartje staat aan de achterzijde een aantal tips/alternatieven, die kunnen helpen bij de voorbereiding voor de volgende keer.  De leerling legt vast welk alternatief hij/zij de komende weken gaat proberen en bespreekt op welke wijze hij/zij nagaat of dat ook gelukt is. In kleine groepjes:  In de eerste ronde kiezen leerlingen van de 10 kaartjes, er drie uit waar ze tevreden over zijn (‘dit ging goed’). De leerlingen gaan onderling in gesprek over wat bij hen goed ging. Een andere manier om het gesprek te openen, is ‘kaartjes in het midden’. Om de beurt draait een leerling een kaartje om, leest ‘m voor en een ieder van het groepje kan aangeven of hij/zij daar tevreden over is.  De tweede ronde lijkt op de eerste ronde, alleen nu ligt de focus op ‘wat ging minder goed’. Nu draaien leerlingen ook de kaartjes om om alternatieven/tips te bespreken. Op ieder kaartje staat aan de achterzijde een aantal tips/alternatieven, die kunnen helpen bij de voorbereiding voor de volgende keer.  De leerling legt vast welk alternatief hij/zij de komende weken gaat proberen en bespreekt op welke wijze hij/zij nagaat of dat ook gelukt is.  Wie? Voor individuele leerlingen of groepjes leerlingen met de vakdocent en/of mentor.  Tijd Ongeveer 40 minuten.

48


 Benodigd materiaal - Kaartjes met aandachtspunten. - Kaartjes met alternatieven per aandachtspunt. De tien items gaan over:

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

Het goed lezen van de opdrachten/vragen. Het controleren van je werk aan het einde. Concentratie tijdens de toets. Of en hoe je inzichtsvragen leert. Of je vooraf zelf al proefwerkvragen bedenkt. Oog voor tijd en netheid tijdens de toets. De wijze, waarop je uit je hoofd leert voor een toets. Je planning bij de proefwerkvoorbereiding. Concentratie tijdens de les. De mate waarin je hulp gevraagd hebt om het beter te snappen.

 Beoogde opbrengst Leerlingen krijgen door middel van de toetsscanner zicht op wat goed ging en wat minder goed ging en bespreken hoe zij dit een volgende keer kunnen aanpakken. Hij/zij kiest één of twee items ter verbetering en zorgt ervoor dat dit bij een volgende toets zichtbaar is, bijvoorbeeld door het op de toets te schrijven als ‘reminder’.

6.6. Voorbereidingswijzer  Wat is het? De voorbereidingswijzer is een lijst met zo’n 30 manieren voor leerlingen om zich voor te bereiden op een toets. Deze manieren van voorbereiding kunnen gekoppeld worden aan het reproductieve leren en het leren met diepgang, waarbij meer inzicht vereist is. Daarmee kan de voorbereidingswijzer gekoppeld worden aan OBIT.  Doel De docent kan met de leerling inzicht krijgen in de manier van leren voor een toets. Mogelijk sluiten de voorbereidingsmanieren van de leerling vooral aan op onthouden en begrijpen en minder op integreren en toepassen. De leerlingen kunnen zich zo gerichter voorbereiden op de toets. Wanneer ook bekend is wat grofweg de verhouding van de OBIT vragen in de toets is, kunnen leerlingen zich nog gerichter voorbereiden.  Wie? Voor de leerling(en) die zeggen: “ik had zó hard geleerd, en toch een onvoldoende!”  Tijd? 15 minuten,


49

 Benodigd materiaal Enkele manieren, die genoemd worden in de voorbereidingswijzer: 1. (herhaald) lezen, overlezen, 2. samenvatting maken, 3. laten overhoren, 4. uit het hoofd leren van tekst/begrippen/formules/woordjes, 5. in de leertekst de belangrijke zaken onderstrepen, herlezen onderstreepte tekst, 6. mindmap maken, 7. erover praten met (een) ander(en), 8. uitleggen aan (een) ander(en), 9. vragen/opdrachten maken, 10. foutenanalyse van gemaakte vragen/opdrachten, 11. spiekbrief maken, 12. zelf proefwerkvragen bedenken, 13. diagnostische toets maken, 14. zelf voorbeelden bedenken, 15. de kern presenteren, 16. de kern van de vraag achterhalen door inzet en oefening met leesstrategieën, 17. oriënteren op de inhoud, nagaan: wat weet ik er al van?, 18. de leerstof zoekend doornemen, de leerstof globaal doornemen, de leerstof intensief doornemen, 19. een verhaal kunnen vertellen bij de kopjes van de inhoudsopgave, 20. schema maken, 21. rangschikken van de ‘te stampen’ leerstof, 22. overeenkomsten en verschillen zoeken, 23. lastige begrippen of dingen die je moet onthouden op plakbriefjes op spiegels plakken thuis, 24. leren via you tube 25. leren via skype 26. …  Werkwijze Maak eerst (bijvoorbeeld samen met leerlingen) een overzicht van voorbereidingswijzen. Geef leerlingen de lijst, laat aanvinken welke manier ze gebruiken en vervolgens ook nagaan welke voorbereidingswijze past bij welk type vraag.  Beoogde opbrengst De voorbereidingswijzer kan opleveren dat een leerling bijvoorbeeld inziet dat de manier van voorbereiden op een toets voornamelijk past bij de feitenvragen en niet bij de ontwerpvragen. 6.7. Vragenvoorspeller Bij de vragenvoorspeller zijn verschillende manier van inzet mogelijk.

6.7.1 Variant I  Wat is het? Met de vragenvoorspeller kan een docent leerlingen zicht geven op wat voor hen nodig is gedurende het leerproces. Het is een controlemoment voorafgaande aan een toets, waarbij een leerling nagaat welk type vraag hij/zij al kent of kan en welk type vraag nog niet. De vragenvoorspeller is een analysemodel om leerlingen te leren focussen op wat voor hen nodig is, waardoor een leerling effectiever en efficiënter kan leren voor een toets. 50


 Doel Het doel is, dat leerlingen zich voorbereiden op de te behalen leerdoelen door na te gaan welke vragen zij kunnen verwachten tijdens de prestatiemeting (de toets). Activiteit Voordat leerlingen kunnen werken met een vragenvoorspeller is enig kennis van zaken nodig als het gaat om verschillende leeropbrengsten. Leerlingen vragen zich dan af ‘weet ik iets’, ‘snap ik iets’ en/of ‘kan ik iets doen met wat ik snap (gebruiken)’? Leerlingen maken vervolgens mogelijke toetsvragen uit de verschillende vraagcategorieën, en voorspellen hoeveel vragen van iedere categorie in de toets verwacht kunnen worden. Gedurende een lessenserie kunnen leerlingen met behulp van de vragenvoorspeller nagaan en laten ‘voorspellen’ hoe ze denken dat de puntenverdeling is van de toets m.b.t. onthoudvragen, snapvragen en ‘doe-vragen’ (vragen waarbij de geleerde kennis actief moet gebruiken). De docent vraagt de leerling ook voorbeeldvragen te bedenken passend bij het thema waar ze op dat moment mee bezig zijn. Vervolgens wordt de leerling gevraagd na te gaan op welke wijze hij/zij zich denkt voor te bereiden op dergelijke vragen en waar op gelet moet worden bij dergelijke vragen. Dit kan prima onderwerp van gesprek zijn in kleine groepjes tijdens de les. Eventueel kan de docent zelf enkele manieren uit de voorbereidingswijzer (zie 6.6) noemen, waarvan hij denkt dat deze aansluiten bij de verschillende type vragen. Tenslotte vraagt de docent de leerling te reflecteren op de eigen mogelijkheden/capaciteiten, door bij de smilies aan te geven hoe goed de leerling de vraagt denkt te kunnen beantwoorden.  Voor wie? Leerlingen, die veel fouten maken in toetsen.  Tijd? 15 – 30 minuten.  Benodigd materiaal Vragenvoorspeller.


51

Type vraag

Verdeel 10

Hoe bereid je je

Waar moet je op het letten bij het

Hoe goed denk je deze

punten

voor op zo’n

beantwoorden van zo’n vraag?

vragen te kunnen maken?

over de

vraag?

type vragen

Weetvraag Voorbeeld

Snapvraag (‘in eigen woorden’) Voorbeeld

Doevraag: iets doen met wat je snapt (in nieuwe situaties) Voorbeeld

 Beoogde opbrengst Leerlingen voorspellen wat voor type vragen ze kunnen verwachten op de toets en koppelen hieraan de manier van voorbereiden en hun eigen sterke en minder sterke punten.

52


6.7.2 Variant II Een combinatie van 6.5 en 6.7.1 met een stappenplan, als volgt.  Activiteit Deel 1: maak leerlingen bewust van verschillende leeractiviteiten en verschillende type vragen. Deel 2: laat ze invullen wat ze voorspellen in de vragenvoorspeller. Hulpmiddel: de voorbereidingwijzer.  Werkwijze Deel 1: de docent laat leerlingen interactief vragen voor de ander bedenken in verschillende vraagtypen (weetvragen,snapvragen, doevragen). Soms kan het helpen om leerlingen quiz-vragen voor de ander te laten bedenken m.b.t. de leerstof.  Quiz-vragen zijn vergelijkbaar met onthoudvragen (geef het goede antwoord, feitenvragen).  Willem-Wever vragen zijn vaak ‘hoe komt het dat…’-vragen, het betreft begrijpvragen van hoog niveau, maar vaker nog integreervragen, omdat je aspecten met elkaar moet gaan vergelijken/combineren om tot het juiste antwoord te komen.  Willie-Wortel-vragen zijn creëervragen, de Toepassingsvragen van OBIT, waar je één of meerdere van de overige leeractiviteiten OBI voor nodig hebt, om de vraag op te lossen. Het gaat hierbij om een creatief denken/of ontwerpproces. Deel 2: het in te vullen schema van de vragenvoorspeller.  Beoogde opbrengst Leerlingen voorspellen wat voor type vragen ze kunnen verwachten op de toets en koppelen hieraan de manier van voorbereiden en hun eigen sterke en minder sterke punten.

6.8 De koninklijke weg  Wat is het? Een instrument om de kwaliteit van toetsing te borgen. Door het proces als sectie te doorlopen, kan de kwaliteit van toetsing in de sectie wordt vergroten en geborgd.  Doel Door systematisch te kijken naar het proces van toetsing, van voorbereiding via afname tot archivering, de kwaliteit van toetsen in de sectie vergroten.  Bron APS- Toetsgroep.  Activiteit De sectie krijgt de volgende opdracht: Bedoeling:

bespreken van wat je binnen de sectie doet om de kwaliteit van toetsen te waarborgen.


53

Bekijk het blad: De koninklijke weg voor kwaliteitsbeleid van toetsen (zie: hieronder).

1. Bespreek met elkaar elke stap die daarop staat, hoe dat nu is geregeld en of je daarover afspraken kunt maken voor een verbetering in het vervolg. - Wie is verantwoordelijk voor de totstandkoming en de kwaliteit van de toets? - Wie ontwerpt de toets met het beoordelingsmodel? - Wie geeft feedback? - Welke eisen stellen we aan de kwaliteit van de toets? - Welke rol spelen leerlingen bij de totstandkoming van de toets? - ….. 2. Ga na of jullie toetsbeleid onderdeel is van kwaliteitsbeleid in jullie sectiesamenwerking. Bedenk: Soms is het handig per leerjaar een coördinator aan te stellen, die de toetskwaliteit in de gaten houdt en archiveert. Toetsbanken bijhouden is een hoop werk; wat kun je ervan verwachten? En hoeveel tijd kost zoeken?  Wie? De sectie.  Tijd Ongeveer 40 minuten.

54


 Benodigd materiaal - Afspraken over toetsen. - Vakwerkplan van de sectie.  Beoogde opbrengst De sectie maakt onderling afspraken over het proces van toetsing. De sectie maakt afspraken rond feedback geven over elkaars toetsen. Er komt meer transparantie rondom toetsen en door de kritische houding tegenover toetsen, verbetert de kwaliteit van de meetinstrumenten. 6.9. Begeleiden van leerlingen op het voorbereiden van een toets  Wat is het? Verschillende manieren om de leerlingen beter op de toets voor te bereiden.  Doel Uitwisselen van verschillende manieren om leerlingen op een proefwerk voor te bereiden. Het doel is ook om het repertoire van de docenten te vergroten m.b.t. het voorbereiden van leerlingen op toetsen.  Bron APS- Toetsgroep.  Activiteit Vorm een groepje van 3 à 4 collega's, het liefst van verschillende vakken. Dit kan ook in de sectie worden uitgevoerd. 1. Bekijk het blad: "Het voorbereiden van een proefwerk" en streep aan welke activiteiten van a. t/m p. je goed vindt (groen) en welke niet (rood). 2. Bespreek met elkaar hoe je dat doet en wat je ervaringen zijn. 3. Inspireer elkaar om nog andere activiteiten te ontwikkelen om leerlingen te helpen zich op een proefwerk voor te bereiden. 4. Kom met elkaar tot een top 5 van interventies, die goed werken bij de voorbereiding van de leerlingen op de toetsen.  Wie? De docenten binnen de sectie.  Tijd Ongeveer 30 minuten.  Benodigd materiaal Het voorbereiden van een proefwerk (zie hieronder).  Beoogde opbrengst Gezamenlijk werken aan dit punt levert ideeën en afstemming op in sectieverband.


55

HET VOORBEREIDEN VAN EEN PROEFWERK Activiteit

Groen

a. het bespreken van de samenvatting uit het boek. b. het gezamenlijk maken van een samenvatting. c. het laten bestuderen van de samenvatting. d. het overschrijven van de samenvatting. e. een klassengesprek over de kern van het hoofdstuk. f. een kennen-en-kunnen-lijst bespreken. g. tijdens een klassengesprek een kennen-en-kunnenlijst maken. h. een kennen-en-kunnen-lijst bespreken. i. kernopgaven (opnieuw) laten maken; al dan niet zelf verzonnen, ander boek, door leerlingen verzonnen, zelf of door leerlingen. j. proefwerkopgaven laten verzinnen door leerlingen. k. proefwerkopgaven van vorig jaar laten maken. l. theorie samenvatten. m. laten voorspellen welk cijfer een leerling denkt te kunnen halen. n. voorspellen welk cijfer elke leerling gaat halen. o. de bij dit hoofdstuk gemaakte schriftelijke overhoringen nog eens maken. p. herhalingsopgaven bespreken, laten controleren, vergelijken.

56


Rood

7.

CONCLUSIES EN AANBEVELINGEN

In hoofdstuk 5 staat de analyse van de data en de uitgebreide duiding daarvan. In dit hoofdstuk worden op basis daarvan de antwoorden op de onderzoeksvragen geformuleerd.

De probleemstelling leidt tot de onderzoeksvraag op welke wijze (bestaande) toetsen en toetspraktijken kunnen worden aangepast, zodat er gevarieerd getoetst wordt door hogere orde denkvaardigheden af te wisselen met reproductieve vaardigheden. Dat leidde tot deelvragen gericht op: o Instrumentarium, dat gericht is op lagere en hogere orde denkvaardigheden. o Sectie betrokkenheid. o Leerlingen in lessen meer betrekken in de doelen / wat een docent van hen verwacht. 1. Vanuit welke visie op leren en op welke manier stellen docenten hun toetsen samen wat betreft de leervaardigheden die worden bevraagd? In het onderzoek komt naar voren dat bijna alle docenten een brede visie op het vak hebben wanneer je daar naar vraagt. Het gaat zowel om lagere als hoger orde denkvaardigheden. Door de interventies is de visie op het vak bij de docenten niet veranderd. Er is echter wel meer bewustwording ontstaan hoe deze visie aansluit bij de toetsing. De toetspraktijk laat zowel voor als na de interventies een focus zien op lagere orde denkvaardigheden. Het feit dat er geen verandering door de interventies is gekomen, heeft te maken met het feit dat in secties afspraken zijn gemaakt over de af te nemen toetsen, die in het tijdbestek van het onderzoek niet zomaar konden worden veranderd. In de toetscultuur is de reden waarom toetsen worden afgenomen divers. Genoemd worden: dwangmiddel (stok achter de deur), verantwoording en informatie over het resultaat. De reden: toetsing als hulpmiddel in het leerproces (formatief instrument) wordt weinig genoemd. Het lijkt erop, dat wanneer er meer aandacht is voor hogere orde denkvragen leerlingen het gevoel hebben dat niet alle leerstof door de docent is behandeld, waardoor ze voor verrassingen komen te staan in de toets. Het is dus van belang dat docenten hogere orde denkvragen in de les aan de orde laten komen, zodat leerlingen zich daarop kunnen voorbereiden. 2.

Welke instrumenten en strategieën kunnen docenten ondersteunen bij het construeren van toetsvragen die hogere orde denkvaardigheden toetsen? Veel docenten geven aan dat bij het maken van toetsen feedback van en samenwerking met collega’s van belang is. Docenten geven een diversiteit aan instrumenten aan, die bijdragen aan het construeren van goede toetsen. Vooral de instrumenten waarin lagere en hogere orde denkvaardigheden worden onderscheiden, worden als docenten als waardevol benoemd. Dit onderzoek heeft duidelijk gemaakt dat onderscheid maken tussen hogere en lagere orde denkvragen in de toets zowel bij leerlingen als docenten meer bewustheid heeft gegeven over wat de doelen zijn van het vak. Bij verschillende interventies (zie hoofdstuk 6) wordt aandacht besteed aan dit onderscheid. Uit de interviews blijkt een


57

verschil tussen docenten voor wat betreft welke interventie deze docent heeft geholpen (verschilt per docent). De praktische inzetbaarheid van de instrumenten is duidelijk: hoe concreter, hoe makkelijker docenten deze instrumenten in hun toetspraktijk kunnen inzetten. 3. Wordt er verschil ervaren door docenten en leerlingen wat betreft het beeld van de leerling dat de toets geeft vóór en na de aanpassing van de toetsing en zo ja, wat voor verschillen ervaren zij? Bij de overall gemiddelde score op de vragenlijsten voor docenten is een stijging te zien. Deze stijging verwijst naar de vraagitems die meten hoe bewust docenten zijn over dat ze de leerlingen helder maken wat van ze wordt verwacht. Gezien het aantal docenten in de onderzoeksgroep is hierover geen significante uitspraak te doen. Opvallend is dat de overall score van de vragenlijsten van leerlingen dalen over het gemiddelde van alle vragen (wellicht heeft dit iets te maken met dat de voor- en nameting in een andere periode van het schooljaar zijn afgenomen). Bij een nadere analyse blijkt dat er bij docenten die zeer actief interventies hebben ingezet in de onderzoeksklassen, een significant stijging is in de gemiddelde score van de vragenlijst. Deze stijging is vooral toe te schrijven aan de vraagitems, die gericht zijn op feedback en feedforward. Het onderzoek heeft geen verschil opgeleverd over hoe het beeld van het vak bij leerlingen ontstaat. In de nameting geven enkele leerlingen aan een nabespreking in de klas te hebben gehad op basis van een analyse van de gemaakt toets (met behulp van toetsanalyse voor leerlingen). Leerlingen geven aan dat er daarin is stilgestaan bij hogere en lagere orde denkvragen. Leerlingen geven er in de interviews meer blijk van dat ze weten dat uit het hoofd leren (alleen reproductie) niet voldoende is.

Nuancering: In relatief weinig tijd is het moeilijk om grote veranderingen zichtbaar te krijgen in het handelen en in de opvattingen van docenten, maar uit de overige opmerkingen (veranderingen in de praktijk) laten we zien dat er wel degelijk een verandering in bewustwording heeft plaatsgevonden.

58


BIJLAGEN: VRAGENLIJSTEN EN INTERVIEWOPZET

Vragenlijst docenten

Naam:……………………………………………………. Datum:………………………………………………. Hoe handelt u in de les en op welke manier sluiten uw proefwerken hierbij aan? Reageer op de stellingen door steeds één van de cijfers te omcirkelen. Er zijn geen goede of foute antwoorden, het gaat om uw mening.

1 Nooit

2

3

Bijna nooit

4 Meestal niet

5

Soms wel, soms niet

6 Meestal wel

7 Bijna altijd

1) Ik besteed in de les aandacht aan het onthouden van de leerstof. Nooit

1

2

3

4

5

6

7

Altijd

2) Ik besteed in de les aandacht aan het begrijpen van de leerstof zodat leerlingen in de toets vergelijkbare opgaven / oefeningen kunnen maken. Nooit

1

2

3

4

5

6

7

Altijd

3) Ik besteed aandacht in de les aan het leggen van verbanden met eerder opgedane kennis en vaardigheden. Nooit

1

2

3

4

5

6

7

Altijd

4) Ik besteed in de les aandacht aan het toepassen van de leerstof in nieuwe situaties. Nooit

1

2

3

4

5

6

7

Altijd

5) Door mijn lessen weten de leerlingen wat ze in een proefwerk kunnen verwachten. Nooit

1

2

3

4

5

6

7

Altijd


59

Altijd

1

2

Nooit

3

Bijna nooit

4 Meestal niet

5

Soms wel, soms niet

6 Meestal wel

7 Bijna altijd

6) Mijn leerlingen weten hoe zwaar een proefwerk (mee)weegt. Nooit

1

2

3

4

5

6

7

Altijd

7) In mijn proefwerken test ik of mijn leerlingen de behandelde stof goed hebben onthouden. Nooit

1

2

3

4

5

6

7

Altijd

8) In mijn proefwerken test ik of mijn leerlingen vergelijkbare opgaven / oefeningen als in de les kunnen maken. Nooit

1

2

3

4

5

6

7

Altijd

9) In mijn proefwerken test ik of mijn leerlingen de behandelde stof kunnen koppelen aan eerder opgedane kennis. Nooit

1

2

3

4

5

6

7

Altijd

10) In mijn proefwerken test ik of mijn leerlingen de behandelde stof kunnen toepassen in nieuwe situaties. Nooit

1

2

3

4

5

6

7

Altijd

11) In mijn proefwerken neem ik vragen op met verschillende moeilijkheidsniveaus. Nooit

1

2

3

4

5

6

7

Altijd

12) In mijn lessen besteed ik aandacht aan hoe leerlingen zich op een proefwerk kunnen voorbereiden. Nooit

1

2

3

4

5

6

7

Altijd

13) Ik heb duidelijk voor ogen wat ik met een proefwerkvraag wil toetsen. Nooit

1

2

3

4

5

6

7

Altijd

14) Proefwerken zijn voor mij een middel om leerlingen te verplichten met de leerstof aan de slag te gaan. Nooit

1

2

3

4

5

6

7

Altijd

15) Als mijn leerlingen actief meedoen in de les, kunnen ze het proefwerk goed maken. Nooit

1

2

3

4

5

6

7

Altijd

16) Ik geef mijn leerlingen feedback op de voorbereiding van een proefwerk. Nooit

1

60

2

3

4

5

6

7

Altijd


Altijd

Vragenlijst leerlingen

Naam:……………………………………………………. Klas:…………………… Datum:……………………………………………….. Hoe ervaar jij de lessen van dit vak en de manier waarop dit vak getoetst wordt? Reageer op de stellingen door steeds één van de cijfers te omcirkelen. Er zijn geen goede of foute antwoorden, het gaat om jouw mening. 1 Nooit

2

3

Bijna nooit

4 Meestal niet

5

Soms wel, soms niet

6 Meestal wel

7 Bijna altijd

Altijd

Vragen over je docent 1) De docent maakt in de les duidelijk wat je van de behandelde stof moet onthouden. Nooit

1

2

3

4

5

6

7

Altijd

2) De docent zorgt er tijdens de lessen voor dat ik de behandelde lesstof begrijp zodat ik in de toets vergelijkbare opgaven / oefeningen kan maken. Nooit

1

2

3

4

5

6

7

Altijd

3) De docent besteedt in de les aandacht aan het leggen van verbanden met eerder opgedane kennis en vaardigheden. Nooit

1

2

3

4

5

6

7

Altijd

4) De docent besteedt in de les aandacht aan het gebruiken van de leerstof in nieuwe situaties. Nooit

1

2

3

4

5

6

7

Altijd

5) De docent geeft tijdens de lessen feedback op wat ik goed en minder goed doe bij dit vak. Nooit

1

2

3

4

5

6

7

Altijd

6) De docent behandelt alle leerstof die ik nodig heb voor het maken van een proefwerk. Nooit

1

2

3

4

5

6

7

Altijd


61

1

2

Nooit

3

Bijna nooit

4 Meestal niet

5

Soms wel, soms niet

6 Meestal wel

7 Bijna altijd

Altijd

7) Ik krijg van mijn docent na afloop het proefwerk te zien om ervan te leren. Nooit

1

2

3

4

5

6

7

Altijd

8) Ik krijg tips van de docent voor het leren en voorbereiden van een proefwerk. Nooit

1

2

3

4

5

6

7

Altijd

Vragen over jouw ervaring 9) In de proefwerken kan ik laten zien hoe goed ik de lesstof heb onthouden. Nooit

1

2

3

4

5

6

7

Altijd

10) In de proefwerken kan ik laten zien of ik vergelijkbare opgaven / oefeningen als in de les kan maken. Nooit

1

2

3

4

5

6

7

Altijd

11) In de proefwerken kan ik laten zien hoe goed ik verbanden kan leggen tussen de leerstof en eerder opgedane kennis. Nooit

1

2

3

4

5

6

7

Altijd

12) In de proefwerken kan ik laten zien hoe goed ik de kennis en vaardigheden kan gebruiken in andere situaties. Nooit

1

2

3

4

5

6

7

Altijd

13) Bij het maken van de proefwerken is het mij duidelijk dat er makkelijke en moeilijke vragen zijn. Nooit

1

2

3

4

5

6

7

Altijd

14) Een proefwerk bevat voor mij geen verrassingen, ik weet wat ik kan verwachten. Nooit

1

2

3

4

5

6

7

Altijd

15) Ik weet dat ik een proefwerk goed kan maken als ik actief meedoe in de lessen. Nooit

1

2

3

4

5

6

7

Altijd

7

Altijd

16) Ik weet hoe zwaar een proefwerk (mee)weegt. Nooit

1

2

3

4

5

6

17) Als ik mijn nagekeken proefwerk terugkrijg, weet ik bij elke vraag wat ik goed of minder goed heb gedaan. Nooit

1

2

3

4

5

6

7

Altijd

18) Ik ga alleen aan de slag met de leerstof als ik weet dat we er een proefwerk over krijgen. Nooit

1 62

2

3

4

5

6

7

Altijd


Instructie Docentinterview Wat willen we zichtbaar krijgen in interview: - Vanuit welke visie op leren en op welke manier stellen docenten hun toetsen samen wat betreft de leervaardigheden die worden bevraagd? - Met deze interviews willen we een beeld krijgen van de huidige toetscultuur van de docent/school. Onderwerp

0

1

2

3

Opmerkingen

score (0=niet / 1 = matig / 2 = redelijke mate / 3 = veel) Visie op leren van jouw vak (waar gaat het echt om in jouw vak)? - wat is in jouw vak de belangrijkste leeractiviteit? OB (kennen/herkennen) IT (relateren/creëren) Waartoe toets je? - stok achter deur (angstcultuur) - zichtbaar maken wat geleerd is - handige manier om de leerling in beeld te hebben - hiaten opsporen - het moet nu eenmaal - motivatie Maken van proefwerken? - Doe je dit samen met vakcollega’s? - Geven en omgaan met feedback van collega’s - Ervaringen van eerdere afnames verwerken - gebruik je feedback van leerlingen? Invloed op vorm/inhoud? - mate waarop je zelf invloed hebt - voel je vrijheid zelf aanpassingen te doen - mate waarop de sectie invloed heeft - mate waarop je jouw methode(toetsen) volgt Hulpinstrumenten voor toetsdesign? - toetsanalyse formulier / toetsmatrijs - leeractiviteitenschema - methodetoets - examens - eindtermen / erk / referentieniveaus etc. - bronnenboeken /achtergrondlit. (bv slo) Andere toetsvormen: - hoe vaak je andere vormen inzet dan schriftelijk (presentatie ed) Overig


63

Instructie Leerlinginterview Wat willen we zichtbaar krijgen in interview: - Wordt er een verschil ervaren door docenten en leerlingen wat betreft het beeld van de leerling dat de toets geeft vóór en na de aanpassing van de toetsing en zo ja, wat voor verschillen ervaren zij? - Mogelijkheden door de huidige toetsen in beeld worden gebracht. Ook wordt een aantal leerlingen hierover met een semigestructureerde vragenlijst groepsgewijs geïnterviewd. Onderwerp

0

1

2

3

Opmerkingen

score -> (0=niet / 1 = matig / 2 = redelijke mate / 3 = veel) Wat voor een beeld heb jij van jezelf bij dit vak (OBIT)? En hoe weet je dat? - OB (leervragen)? - IT (denkvragen)? - hoe ontstaat dit beeld? Invloed op het beeld dat je hebt op wat je hebt geleerd. - waàr heb je zelf invloed op? - waar heeft docent invloed op? - de toetsresultaten hebben invloed op jouw beeld van wat je geleerd heb In hoeverre testen de toetsen wat jij vind dat jij geleerd hebt? - OB - IT - dekking toets op wat je hebt geleerd - logica cijfer van vak ten opzicht van wat je kan Voorbereiding - de voorbereiding op de toets in de les? - de voorbereiding van de toets door henzelf (thuis)? Overig

64


BRONNEN

Dokkum, H. van (2010) - Het effect van de complexiteit van vragen op de nieuwsgierigheid van kinderen tijdens buitenschoolse kunsteducatie Masterthesis - Universiteit Utrecht Vermaak, H. (2009) – Plezier beleven aan taaie vraagstukken – Deventer Kluwer Wilbrink, B. (2005) – Toetsvragen schrijven – Spectrum Draaijer, S. (2004) – Flexiblisering van toetsing – Stichting Digitale Universiteit Anderson, LW. en Krathwohl, DR (2001) - A revision of Bloom’s Taxonomy – New York Longman Ebbens, S. (2005) – Actief leren – Wolters Noordhoff Groningen Colby, SA en Smith, TW (2007) – ‘Teaching for deep learning’ in The Clearing House, Volume 80, Issue 5 Nierop, D. (2012) – Renoveer de mammoet! – APS Utrecht Boekaerts, M. en Simons R.J. (2003) – Leren en instructie – Assen, Van Gorcum


65

R&D onderzoeksrapportage Toetsen en beoordelen van leeropbrengsten

Recommend Documents