“Waarderen we wat we meten, of meten we wat we waarderen?”
‘Cijfers geven werkt niet’ Havo-congres ‘Trots op havo’ Ede, 5 februari 2015 Maurice van Werkhooven (APS)
Aan de wortels (her)ken je de boom omgeving (de leiding, het gebouw, de leerlingen) gedrag vaardigheden overtuigingen / opvattingen identiteit zingeving
Friedrich Nietzsche
De vijand van de waarheid is niet de leugen, maar de overtuiging.
Doel: twijfel zaaien & steun bieden 1. Inleiding over keerzijde van cijfers 2. Hoe dit in uw team en/of sectie aan de o r d e t e s t e l l e n
III Ieren inspireren
www.dps.nl
1. Inleiding om twijfel te zaaien óf steun te bieden 1. Hoe dit in team of sectie aan de orde te stellen
Laat een leerling een dag lang turven... “Dit komt op de toets terug, hoor.” “Ik heb het proefwerk al gemaakt, ik weet wat erin zit dus als ik jou was ” “Dit is over drie jaar wel examenstof, ja?” “Dat vorige cijfer was niet veel soeps, dus ik hoop en gun je een compenserend cijfer.”
blog.tumult.nl
Cijfers geven werkt niet! “Pardon? Cijfers geven wérkt niet...???”
Ieder toetst zichzelf voortdurend Voor, tijdens en na een wedstrijd Voor, tijdens en na lesgeven Tijdens en na een versierpoging Tijdens en na het zich verdiepen in iets waar je in geïnteresseerd bent
Leerlingen kómen niet gemotiveerd op school.
Ze komen op school om gemotiveerd te ráken. Uit Oratie van Prof. Dr. Monique Volman (UvA) 17 juni 2011, ‘Kennis van betekenis’
“Een cijfer motiveert ze...” Ja, klopt! Maar waartóe motiveert het .? Tot het goed-worden in Frans of tot het goede-cijfers-halen voor Frans?
Hallow en Deci, onderzoekers Ze lieten jonge aapjes puzzels oplossen en kwamen tot de ontdekking dat de aapjes, nadat ze de puzzel hadden opgelost, gingen experimenteren of ze sneller of beter konden werken. Uit hun latere onderzoek is gebleken dat die intrinsieke motivatie bij uitdagende taken verdwijnt als er een materiële beloning tegenover komt te staan. Door die beloning gaan ze denken dat de taak op zich niet voldoende belonend is, en zo verliezen ze hun belangstelling voor iets wat ze in eerste instantie heel leuk vonden.
Extrinsieke motivatie doodt intrinsieke motivatie! Kleuters kleuren en tekenen dat het een lieve lust is. Op een gegeven moment worden ze ervoor beloond. Ze blijven tekenen want de beloning lonkt. Als de beloning wegvalt, zie je niet zelden het tekenen-met-een-lieve-lust stoppen.
I\ET ALLE EGARDS (JKKE
[email protected]
Darwinist tE c.,E#-{.E.w.e. )01:›5 — hi
Het ontwikkelen van zelfstandig denken en het hebben van een eigen persoonlijke mening is een essentieel onderdeel van het huidige onderwijs. Daarbij hoort ook het nadenken over levensbeschouwelijke thema's. Vol trots laat onze zoon van 14 zijn werkstuk zien. 'Ben je Darwinist of geloofje in de schepping', is het thema. Verbaasd over zijn genuanceerde kijk op dit vraagstuk, vraag ik hem hoe hij tot zijn standpunt is gekomen. Meewarig kijk hij me aan en zegt: ,Het is niet belangrijk wat fk vind, dit levert gewoon het hoogste cijfer op!"
REC‘Ei:21,--JG
111
www.foksuk.ni
ANGELA DE SNAIJER www.aps.n!
Ieren
computergames, het zogenoemde serions garning, hun motivatie even toeneemt, maar al snel weer afvlakt. Het gaat erom dat je leerlingen motiveert om te leren. Dat is een dynamisch proces, want geen leerling is hetzelfde. De docent van de toekomst is geen zendende onderwijsgever, maar "een onderwijsmaker. Helaas zijn veel leraren hier niet klaar voor." Jan Walburg, hoogleraar positieve psychologie aan de Universiteit Twente, zegt dat het „heel verrassend" is dat kinderen, „die eigenlijk niets lie-ver doen dan leren", zo weinig gemotiveerd zijn. De verklaring ligt volgens hem deels in het feit dat de afgelopen jaren de nadruk is komen te liggen op de „rare jacht naar zo hoog mogelijke
1D1-011: Jan I I I
I e r e n inspireren www.d ps. n I
toetsresultaten". „Uit onderzoek komt naar voren dat leerlingen beter presteren als niet het resultaat wordt benadrukt, maar het proces van het leren. Dan durven leerlingen meer, leren ze meer, hebben ze meer plezier én leggen ze de lat hoger." vat INCUClianuse Knillefen 111 wezen anders zijn dan hun leeftijdsgenoten elders in West-Europa, wil er bij Walburg niet in. „Dat er hier zo weinig plezier in het leren is, heeft dus te maken niet het onderwijssysteem. Scholen moeten zich meer richten op plezier in het leren. Dat lijkt misschien niet flink ten opzichte van de ouders, maar de resultaten worden er beter van." [+1 Interview Roeters pagina 6
Walburg, hoogleraar positieve psychologie
NRC 30 januari 2013 XiOren, [ar zes 'er-L in orer!de
Studenten HvA 'voor niets geleerd' Door onze correspondent 'YASMINA ABOUTALEB AMSTERDAM.
Honderden stu-denten van de opleiding Media, Informatie en Communicatie van de Hogeschool van Amster-dam tiet (HvA) zaten gisteren voor niets oe- paraat in hun tentamen-zaal. ;en Bij het uitdelen van de opgaven aan de 1.200 ais- propedeusestu-denten bleek dat aan er lang niet ge-noeg tentamens tar- waren voor alle studenten. De hogeschool heeft geen idee len t in hoe het heeft kunnen gebeuren. aak „We zijn het voorval aan het uitxgd zoeken. Dit is naar mijn weten nog nooit gebeurd", zegt een
14.0„,pw I
I
I
I
e
r
e
4 i
1
FotoFóliaWeb woordvoerder. Inmiddels i b sloten het tenta • -
vier uur af te nemen. „We w den het zo snel mogelijk laten plaatsvinden.Danzitdegeleerde stof noginhetgeheugen." vA heeft nog geprobe
sen. „Maar zo snel een paar honderd tentamens bijdrukken is onmogelijk", zegt de woordvoerder. Student Martijn de Vries die op dat moment in de zaal zat: „Toen het tentamen werd afgelast, was er gejuich. Maar dat ging al snel over in teleurstelling, want we hadden voor niets geleerd." De Vries „baalt" van de vergissing van de HvA: „Ik heb vrijdag nog een ander tentamen om vier ur. Ik moet ze achter elkaar maen, maar dat is niet erg handig. opelijk is dit een eenmalige fout, want de opleiding is verder wel superleuk."
het p OSAdvertentie
n
inspireren
www. a ps. n
Boekje Cijfers geven werkt niet “Ik ben gestopt met beoordelen, tenzij de leerlingen klaar zijn met leren. Hand opsteken is verboden. Het gaat om zinnige feedback geven.” “Als leraar [moeten we niet] zijn we niet geïnteresseerd in hun vermogen te doen wat we ze geleerd hebben. Wij zijn uitsluitend geïnteresseerd in hun vermogen hun nieuw verworven kennis toe te passen in een vergelijkbare maar andere context.”
nl.bettermarks.com, zou het werken?
Focus op het vak of cijfer-voor-het-vak?
Ebbingliaus' Forgetting Curve 100
20 minutes = 58.2% 1 hour = 44.2%
50
9 hours = 35.8% 1 day = 33.7% days =27.8% 6 days = 25 4%
3 1 d a ys= 2 1 1 %
0
Ieren inspirerenwww.d ps. n
Time
80% van het geleerde verdwijnt met het proefwerk in de prullenbak
Bron: David Sousa How the brain learns
/rijksuniversiteit,/Faculteigedrags-enLeranopleidng groningenmatschapijwetnschapen
Betrouwbaarheid van Schoolcijfers
ORD, juni 2014
Lans, R. M. van der, Van de Grift, W. J. C. M., & Van Veen, K. Raikunner.tell Grurungell Lerarcnopludmg
Aanleiding en relevantie
Conclusie
Onderzoeksvragen
In dit onderzoek gaan we in op de betrouwbaarheid van schoolcijfers, Alhoewel
1. Hoeveel cijfers zijn nodig om betrouwbare (p > .70) besluiten te maken
schoolcijfers prominent aanwezig zijn in de schoolpraktijk, wordt er nauwelijks on-derzoek
Praag 1: Er blijken 6 tot 7 repetitiecijfers nodig voor p> .70.
over een leerling?
gedaan naar de kwaliteit van becijfering. Dit terwijl het duidelijk is dat (de kwaliteit van)
2. Zijn er verschillen tussen vakken in de hoeveelheid cijfers die nodig is om
becijfering grote gevolgen kan hebben voor leerlingen, ouders, maar tegenwoordig ook evalueert namelijk de kwaliteit van ons onderwijs op basis van het behaalde rendement
3. Hoe groot is de invloed van systematische fouten op onze uitspraken?
(Onderwijsinspectie, 2011) en het rendement is bijna compleet afhankelijk van de
Vraag 2: geschiedenis, wiskunde en Engels gelijk aantal cijfers, maar Nederlands meer cijfer
nodig.
betrouwbare besluiten te maken?
steeds meer gevolgen heeft voor leraren en voor de scholen zelf. De Onderwijsinspectie
becijfering.
Waag 3: Het lijkt niet realistisch om betrouwbaarheid van schoolcijfers te evalueren op basis
van alleen onsystematische fouten. G-theorie is goed toepasbaar en nodig voor het evalueren van de kwaliteit van becijfering in scholen.
Methode
Theorie over betrouwbaarheid
Basisgedachte: Herhaalde metingen zijn nodig om de invloed van onsystematische fouten te verkleinen. De meeste indexen nog steeds gericht op onsystematische fouten (e.g., alpha, NNFI en CFI).
schatting van betrouwbaarheid. Cronbach, et al, (1972) introduceren G-theorie: niet alleen onsystematische fouten, maar ook systematische fouten moeten worden meegewogen om tot een goede schatting van betrouwbaarheid te komen. VB systematische fout: Een leraar is verantwoordelijk voor het nakijken van alle
051
4 cijfers voor iedere leerling gedurende één schooljaar.
0,50
0,40
e ins
Studie 1 G-studie design Fixed: Schoolvak (V)
0,20 -
060-0,40
0,20
Random. leerling () 0,03 0,00 03 1
toets-moment (m)
2 3 4 5 6 7 8 9 10 11 12 1 1 3 4 5 6 7 8 9 10 11 12
Design = Aantal repetities tra) Aantal repetities (m)
repetities van een leerling. De leerling haalt voor alle repetities hoge cijfers. Wat zou de
Figuur I. D-studie resultaten design 1 (links) design 2 (rechts) De blauwe lijn geschiedenis, rode lijn wiskunde, paarse lijn Engels, groene lijn Nederlands.
reden kunnen zijn van de consistentie?
...
I . De leraar (dan reflecteert de consistentie een systematische fout) 2. De leerling (dan reflecteert de consistentie een betrouwbare meting van
Studie 1: alleen onsystematische fouten
vaardigheid) G-theorie: betrouwbaarheid (p) is een functie van Spearman's (1910) onsystematische fouten (a) EN de systematische fouten (5): p—a 2 /(02 + 5)
Referenties Cronlxich. L. J, Gleaer, G_ C, Nanda, 0, Rajaralnam. N (1972)- Th, dependoblizry of behaveard rreeasurements: Theory of generalizabiiiryfor scores and profil.. New Vak, Wiley. Onderwijsinspectie (2014 beoordeling von opbrengtten fn her onderwijs. De [Neem: Onderwijsinspectie. Spear.,C., (1910). The proof end nicasurnmen1of senecialion belvin.n1wo Ohms (reprinled20101. International Tournat of Epïdeiruologj., 39 (5), 1117-1150. clne intra 21051,64
1,00
0,80
Steekproef 3344 repetitiecijfers, 209 leerlingen, 36 docenten, 9 klassen, 7 scholen. . Alleen repetitiecijfers
Cronbach, et al. (1972) focus op onsystematisch fouten kan leiden tot verkeerde in-
1,03
Veronderstelling: leder cijfer geeft vaardigheidsniveau weer van de leerling
Betrouwbaarheid (Ep)
Spealman (1910): Betrouwbaarheid (r,,) is functie van aantal metingen k en correlatie tussen metingen r: kr I (I +(k— 1)r
R e s u l t a t e n
De
Studie 2 G-studie design Fixed: Schoolvak (V) Random. leerling (1) & docentxtoets-moment (dm) & toets-moment (m) Design = m:(dmol):V)
6 a 7 cijfers nodig zijn om het gebruikelijke criterium van p ? .70 te behalen
(Zie Figuur 2 links), Dit geldt voor de schoolvakken geschiedenis, wiskunde, en Engels, maar niet voor het schoolvak Nederlands (groene lijn). Voor Nederlands zijn meer cijfers nodig. Studie 2: verkenning van invloed systematische fouten
........
De invloed van systematische fouten op onze eerste inschatting van de betrouwbaar-heid is groot (vergelijk Figuur 2 links en rechts). Het is nodig om rekening te houden met systematische fouten bij het analyseren van betrouwbaarheid van becijfering.
Onderzoek Ruth Butler Effects of different feedback conditions on motivational perceptions, interest and performance in Journal of Educational Psychology
“Leerlingen die in de eerste periode alleen een score kregen, toonden geen vooruitgang in het werk in de tweede periode. De leerlingen die alleen opmerkingen hadden ontvangen, scoorden gemiddeld 30% hoger (hoewel ze dit niet wisten omdat ze geen scores hadden ontvangen).”
En Scores én opmerkingen: zelfde effect als alleen scores Hoe dat komt? Leerlingen met hoge scores voelden niet de noodzaak om de opmerkingen te lezen Leerlingen met lagere scores wilden de opmerkingen niet lezen
Uit: Wat is goed onderwijs? Ruud Klarus en P. Robert-Jan Simons (pag 35.)
Woolfolk in Psychology of Education “Als de nadruk meer ligt op de uitvoering van een taak dan op het leren zelf dan is het doel van leerlingen vaak de taak slechts te volbrengen. Elke leerling moet de mogelijkheid hebben om competenties en verbeteringen te tonen. Evaluatie is dus belangrijk.”
Valt er wat aan te doen? Aanzienlijk minder toetsen-voor-een-cijfer minder toetsen ontwerpen mooi meegenomen: minder nakijkwerk? minder administratie?
Aanzienlijk meer andersoortige toetsen meer zicht op iedere leerling meer bijsturing, feedback tijdens het leren
Leerlingen & maken en leren Af-gerichte leerlingen maken: als de docent(e) maar tevreden is leren: uit m’n hoofd leren (‘stampen’) en hopen dat er een vraag bij zit die ik, leerling, herken
Op leren gerichte leerlingen maken: ik snap, doorgrond waartoe ik het te doen heb en wat we er mee gaan doen leren: onthouden & begrijpen én dan integreren, vervolgens wendbaar toepassen in nieuwe situaties toepassen
Lagere of hogere orde denken Reproductie gericht = LOD
Betekenis gericht = HOD
Toepassings gericht = HOD
Ongericht
Verwerkingsactiviteiten
stapsgewijze verwerking
diepte verwerking
concrete verwerking
nauwelijks verwerking
Sturingsactiviteiten
externe gestuurd
zelfsturing
zelfsturing en externe stur.
stuurloos
Studiemotieven
toets- en diplomagericht
persoonlijke interesse
beroeps gericht
ambivalent
Studieopvattingen
kennis opnemen
opbouwen van kennis
gebruiken van kennis
samen studeren
Prof.Dr. Vermunt
1. Inleiding om twijfel te zaaien óf steun te bieden 1. Hoe dit in uw team of sectie aan de orde te stellen
Toetskruis, vier kwadranten docent(e) toetst
- bijv. D-toets
- eindexamen (CSE) - proefwerk en SO - praktische opdracht - spreekbeurt - meesterproef om te beoordelen (hoogspringen – summatief)
- bijv. oefentoets
om te leren (vérspringen – formatief)
- bijv. portfolio leerling(e) toetst zichzelf
Toetskruis, vier kwadranten door docent(e) objectief 4 subjectief
eindexamen (CSE) proefwerk en so-tje praktische opdracht spreekbeurt meesterproef om te beoordelen (hoogspringen – summatief)
om te leren (vérspringen – formatief)
objectief 4 subjectief
repeterende kenistoets oefentoe com lee nvullen ontwkkellijn pers.kwal.
leesdossier met niveau d-toets tekst met vragen observaties portfolio-bespreking
r o d leerling(e)zelf
rep. kennistoets diagnose generale repetitie zelfreflectie portfolio doornemen dagboek (over school)
Wat ga je aan de orde stellen? Motiveren van leerlingen en cijfers geven hebben met elkaar te maken, en kúnnen elkaar in de weg zitten. Wat ga je aan de orde stellen? Wat hebben jullie (team, sectie) te onderzoeken?
c24.- 'fr lo
sfb 1/ 3 $4
L.
H
=4 ?, 1-0,, s3 . 6(4.
? ik V
ttfOg3'-ei P 111 Ieren inspireren
04~1
nit I Ot kt t
r
044-
www.aps.n1
Team- of sectieoverleg: de dialoog Ieders denken doet ertoe en wordt benut Dialoog (werkend met opvattingen) i.p.v. discussie (werkend met overtuigingen) We werken in zestallen, spelen dat je een team of sectie bent én elkaar waardeert
Kaap Brainstorm Creativiteit
Onoverbrugbare Oceaan tunnel wel gereed medio 2305 a.d.
Vlakte van Geneuzel Associatie
Dyna
Verbeelding
,
bootverbinding met Fed. Rep. van de Burgers, elk half jaar (wordt uitgebreide)
Zak
-
Luchtkasteel/Inleving Media,"
Kritisch
*
Communicatie Detail Haven • Beleidsagenda 411ij k Verbeeldings Krachtcentrale
Perspectief
SWOP
Beleidsoptie
AMBTENARENLAND
Beleid
Vliegveld "de Ladenkast" (gesloten)
Alert
Plein
Analyse
1M(~1111""
-9
inspireren
41 41
41 41
Drukproces: kleur voor kleur opbrengen vvvvvv. ps. n
De zes denkhoeden
© Edward de Bono
Groen denken Wit denken creativiteit, nieuwe inzichten en ideeën, groei
Geel denken waarom het wél kan: optimisme, hoop, positieve manier van denken, speculeren
objectieve feiten en cijfers
Blauw denken organiseren van het denken
Zwart denken waarom het niet kan, negatieve aspecten, fouten
Rood denken het emotionele standpunt; angst, boosheid, verdriet, vermoedens, meningen
De Witte denker Feiten, cijfers, informatie Welke informatie hebben we? En welke informatie moeten we zien te krijgen? Wat zijn de feiten in deze kwestie en welke feiten hebben we nodig?
De Rode denker Emoties, gevoelens, ingevingen, intuïtie Wat voel ik op dit moment – hier en nu – over deze kwestie, dit vraagstuk? Mijn gevoel zegt me, dat
De Zwarte denker Voorzichtigheid, waarheid, beoordeling, de feiten naast elkaar Zal het lukken? Is het wel veilig? Is het wel uitvoerbaar? Ja, maar
De Gele denker Voordelen, pluspunten, besparingen Waarom/waardoor is het goed uitvoerbaar, waardoor levert het voordelen op, waarom is het goed dit te doen? Het best mogelijke scenario, alles overziend, is
De Groene denker Onderzoek, voorstellen, suggesties, nieuwe ideeën, anders denken, buiten bestaande kaders denken, gek denken Wat kunnen we allemaal doen? Zijn er andere ideeën? En wat als ? Wat zijn nieuwe benaderingen in deze kwestie?
De Blauwe denker Denken over denken, macht over het denkproces, samenvatten, de volgende denkstap zetten, het denkprogramma vaststellen. Dus samenvattend, concluderend
II ii Ieren inspireren
www. a ps. n1
Doel was: twijfel zaaien & steun bieden 1. Inleiding over keerzijde van cijfers geven 2. In team of sectie aan de orde te stellen, al dan niet met behulp van de denkhoeden van De Bono
Maurice van Werkhooven
[email protected]
