Kwaliteit van Toetsing op het Gomarus College
DAVID DE JONG P300884
GRONINGEN, JANUARI 2012 BEGELEIDER: ESTHER HOEKMAN MEL - PENTA NOVA
2
Inhoudsopgave Voorwoord .............................................................................................................................................. 5 Samenvatting ........................................................................................................................................... 6 1 Aanleiding en inleiding ........................................................................................................................ 7 1.1 Aanleiding ..................................................................................................................................... 7 1.2 Relevantie van het onderwerp ....................................................................................................... 7 1.3 Hoofdvragen en deelvragen ........................................................................................................... 8 2 Theoretisch kader ............................................................................................................................... 10 2.1 Geschiedenis van toetsing ........................................................................................................... 10 2.2 Het doel van toetsing ................................................................................................................... 13 2.3 Begripsbepaling opbrengstgericht werken .................................................................................. 15 2.4 Opbrengstgericht werken: wie, hoe en wat?................................................................................ 18 2.5 Belemmeringen voor opbrengstgericht onderwijs....................................................................... 21 2.6 Conclusie ..................................................................................................................................... 22 3 Dataverzamelingsmethode ................................................................................................................. 23 3.1. Kwantitatief onderzoek (survey) ................................................................................................ 23 3.2 Kwalitatief onderzoek (workshop) .............................................................................................. 25 3.2.1. Methode ............................................................................................................................... 26 3.2.2. Steekproef ............................................................................................................................ 27 3.2.3. Instrument ............................................................................................................................ 27 3.2.4. Analyse ................................................................................................................................ 27 3.2.5. Betrouwbaarheid en validiteit.............................................................................................. 28 3.2.6. Ethische verantwoording ..................................................................................................... 28 4 Resultaten ........................................................................................................................................... 30 4.1 Kwantitatief onderzoek ............................................................................................................... 30 4.2 Antwoorden bij deelvragen 1 en 2............................................................................................... 40 4.3 Resultaten open vraag uit kwantitatief onderzoek ....................................................................... 41 4.4 Antwoorden bij deelvragen 2 en 3............................................................................................... 41 4.5 Uitvoering van de workshops ...................................................................................................... 42 4.6 Uitkomsten plannen van aanpak .................................................................................................. 46 4.7 Beoordeling proces en uitkomsten .............................................................................................. 47 4.8 Uitkomsten laaghangend fruit ..................................................................................................... 50
3
5 Conclusies, aanbevelingen en discussie ............................................................................................. 51 5.1 Conclusies: .................................................................................................................................. 51 5.2 Aanbevelingen ............................................................................................................................. 52 5.3 Discussie...................................................................................................................................... 53 Literatuur ............................................................................................................................................... 57 Bijlagen ................................................................................................................................................. 59
Bijlagen:………………………………………………………………………………………………………………………………59 I. Brief en vragenlijst Drachten…………………………………………………………………………………………….60 II. Brief overige locaties……………………………………………………………………………………………………….64 III. Uitkomsten kwalitatief deel van kwantitatief onderzoek………………………………………………..65 IV. Uitkomsten Plannen van Aanpak …………………………………………………………………………………..73 V. Brief samenstelling focusgroep Drachten ……………………………………………………………………….77 VI. Brief samenstelling focusgroep Magnolia/overige locaties…………………………………………….78 VII. Planning focusgroep Drachten…………………………….………………………………………………………..79 VIII. Planning focusgroep Magnolia/overige locaties……………………………………………………………80 IX. Genoemde onderwerpen focusgroep Drachten……………………………………………………………..81 X. Genoemde zaken focusgroep Magnolia/overige locaties…………………………………………………82 XI. Formulier Plan van Aanpak…………………………………………………………………………………………….83 XII. Formulier Laaghangend fruit…………………………………………………………………………………………84 XIII. Uitkomsten Laaghangend Fruit…………………………………………………………………………………….85
4
Voorwoord Het opleveren van deze masterscriptie vervult me best wel met enige trots. In april 2009 werd ik gevraagd om directeur te worden van een mooie vestiging van het Gomarus College in Drachten. Ik stemde in. Met dat besluit kwam er heel bewust ook een einde aan een lange periode (ruim 15 jaar) in de lokale politiek. Een nieuwe baan met nieuwe verantwoordelijkheden, maar ook een tijd dat ik na werktijd weer eens wat meer thuis kon zijn en aandacht besteden aan vrouw en (klein)kinderen. Je bent goed en wel bezig en je wordt gevraagd mee te doen aan een traject van minimaal twee jaar om een masteropleiding Onderwijskundig Leiderschap te gaan doen. Het thuisfront was in eerste instantie niet enthousiast, maar het was wel een unieke gelegenheid om met een groep van ongeveer 10 mensen uit het gereformeerd basis- en voortgezet onderwijs intern deze opleiding te volgen. Mijn opleiding MO-Pedagogiek had ik in 1990 afgesloten en het was dus 20 jaar geleden dat ik een echt serieuze studie om handen had. In het begin viel het niet mee. Mensen als Marzano, Fullan, Quinn en anderen betekenden voor mij nog niet veel en ondanks het feit dat ik directeur was, had ik nog maar beperkt nagedacht over leiderschap en innoveren. Het waren allemaal mensen die in de jaren 80 van de vorige eeuw nog niet echt meededen. En dan de manier van onderwijs geven. In de 20e eeuw kreeg je een boek, je volgde colleges en maakte toetsen en aan het einde daarvan had je een diploma. Hoewel we ongetwijfeld regelmatig reflecteerden op wat we deden, kenden we de term toen niet en het maken van papers en netwerkanalyses behoorde ook bepaald niet tot het standaardrepertoire. Het is te danken aan mijn medestudenten, velen een paar jaar jonger dan ik , mijn docenten die het nodige geduld met mij moesten opbrengen en mijn geliefde Rianne dat ik heb doorgezet en nu na twee jaar de studie met deze scriptie mag bekronen. Wat is het mooi dat je met zo’n scriptie aandacht, veel aandacht kunt besteden aan zaken die je al heel lang bezighouden, maar waar je nooit zoveel tijd in hebt kunnen steken als nu het geval is. Het was bij tijden best zwaar, lastig en vervelend, maar ik hoop dat deze terminologie niet bij de lezer op zal komen bij het lezen van deze scriptie. Uiteindelijk werd het een zeer leerzaam traject.
5
Samenvatting Er wordt wat afgetoetst in scholen. Het Gomarus College is daarop geen uitzondering. Op basis van de uitslagen van deze toetsen worden heel wat besluiten genomen die voor iedereen in, maar ook voor velen buiten de school, van groot belang zijn. Er wordt veel tijd en energie gestoken in toetsing en toch …. Omdat toetsen altijd beter kunnen is dit onderzoek gedaan. Teveel leerlingen krijgen adviezen die niet lijken te passen bij hun cijfers. Te vaak worden cijfers voor kennisgeving aangenomen, in het cijfersysteem genoteerd en doorgegaan naar het volgende hoofdstuk of onderdeel. Op kleinere vestigingen is vaak één collega verantwoordelijk voor een heel vak dat daar wordt verzorgd. Nieuwe collega’s, zo blijkt ook in dit onderzoek, zijn matig voorbereid op toetsing en zoeken hulp en steun bij het verbeteren van het toetsproces. Leeropbrengsten vormen steeds vaker onderdeel van het verantwoordingsproces binnen scholen, maar ook naar de buitenwacht: collega scholen, de pers en niet te vergeten de inspectie van het onderwijs. In Vensters voor verantwoording wordt voor heel veel zaken verantwoording afgelegd en toch …. In deze masterthesis is onderzoek gedaan naar de kwaliteit van toetsing op het Gomarus College. Er is een survey gehouden onder docenten, eindigend met een open vraag naar vragen, problemen en ideeën op het gebied van toetsing. Na uitwerking van de resultaten is nader ingezoomd op mogelijke verbeteringen van het toetsingsproces in een tweetal workshops met twee keer acht deskundigen uit het veld. Uit dit onderzoek blijkt dat het allemaal nog beter kan. Dat hier heel veel ideeën voor zijn en dat die deels gemakkelijk uitvoerbaar zijn. Belangrijkste thema’s zijn hierbij: De analyse van toetsen: Is deze toets een betrouwbaar en valide instrument en hoe kunnen we dat vaststellen? Het normeren van toetsen: welke beoordeling van de toets doet recht aan de toets en de leerling? Er zou veel beter gebruik gemaakt moeten worden van de vakgroep en de schoolleiding moet meer laten merken het thema belangrijk te vinden. Overwogen moet worden in hoeverre een soort van leerlingvolgsysteem als van het CITO ook een rol kan spelen op het Gomarus College. Een antwoord op deze vragen moet worden voorbereid door een stuurgroep die leiding geeft aan werkgroep die binnen een half jaar met concrete conclusies en aanbevelingen komt. Bij de docenten bestaat veel kennis en kunde over dit onderwerp. Men kan veel van elkaar leren, wanneer dat voldoende wordt gefaciliteerd. Dat kan zijn in tijd, scholing en geld. De keuze hiervoor zal deels worden bepaald door de krappe tijd waarin we momenteel opereren, maar dat kan en mag geen reden zijn om dit onderwerp niet hoog op de agenda te plaatsen.
6
1 Aanleiding en inleiding 1.1 Aanleiding Ieder mens heeft zo zijn eigen beeld erbij als het gaat om toetsing. Vrijwel ieder mens heeft er ook mee te maken (gehad). Al op jonge leeftijd wordt getoetst of je je veter vast kunt maken en als het lukt, ontvang je een diploma. Anderen herinneren zich het maken van examens en de spanning die dat wel of niet met zich meebracht. En hoe vaak werd iemand niet getoetst waarbij van te voren vaak moeilijk was te zeggen of je het had gehaald of niet. Soms was een voldoende beoordeling een enorme opluchting, een andere keer een 5,4 een oordeel dat een hoop extra werk opleverde. Toetsen zijn een belangrijk onderdeel van het onderwijsleerproces. Op de uitkomsten ervan worden heel belangrijke beslissingen gebaseerd: wel of niet overgaan naar een volgend leerjaar, wel of niet een diploma ontvangen dat recht geeft op doorstuderen op een andere opleiding. Tijdens de master Educational Leadership is veel aandacht besteed aan opbrengstgericht werken en het gebruik van data. Ook vanuit allerlei andere gremia (ouders, inspectie, schoolleiding, de journalistiek) is er steeds meer aandacht voor cijfers en opbrengsten. Op een willekeurige school verzamelt men heel wat data en voor een deel doet men dat door middel van toetsing. Op basis van deze dat wordt informatie gegenereerd door normen aan de data te verbinden. Een voorbeeld hiervan is de overgang van het ene naar het andere leerjaar of het maken van een advies aan het einde van bijvoorbeeld de onderbouwperiode. In de praktijk als docent en directeur is me opgevallen dat deze zogenaamde harde informatie lang niet altijd zo hard is als wordt beweerd of verondersteld. Het zal duidelijk zijn dat dit fenomeen veel eerder is geconstateerd. De Groot (1966) schreef zijn boek Vijven en Zessen in het midden van de jaren 60. Als je tijdsgeest en het schoolsysteem even probeert slechts door de oogharen waar te nemen, is er nog bijzonder veel van de informatie relevant. Het is na 45 jaar geleden te zijn geschreven nu nog zeer leesbaar en relevant.
1.2 Relevantie van het onderwerp In de afgelopen jaren is er steeds meer aandacht gekomen voor opbrengsten in het onderwijs. Cijfers van de leerlingen zijn een indicatie van de voortgang van het leerproces, maar al sinds het midden van de jaren zestig wordt getwijfeld aan de betrouwbaarheid van cijfers. In 1966 schreef A.D. de Groot het boek “Vijven en zessen: een schotschrift tegen de averechtse deskundigheid van onderwijzers en onderwijzeressen”. Daarin toonde hij aan dat cijfers vaak op onzuivere gronden tot stand kwamen en dat de beoordeling bij de tot dan toe bekende examens veel te subjectief tot stand kwam. Onder andere daarom pleitte hij voor de oprichting van een Centraal Instituut voor Toetsontwikkeling (CITO). Dat werd opgericht in
7
1967/1968. De aandacht de objectieve toetsing van opbrengsten had De Groot opgedaan aan het einde van de jaren 50 in de Verenigde Staten. Daar bezocht hij het Federal Institute dat zich bezighield met testen aan de hand van meerkeuzevragen, een tot dan toe tamelijk onbekend fenomeen in Nederland. In eerste instantie was de aandacht vooral gericht op het lager onderwijs, na 1985 het basisonderwijs. Later kwam er steeds meer aandacht voor toetsing in het voortgezet onderwijs. Uit eigen ervaring op het Gomarus College is bekend dat de voorspellende waarde van een advies aan het einde van de tweede klas alleen op basis van resultaten van toetsen een hachelijke onderneming is. In de afgelopen jaren is steeds ongeveer 10% van de leerlingen met een ander diploma of zonder diploma van school gegaan in vergelijking met het advies in klas 2 (bron Magister: leerlingvolgsysteem (LVS) gebruikt op het Gomarus College) In de recent verschenen Staat van het Onderwijs 2008/2009 (2010) schrijft de inspecteur-generaal dat steeds meer scholen opbrengstgericht bezig zijn, maar dat zelfreflectie nodig is en blijft. Scholen moeten hun eigen rol bij het bereiken van prestaties onderkennen. Dat lijkt vanzelfsprekend, maar bij veel scholen die als zwak of zeer zwak worden gekwalificeerd, blijkt men vaak de oorzaken buiten zichzelf te zoeken. Vooral leerling-kenmerken of ziekte onder personeel worden als oorzaken aangewezen.
1.3 Hoofdvragen en deelvragen Door dit onderzoek wordt duidelijkheid verkregen over de volgende hoofdvraag:
Hoe moet volgens het docententeam van het Gomarus College een toetssysteem functioneren waarin op basis van valide toetsen recht wordt gedaan aan de kwaliteiten van de leerlingen en voldaan wordt aan de door de overheid gestelde doelen en dat geborgd is binnen een kwaliteitssysteem?
Op deze wijze kan er duidelijkheid ontstaan of er sprake is van een probleem en wat daar aan te doen valt. Op basis van eigen praktijkervaring binnen het Gomarus College, als docent Engels en leidinggevende is mijn ervaring dat velen met deze problematiek worstelen, dan wel een pragmatische oplossing hebben gevonden.
8
Deze hoofdvraag is op te splitsen in de volgende deelvragen: 1. Op welke wijze vindt nu toetsing plaats? 2. Wat zijn de didactische en organisatorische knelpunten in het huidige toetssysteem? 3. Welke verbeteringen kunnen worden aangebracht om validiteit van toetsen te vergroten? 4. Welke mogelijkheden worden gezien om deze verbeterde toetsing te borgen?
9
2 Theoretisch kader 2.1 Geschiedenis van toetsing Je kunt stellen dat zolang er al geleerd wordt, zolang wordt er ook al getoetst. In de Bijbel wordt al duidelijk dat stukken tekst uit de Heilige Schrift worden ingeprent en gereciteerd. Ben Wilbrink (1995) geeft een aardig beeld van het toetsen door de eeuwen heen. Hij beschrijft de eerste bekende schriftelijke toetsen die in de Tang dynastie (vanaf 800 AD) werden afgenomen. Deze examens waren bijzonder zwaar en van de duizenden deelnemers slaagden er slechts enkelen. Voor de niet geslaagden moest opnieuw drie jaar worden gestudeerd, alvorens opnieuw deel te kunnen nemen. De geslaagden werden de literati genoemd en genoten een enorm aanzien en kregen vaak hoge functies in het Chinese ambtenarenapparaat. In verschillende boeken worden deze examensessies beschreven en de titel China’s examination hell van Miyazaki (1976) lijkt voor zich te spreken. In de vroege en hoge Middeleeuwen betekende kennis uit het hoofd kennen. Het ging dan om vaak Bijbelse teksten die geheel geciteerd konden worden. Vragen en antwoorden is de dominante didactische werkvorm in het onderwijs. Dit vragen en antwoorden leidde tot een catechetische methode. Een bijzonder voorbeeld ervan wordt beschreven door Schotel (1875) als hij beschrijft hoe Arminius tot hoogleraar theologie wordt toegelaten: "Daarenboven zou Arminius tot doctor in de godgeleerdheid (een eere die vóór hem aan niemand bewezen was) worden bevorderd, voor en aleer hij in de Universiteit mocht profeteren en lezen, en bij die gelegenheid de examinatie van doctoren in de theologie in 't byweesen van den geheelen senaat der Universiteit moeten ondergaan.'' (curatoren aan de Heeren van Amsterdam.) Het examen "duurde twee dagen en eindigde met de schriftelijke verklaring van Gomarus, Arnoldus en Helmichius: 'dat Arminius niets had verclaert dat zoude mogen strijden met de confessie of catechismus, waarop zij elkander de hand gegeven en Arminius met die professie geluc gewenscht hadden.'" (p. 76). Deze manier van toetsen zou tot ver in de 19e eeuw gehandhaafd blijven op veel scholen en universiteiten. Het leerstofjaarklassensysteem dateert uit de 15e eeuw. In Zwolle was Joan Cele (zie afbeelding) een begenadigd rector van een Latijnse school die zo succesvol was dat leerlingen overal vandaan kwamen om het onderwijs in Zwolle te volgen. De stad had rond 1500 ongeveer 5000 inwoners, maar de school van Cele had tussen de 800 en 1000 leerlingen. Deze werden opgedeeld in een acht verschillende groepen. Deze groepen waren zo groot dat er binnen de
10
klas kleinere groepen werden gemaakt onder leiding van een leerling. Ieder half jaar werden toetsen mondeling afgenomen en werd besloten of men naar een volgende klas mocht gaan. Toetsing werd met name gedaan door reciteren, maar ook inzicht werd door Cele in de afweging betrokken. Leerlingen werden gestimuleerd tot leren door beloning en straffen. Lange tijd was straffen in de zin van lijfstraffen een geaccepteerd verschijnsel. Hoewel meester Cele stevig strafte, hij hanteerde de plak en roede met verve, maar volgens Schoengen (1911) was er sprake van een voor die tijd humane vorm van straffen. Onder invloed van het humanisme werd steeds vaker gebruik gemaakt van beloningen om studenten en leerlingen te motiveren. Soms gebeurde dat door punten toe te kennen, andere keren door prijzen aan de beste leerlingen/studenten toe te kennen. Vanaf het midden van de 19 e eeuw worden deze stelsels steeds vaker vervangen door een cijferstelsel. In onderstaande tabel wordt een overzicht gegeven van hoe er in verschillende landen met cijfers wordt omgegaan.
(bron: http://nl.wikipedia.org/wiki/Cijfer geraadpleegd op 24 oktober 2011)
11
Op scholen en universiteiten in Nederland en België wordt werk van leerlingen en studenten door middel van cijfers tussen 1 en 10 beoordeeld. Men tracht hiermee een zo objectief mogelijk beoordelingssysteem te verkrijgen. Bijkomend voordeel is dat men met cijfers gemiddelden kan berekenen, dus een beter beeld kan hebben hoe gepresteerd wordt over een langere periode. Men kan lineair tot een cijfer komen (wie bijvoorbeeld 65% goede antwoorden heeft krijgt een 6,5), niet-lineair (aftrek voor ieder fout antwoord, bijvoorbeeld 5 fout is een 7,5; 10 fout een 5), of via een puntentelling met formule en/of verdeelsleutel. Het is wettelijk vastgelegd dat deze cijfers tussen 1 en 10 moeten liggen[3], een nul kan dan ook officieel niet worden gegeven. Hoe het ook zij, de cijfers op een schoolrapport geven in België en Nederland de volgende beoordelingen weer: cijfer
betekenis
10
uitstekend
9
zeer goed
8
goed
7
ruim voldoende
6
voldoende
5
twijfelachtig
4
onvoldoende
3
ruim onvoldoende
2
slecht
1
zeer slecht
In de Verenigde Staten en een aantal Angelsaksische landen krijgt men letters in plaats van cijfers. In Frankrijk lopen de cijfers van 1 tot en met 20, waarbij 10 of hoger voldoende is, en een 8 of 9 onvoldoende maar compensabel. Dit systeem wordt ook toegepast op de Belgische universiteiten. In Rusland lopen de cijfers van 1 tot en met 5. Het equivalent van cum laude wordt daar gevormd door gouden en zilveren sterren. In Denemarken loopt de reeks tot 12. In Zwitserland lopen de cijfers van 1 tot en met 6. Soms is de betekenis ook omgekeerd, waarbij 1 voor goed staat en de beoordeling met het klimmen van de cijfers afneemt, dit is bijvoorbeeld het geval in Duitsland waar de cijfers van 6 tot 1 lopen. En in weer andere landen, zoals Zweden, doet men niet aan cijfers
12
2.2 Het doel van toetsing Moelands en Sanders (1996) kwamen tot een driedeling voor wat betreft het doel van toetsen, uitgaande van het gebruiksdoel, namelijk een onderwijskundig meetinstrument: 1.Meetinstrumenten die tot doel hebben de kwaliteit van een onderwijssysteem te beoordelen Met een onderwijssysteem wordt hier zowel een individuele school (mesoniveau) als een verzameling scholen (macroniveau), bijvoorbeeld een onderwijstype, bedoeld. Een voorbeeld van deze categorie is het periodiek peilingonderzoek voor basis- en speciaal onderwijs (PPON) waarmee een grondslag wordt geboden voor een brede discussie over de inhoud en het niveau van het onderwijs op landelijk niveau. 2. Meetinstrumenten die tot doel hebben de kwaliteit van de leerling te beoordelen Binnen deze categorie wordt een onderscheid gemaakt tussen meetinstrumenten die bedoeld zijn voor selectie, classificatie, plaatsing, certificering (beheersing). 3. Meetinstrumenten die tot doel hebben het onderwijsleerproces te beoordelen Dit betreft meetinstrumenten op basis waarvan een docent kan besluiten het onderwijs aan een (groep) leerlingen anders in te richten. Als voorbeeld kunnen de toetsen genoemd worden die ontwikkeld zijn in het kader van het leerlingvolgsysteem voor het basisonderwijs, zoals het Leerling- en onderwijsvolgsysteem van CITO. Deze instrumenten hebben primair tot doel het onderwijs optimaal te laten aansluiten bij de (cognitieve) ontwikkeling van de leerling. In 2011 is bij het CITO een brochure/boekwerk uitgekomen onder redactie van Piet Sanders dat een schat aan informatie over toetsing bij elkaar brengt. Op overzichtelijke wijze wordt nagegaan wat het doel van toetsing is. Deels komt de indeling overeen met die uit 1996, maar duidelijk is ook dat er in die 15 jaren die ertussen zijn verstreken andere inzichten zijn gekomen over het toetsen en doelen die daarmee gediend zijn. Sanders komt nu tot de volgende indeling met een verdere onderverdeling in subdoelen:
13
1. Toetsen voor het beoordelen van leerlingen (microniveau). Hij maakt daarbij verder een onderscheid tussen toetsen waarmee leerlingen worden a. geselecteerd (HAVO diploma geeft recht op toelating tot het HBO) b. geclassificeerd (aan het eind van het basisonderwijs wordt aan de hand van een classificatieschema bepaald naar welk onderwijsniveau een leerling in het voortgezet onderwijs mag gaan. Hierin spelen de CITO eindtoets en andere voortgangstoetsen een belangrijke rol) c. geplaatst (via een bepaalde route een doel bereiken, bijvoorbeeld een Mbodiploma via een Beroepsopleidende Leerweg (BOL) of een Beroepsbegeleidende Leerweg (BBL), hierin kan een beroepentest een rol spelen) d. gecertificeerd (summatieve toetsen, assessment of learning, afsluitende toetsen, waarvan examens het bekendst zijn) 2. Toetsen voor het beoordelen van het onderwijsleerproces Deze toetsen worden aangeduid als formatieve toetsen, assessment for learning. Ze hebben tot doel om lesgevers te informeren over het verloop van het leerproces aan individuele of groepen leerlingen. Het leerlingvolgsysteem van het CITO is hierin zowel voor basisonderwijs als voortgezet onderwijs veelgebruikt. 3. Toetsen voor het beoordelen van groepen leerlingen en scholen Hiervoor wordt naast de eerder genoemde CITO toetsen voor individuele leerlingen, ook gebruik gemaakt van cijfers van de Inspectie van het Onderwijs, veelal verzameld door DUO (Dienst Uitvoering Onderwijs), maar ook periodieke onderzoeken als COOL (CohortOnderzoek OnderwijsLoopbanen) dat sinds 2007-2008 leerlingen van hun 5e tot hun 18e volgt in basis- en voortgezet onderwijs en het MBO (Middelbaar Beroepsonderwijs). Drie aspecten van de ontwikkeling van leerlingen staan in het onderzoek centraal:
a. de cognitieve ontwikkeling: kennis en vaardigheden in het Nederlands, Engels en rekenen/wiskunde; b. de ontwikkeling van sociale competenties, waaronder burgerschapscompetenties; c. de sociaal-emotionele ontwikkeling. 4.Toetsen voor het beoordelen van de kwaliteit van het onderwijs Sinds 1987 wordt het PPON (Periodiek Peilingonderzoek van het Onderwijsniveau) uitgevoerd. Hiermee wil het ministerie van Onderwijs zicht krijgen en houden op het niveau van het onderwijssysteem. Het gaat niet om de resultaten van individuele leerlingen, maar om het systeem van onderwijs. Heel bekend is hierbij ook het PISA onderzoek (Programme for International Student Assessment) waarbij kennis en
14
vaardigheden van 15 -jarigen uit een groot aantal landen op het gebied van leesvaardigheid, wiskundige en natuurwetenschappelijke geletterdheid worden vergeleken . Regelmatig wordt naar dit onderzoek verwezen om de stand van het Nederlandse onderwijs af te zetten tegen meer dan 60 landen uit de hele wereld. In de scholen wordt het vaakst gebruik gemaakt van beoordelingstoetsen van het werk van individuele leerlingen. De toetsing op microniveau. Dat gebeurt veel met toetsen die bij een methode worden geleverd, maar ook aanvullend met eigengemaakte toetsen.
2.3 Begripsbepaling opbrengstgericht werken Er bestaan veel verschillende beschrijvingen van leeropbrengsten en opbrengstgericht werken. Om hierin een goede eigen keuze te kunnen maken is het goed de theorie hierover op een rijtje te zetten. Als we spreken over opbrengstgericht onderwijs (Adams, 2004 p.8) gaat het om “het specifieke wat een leerling zou moeten leren als resultaat van een periode van specifieke en ondersteunde studie. Het gaat hierbij om wat de leerling heeft bereikt en niet om de intentie van de leerkracht. De opbrengsten kunnen heel breed of heel smal worden beschreven. Het gaat dan altijd om een beschrijving van wat een succesvolle leerling kan of kent aan het einde van een bepaalde leerperiode” [vertaling]. De Universiteit van Warwick (UK) (2004-2009 p. 1)) beschrijft leeropbrengsten (learning outcomes) als volgt: “de vaardigheden en kennis die een leerling bezit na het succesvol beëindigen van een deel van het onderwijs” [vertaling]. Ze onderscheiden daarin een viertal categorieën: 1. Kennis en begrip van het onderwerp 2. Vakspecifieke vaardigheden zijn praktische vaardigheden die zijn geïntegreerd in de opleiding, zoals laboratorium vaardigheden, taalvaardigheden en gespreksvaardigheden 3. Cognitieve vaardigheden, intellectuele vaardigheden zoals het begrip van methodologie, synthese, evaluatie of het in staat zijn tot kritische analyse 4. Sleutelvaardigheden die gemakkelijk kunnen worden aangewend in andere contexten, als daar zijn: mondelinge en schriftelijke communicatie, werken in een team, probleemoplossend denken, rekenen en IT-vaardigheden [vertaling] De Universiteit van Exeter (2009 voor het laatst gewijzigd p.1) beschrijft leeropbrengsten op een andere manier: “dat wat een leerling kan laten zien na het succesvol afronden van een module” [vertaling]. Het gaat dan om:
15
1. een duidelijke relatie met het niveau van leren 2. het geeft duidelijk aan welke beoogde winst in kennis en vaardigheden een typische leerling hoort te behalen 3. het kan worden getoetst [vertaling] Richard Frye (1999) van de Western Washington University beschrijft het verschil tussen individuele beoordeling van studenten in termen van learning outcomes en de (openbare) verantwoording van opleidingen met betrekking tot de resultaten. Er moet dus een duidelijk onderscheid worden gemaakt tussen assessment (beoordeling) en accountability (verantwoording). Bij beide onderdelen noemt hij voortdurende bijsturing via de cyclus Plan, Do, Check, Act (PDCA-cyclus) van groot belang. Opvallend is dat opbrengstgericht werken met name in het basisonderwijs steeds meer ingang vindt. Het ligt voor de hand om te denken dat hier vooral van belang is geweest de start van het CITO met de Eindtoets Basisonderwijs. Deze begon in 1966 met de Amsterdamse Schooltoetsen, maar werd na de start van het CITO door deze organisatie overgenomen en steeds verder ontwikkeld. In eerste instantie ging het met name om taal, lezen en rekenen, maar in de loop der jaren is de range van de test steeds verder uitgebreid. De tegenwoordige Eindtoets bestaat uit de onderdelen: taal, rekenen/wiskunde,studievaardigheden en wereldoriëntatie, waarbij deze vier onderdelen verder worden opgesplitst in subonderdelen. Daarnaast zijn er steeds vaker voortgangstoetsen die door het CITO worden gemaakt en op veel basisscholen worden gebruikt. Deze voortgangstoetsen beginnen al in de laagste groepen (bv. ordenen, tijd en ruimte, beginnende geletterdheid). Vanaf 2007 werd er door Ledoux, Blok en Boogaard (2009) onderzoek gedaan voor het Ministerie van Onderwijs naar opbrengstgericht werken in het basisonderwijs. De makers van het rapport Opbrengstgericht werken; over de waarde van meetgestuurd onderwijs spreken liever over meetgestuurd onderwijs. Dit is een bijna letterlijke vertaling van data driven teaching, zoals dat onder andere bij Earl en Katz (2006) en Michael Fullan (2007) wordt gebezigd. Ledoux et al spreken over “toetsen die gebruikt worden om de effectiviteit van het onderwijs te onderzoeken en zo nodig te verbeteren” In de 21e eeuw wordt er steeds meer aandacht besteed aan de opbrengsten van het onderwijs. De inspectie rekent ook het voortgezet onderwijs hierop steeds meer af. In 2002 werd een veranderde vorm van toezicht op het onderwijs ingevoerd. In Veranderend Toezicht: De Inspectie van het Onderwijs en de Wet op het
16
onderwijstoezicht (2002) wordt al aangegeven dat men de kwaliteit van het onderwijs wil beoordelen en bevorderen. Er moet op scholen systematisch aan kwaliteitsbewaking worden gewerkt. Er wordt ingegaan op het nut en de noodzaak van zelfevaluatie. Er wordt een duidelijk zicht geboden op elementen die een rol spelen bij de beoordeling van kwaliteit. Bij opbrengsten gaat het dan om leerresultaten en de voortgang in de ontwikkeling van leerlingen. Bij de inrichting van het onderwijsleerproces gaat het dan om: leerstofaanbod, leertijd, pedagogisch klimaat, schoolklimaat, didactisch handelen van leraren, leerlingenzorg en inhoud, niveau en uitvoering van toetsen, tests, opdrachten en examens. Ook in het voortgezet onderwijs is de inspectie van het onderwijs begonnen met spreken over opbrengstgericht onderwijs. Steeds vaker worden resultaten van scholen op het gebied van overgang van leerlingen en slagingspercentages, maar ook cijfers voor het centraal schriftelijk examen aangeduid als leeropbrengsten. Deze wijze van beschrijven is in het eerste decennium van de 21e eeuw in zwang gekomen. Ook anderen (bv dagblad Trouw, Scholen moeten resultaten publiceren, 13 maart 1998) maken gebruik van deze indicatoren om scholen hieraan af te meten en ouders voor te lichten. De opbrengstenkaarten van het voortgezet onderwijs zijn op het wereldwijde web te raadplegen (http://tkrtp.owinsp.nl/). Duidelijk is wel dat velen (waaronder ouders) veel moeite hebben dit te interpreteren. De beelden die hierdoor ontstaan geven een heel grof beeld van de werkelijkheid. Er wordt slechts aandacht besteed aan instroom-, doorstroom- en uitstroomgegevens en het schoolexamen in relatie tot het centraal schriftelijk examen. Hierbij wordt de nadruk gelegd op Nederlands, Engels en wiskunde, omdat de meeste leerlingen die vakken in hun pakket hebben. Deze gegevens geven sturingsmogelijkheden, maar het is erg lastig om te beoordelen waar nu precies in welke leerjaren en bij welke vakken goede, minder goede of slechte resultaten worden behaald. Deze opbrengstkaarten geven slechts informatie op hoofdlijnen. Misschien bruikbaar voor de onderwijsinspectie en de ouders, maar om op microniveau te kunnen sturen onvoldoende. Als een school beter in staat wil zijn om deze hoofdlijnen te analyseren en sturen is het gewenst om nader in te zoomen op de opbrengsten per vak en per leerjaar en misschien zelfs wel per docent. Om dat op een goede manier te doen is een nadere bestudering van opbrengstgericht onderwijs door het gebruik van goede toetsen noodzakelijk. Met name in de Angelsaksische landen is steeds meer aandacht gekomen voor het meten van leeropbrengsten (Onderwijsraad, 2006), omdat men daar middels onderzoek door onderwijsinspectie samen met universiteiten tot de conclusie was gekomen dat het niveau van het onderwijs naar een veel hoger niveau kon en moest worden getild. In de Verenigde Staten zag het rapport “A nation at risk, towards excellence for all” (Tomlinson, 1983) het licht waarin uitgebreid werd stilgestaan bij de deplorabele staat waarin het onderwijs in de VS zich bevond. De uitkomsten van
17
een uitgebreid onderzoek deed op vele terreinen de haren ten berge rijzen. Er mankeerde veel aan de verschillende curricula (veel punten konden worden gescoord met onderdelen die niet tot de hoofdzaken van het onderwijs behoorden, zoals sport, gezondheid, huwelijkscursussen etc.). Men was zeer ontevreden over wat het onderwijs opleverde (veel minimumeisen waren ook vaak maximumeisen). Ook bleek er vergeleken met veel andere landen weinig tijd aan school en huiswerk te worden besteed en daarnaast werd het vak van leraar slecht gewaardeerd. Voor Europa was het beeld niet wezenlijk anders. In 1995 werd het OESO-CERI-rapport Educational Research and Development: Trends, issues and development gepubliceerd. Dit rapport was snel uitverkocht, is nooit herdrukt, maar is nog steeds relevant. De diagnose in het rapport was onder meer: “onderwijsonderzoek is gefragmenteerd,vaak irrelevant, navelstarend, slecht van kwaliteit, en matig bruikbaar” (Onderwijsraad, 2006 p.88). Alle reden om het onderzoek in het onderwijs op een nieuwe en verbeterde wijze aan te pakken. De onderzoekspraktijk diende dus te worden verbeterd en de onderzoeken moeten gaan over zaken die relevant zijn, er toe doen. Ook daarom de keuze gemaakt voor kwaliteit van toetsing. A.D. de Groot (1966) zag al in de 60-er jaren dat voor sommige vakgebieden het moeilijk was om harde gegevens over opbrengsten te meten en daarom introduceerde hij het zogenaamde leerverslag (learner report). Op het gebied van Kunst en Cultuur deden leerlingen hierin verslag van hun leerervaringen. Deze ervaringen waren volgens De Groot fundamenteel als zij door de lerende werden herinnerd en gerapporteerd als belangrijk in hun eigen ontwikkeling. Eigenlijk ligt daarin de oorsprong van een portfolio zoals dat in het laatste decennium van de vorige eeuw een vlucht heeft genomen. Het is een manier van het meten van opbrengsten.
2.4 Opbrengstgericht werken: wie, hoe en wat? Voor het basisonderwijs is een uitgebreid onderzoek gedaan naar het gebruik van data ter verbetering van het onderwijs door Ledoux et al (2009) Zij geven de voorkeur aan de term meetgestuurd onderwijs boven data driven teaching. In de eerste plaats omdat het een Engelse term is, maar ook omdat het door de term teaching exclusief lijkt te verwijzen naar leraartaken, terwijl ook de schoolleiding hierin een taak heeft. Meetgestuurd onderwijs definiëren zij als volgt: onderwijs waarbij betrokkenen zich in hun taakuitvoering laten sturen door uitkomsten van metingen.(Ledoux et al, 2009, p. 12) Onder betrokkenen vallen bij een school vele groepen: leerlingen, onderwijsgevenden en leidinggevenden, ouders, de omgeving, de inspectie, de overheid met voor ieder een specifieke invulling. Ik kijk vooral naar de eerste drie die direct binnen de school een rol vervullen. Leerlingen kunnen als ze veel fouten
18
hebben in een opdracht besluiten om de opdracht of een vergelijkbare nog eens te doen, de onderwijsgevenden kunnen bij slechte prestaties besluiten nog eens (op een andere manier) uitleg te geven en de leidinggevenden kunnen besluiten bij slechte rekenresultaten in overleg met de docenten uit te zien naar een andere rekenmethode. Metingen kunnen niet gelijkgesteld worden met toetsen. Metingen kunnen veel ruimer worden geïnterpreteerd. Als eerste denk je aan vorderingenmetingen, maar ook beoordelingen van schriftelijk werk. Daarnaast spelen ook portfolio’s, onderzoeken naar welbevinden, oudertevredenheidsonderzoeken een rol. Het is zelfs denkbaar dat metingen van het CO2-gehalte in lokalen een rol kunnen spelen, omdat een te hoog gehalte nadelig is voor leerprestaties. Om maximaal resultaat te halen moet er een nauwkeurige cyclus worden doorlopen. Hoe hoort de evaluatieve cyclus er ideaalgesproken uit te zien? (Blok, Otter en Roeleveld, 2002): 1. Vastleggen van doelen en standaarden: het gaat dan bij doelen niet om termen van onderwijsaanbod, maar doelen in termen van beheersing door leerlingen. Daarnaast hoort te worden vastgelegd wat het streefniveau is. Dat kan middels een scheiding voldoende/onvoldoende, maar even goed in een standaard minimum (te behalen door bijv. 95% van de deelnemers) en standaard voldoende (te behalen door 75% van de leerlingen). 2. Het verzamelen van informatie: hierbij gaat het om informatie over het vorderingenniveau van de leerling aan de hand van observaties, producten of toetsen. Hoe regelmatiger deze informatie wordt verzameld, hoe hoger de kwaliteit van de uitkomsten. Het spreekt voor zich dat de kwaliteit van de verzamelde informatie van groot is belang voor de uitkomsten van de evaluatieve cyclus. 3. Het registreren van de vorderingen: het is van groot belang de vorderingen adequaat te registeren. Was in het verleden de docentenagenda daarvoor het instrument, in deze tijd zijn steeds vaker computersystemen hierbij ondersteunend. Het is dan mogelijk individuele leerlingen te volgen, maar ook groepsgewijs kunnen vergelijkingen worden gemaakt. 4. Het interpreteren van vorderingen: interpretatie kan pas zinvol plaatsvinden als gebruik gemaakt wordt van een standaard/standaarden. Theoretisch is er sprake van twee soorten standaarden: leerstofgericht (in hoeverre beheerst de leerling de leerstof) of normgericht (als het vorderingenniveau wordt gerelateerd aan het niveau van leeftijdgenoten). Vaak wordt hierbij onvoldoende onderscheid gemaakt. We kennen de verschillen waarbij de ene docent vooral de inspanning van de leerling beoordeelt, terwijl de ander meer kijkt naar wat beklijft van verwerkte leerstof.
19
5. Het nemen van beslissingen: het proces van evaluatie is pas compleet als op grond van de interpretatie ook beslissingen worden genomen. Deze beslissingen kunnen op verschillende niveaus plaatsvinden. Een leerling kan beslissen na een onvoldoende harder te gaan werken, een docent kan een andere werkvorm kiezen, op een school kan een studiedag worden georganiseerd Verhoeven (2008) spreekt bij een dergelijk onderzoek van kwantitatief of kwalitatief onderzoek in een empirische cyclus. Deze cyclus moet bestaan uit een geformuleerd probleem, een theoretisch antwoord, een toetsing middels onderzoek aan de empirie (ervaring), waarna een conclusie wordt geformuleerd. Vaak wordt deze cyclus herhaald waardoor een empirische spiraal ontstaat. De fasen in een dergelijk onderzoek vertonen veel overeenkomsten: probleemanalyse (afbakening probleem-/vraagstelling), onderzoeksontwerp (hoe de vraag beantwoorden/welke methode, tijd en middelen), dataverzameling, dataanalyse en rapportage. In haar lectorale rede “De schoolleider als leerling” gaat Krüger (2010) in op redenen waarom scholen onderzoekende en daarmee meetgestuurde scholen zouden moeten willen zijn. Zij noemt 4 redenen die ik volledig onderschrijf en waarbij ik nog één aanvulling wil geven. 1. De samenleving verandert in snel tempo en daarom zullen scholen mee moeten. De autonomie van scholen is vergroot, zeggenschap over personeel, middelen en curriculum zijn toegenomen. Er is sprake van een slag om de leerling, waarbij profilering en externe waardering van de school een grote rol spelen. 2. We leven in een kennismaatschappij. We worden overstelpt met informatie en we moeten (leerlingen, maar ook onszelf) leren daar kritisch mee om te laten gaan. Wanneer wordt informatie kennis? Onderzoeksvaardigheden van allen bij de school betrokken moeten worden vergroot. 3. Er is een steeds sterkere drang (intern en extern) tot verantwoording. Ik heb het al gehad over de rol van de inspectie, maar ook naar veel anderen. Denk aan ouders, gemeenten, bedrijfsleven. Transparante verantwoording levert vervolgens extra autonomie op. Wij weten waar we mee bezig zijn, moet het adagium zijn. 4. Leraren moeten eigenaar worden van de onderwijskwaliteit. Als je niet sterk extern wilt worden aangestuurd en vrijheid om je als professional verder te ontwikkelen en je kwaliteiten tot zijn recht te laten komen wilt terugwinnen moet je open staan voor feedback. Helaas is het vele jaren werkelijkheid geweest (en soms nog?) dat docenten goed kunnen onderwijzen, maar zoveel moeite hebben met leren. Earl en Katz (2006) spreken hier van een mindshift. Een heel andere manier
20
van aankijken tegen het leren van docenten en schoolleiders. Dat belang moet worden ingezien. Voor gereformeerde scholen is een vijfde reden wellicht ook geldig. 5. Leraren en leidinggevenden die werken op een school met een gereformeerde identiteit als het Gomarus College, die werkelijk dienend bezig willen zijn, zoals de Heer dat van hen vraagt en die een schoolplan hebben waarin het begrip presentie (Baart, 2001/De Muijnck, 2002) hoog in het vaandel staat, zijn aan hun leerlingen verplicht alles in het werk te stellen om hen zo goed mogelijk onderwijs te bieden. Baart omschrijft presentie als volgt: “Een praktijk waarbij de zorggever zich aandachtig en toegewijd op de ander betrekt, zo leert zien wat er bij die ander op het spel staat – van verlangens tot angst – en die in aansluiting dáárbij gaat begrijpen wat er in de desbetreffende situatie gedaan zou kunnen worden en wie hij/zij daarbij voor de ander kan zijn. Wat gedaan kan worden, wordt dan ook gedaan. Een manier van doen, die slechts verwezenlijkt kan worden met gevoel voor subtiliteit, vakmanschap, met praktische wijsheid en liefdevolle trouw”. Om dat vast te kunnen stellen is onderzoek onontbeerlijk.
2.5 Belemmeringen voor opbrengstgericht onderwijs Zoals eerder gezegd zijn er meerdere actoren op het gebied van opbrengstgericht onderwijs. Zowel binnen de school als daar buiten (ouders, besturen, inspectie) is de aandacht voor leeropbrengsten vergroot. Binnen de school gaat het dan om leerlingen, docenten en schoolleiding. Eerder is al beschreven welke fasen moeten worden doorlopen om succesvol te zijn als onderzoekende school. Welke redenen zijn er aan te geven waarom veel scholen vaak niet verder komen dan de fases 2 en 3 (verzamelen en registreren van informatie)? Hier is onderzoek naar gedaan in het basisonderwijs (Blok, Sleegers & Karsten, 2006) en uit eigen ervaring kunnen deze redenen ook voor het voortgezet onderwijs worden onderschreven. Dat er geen maximaal rendement wordt gehaald komt bij de verschillende groepen door verschillende redenen. Bij leerlingen: Verhoging van leeropbrengsten (resultaten) wordt met name bereikt door het geven van feedback. Er zijn meerdere vormen van feedback (De Vries, 2008) te onderscheiden: persoonsgericht en taakgericht. Daarnaast kan deze positief of negatief zijn. Uit onderzoek is gebleken dat positieve feedback het gunstigste resultaat oplevert. Om het lerend vermogen te vergroten is het ook van groot belang dat deze feedback taakgericht is. Te vaak wordt geen of negatieve (persoonsgerichte) feedback gegeven. Bij docenten: Er zijn verschillende vormen van toetsing, formatief als toetsen worden gebruikt in de loop van het onderwijsproces om het leerproces bij te sturen en summatief als toetsen achteraf worden gebruikt om vast te stellen welke
21
leervorderingen zijn gerealiseerd. Vaak wordt summatief getoetst en te weinig taakgerichte feedback gegeven (Black & William, 1998). Docenten hebben te weinig weet van de (volledige) evaluatieve cyclus. In het voortgezet onderwijs wordt vaak gebruik gemaakt van bij een methode geleverde toetsen. De waarde ervan wordt weinig ter discussie gesteld en vaak zijn ze niet of slechts beperkt genormeerd. Binnen de opleidingen voor docenten (onderzoek bij een tiental PABO’s) is wel aandacht voor het juiste gebruik en de juiste interpretatie van toetsen, maar meestal gaat het om een analyse per leerling en wordt het groepsniveau niet meegenomen (Ledoux et al, 2009). Tenslotte wordt de evaluatieve cyclus als tijdrovend ervaren en veel docenten geven aan daar onvoldoende tijd voor te nemen. Bij managers: op scholen zijn veel meetuitkomsten beschikbaar (cijfers op toetsen, tevredenheidonderzoeken, portfolio’s etc.). Er lijkt bij het management sprake te zijn van kennisachterstand. Men is vaak onvoldoende geschoold in het toepassen van de evaluatieve cyclus, met name het interpreteren van vorderingen en het (laten) nemen van maatregelen (Blok, Sleegers & Karsten, 2006). Daarnaast is er ook sprake van terughoudendheid om meetresultaten breder bekend te maken, omdat dit (als de resultaten tegenvallen) negatieve gevolgen kan hebben voor de school (bij o.a. ouders en inspectie)(Ledoux et al, 2009).
2.6 Conclusie Gedurende de afgelopen 100 jaar is er steeds meer aandacht gekomen om opbrengsten van onderwijs te meten. Diverse termen worden daarbij gebruikt. In dit onderzoek zal de term meetgestuurd onderwijs of data driven teaching gebruikt worden. De definitie hiervan luidt: toetsen die gebruikt worden om de effectiviteit van het onderwijs te onderzoeken en zo nodig te verbeteren waarbij opgemerkt moet worden dat alleen het gebruik van goede toetsen niet per definitie leidt tot beter inzicht in de competenties van de leerling. Daarvoor is het nodig de hele evaluatieve cyclus te doorlopen. Binnen de school moeten alle actoren in het onderwijsleerproces betrokken zijn bij het vergroten van de opbrengsten van het onderwijs. Leerlingen moeten goede (liefst positieve) taakgerichte feedback krijgen, docenten moeten extra aandacht besteden aan het maken van de juiste toetsen, beter voorbereid worden op het gebruiken van de hele evaluatieve cyclus (leidend tot een spiraal) en extra tijd steken in dit (leer)proces. Het management moet voldoende geschoold zijn om te ondersteunen en sturen waar nodig en de angst kwijtraken om ook eens slechte resultaten te laten zien. Als de cyclus goed wordt toegepast kan dat alleen maar leiden tot verdere verbetering van leerproces en -resultaten. Meetgestuurd onderwijs is onderwijs waarbij betrokkenen zich in hun taakuitvoering laten sturen door uitkomsten van metingen. Metingen dienen plaats te vinden na vaststelling van doelen en standaarden, het maken en afnemen van goede toetsen,
22
een juiste vastlegging van deze gegevens en na interpretatie/analyse een juiste bijstelling van de toetsing.
3 Dataverzamelingsmethode Voor het onderzoek naar de kwaliteit van toetsing op het Gomarus College wordt in dit onderzoek gebruik gemaakt van zowel een kwantitatief deel, de zogenaamde survey (Verhoeven, 2008), als van een kwalitatief deel, een workshop of interactieve modelbouw (Swanborn, 2006). Er is gekozen voor deze twee stappen om in eerste instantie breed vast te stellen dat de verwachte problematiek zich ook werkelijk voordoet en in welke mate, om vervolgens te kijken welke verbeteringen daar zijn te maken.
3.1. Kwantitatief onderzoek (survey) Het eerste deel van het onderzoek is bedoeld om vast te stellen of en in hoeverre het veronderstelde probleem zich voordoet op het Gomarus College. Is er sprake van twijfel over de kwaliteit van toetsing bij degenen die daar iedere dag mee bezig zijn, namelijk de docenten. In dit onderzoek willen we weten hoe de docenten momenteel de situatie rond toetsing ervaren. Daarom is gekozen voor een survey onderzoek. Het is minder makkelijk om daarmee causale verbanden aan te geven. Dat is ook niet de bedoeling van dit deel van het onderzoek. Het surveyonderzoek is gehouden door middel van een vragenlijst. De vragenlijst is bedoeld om een antwoord te vinden op de eerste twee deelvragen: Op welke wijze vindt de toetsing nu plaats en wat zijn de didactische en organisatorische knelpunten die worden ervaren in het huidige toetssysteem? De laatste vraag is een open vraag en daarmee kwalitatief van aard en leidt tot minder gestructureerde antwoorden. Deze vraag helpt om ook de derde deelvraag te beantwoorden: welke verbeteringen kunnen worden aangebracht om de validiteit van toetsen te vergroten? Deze deelvraag vraagt naar meningen en ideeën. Kwalitatieve open vragen zijn daarvoor het meest geschikt (Verhoeven, 2008).Het levert ook input voor het tweede deel van het onderzoek. De vragenlijsten zijn per mail aan de deelnemers van de steekproef toegezonden. Bij de vragenlijst is een begeleidende brief gestuurd om het doel van het onderzoek aan te geven en hoe er daarna mee zal worden omgegaan. Op het Gomarus College in Drachten werken ongeveer 25 docenten. Het aantal docenten op alle vestigingen van het Gomarus College is ongeveer 250. Door meerdere collega’s, zowel leidinggevenden als docenten is gevraagd om het onderzoek uit te breiden naar het hele Gomarus College. Daarmee gaat het dan om ongeveer 250 onderzoekseenheden. Dat maakt het betrekken van alle eenheden in het onderzoek tot een heel bewerkelijke opgave en daarom is gekozen voor een systematisch gestratificeerde steekproef uit de 7 andere locaties van het Gomarus College. In eerste instantie is de vragenlijst voorgelegd aan alle docenten van de
23
locatie Drachten. Hierbij gaat het dus om een populatie onderzoek van de populatie docenten in Drachten. Van de overige vestigingen zijn steeds acht docenten benaderd. Op alfabetische volgorde te beginnen met de A. Dit is een systematische gestratificeerde steekproef (Verhoeven. 2008).De analyse heeft plaatsgevonden op basis van alle geretourneerde vragenlijsten, zowel uit Drachten als uit de andere locaties. Dit is geen probleem om dat er waarschijnlijk weinig verschil zal zijn omdat verondersteld mag worden dat de antwoorden van respondenten uit Drachten niet sterk af zullen wijken van de andere vestigingen, omdat toetsing vaak berust op schoolbrede afspraken die in de vakgroepen zijn gemaakt. De systematisch gestratificeerde steekproef is getrokken uit de schoolgids Gomarus College 20102011. Dit is het steekproefkader (Baarda, 2006). Van ieder locatie zijn de eerste acht docenten op alfabetische volgorde benaderd te beginnen met de letter A Er zijn dus 56 respondenten benaderd, naast de 25 uit Drachten (hele populatie). Er is geen rekening gehouden met de verschillende groottes van de 7 locaties. De keuze voor de steekproefgrootte is afhankelijk van: de heterogeniteit van de steekproef, de vereiste nauwkeurigheid en het karakter van het onderzoek (Baarda, 2006). Wat het eerste betreft is er sprake van allemaal docenten, maar met veel verschillende variabelen en eigenschappen in de zin van sekse, vakgebied, ervaring en opleiding. Het onderzoek is bedoeld om een globaal beeld te krijgen. De nauwkeurigheid is van lager belang. In dit onderzoek worden ruim 80 eenheden uit een populatie van 250 benaderd. Omdat de gegevens niet in kruistabellen onderling met elkaar vergeleken worden is een respons van minimaal 30 noodzakelijk (Baarda, 2006 p. 166). Het onderzoek is ethisch verantwoord, omdat de respondenten anoniem en vrijwillig meewerken en de gegevens geen negatieve effecten voor de respondenten kunnen hebben. Om de anonimiteit zoveel mogelijk te waarborgen zijn er geen persoonlijke gegevens in de enquête opgenomen. Het grootste deel van de data wordt gestructureerd verzameld middels een vragenlijst met keuzemogelijkheden. Voordelen van een vragenlijst zijn: groot bereik, anoniemer dan een mondeling interview, de doelgroep is middels e-mail eenvoudig bereikbaar. Naast een aantal vragen over de situatie van de respondent (locatie, vak, methodetoetsen) worden 24 stellingen voorgelegd. Deze vragen zijn gegroepeerd rondom de evaluatieve cyclus (Blok, Otter en Roeleveld, 2002) zoals die wordt beschreven in het theoretisch kader. De voorgestelde vragenlijst is opgenomen als bijlage 1. Voor de vragenlijst is gebruik gemaakt van de zogenaamde Likertschalen, genoemd naar Rensis Likert (zie foto), die deze schalen in 1932 voor het eerst gebruikte. Er kan gekozen worden voor een even aantal keuzemogelijkheden (4 of 6) of een oneven aantal (5 of 7). Voordeel van de eerste is dat men niet altijd kan
24
kiezen voor het middenantwoord, maar dat kan ook weer tot een bepaalde frustratie leiden. Een oneven schaal levert vaak een gemiddelde score op vanwege wat centrale tendentie wordt genoemd. Voor dit onderzoek wordt gekozen voor een zespuntsschaal, vooral om te voorkomen dat het middenantwoord vaak wordt gekozen (Verhoeven, 2008). Deze schaal loopt van helemaal mee eens (1) tot helemaal mee oneens (6). Hoewel dit in principe een ordinale schaal betreft is het mogelijk om een intervalmeetniveau toe te kennen (Verhoeven, 2008 p.211-212). Er wordt verondersteld dat de afstand tussen de zes keuzemogelijkheden vergelijkbaar is waardoor er ook mee gerekend kan worden met gemiddelden en standaarddeviaties. De beweringen moeten dan wel op een gelijke wijze worden gesteld of omgekeerd worden toegepast. De vragen a tot en met w zijn allemaal zo gesteld dat een lage score een gewenste uitkomst oplevert. Vraag x levert bij een lage uitkomst een score op die ongewenst is. Hier is een hoge score een gewenste uitkomst. De vragenlijst is aan collega studenten voorgelegd voor commentaar. Twee collega’s gaven enkele suggesties voor verbeteringen, waar gebruik van is gemaakt. Dit vergroot de betrouwbaarheid (Verhoeven, 2008). Vanwege een voldoende grote steekproef en een heldere en consistente vragenlijst is de validiteit van het kwantitatieve onderzoek gewaarborgd. Het onderzoek middels vragenlijst en het gesprek in de workshop zorgt voor triangulatie van onderzoeksmethoden. Dit vergroot de betrouwbaarheid van de uitkomsten. Wat betreft de validiteit is de vraag of er wordt gemeten wat we beogen te meten. De theoretische onderbouwing met de evaluatieve cyclus en de vragenlijst die daarom heen is gemaakt geeft voldoende vertrouwen dat gemeten wordt wat wordt beoogd.
3.2 Kwalitatief onderzoek (workshop) Het tweede deel van het onderzoek is een kwalitatief deel. Waarom een kwalitatief deel? Omdat we op zoek zijn naar meningen en ideeën. Om deelvraag drie en vier te kunnen beantwoorden moeten er ideeën en meningen verzameld worden. Dit vraagt om onderzoeksmethoden die recht doen aan de veelheid en diversiteit van antwoorden. Kwalitatieve onderzoeksmethoden zijn hier bij uitstek geschikt voor. Verhoeven (2008) zegt hierover dat bij deze vorm van onderzoek de beleving door de onderzochte centraal staat. Het is interpretatief van aard en in tegenstelling tot kwantitatief onderzoek worden geen meetbare gegevens verzameld, geen causale verklaringen gezocht. Centraal staat de betekenis die de onderzochte aan situaties geeft. De combinatie met een kwantitatief deel kan leiden tot een beter inzicht. De stelling is te verdedigen dat in veel gevallen de combinatie van kwalitatief en kwantitatief onderzoek uiteindelijk tot meer inzicht leidt in het gekozen probleemveld (Baarda, 2009 woord vooraf). Doelstelling is om verbeteringen in het toetsingsproces te bewerkstelligen en deze verder te borgen (deelvragen 3 en 4). De ecologische validiteit is gewaarborgd omdat de uitkomsten direct toepasbaar zijn op de locatie
25
van onderzoek en omdat de onderzoekseenheden direct betrokken zijn bij het onderwerp is grotere commitment/betrokkenheid te verwachten (Swanborn, 2006) omdat er sprake is van een workshop die op dezelfde wijze is gestructureerd als veel andere vergaderingen op school. In Drachten werkt men dan met collega’s die men allemaal kent, in Groningen zijn er ook minder bekende collega’s bij. 3.2.1. Methode Om een antwoord op de deelvragen 3 en 4 te krijgen wordt gewerkt met een mengvorm van een focusgroep en een workshop (Verhoeven, 2008). Als basismateriaal voor deze groepen dient het materiaal dat is verzameld middels de open vraag in de vragenlijst, waarin werd gevraagd naar ervaringen en ideeën. Vervolfgens zijn de focusgroepen samengesteld. Hierin werd door middel van een interview en workshop geprobeerd een antword te vinden op deelvragen 3 en 4. Hierbij heeft de onderzoeker de rol van moderator. Er wordt gewerkt met een groep van 8 personen. Eén groep wordt samengesteld uit de docenten van het Gomarus College in Drachten en één groep uit docenten van de andere vestigingen. Er is gekozen voor twee groepen om een zo hoog mogelijk rendement te behalen en ter vergroting van de ecologische validiteit. In dit tweetal focusgroepen met ter zake kundige docenten worden problemen bij toetsing geïnventariseerd, daarna gecontroleerd of de genoemde problemen overeenkomen met de vastgestelde problemen uit het kwantitatieve onderzoek of dat er nieuwe problemen worden ingebracht. Vervolgens zullen de aandachtspunten die het vaakst worden genoemd in een workshop verder worden uitgewerkt naar een plan van aanpak. Deze workshops bestaan uit 8 collega’s per workshop. Er is sprake van een groepsinterview waarin op basis van topics bepaalde onderwerpen aan de orde zijn gebracht. De onderwerpen zijn: analyse van toetsen, normeren van toetsen, rol van de vakgroep, gebruik van methodegebonden toetsen, enz. Het moet gaan over toetsing en wat daarbij belangrijke aandachtspunten zijn. Volgens Swanborn (2006) zorgt deze werkwijze voor betrokkenheid. Nadine van der Pol (2011) schrijft over de verwerving van kennis in de traditie van Swanborn: “Er wordt een team samengesteld van diverse soorten medewerkers en samen werken zij aan een oplossing. Deze mensen weten precies wat de probleem gebieden zijn en kunnen hun deel van de organisatie goed vertegenwoordigen. Ze zijn hier niet bezig met toetsbare resultaten, maar met praktische ervaringen en inzicht. Uiteindelijk moeten onderzoeksresultaten toepasbaar zijn, maar wat vooral belangrijk is, is dat ze worden overgenomen en toegepast door de mensen. Als mensen zich niet kunnen verplaatsen of identificeren met de resultaten blijven deze resultaten voor altijd stof verzamelen in je bureaulade. Door de werknemers tot onderzoekers of probleemoplossers te benoemen heb je al een kleine groep dragers van de oplossing. Deze mensen kunnen met hun overtuiging anderen ook aanzetten tot het omtoveren
26
van de resultaten naar een oplossing of actie”. 3.2.2. Steekproef De samenstelling in Drachten vond eerst plaats door vrijwillige aanmelding. We noemen dat zelfselectie (Verhoeven, 2008). Voordeel hiervan is een duidelijke motivatie voor het onderwerp. Nadeel kan zijn dat er sprake is van elitevertekening (Baarda, 2009). Dat betekent dat je teveel afgaat op de informatie van mensen die een centrale plaats innemen in de gekozen locatie, in dit geval Drachten. Opvallend daarbij was dat alleen mannelijke respondenten zich zelf melden. Daarna zijn bewust vrouwelijke collega’s gevraagd. Het gericht vragen is bedoeld om de groep te laten bestaan uit collega’s van verschillende vakgroepen, een mix van mannen en vrouwen en met verschillende jaren ervaring. Dit was van belang om een goede afspiegeling van het personeel te krijgen en daarmee een representatieve groep. De workshop van de overige vestigingen is samengesteld door aan de leidinggevenden te vragen welke collega’s op het gebied van toetsing een bepaalde expertise hebben opgebouwd. Aan de 7 vestigingen is aan de directeuren gevraagd 2 of 3 namen door te geven. Uit de lijst van 17 namen zijn vervolgens acht benaderd om mee te werken. Daarbij hebben twee om praktische redenen moeten afhaken en zijn twee vergelijkbare collega’s gevraagd. Bij deze groep is ook weer gekeken naar de juiste mix zoals in Drachten. 3.2.3. Instrument Uit het kwalitatieve deel van het kwantitatieve onderzoek is geprobeerd een grootste gemene deler te halen. De items die hieruit naar boven kwamen zijn besproken. Vervolgens is binnen de workshops door middel van een mentossessie (iedere deelnemer ontving twee rolletjes met elk 5 snoepjes welke mochten worden verdeeld over de onderwerpen op de tafels) een volgorde van belangrijkheid aangegeven. Elke deelnemer mocht aan de genoemde items een waarde toekennen. Daarmee werd een rangorde van belangrijkheid binnen de workshop aangegeven. Het was de deelnemers duidelijk dat ze vervolgens met de top 4 in tweetallen een plan van aanpak gingen maken. Voor dit plan van aanpak was een format gemaakt. Daarna is in groepen van twee collega’s gewerkt aan een plan van aanpak voor de problemen met de hoogste prioriteit. 3.2.4. Analyse Eerst is gekeken in hoeverre er items zijn genoemd die niet onder te brengen zijn bij de kernitems. Vervolgens werd gekeken naar de volgorde van belangrijkheid zoals die door de mentossessie in de beide workshops is aangebracht. Wat zijn de overeenkomsten en wat de verschillen? Daarna leveren de tweetallen een achttal plannen van aanpak die richting kunnen geven aan de aanpak na de onderzoeksfase.
27
Ook hierbij zijn overeenkomsten en verschillen te beschrijven. Tenslotte is gevraagd of de tweetallen ideeën hebben die heel gemakkelijk zijn uit te voeren en of ze die aan het papier willen toevertrouwen, het zogenaamd laaghangend fruit. Deze punten kunnen zo mogelijk op korte termijn binnen de school worden opgepakt. 3.2.5. Betrouwbaarheid en validiteit In dit kwalitatieve deel van het onderzoek is gewerkt met de items uit de open vraag van het survey onderzoek. De items zijn opgegeven door 40 respondenten uit een populatie van ongeveer 250. Hoewel er meer collega’s uit Drachten in de workshops aanwezig waren is door de zorgvuldige verdeling over vakgroepen, ervaring en sekse een groep ontstaan die een goede afspiegeling is van het Gomarus College als geheel. Er is dus sprake van populatievaliditeit (Verhoeven, 2008). Wat betreft de onderwerpenlijst/topiclijst bij de gesprekken is uitgegaan van de terminologie van Blok, Otter en Roeleveld (2002). Hier wordt gebruik gemaakt van de vijf fasen van de evaluatieve cyclus zoals die ook een belangrijke rol heeft gespeeld in de vragenlijst van het surveyonderzoek. Hiermee is de betrouwbaarheid van het onderzoek vergroot. De opzet van de workshops is in overleg met collega-studenten gebeurd. Zij hebben waardevolle aanvullingen gegeven op de werkwijze. Onder andere de suggestie om de gesprekken in de workshops op te nemen zijn waardevol gebleken, omdat daardoor naderhand een deel van het gesprek nog eens te beluisteren was. Ook het benadrukken van het zoveel mogelijk gelijk laten zijn van de omstandigheden heeft gezorgd voor goed vergelijkbare resultaten. De beide workshops werden gehouden op verschillende plaatsen. De eerste in Drachten op 24 november 2011 en de tweede op 28 november 2011 in Groningen op de Magnolialocatie. Voor beide workshops was een lokaal beschikbaar. Een PowerPoint presentatie zorgde voor de gelijke structuur in de workshop. In de bijlagen treft u een overzicht aan van de voorbereidingen en uitvoering. 3.2.6. Ethische verantwoording De respondenten van de workshops zijn voorgedragen door hun leidinggevenden. Vervolgens zijn zij definitief gevraagd door de onderzoeker. Hun medewerking is op vrijwillige basis. Er is hen vooraf duidelijk gemaakt dat het gaat om een eenmalige gebeurtenis van ongeveer twee uren. Ook het tijdstip is ruim tevoren bekend gemaakt, waarop een tweetal mogelijke deelnemers moest afhaken. De uitkomsten zijn anoniem verwerkt en hebben voor de deelnemers geen nadelige effecten (Baarda, 2006). Met name voor de docenten in Drachten zou er sprake kunnen zijn van een machtspositie voor de onderzoeker. Voor hen was het lastiger om te weigeren mee te werken aan het onderzoek. Toch denk ik dat er voldoende ruimte is geweest voor de collega’s om open en eerlijk te antwoorden. Dat blijkt ook uit het
28
feit dat er weinig verschil zat in de beantwoording tussen Drachten en de overige vestigingen. Samengevat: Het antwoord op de deelvragen 1 en 2 (deels 3) zal worden gegeven door het kwantitatieve onderzoek met een kwalitatieve eindvraag. De vragen 3 en 4 zullen verder worden uitgewerkt in de workshops.
29
4 Resultaten 4.1 Kwantitatief onderzoek Uitkomsten van het kwantitatief onderzoek naar Toetsing op het Gomarus College. Er is voor gekozen om geen diepgaande analyse met SSPS te doen, maar op basis van de antwoorden een beeld te schetsen van de stand van zaken op het Gomarus College. Dat levert weliswaar minder exacte uitkomsten, maar de bedoeling van het kwantitatieve onderzoek is niet meer en niet minder dan het schetsen van een beeld. 1. Respons Om een goed beeld te krijgen van de stand van zaken op het Gomarus College is de vragenlijst voorgelegd aan alle collega’s in Drachten en de eerste 8 docenten uit de schoolgids per vestiging (7 in totaal: Vondelpad 1, 2 en 3, Magnolia, Leeuwarden, Assen en Zuidhorn) Locatie Uitgezet Respons % Drachten 25 17 68 Assen 8 7 87,5 Magnolia 8 4 50 Zuidhorn 8 1 12,5 Vondelpad 1 8 1 12,5 Vondelpad 2 8 2 25 Vondelpad 3 8 6 75 Leeuwarden 8 2 25 Totaal 81 40 49,3 Aantal docenten per locatie in schooljaar 2010-2011 (er zijn soms dubbelingen, waardoor het totaal kleiner is dan de optelling van de verschillende locaties ). Opvallend is de hoge respons in Drachten (werkplek onderzoeker) en de hoge respons van de vestiging Assen en Vondelpad 3. Ook is opvallend de lage respons van Zuidhorn en Vondelpad 1. In mindere mate geldt dat voor Leeuwarden en Vondelpad 2. Locatie Drachten Assen Magnolia Zuidhorn Vondelpad 1 Vondelpad 2 Vondelpad 3 Leeuwarden Werkzaam op 2 vestigingen (schatting)
Docenten 25 19 25 20 63 37 55 17 19242
30
Van de populatie van het Gomarus College (242 docenten) zijn er 81 benaderd met de vragenlijst (33,5%) en hebben er 40 de vragenlijst ingevuld en geretourneerd. De respons is daarmee 49,3% en van het totaal van de school heeft 16,5% deelgenomen aan het onderzoek. Volgens Baarda (2006, p165) is de minimale grootte van een steekproef 30. Omdat hier verder geen bewerkingen behalve een overzicht, gemiddelden en standaarddeviaties uit zijn gehaald, is een groep van 40 respondenten verantwoord en levert dat een duidelijk beeld op van de stand van zaken op het Gomarus College. Het is de bedoeling om een globaal beeld te krijgen. 2. Hoofdvak van respondenten Hoofdvak A exacte vakken B talen C zaakvakken Overige vakken (creatief, gd, lo e.d.) Totaal Waarvan in 2 categorieën
Aantal 10 12 13 7
Percentage 23,8 28,6 31 16,7
42 2
100,1 (afrondingsverschil) 4,8
Vakgroep van de respondenten 45 40 35 30 25 20 15 10 5 0
Aantal
Er is een goede verdeling over de verschillende vakken, waardoor er een goed totaalbeeld kan ontstaan
31
3. Hoe blijven collega’s op de hoogte van kerndoelen en eindtermen? Werkwijze A opleiding/studie B via de uitgever C internet D anders Niet van toepassing Totaal
Aantal 15 15 20 12 0 62
N 40 40 40 40
Geen antwoord
N
Soms
Aantal
Nee Ja 0
10
20
30
40
50
Iets meer dan de helft van de docenten geeft aan via meerder manieren op de hoogte te blijven van de kerndoelen en eindtermen voorhun vak. Het meest wordt gebruik gemaakt van internet, maar ook opleiding/studie en de uitgever worden vaak als bron gebruikt. Bij anders werd vaak collega’s/vakgroep en vakliteratuur genoemd, maar ook werd de examencoördinator, zelfreflectie en de methode genoemd.
4. Maak je voor je hoofdvak gebruik van een onderwijsmethode
Ja Nee Geen antwoord
Aantal 39 0 1
N 40 40 40
32
Geen antwoord
N
Nee
Aantal
Ja
0
10
20
30
40
50
Ik heb geen informatie kunnen vinden over het gebruik van een onderwijsmethode in het voortgezet onderwijs, maar op het Gomarus College wordt voor alle vakken gebruik gemaakt van een methode. Het ziet er wel naar uit dat door het gebruik van ICT dit aantal de komende jaren verder zou kunnen afnemen of in digitale vorm kan worden gebruikt. 5. Heeft deze methode ook toetsen die daarbij horen? Aantal 35,5 3,5 1
Ja Nee Geen antwoord
N 40 40 40
Geen antwoord
N
Nee
Aantal
Ja
0
10
20
30
33
40
50
De halven zijn ontstaan doordat 1 respondent aangaf dat er ja en nee toetsen bij de methode zitten. Bij bijna 89% van de respondenten zijn er toetsen bij de methode beschikbaar.
6. Maak je gebruik van deze toetsen? Aantal 28 2 6 4
Ja Nee Soms Geen antwoord
N 40 40 40 40
Geen antwoord
Soms N Aantal
Nee
Ja
0
10
20
30
40
50
Het overgrote deel van de docenten maakt gebruik van bij de methode geleverde toetsen (85%), hoewel het niet door iedereen even stelselmatig lijkt te gebeuren. Een klein gedeelte (5%) kiest er voor om geen gebruik te maken van bijgeleverde toetsen. De reden daarvoor is niet aan te geven, maar één van de respondenten geeft in een voetnoot aan nog niet te weten of er ook bij de nieuwe methode gebruik van gemaakt gaat worden, omdat deze respondent de toetsen erg slecht vindt. Zij die geen antwoord gaven waren degenen die geen toetsen bij de methode hadden.
34
7. Wat is de reden dat gebruik maakt van de toetsen?
A leervorderingen vaststellen B onderwijs effectief? C motiveren van leerlingen D anders Geen antwoord
aantal 30
N 40
28 16 8 5
40 40 40 40
Geen antwoord
D anders N
C motiveren van leerlingen
aantal B onderwijs effectief?
A leervorderingen vaststellen 0
10
20
30
40
50
Veel respondenten gaven meerdere opties aan, waarbij het vaststellen van de effectiviteit van het onderwijs (70%) en het vaststellen van de leervorderingen (75%) het vaakst werden genoemd. Ook noemt bijna de helft dat het motiveren van leerlingen een reden voor gebruik van deze toetsen is. Vraag blijft of het antwoord anders zou zijn geweest wanneer gebruik zou zijn gemaakt van eigen toetsen. Door een aantal respondenten zijn andere redenen genoemd: onderwijs evt aanpassen, je moet cijfers hebben, kijken waar hiaten in hun kennis zijn om dit vervolgens bij te spijkeren, om het niveau vast te stellen, om inzichtelijk te krijgen wat ze wel en niet kunnen, om te evalueren: inzet/leerpotentieel. Om te motiveren, leerlingen zelf ook hun vorderingen en/of zwakheden te laten zien. Voor een groot deel zijn deze antwoorden onder te brengen bij A t/m C. In het volgende deel zijn aan de respondenten beweringen voorgelegd over hun toetsen. Zij werden gevraagd hierop te antwoorden met een cijfer 1 (helemaal mee eens) tot en met 6 (helemaal mee oneens). Voor dit onderzoek wordt gekozen voor een zespuntsschaal, vooral om te voorkomen dat het middenantwoord vaak wordt gekozen (Verhoeven, 2008). Deze schaal loopt van helemaal mee eens (1) tot
35
helemaal mee oneens (6). Hoewel dit in principe een ordinale schaal betreft is het mogelijk om een intervalmeetniveau toe te kennen (Verhoeven, 2008 p.211-212). Er wordt verondersteld dat de afstand tussen de zes keuzemogelijkheden vergelijkbaar is waardoor er ook mee gerekend kan worden met gemiddelden en standaarddeviaties. De beweringen moeten dan wel op een gelijke wijze worden gesteld of omgekeerd worden toegepast. De vragen a tot en met w zijn allemaal zo gesteld dat een lage score een gewenste uitkomst oplevert. Vraag x levert bij een lage uitkomst een score op die ongewenst is. Hier is een hoge score een gewenste uitkomst. De volledige vragenlijst is te vinden in de bijlagen. Vragen
totaal
gemiddeld
sd
7a doelstelling voor maken toets 7b relatie met doelen onderwijsprogramma 7c toets om beginsituatie vast te stellen 7d afnemen diagnostische toetsen 7e eerst deeltoetsen 7f regelmatig meerkeuzetoetsen 7g normering van tevoren vastgesteld 7h nieuwe toets met collega bespreken 7i leerlingen om feedback vragen 7j analyseer de uitkomsten 7k resultaten met leerlingen bespreken 7l toets bijstellen na afname 7m welke vraag ligt op wel cognitief niveau 7n relateren aan eindexamen 7o een collega nog eens laten nakijken 7p ik heb een vaste normering 7q verschillende norm voor VMBO/HAVO-VWO
74 100 185 138 109 135 81 183,5 141 102 94 138 84 82 212 91 67
1,9 2,5 4,7 3,5 2,7 3,4 2,1 4,7 3,5 2,6 2,4 3,5 2,2 2,8 5,3 2,5 1,8
0,7 1 1,1 1,5 1,6 1,7 1,2 1,6 1,3 1,1 0,9 1,4 1,2 1,5 1,2 1,2 1,2
7r elke leerling gelijke beoordeling 7s toetsen elders bij zelfde methode bruikbaar 7t voldoende aandacht aan verbeteren toetsen
87 85 103
2,2 2,1 2,6
1,2 1,2 1,1
7u voldoende kennis om goede toetsen te maken
86,5
2,2
0,9
7v voldoende kennis om toets van goede norm te voorzien 7w extra scholing voor toetsing is gewenst 7x te weinig tijd om goede toetsen te maken
83,5
2,1
0,9
148 161
3,7 4
1,5 1,3
Gemiddeld
113,45
2,91
1,23
36
7a doelstelling voor maken toets 7b relatie met doelen onderwijsprogramma 7c toets om beginsituatie vast te stellen 7d afnemen diagnostische toetsen 7e eerst deeltoetsen 7f regelmatig meerkeuzetoetsen 7g normering van tevoren vastgesteld 7h nieuwe toets met collega bespreken 7i leerlingen om feedback vragen 7j analyseer de uitkomsten 7k resultaten met leerlingen bespreken 7l toets bijstellen na afname 7m welke vraag ligt op wel cognitief niveau 7n relateren aan eindexamen 7o een collega nog eens laten nakijken 7p ik heb een vaste normering 7q verschillende norm voor VMBO/HAVO-VWO 7r elke leerling gelijke beoordeling 7s toetsen elders bij zelfde methode bruikbaar 7t voldoende aandacht aan verbeteren toetsen 7u voldoende kennis om goede toetsen te maken 7v voldoende kennis om toets van goede norm te voorzien 7w extra scholing voor toetsing is gewenst 7x te weinig tijd om goede toetsen te maken
score per item
6
5
4
3
2
gemiddeld
1
0
37
Uit deze vragen ontstaat het volgende beeld: 1. (7a) Vooraf is er bij toetsmakers een duidelijk beeld van de doelstelling van de toets. Men is het daar gemiddeld iets meer dan mee eens en er zijn nauwelijks afwijkende meningen daarover. 2. (7b) De vragen bij een toets worden behoorlijk gerelateerd aan het onderwijsprogramma. Men is het daar gemiddeld meer dan een beetje mee eens. De spreiding is hier iets groter. Enkele docenten zijn het hier een beetje mee oneens en één is het er mee oneens. 3.(7c) Er worden weinig toetsen gemaakt om de beginsituatie vast te stellen. De meeste docenten doen dat niet. Drie docenten geven aan het wel te doen. 4.(7d) Het afnemen van diagnostische toetsen gebeurt gemiddeld even vaak wel als niet. De spreiding is hier fors. Er zijn docenten uitgesproken voorstanders, maar er zijn er ook die het helemaal niet doen. 5.(7e) Het afnemen van deeltoetsen voor een grote toets is men het gemiddeld wel een beetje mee eens, maar uit de individuele antwoorden blijkt dat men dat meestal juist wel of juist niet doet. 6. (7f) Het afnemen van meerkeuzetoetsen laat een vergelijkbaar beeld zien. Men doet het wel of men doet het niet. Daardoor ontstaat een gemiddeld beeld, maar de spreiding is het breedst van alle vragen. 7.(7g) Het vaststellen van de normering vooraf wordt gemiddeld beantwoord met: mee eens. Toch zijn er 5 collega’s (12,5%) die het daar (deels) niet mee eens zijn. 8.(7h) Het bespreken van een toets met een collega wordt door bijna niemand gedaan. Slechts 3 personen (7,5%) zegt dat te doen (helemaal) mee eens. Gemiddeld is de steekproef het daar niet mee eens. De spreiding is niet erg groot (1,2). 9.(7i) Op de vraag of feedback van leerlingen op een toets wordt gevraagd komt in totaal een gemiddeld antwoord, maar met een redelijke spreiding. 7 respondenten geven aan het hier (helemaal) niet mee eens te zijn, terwijl 9 aangeven het er mee eens te zijn. 10.(7j) Op de bewering of de uitkomsten van een toets worden geanalyseerd antwoorden de respondenten gemiddeld dat ze dat wel doen tot soms doen. 7 respondenten geven aan het in meer of mindere mate niet met de bewering eens te zijn. De meeste respondenten zijn het met de bewering eens. 11.(7k) Op de vraag of de toets naderhand met leerlingen wordt besproken wordt aangegeven dat dat wel gebeurt. Slechts 4 respondenten (10%) is het hier gedeeltelijk mee oneens.
38
12. (7l) Op de bewering dat een toets na afname wordt bijgesteld komt in totaal een gemiddeld antwoord, 10 respondenten (25%) zijn het er (helemaal) mee eens, 9 respondenten (22,5%) is het er (helemaal) mee oneens. 13.(7m) Op de bewering of de respondent weet op welke cognitieve niveaus de vragen liggen is het gemiddelde antwoord: mee eens. Slechts 4 respondenten (10%) geeft aan in meer of mindere mate het met deze stelling oneens te zijn. 14. (7n) Op de vraag of er een relatie wordt gelegd tussen toetsen en het examen wordt gemiddeld gezegd dat men het daar deels mee eens is. De spreiding is behoorlijk groot en velen hebben geen antwoord gegeven. Dat kan meerdere oorzaken hebben: - er is geen examen in het vak, - men is niet op de hoogte van het examen van het vak, - men weet het niet. 15. (7o) Op de vraag of men wel eens een collega opnieuw na laat kijken is het antwoord behoorlijk eenduidig. Dat doet men niet. Slechts 2 respondenten (5%) doet dat wel eens. 16. (7p) Op de vraag of men werkt met een vaste normering per toets is zit men gemiddeld tussen mee eens en deels mee eens. 6 respondenten (15%) geeft aan het daar (deels) niet mee eens te zijn. 17.(7q) Op de vraag of er verschillende normeringen worden toegepast voor VMBOen HV-toetsen is men gemiddeld sterk van mening dat het gebeurt. Hier werden de meeste helemaal mee eens gescoord. Slechts 4 respondenten (10%) is het in meer of mindere mate niet met de bewering eens. 18. (7r) Op de vraag of iedere leerling op dezelfde wijze wordt beoordeeld is het gemiddelde oordeel mee eens, maar een spreiding van 1,2 geeft wel aan dat er verschillend over wordt gedacht. 6 respondenten (15%) geeft aan het in meer of mindere mate niet met de stelling eens te zijn. 19.(7s) Op de vraag of de toets van respondent op iedere andere school met dezelfde methode is te gebruiken geeft men gemiddeld aan dat men het daar mee eens is. 6 respondenten (15%) is het daar in meer of mindere mate mee oneens. 20.(7t) Op de vraag of er voldoende tijd wordt besteed aan het verbeteren van toetsen scoort men een 2,6 gemiddeld, wat inhoudt dat men het er (deels) mee eens is. 7 respondenten (17,5%) vindt dat niet (in verschillende sterktes) 21. (7u) Op de bewering of men voldoende kennis heeft om goede toetsen te maken antwoorden de respondenten gemiddeld dat men het er mee eens is, maar 3 respondenten (7,5%) vinden dat het niet voldoende is.
39
22. (7v) Op de bewering of men voldoende kennis heeft om een toets van een goede normering te voorzien geeft men gemiddeld aan daarover te beschikken. Toch geven twee respondenten (5%) aan daar moeite mee te hebben en ook 7 geven aan het slechts deels met de stelling eens te zijn (17,5%) 23.(7w) Op de vraag of extra scholing is gewenst ligt het gemiddelde antwoord in het midden iets meer naar dat het niet nodig is. Toch geven 17 respondenten (42,5%) in meer of mindere mate aan dat scholing gewenst is. 24. (7x) Op de bewering: Ik heb te weinig tijd om goede toetsen te maken geeft men gemiddeld aan het daar deels mee oneens te zijn. De spreiding is redelijk groot, wat ook blijkt uit het aantal respondenten (14 = 35%) dat het (deels tot helemaal) met de stelling eens is.
4.2 Antwoorden bij deelvragen 1 en 2 De deelvragen luiden: 1. Op welke wijze vindt nu toetsing plaats ? 2. Wat zijn didactische en organisatorische knelpunten in het huidige systeem? De verzamelde kwantitatieve gegevens geven dus aan dat: -
-
-
er maar weinig gebruik gemaakt wordt van toetsen om de beginsituatie vast te stellen er een grote spreiding is te zien bij het afnemen van diagnostische toetsen er een grote spreiding is te zien in het afnemen van deeltoetsen voor een eindtoets nieuw gemaakte toetsen nauwelijks met collega’s worden besproken de normering van de toetsen voor het grootste deel van tevoren wordt vastgesteld aan leerlingen even vaak wel als niet feedback wordt gevraagd over een toets de uitkomsten van toetsen regelmatig niet of slechts gedeeltelijk worden geanalyseerd, gezien het feit dat men het daar gemiddeld iets meer dan een beetje mee eens is de relatie met het eindexamen door velen wordt gelegd, maar het lijkt er op dat docenten die alleen lesgeven in de onderbouw deze relatie moeilijk (kunnen) leggen docenten vrijwel nooit het werk van een collega nog eens nakijken om te zien of de beoordeling overeenkomt op de stelling of er sprake van een vaste normering is dat heel vaak niet altijd het geval is bijna iedereen een verschillende normering aanhoudt voor HV-klassen en VMBOklassen
40
-
-
iedere leerling meestal dezelfde beoordeling ontvangt als andere leerlingen met vergelijkbare scores er volgens de collega’s voldoende aandacht is voor het verbeteren van toetsen de meeste docenten vinden dat er voldoende kennis is om goede toetsen en normeringen te maken, toch zijn er vrij veel die aangeven dat extra scholing in een behoefte voorziet of er voldoende tijd is om toetsen te maken wordt niet helemaal duidelijk, op de stelling dat er te weinig tijd is geeft men gemiddeld aan het er een beetje mee oneens te zijn, maar de spreiding is vrij groot
4.3 Resultaten open vraag uit kwantitatief onderzoek Veel respondenten hebben naast de kwantitatieve gegevens ook bruikbare kwalitatieve gegevens geleverd. De laatste open vraag waarin werd gevraagd om knelpunten bij het maken van toetsen en ideeën om de toetsing beter te maken leverden veel reacties op. Hieruit zou opgemaakt kunnen worden dat veel respondenten bij de meerkeuzevragen niet alle ideeën en vragen kwijt konden. Dat is ook een voorzien nadeel van een sterk gestructureerde vragenlijst. De open vraag aan het einde levert een grote hoeveelheid extra informatie op waar in het kwalitatieve deel van het onderzoek verder mee gewerkt kan worden. In de bijlage treft u een overzicht aan van alle opmerkingen, die vervolgens zijn gerubriceerd als ideeën, problemen en uitgangspunten.
4.4 Antwoorden bij deelvragen 2 en 3 De deelvragen luiden: 2. Wat zijn didactische en organisatorische knelpunten in het huidige systeem? 3. Welke verbeteringen kunnen worden aangebracht om de validiteit van toetsen te vergroten? - de wijze waarop wordt gekeken naar de bij de methode geleverde toetsen is enorm divers (“Valkuil is voetstoots uitgaan van de kwaliteit van methodegebonden toetsen”, “Het nadeel is dat sommige methodegebonden toetsen niet aansluiten bij hoe je de stof hebt behandeld”, “Mijn uitgangspunt is wel dat ik er vanuit ga dat anno 2011 de methode goed bruikbare toetsen geeft”, “Ook zijn veel methodetoetsen vooral gericht op de reproductie van kennis”, “Moeizaam als je de actualiteit bij je toetsen wilt betrekken”, “Daarom zijn methodetoetsen een uitkomst. Geeft vrijwel nooit problemen”) - de normering van toetsen wordt als lastig ervaren (“Is een toets goed als 2/3e van de leerlingen een voldoende heeft?”, “Ook moeilijk te normeren”, “De normering van tevoren maken. Ik kan het niveau van de leerlingen nog moeilijk bepalen en dat maakt het normeren van een toets erg lastig”, “Je zou voor het evalueren van toetsen
41
meer met collega’s moeten samenwerken”, “Normering vertel ik niet altijd van tevoren. Eigenlijk nooit zelfs”) - leesvaardigheid is bij leerlingen in het algemeen een probleem en dat levert dan ook problemen op bij toetsing (“Zowel technisch als begrijpend lezen is lastig. Is wel een basisvoorwaarde”, “Beperkte woordenschat bij leerlingen, dus toetsen soms toelichten”) - het maken en nakijken van toetsen kost erg veel tijd (“Nieuwe toetsen maken kost veel tijd”, “Er gaat veel tijd zitten in het maken van goede toetsen”,”Zelf opdrachten maken is ook erg intensief en bovendien weet ik niet of ze op niveau zijn , dus laat ik het er vaak bij zitten”, “Tot slot vind ik de nakijkbelasting van toetsen erg zwaar”) - maak meer gebruik van de Elektronische Leeromgeving (ELO) Fronter om toetsen te delen (“Samenwerking met collega’s via Fronter spaart tijd en levert betere toetsen op”) - zorg voor een goede vaststelling van begin- en eindsituatie (“Maak gebruik van begin- en eindtoetsen. Daardoor is er ook beter te differentiëren”, “Elkaars toetsen maken binnen bijv. zaakvakken en er commentaar op geven ) - de vakgroep moet meer worden ingeschakeld voor het maken en normeren van toetsen (“maak gezamenlijke afspraken over normen en normering”, “Binnen de vakgroep gemaakte toetsen uitwisselen om van elkaar te leren”) - meer aandacht voor de analyse van toetsen en de uitkomsten ervan (“Ik analyseer toetsen van verschillende cohorten om tot verfijning van toets en normering te komen”, “Meer inzicht en vaardigheden toetsen. Dan moet je al snel op zoek naar extra/alternatieve toetsen of zelf aan de slag om een toets te maken”, “Het klassikaal bespreken van toetsen kost erg veel tijd en leerlingen zijn vaak niet geïnteresseerd”)
4.5 Uitvoering van de workshops Uit deze grote hoeveelheid gegevens kunnen een aantal thema’s worden gedestilleerd (zie onderaan pagina 38). In een workshopsetting is hierover verder doorgesproken met respondenten en is er een aanzet tot een plan van aanpak verbetering toetsing gemaakt. De samenstelling van deze workshopgroep of focusgroep is op verschillende manieren tot stand gekomen. In Drachten hebben enkele collega’s zich aangemeld en zijn anderen gevraagd omdat ze een welkome aanvulling waren in de zin van sekse, vakgroep, leeftijd en/of ervaring. Dat zorgde voor de volgende samenstelling: docente docente docente docent
wiskunde economie Frans studio A (zorgleerlingen)
42
docent aardrijkskunde/Fries docent Duits docent biologie/scheikunde docent Nederlands Voor de andere locaties is de volgende methode gevolgd. Aan de leidinggevenden van deze locaties werd gevraagd een twee- of drietal collega’s te vragen om mee te werken aan het onderzoek. Selectiecriterium was daar of leidinggevenden van mening waren dat deze collega’s een zinvolle bijdrage konden leveren aan de verbetering van de kwaliteit van toetsing. Enkele leidinggevenden reageerden direct en kwamen met enkele namen, anderen moesten er aan herinnerd worden. Daarna is op basis van het totaal aan namen een groep van 8 collega’s samengesteld die qua sekse, vakgroep en leeftijd en/of ervaring een redelijke afspiegeling vormen van de hele school. In deze groep was dat wel lastiger, omdat de aangemelde collega’s substantieel jonger waren en uit minder verschillende vakgroepen kwamen. Het zou kunnen dat de noodzaak om zich bezig te houden met verbetering van het toetsinstrumentarium bij jongere docenten sterker wordt gevoeld dan bij oudere. In deze groep ontbraken docenten die zaakvakken geven. Daardoor werd de samenstelling als volgt: docent docente docente docent docente docent docent docente
Assen Leeuwarden Vondelpad 2 Magnolia Vondelpad 3 Vondelpad 1 Zh/Mag Vondelpad 1
natuurkunde/scheikunde Nederlands Nederlands wiskunde/rekenen Duits Nederlands muziek wiskunde
Bij beide bijeenkomsten is dezelfde werkwijze gevolgd. Na het welkom heten werd kort uitgelegd wat het doel van de avond was. Daarna werden de mensen gevraagd om zaken te noemen op het gebied van toetsing die hen bezighielden. Deze zaken werden op een flap-over (Drachten) en een whiteboard (Magnolia) genoteerd. Daarna heeft de onderzoeker aangegeven welke hoofdthema’s hij uit de 40 vragenlijsten had gedestilleerd waarna werd bekeken in hoeverre de door de groep benoemde onderwerpen overeen kwamen met de lijst van 9 onderwerpen. Vervolgens kregen alle deelnemers een tweetal rolletjes Mentos met elk 5 snoepjes. Deze tien snoepjes mochten worden verdeeld over de onderwerpen om zodoende een top 4 te krijgen. Er is gekozen voor een top 4 omdat er dan vervolgens in tweetallen kon worden gewerkt aan de plannen van aanpak. Uit de vragenlijsten van 40 collega’s werden de volgende punten gedestilleerd waaruit een keuze kon worden gemaakt. Deze keuze is gemaakt door de onderzoeker en lijkt de grootste gemene
43
deler van de opmerkingen in het kwalitatief onderzoek in zich te bergen. De volgorde is willekeurig. 1. 2. 3. 4. 5. 6. 7. 8.
Rol van de vakgroep Gebruik van methode gebonden toetsen Gebruik van Cito-toetsen (e.d.) Normering van toetsen Relatie eindtermen – examenprogramma’s Hoe maak ik een goede toets/scholing Analyse van eigen toetsing Het toetsen van vaardigheden
9. Het gebruik van diagnostische toetsen De beide groepen slaagden er ogenschijnlijk zonder moeite in om zaken te noemen die zij van belang achten als het gaat om toetsing op het Gomarus College. In de bijlage worden alle suggesties genoemd. Na het benoemen van de eigen toetsonderwerpen werd gezamenlijk bekeken in hoeverre de genoemde onderwerpen overeen kwamen met bovengenoemde negen die de grootste gemene deler vormen uit de opmerkingen bij het kwantitatieve deel van het onderzoek. Bij beide groepen werden alle onderwerpen op één na gerangschikt bij de negen hierboven genoemde. Beide groepen hielden één onderwerp over dat er niet onder kon worden geschoven. In Drachten ging het om het vervolg na de analyse van toetsen en op de Magnolia het onderwerp efficiënt toetsen. Na het bespreken van de zelf ingebrachte onderwerpen werden op de tafels A4tjes gelegd met de negen hoofditems daarop. Toegevoegd werd in beide groepen het onderwerp dat niet onder te brengen was. Vervolgens mochten alle deelnemers elk maximaal 10 snoepjes verdelen over de bladen op de tafels. Hier werden enkele minuten voor uitgetrokken. Opvallend daarbij was dat mensen best wel moeite hadden om tot een juiste verdeling te komen. Grote verschillen waren daarbij zichtbaar. Sommigen gingen geheel hun eigen gang, anderen gingen met elkaar de discussie aan en pasten de aantallen af en toe aan. Na drie minuten werd de eindstand opgemaakt. Uitkomsten Drachten 1 Normering van toetsen 2 Analyse van eigen toetsen 3 Hoe maak ik een goede toets/scholing 4 Vervolg na analyse van toetsing (zelf toegevoegd) 5 Gebruik van Cito-toetsen voor schoolvorderingen 6 Toetsen van vaardigheden 7 Relatie eindtermen/examenprogramma’s 8 Rol van de vakgroep 9 Gebruik van diagnostische toetsen 10 Gebruik van methode gebonden toetsen
44
14 11 11 10 10 10 5 4 3 2
Opvallend is dat de eigen inbreng van Drachten bij de top vier zit. Weliswaar samen met twee andere onderwerpen die in eerste instantie tien snoepjes kreeg toegewezen. De keuze hebben we daarna bepaald door een ieder nog twee snoepjes te geven en deze over de drie onderwerpen die in eerste instantie tien punten kregen te verdelen. Toen werd dit onderwerp eerste van de drie. Uitkomsten Magnolia 1. Analyse van eigen toetsen 2 Normering van toetsen 3 Het toetsen van vaardigheden 4 Relatie eindtermen/examenprogramma’s 5 Hoe maak ik een goede toets/scholing 6 Rol van de vakgroep 7 Gebruik van Cito-toetsen voor schoolvorderingen 8 Het gebruik van diagnostische toetsen 9 Efficiënt toetsen (zelf toegevoegd) 10 Gebruik van methode gebonden toetsen
17 13 13 13 12 10 4 3 3 2
Een scherpe teller heeft gezien dat er hier 90 snoepjes zijn verdeeld. De onderwijskundige heeft ook meegedaan in de toekenning van de punten bij de onderwerpen. Bij de verdeling hier leek het een rol te spelen dat de collega’s elkaar minder goed kenden. Er vond minder discussie plaats dan in Drachten. De keuzes zijn hier sterker individueel bepaald. In hoeverre er een verschil is ontstaan doordat er geen collega’s met zaakvakken aanwezig waren in de Magnoliagroep kan niet met zekerheid worden gezegd. Vergelijking uitkomsten mentossessie Het is opvallend dat de nummers 1 en 2 in Drachten en Magnolia, weliswaar in omgekeerde volgorde, het belangrijkst worden gevonden. De analyse van toetsen en de normering ervan zijn beide als heel belangrijk aangemerkt. Ook het toetsen van vaardigheden neemt in beide groepen een belangrijke plaats in. Evenals het thema: hoe maak ik een goede toets en scholing. Er zit een behoorlijk verschil in de beoordeling van het gebruik van Cito-toetsen voor schoolvorderingen. In Drachten hoorde het bij de belangrijkste onderwerpen, op de Magnolia niet. Op de Magnolia werd veel belang gehecht aan de relatie eindtermen/examenprogramma, waar dat in Drachten niet het geval was. De reden hiervoor zou kunnen zijn dat meerdere respondenten in de Magnoliagroep geen of beperkte ervaring heeft met examenklassen, waar dat in de Drachtengroep bij vrijwel iedereen wel het geval was. De Magnoliagroep hechtte meer waarde aan de rol van de vakgroep om die verder uit te werken. Beide groepen hebben weinig behoefte om verder te werken aan een plan voor methode gebonden toetsen en diagnostische toetsen.
45
Naast de acht leden van de focusgroep was er op de Magnolia ook nog een gast aanwezig. Op verzoek van een leidinggevende was zij aanwezig, omdat door haar leidinggevende er vanuit gegaan werd dat er een vervolg op deze studie zou komen, waarbij ook de onderwijskundige zou worden ingeschakeld. Dat voor gereedkomen van het onderzoek het belang van het onderwerp op deze wijze wordt onderstreept, geeft moed voor het vervolg.
4.6 Uitkomsten plannen van aanpak In Drachten 1. Normering van toetsen: om te zorgen voor een juiste normering en de borging van de resultaten laat dit tweetal 5 docenten van hetzelfde vak eerst individueel bij een toets vastleggen wat de grens voldoende/onvoldoende is, wat de puntenverdeling per onderdeel is en op basis waarvan die puntenverdeling zo is. Vervolgens gaat het 5-tal in overleg om te komen tot 1 correctiemodel, scores en normering. Deze toets is dan het werkmodel/ijkpunt voor dat vak en dat niveau. Verantwoordelijk is de vakgroep die uit haar midden een verslaggever aanwijst. 2. Analyse van eigen toetsen: Maak heldere afspraken over de hoeveelheid kennis, inzicht en vaardigheden die er voor een bepaald vak getoetst moet worden op bepaalde niveaus. Ga vervolgens na of deze afspraken bij alle vakken worden gehaald bij bestaande toetsen. Pas de toetsen aan. Er wordt een voorzet gedaan voor de beoordeling: Kennis: T 60% moet voldoende zijn, H 70% moet voldoende zijn. V 80% moet voldoende zijn. Inzicht: T 65% moet voldoende zijn, H 75% moet voldoende zijn, V 75% moet voldoende zijn Men komt daarbij tot de volgende beoordeling, waarbij de vaardigheden buiten beschouwing zijn gelaten: Toetscijfer: (% kennis x cijfer kennis) + (% inzicht x cijfer inzicht) 100 3. Hoe maak ik een goede toets: Er moet een checklist komen waaraan een goede toets moet voldoen. Groep heeft informatie gehad over RTTI van Docentplus (zie voor uitleg hoofdstuk 5). Dat vraagt om scholing. Hoeft geen lang traject te zijn. Vakgroep speelt hierin een belangrijke rol. Docenten blijven verantwoordelijk en leggen verantwoording af bij MT en toetsing maakt onderdeel uit van de beoordeling.
46
4. Vervolg na analyse van toetsing: er wordt een lans gebroken voor het Basis/Herhaling/Verrijkingsstof (BHV) model. Als methode er niet in voorziet zelf materiaal maken en uitgevers bewerken. Vooral uitwerken daar waar kennis en inzicht wordt gestapeld (talen en exact). Maak de verrijkingsstof niet al te moeilijk, maar vooral ook leuk. Analyseer goed waardoor iemand hoog of laag scoort.
Op de Magnolia: 1. Analyse van eigen toetsen: veel factoren kunnen van invloed zijn op de resultaten van leerlingen bij een toets. Laat de toetsen beoordelen door je collega’s van de vakgroep. Maak daarbij gebruik van een afvinklijstje. Dat zou RTTI kunnen zijn. 2. Normering van toetsen: Doel is om meer inzicht te krijgen in eigen toetsen. Pas meetbaar bij eindexamen. Kennis rondom eindexamens moet worden vergroot. Moet alles wat je doet worden getoetst. Toetsen goed uitwerken en tijdloos laten zijn. Verantwoordelijkheid voor toetsen ligt heel breed. 3. Toetsen van vaardigheden: specifiek van Nederlands en muziek vanwege vak docenten. Omschrijf vaardigheden per leerjaar en niveau. Kijk naar de eindtermen. Duidelijk omschrijven voor leerlingen. Gaat het om proces of product. Toets je individueel of per groep? Inventariseer wat je nodig hebt: vooral tijd en geld. 4. Relatie eindtermen/examenprogramma: doelstelling is examen halen. Stel specifiek doorstroom eisen vast en ga daar strenger op beoordelen. Meetbaar in toetsen/inhouden/vaardigheden. Taak van vakgroep. Wees niet te bang daar te veel tijd aan te besteden.
4.7 Beoordeling proces en uitkomsten Het samenstellen van de workshopgroep had in Drachten veel minder voeten in de aarde dan op de Magnolia. Het onderwerp was bekender in Drachten, men heeft zichzelf kunnen aanmelden en de leidinggevende had alle belang bij een goed onderzoek. De leden van de andere groep zijn gevraagd door hun leidinggevende om zich beschikbaar te stellen. De leidinggevende had een afgeleid belang en dat zal voor ieder verschillend in prioriteit zijn geweest. Dat bleek ook uit het feit dat de aangemelde personen af en toe toch niet meededen toen het er op aankwam. Toen moesten anderen worden gevraagd en was de verdeling over de verschillende vakgroepen minder goed verdeeld. Een ander opvallend punt was dat de collega’s in Drachten elkaar goed kenden en snel tweetallen maakten die aan de slag gingen. Op de Magnolia was duidelijk dat men elkaar eerst wat beter wilde/moest leren kennen. In Drachten is de tijd voor het maken van de plannen van aanpak vrijwel volledig en
47
intensief gebruikt, terwijl op de Magnolia een half uur voor de geplande eindtijd het meeste wel op papier stond. Ook de gedetailleerdheid van de plannen is in Drachten verder uitgewerkt dan op de Magnolia.
Uitkomsten van mentorssessie Uitkomsten Drachten 1 Normering van toetsen 2 Analyse van eigen toetsen 3 Hoe maak ik een goede toets/scholing 4 Vervolg na analyse van toetsing (zelf toegevoegd)
14 11 11 10
Uitkomsten Magnolia 1. Analyse van eigen toetsen 2 Normering van toetsen 3 Het toetsen van vaardigheden 4 Relatie eindtermen/examenprogramma’s
17 13 13 13
Opvallend is dat de nummers 1 en 2, hoewel in omgekeerde volgorde bij beide groepen hetzelfde zijn. Dit ligt ook in lijn met de uitkomsten van het kwantitatieve onderzoek. Normering en analyse van eigen toetsen zijn de belangrijkste onderwerpen. Opvallend is ook dat de voorgestelde verbeteringen van beide workshops veel op elkaar lijken, maar dat die van Drachten wat verder zijn uitgewerkt. In de plannen van aanpak worden hiervoor bruikbare suggesties gedaan. Deelvraag 4: hoe moet de toetsing systematisch worden geborgd? De borging van het systeem kan alleen maar plaatsvinden als er goede afspraken worden gemaakt wat er wordt getoetst. In de bovenbouw gebeurt dat al grotendeels door afspraken in een PTA (programma van toetsing en afsluiting). Het zou goed zijn schoolbreed ook voor de onderbouw te komen tot vergelijkbare afspraken zodat bij de doorstroming naar de bovenbouw duidelijk is dat leerlingen, van welke locatie ook, vergelijkbaar zijn getoetst en beoordeeld. Enkele malen wordt door de tweetallen gewezen naar de eindexamens waardoor een zekere objectivering van resultaten is te geven. Deze examens vinden echter pas na
48
4, 5 of 6 jaar plaats. Men geeft aan dat het goed zou zijn om ook in de aanloop naar de examens toe geregeld objectief vast te stellen wat de schoolvorderingen zijn. In het basisonderwijs wordt al vele jaren gebruik gemaakt van het leerlingvolgsysteem van het CITO. In het voortgezet onderwijs wordt dat nog niet breed toegepast.
49
4.8 Uitkomsten laaghangend fruit Aan de tweetallen die gewerkt hebben aan plannen van aanpak is gevraagd om op een apart formulier ideeën aan de hand te doen die naar de mening van dat tweetal gemakkelijk zijn uit te voeren, weinig kosten met zich meebrengen en wel een verbetering aanbrengen in het proces van toetsing. Alle ideeën zijn opgenomen in bijlage XII. Hieronder vermelden we een aantal van de ideeën en suggesties die bij de doelstelling: het verbeteren van het toetsingsproces, kunnen worden gebruikt. Het BHV-model is een model waar uitgebreid ervaring mee is opgedaan in het basisonderwijs. Het zou goed zijn om collega’s van het voortgezet onderwijs daar op bezoek te laten gaan om hen te inspireren en enthousiasmeren. De elektronische leeromgeving (ELO) is heel goed bruikbaar om het BHV-model verder handen en voeten te geven. Het belang van goed functionerende vakgroepen kan niet voldoende worden benadrukt. Vanuit het hele management moet hieraan meer aandacht worden besteed. Ook op de locaties zou het goed zijn de vakgroepen op gezette tijden bij elkaar te brengen om zich voor te bereiden op verbetering van het toetsproces. Leg een databank aan met toetsen en correctiemodellen en normering. Bestaat er een landelijke toetsenbank en kunnen/willen we daar gebruik van maken? Woordenschatontwikkeling als onderdeel van het (algemeen) taalbeleid. Taalcoördinator en vakdocent zijn verantwoordelijk om overige collega’s aan te sturen. Ga samen met alle collega’s in de vakgroep eindexamens analyseren. Aansluiting onderbouw/bovenbouw zo spoedig mogelijk oppakken in de vakgroep. Maak cijfers meer inzichtelijk voor ouders en leerlingen.
50
5 Conclusies, aanbevelingen en discussie 5.1 Conclusies: In hoeverre de 16 deelnemers aan de workshop onderdeel waren van de steekproef is niet bekend. Dan is het opvallend dat de items genoemd door de workshopleden voor het overgrote deel vallen onder de negen items die zijn gedestilleerd uit het eerder onderzoeksdeel. Er is geen sprake van toevallige fouten. Herhaling van deze vraagstelling lijkt dus dezelfde resultaten op te leveren (Verhoeven, 2008). Uit beide delen van het onderzoek zijn de volgende conclusies te trekken: Op welke wijze vindt toetsing nu plaats? (deelvraag1) Op het Gomarus College is er een grote mate van vrijheid bij individuele docenten als het aankomt op toetsing. Er zijn wel verschillen per vakgroep (soms behoorlijk voorgeschreven hoe te toetsen), maar de individuele vrijheid per docent is groot, zeker als het aankomt op normering van toetsen. Wat zijn organisatorische en didactische knelpunten? (deelvraag2) Het maken van toetsen en normeringen wordt veelal gezien als een tijdrovend werk. Het gebruik maken van methode gebonden toetsen gebeurt veel, maar wordt verschillend beoordeeld. Er is betrekkelijk weinig overleg tussen collega’s over toetsen. Normering van toetsen wordt als lastig ervaren. Nieuwe docenten voelen zich wat dat betreft vaak in het diepe gegooid. Uitkomsten van toetsen worden wel geanalyseerd, maar dat gebeurt weinig gestructureerd. Welke verbeteringen kunnen worden aangebracht om de validiteit van toetsen te vergroten? (deelvraag3) Maak gezamenlijk afspraken over de normering van toetsen. Zorg voor een afvinklijstje waaraan een goede toets moet voldoen. Maak meer gebruik van de ELO om elkaar op de hoogte te houden/brengen van toetsmateriaal en de normering hiervan. Zorg voor een goede vaststelling van begin- en eindsituatie. Welke mogelijkheden zijn er om deze verbeterde toetsing te borgen? (deelvraag4) Leg een databank aan met toetsen die dor meerdere collega’s zijn getest en genormeerd. Maak gebruik van geijkte toetsen, bijvoorbeeld van het CITO om eigen vorderingen mee te vergelijken. Zorg voor een heldere afspraak over gebruik van kennisvragen, toepassingsvragen en inzichtvragen.
51
5.2 Aanbevelingen 1. Maak gebruik van een meetlat als de methode RTTI. Of een andere lijst waarmee toetsen kunnen worden beoordeeld. RTTI is een middel om scherp en transparant de vier te onderscheiden cognitieve niveaus van leren in kaart te brengen. RTTI maakt de leerprocessen van leerlingen inzichtelijk en werkt binnen de school als motor voor onderwijsontwikkeling.
Hiervoor is scholing van belang. RTTI werkt via de methode teach the teacher. Op deze wijze wordt duidelijk of je toetsen passen bij de verschillende niveaus van onderwijs. 2. Zorg voor analyse van de uitkomsten van toetsen en ga vervolgens werken met het BHV-model (basisstof, herhalingsstof en verrijkingsstof). Zorg dat verrijkingsstof uitdagend is maar ook leuk. De stof ervoor zit in bestaande methoden, kan zelf verder worden ontwikkeld en kan via ICT beschikbaar komen/worden gesteld. 3. Er zullen gezamenlijk afspraken over normen moeten worden gemaakt. Er worden enkele voorstellen gedaan, maar deze dienen breder besproken te worden. Toch is het maken van schoolbrede afspraken hierin van belang om de onderlinge vergelijkbaarheid van resultaten te vergroten. Het is opvallend dat geen van de groepen aangeeft dat methodeonafhankelijke toetsen die landelijk worden gebruikt, een goed instrument kunnen zijn om het werk van individuele leerlingen te waarderen, de resultaten per klas en als school ook af te zetten tegen resultaten bij anderen, om op deze wijze meer inzicht te krijgen in de opbrengsten van de inspanningen die docenten en leerlingen zich getroosten om verder te komen. In het basisonderwijs zijn de Cito-toetsen helemaal ingeburgerd, maar in het voortgezet onderwijs nog maar mondjesmaat. 4. Zorg ervoor dat docenten in de onderbouw weet hebben van de doelstellingen voor het eindexamenprogramma, maar ook dat bovenbouwdocenten weten welke
52
kerndoelen in de onderbouw eigen dienen te worden gemaakt. Duidelijke verwachtingen kunnen helpen onderling onbegrip te verkleinen. 5. Toetsing wordt vaak ervaren als tijdrovend. Dat is het vaak ook, maar de inspanning ervoor is alleen de moeite waard als er daarna ook een nadere analyse van resultaten plaatsvindt en vervolgens de toetsing wordt verbeterd. In de bijlage XII van het laaghangend fruit staan veel suggesties die redelijk eenvoudig kunnen worden gerealiseerd. Als 16 mensen deze ideeën bij elkaar kunnen brengen in ruim een uur, hoeveel andere suggesties zijn er dan te halen in een team van bijna 250 docenten? Het is duidelijk dat de eindverantwoordelijkheid voor het verbeterproces bij de schoolleiding hoort te liggen. Zij hoort ook hierin het voortouw te nemen, maar dan vooral in de voorwaardenscheppende sfeer. Het gaat dan om het organiseren van scholing, het stimuleren van schoolbrede vakgroepen en het faciliteren van medewerkers die hierin een belangrijke taak vervullen. Het Gomarus College zal in het komende jaar dit belang moeten benadrukken door het instellen van een stuurgroep toetsing die de vakgroepen stimuleert en enthousiasmeert om het proces van toetsing hoog op de agenda te zetten en te houden. De leerlingen op het Gomarus College hebben dat nodig en verdienen dat. Het onderwijs verdient dat.
5.3 Discussie Inhoudelijk (eigen visie) Vrijwel iedere docent toetst zijn leerlingen regelmatig om te zien wat zijn of haar vorderingen zijn. In veel gevallen leidt dat tot het geven van een cijfer. Die komen op een rapportage terecht en daarmee worden weer beslissingen genomen die voor de leerlingen heel belangrijk zijn: overgaan naar de volgende klas, opstromen naar een hoger niveau of afstromen naar een lager niveau. Als blijkt dat de cijfers lang niet altijd een goede voorspeller zijn van het succes van leerlingen dan is het van groot belang deze toetsing en becijfering nader te analyseren. Dat een nadere analyse tijd kost is duidelijk, maar dat is wel de moeite waard. Je bent als docent bezig met het kostbaarste bezit van mensen: hun kinderen. De normering van toetsen moet door docenten in de richting van leerlingen/studenten worden verantwoord. Leerlingen kunnen een rol spelen in het verbeteren van toetsen. Docenten moeten niet te bang zijn om gebruik te maken van hun kennis. Om de autonomie van je school verder te vergroten is het van groot belang dat je toetsing op orde is. Een goede verantwoording naar stakeholders: leerlingen,
53
ouders, inspectie zorgt er voor dat je jezelf serieus neemt, maar dat ook anderen serieus met je omgaan. Leerrendement Voor ik begon met dit onderzoek was ik er van overtuigd dat een kwantitatief onderzoek de beste informatie zou opleveren. De harde gegevens uit een dergelijk onderzoek garanderen een duidelijk beeld dat niet voor andere uitleg vatbaar is. In de loop van dit onderzoek is me gebleken dat uit een kwantitatief onderzoek weliswaar eenduidige gegevens komen, maar dat vooral bij gesloten onderzoeken het heel lastig is om de menselijke drijfveren goed helder te krijgen. Dan levert een open vraag toch wel erg veel informatie op waar je verder mee kunt. Een tweede punt is dat goed onderzoek iets is dat je niet op een achternamiddag even uitvoert. Het kost tijd, zowel in de voorbereiding als in de uitvoering. Met name als het onderzoek en betrouwbaar en valide moet zijn is dit voorwaarde, Aan de andere kant heeft het me ook geleerd dat soms onderzoek misschien minder betrouwbaar en valide is, maar dat het desondanks wel (zeer) bruikbaar kan zijn. Het hoeft dus geen reden te zijn om er maar vanaf te zien. Ik heb gemerkt en daar ben ik mijn hele studie al mee bezig om me dat meer eigen te maken, dat mijn collega’s (samen) erg veel weten. Dat ik daar veel meer gebruik van moet maken. Als 16 collega’s in een workshop van een ruim uur met zoveel ideeën kunnen komen, wat schuilt er dan voor rijkdom in 250 collega’s op het hele Gomarus College? Methodologie Er is erg veel informatie beschikbaar over toetsing. Een volgende keer zou ik meer in willen zoomen op de praktijk op andere scholen. Daar is niet zo heel veel informatie over te vinden, maar wel vrij gemakkelijk zelf bij elkaar te brengen. Je moet daarbij meer gebruik maken van je netwerk in zowel het gereformeerd als het overige onderwijs. In de loop van het onderzoek is de focus verbreed. Was in eerste de focus vooral gericht op het Gomarus College in Drachten, gedurende het onderzoek werd steeds duidelijker dat er een stevige relatie ligt met de rest van het Gomarus College. In de loop van de tijd werd ook door collega directeuren gevraagd om het beeld breder te maken. Had ik dat van het begin af geweten, dan had ik minder gebruik gemaakt van de collega’s in Drachten. Toch heeft die focus op Drachten niet een heel ander beeld opgeleverd. Zowel het kwantitatief onderzoek als de focusgroepen leverden grotendeels dezelfde beelden op. Ook zou ik waarschijnlijk het surveyonderzoek aan alle docenten van het Gomarus College hebben voorgelegd, want het uitwerken van die gegevens is me zeker niet tegengevallen. Gezien het aantal respondenten (40) is
54
het onwaarschijnlijk dat dat een heel ander beeld zou hebben opgeleverd. Ik zou de open vraag aan het einde van het eerste deel van het onderzoek wat verder hebben uitgebreid, om de antwoorden iets meer gestructureerd te krijgen. In de loop van het onderzoek is duidelijk geworden dat aan de kwaliteit van toetsing steeds meer waarde wordt gehecht. Dat geldt voor het management, maar ook voor de docenten. Als de omstandigheden worden gecreëerd dat hiermee energiek aan de slag kan worden gegaan, dan is de bereidheid daarvoor heel duidelijk aanwezig. Dit wordt nog eens extra gestimuleerd door de aandacht die er vanuit politiek en inspectie is voor de kwaliteit van het reken- en taalonderwijs. Hiervoor moeten vanaf 2014 examens worden afgelegd en mede daardoor is er veel interesse voor het gebruik van (diagnostische) toetsen op dit gebied. Een onderzoek als door mij gedaan kan natuurlijk ook gedaan worden dor een onafhankelijk onderzoeker. Wat zijn dan de voordelen dat ik het heb gedaan? In de eerste plaats is dat het feit dat er steeds opnieuw op allerlei plekken aandacht is gevraagd voor deze zaak. Het Hawthorne-effect heeft zijn werk gedaan. Er is aandacht voor en dat gaat een eigen leven leiden. In de tweede plaats is er sprake van een kostenaspect, maar ik heb ook geleerd dat ik gebruik kan maken van studenten die voor hun bachelor of master een onderzoek moeten doen. Daar maken we meer gebruik van en daardoor is de interpretatie van onderzoeksgegevens steeds vaker onderwerp van gesprek. Tot slot De verantwoordingsdrang naar binnen en buiten kan door het vervolg op dit onderzoek een flinke slag maken. Van de positieve resultaten kunnen we als school ook in de concurrentiepositie de vruchten plukken. Als de onderzoeksvaardigheden van docenten worden vergroot is de kans reëel dat deze vaardigheden ook bij leerlingen gaan toenemen. Dat is van groot belang, immers er is ongelofelijk veel informatie beschikbaar, maar wanneer wordt informatie kennis. Als we die slag maken wordt ons onderwijs beter. We weten waar we mee bezig zijn moet het adagium zijn of nog beter worden. Dat zorgt er voor dat we als school nog sterker staan in onze verantwoording. Docenten moeten steeds meer zich er van bewust zijn en worden dat zij de dragers zijn van onderwijskwaliteit. Niet de omstandigheden, maar de kwaliteit van het personeel zal op de lange termijn ervoor zorgen dat leerlingen tot hun recht komen. Dat vraagt voor sommige/veel docenten om een mindshift. Zij hebben deze verandering in handen en kunnen die gebruiken als ze leren niet alleen goed te onderwijzen, maar ook veel te leren.
55
Als je werkt op een gereformeerde school en je stelt je dienstbaar op in de richting van de leerlingen, dan kan het niet anders of deze mindshift wordt in de komende jaren volledig gerealiseerd. Ik hoop daar bij te zijn en er samen met mijn collega’s leiding aan te geven. Leiding geven betekent dan in mijn optiek ruimte beschikbaar stellen aan degenen die daar het voortouw in kunnen en willen nemen.
56
Literatuur Adam, S. (2004). Using Learning Outcomes, report for United Kingdom Bologna Seminar 1-2 July, Edinburgh, Scotland. Baarda, D.B. & Goede, M.P.M. de (2006). Basisboek Methoden en Technieken. Groningen/Houten: Noordhoff Uitgevers. Baarda, D.B., Goede, M.P.M. de & Teunissen, J. (2009). Basisboek Kwalitatief Onderzoek. Groningen/Houten: Noordhoff Uitgevers. Baart, A. (2001). Een theorie van presentie. Utrecht: Lemma. Black, P. & William, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5 (1), 7-75. Blok, H., Otter, M.E. & Roeleveld, J. (2002). Leerlingvolgsystemen: praktische lessen uit onderzoek. Amsterdam: SCO-Kohnstamm Instituut. Blok, H., Sleegers, P. & Karsten, S. (2006). Schoolzelfevaluatie in het basisonderwijs; een samenvatting van het onderzoek rond Ziezo. Amsterdam: SCO-Kohnstamm Instituut. Earl, L. & Katz, S. (2006). Leading schools in a data-rich world. Harnessing data for schoolimprovement. Thousand Oaks, California: Corwin Press. Frye, R. (1999) Assessment, Accountability and Student Learning Outcomes, In: Dialogue Issue no. 2 Groot, A.D. de (1966). Vijven en zessen: cijfers en beslissingen: het selectieproces in ons onderwijs. Groningen: Wolters. Inspectie van het Onderwijs (2010). Onderwijsverslag 2008/2009. De staat van het onderwijs. Den Haag: OCW. Inspectie van het Onderwijs (2002). Veranderend toezicht. De Inspectie van het Onderwijs en de Wet op het onderwijstoezicht. Den Haag: SDU. Krüger, M. (2010). De schoolleider als leerling. Op weg naar onderzoekende scholen en onderzoeksmatig leiderschap, lectorale rede, Penta Nova Ledoux, G., Blok, H. & Boogaard, M. met medewerking van Krüger, M. (2009). Opbrengstgericht werken; over de waarde van meetgestuurd onderwijs, Amsterdam: SCO-Kohnstamm Instituut Miyazaki, I. (1976). China's examination hell. New York: Weatherhill.
57
Moelands, H.A., & Sanders, P.F. (1996). Onderwijskundige meetinstrumenten. In: J. Scheerens (red). Kwaliteitszorg in het onderwijs. Onderwijskundig Lexicon. Deel Centrale Onderwijsthema’s. p.51-73. Alphen aan den Rijn: Samson H.D. Tjeenk Willink. Muynck, B. de (2002). Een theorie van de presentie / Andries Baart, Wapenveld, 52 (6) 31- 32 OESO-CERI (1993). Educational Research and Development: Trends, Issues and Development. Paris Onderwijsraad, (2006) Naar meer evidence based onderwijs, advies uitgebracht aan de minister van OC&W, Den Haag: Artoos Pol, van der N. (2011) Een interpretatie van kennis, gehaald van internet op 7 december 2011 http://skim.blogs.dmci.hva.nl/files/2011/04/Essay-Een-interpretatie-van-
de-waarheid-Nadine-van-der-Pol.pdf Schoengen, M. (1911). Geschiedenis van het onderwijs in Nederland. Amsterdam. Schoolgids Gomarus College (2010-2011) Schotel, G. D. J. (1875). De academie te Leiden in de 16e, 17e en 18e eeuw. Haarlem: Kruseman & Tjeenk Willink. Swanborn, P.G. (2006) Interactieve Modelbouw, H8 in Basisboek Sociaal Onderzoek, Boom: Amsterdam (P. 185-203) Wilbrink, Ben (1995). Leren waarderen, de geschiedenis. Amsterdam: SCOKohnstamm Instituut Tomlinson, T. M. (1983) A Nation at Risk, towards Excellence for All, Washington DC: US department of education University of Warwick (2004). Course Specifications: Glossary of Terms to Course Specification http:/www.qualityresearchinternational.com/glossary/learningoutcomes.htm University of Exeter (2004) TQA Manual, Learning and Teaching Definitions http://www.ex.ac.uk/admin/academic/tls/tqa/modapp1.htm Vries, de J., Faalangst bij leerproblemen Seminarium voor Orthopedagogiek, Hogeschool van Utrecht, http://www.faalangst.nl/artikelen/artikel08.html Verhoeven, N. (2008), Wat is onderzoek? Praktijkboek methoden en technieken voor het hoger onderwijs, Middelburg, Boom onderwijs
58
Bijlagen I. Brief en vragenlijst Drachten II. Brief overige locaties III. Uitkomsten kwalitatief deel van kwantitatief onderzoek IV. Brief samenstelling focusgroep Drachten V. Brief samenstelling focusgroep Magnolia/overige locaties VI. Planning focusgroep Drachten VII. Planning focusgroep Magnolia/overige locaties VIII. Genoemde onderwerpen focusgroep Drachten IX. Genoemde zaken focusgroep Magnolia/overige locaties X. Formulier Plan van Aanpak XI. Formulier Laaghangend fruit XII. Uitkomsten laaghangend fruit
59
Drachten, juni 2011 Beste collega’s, Zoals jullie weten zijn Johan Hoekstra en ik bezig met de master Onderwijskundig Leiderschap. We zitten nu in het derde van vier semesters en een onderdeel van de studie is het maken van een onderzoeksplan (3e semester) en het uitvoeren daarvan (4e semester). Er is in de studie veel aandacht besteed aan leiderschap en opbrengstgericht werken. In het kader van opbrengstgericht werken en het goed plaatsen van leerlingen op het meest bij hen passende onderwijsniveau wil ik graag een actieonderzoek doen naar toetsing op onze locatie. Om dat goed te kunnen doen heb ik gegevens nodig die jullie kunnen leveren. Ik stel het zeer op prijs als jullie de bijgevoegde vragenlijst over toetsing willen invullen. Het gaat daarbij om jouw mening over dat onderwerp. Wil je voor de beantwoording het vak in ogenschouw nemen waar je de meeste lessen in geeft . Om de resultaten goed te kunnen gebruiken is het belangrijk eerlijk antwoord op de vragen te geven. De uitkomsten ga ik gebruiken om een groep samen te stellen die een start gaat maken met de (verdere) verbetering van toetsing op onze locatie. Daarvoor zal ik 8 collega’s vragen om hierin een voortrekkersrol te vervullen. Als je je hierdoor aangesproken voelt, wees dan vrij om je bij mij te melden. Ik wil graag een groep die uit de vier verschillende vakgroepen bestaat (talen/exact/zaakvakken/overige). Ook wil ik graag een mix van ervaring en geslacht. Ik hoop dat jullie je hierdoor aangesproken voelen. Graag ontvang ik de vragenlijsten zo spoedig mogelijk terug, maar uiterlijk op maandag 11 juli a.s. Het invullen van de vragenlijst kost je maximaal 15 minuten. Bij een response van minimaal 25 zorg ik voor gebak op de eerste schooldag van schooljaar 2011-2012. In het verslag van dit eerste onderzoek zal niet herleidbaar zijn waar de antwoorden vandaan komen. Je anonimiteit zal gewaarborgd zijn. Aan het begin van het nieuwe schooljaar zal ik de uitkomsten met jullie delen. Vriendelijke groet, David de Jong
60
VRAGENLIJST TOETSING GOMARUS COLLEGE DRACHTEN Bij meerkeuze vragen graag het juiste antwoord omcirkelen
1. In welke vakgroep zit je hoofdvak? a. exacte vakken b. talen c. zaakvakken d. overige (creatieve vakken, gymnastiek, godsdienst e.d.) 2. Hoe ben en blijf je op hoogte van de kerndoelen/eindtermen? a. door mijn opleiding/studie b. via de uitgever c. via internet d. anders, namelijk ……………………………………………………………………………………………………………… …………………………………………………………………………………………………………….. e. niet van toepassing 3. Maak je voor je hoofdvak gebruik van een onderwijsmethode? Ja Nee (naar vraag 7) 4. Heeft deze onderwijsmethode ook methodegebonden toetsen? Ja Nee (naar vraag 7) 5. Maak je gebruik van deze toetsen? Ja Nee (naar vraag 7) Soms 6. Wat is de reden dat je gebruik maakt van toetsen? Meerdere antwoorden mogelijk
a. om de vorderingen van de leerlingen vast te kunnen stellen b. om te zien of je onderwijs effectief is geweest c. om leerlingen te motiveren voor hun werk d. anders, namelijk ……………………………………………………………………………………………………………… ….…………………………………………………………………………………………………………. 7. Bij de volgende beweringen graag aankruisen wat het meest van toepassing is op jou(w toetsen) en je leerlingen 1. helemaal mee eens 2. mee eens 3.een beetje mee eens 4. een beetje mee oneens 5. mee oneens 6. helemaal mee oneens
61
1 a. Voordat ik een toets maak heb ik een duidelijk beeld van de doelstelling van die toets b. Ik relateer de vragen aan de doelstellingen van het onderwijsprogramma c. Ik maak toetsen om de beginsituatie vast te stellen d. Ik neem diagnostische toetsen af e. Voor een grote toets neem ik deeltoetsen af f. Ik maak regelmatig gebruik van meerkeuzetoetsen g. De normering van de toets stel ik van tevoren vast h. Ik bespreek een nieuwe toets van tevoren met collega’s i. Ik vraag leerlingen om feedback over een toets j. Ik analyseer de uitkomsten van een toets k. Ik bespreek de resultaten van een toets naderhand met de leerlingen l. Ik stel een toets na afname bij m. Ik weet bij de vragen van een toets op welke cognitieve niveaus (reproductie, toepassen, inzicht) ze liggen n. Ik relateer toetsen aan het centraal eindexamen (indien voor jouw vak van toepassing) o. Ik laat een collega wel eens een toets opnieuw nakijken p. Ik heb een vaste normering voor mijn toetsen q. Ik hanteer verschillende normen voor toetsen van VMBO-niveau en HVtoetsen r. Ik beoordeel iedere leerling bij een toets op dezelfde wijze s. Mijn toetsen zijn op iedere andere school die dezelfde onderwijsmethode hanteert te gebruiken
62
2
3
4
5
6
t. Ik besteed voldoende aandacht aan het verbeteren van de toetsen u. Ik heb voldoende kennis om goede toetsen te maken v. Ik heb voldoende kennis om toetsen goed van een norm te voorzien w. Extra scholing voor toetsing vind ik gewenst x. Ik heb te weinig tijd om goede toetsen te maken
8. Wil je hieronder aangeven welke knelpunten je bij het (maken van) toetsen ervaart en ideeën vermelden wordt zeer op prijs gesteld ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… ……………………………………………………………………………………………………………… Hartelijk dank voor je medewerking David de Jong
63
Drachten, juni 2011
Beste collega’s, Sinds februari 2010 ben ik met 7 collega’s bezig met de master onderwijskundig leiderschap. Als afsluiting van de studie worden we geacht een masterscriptie te schrijven. Deze wil ik graag praktisch en bruikbaar houden. Ik heb daarom gekozen voor onderzoek naar de kwaliteit van toetsing op het Gomarus College in Drachten. Na het eerste onderzoek zal ik binnen de vestiging Drachten verdergaan met een kerngroep docenten om de toetsing op toetsniveau verder te evalueren en verbeteren. Om te zien of de situatie in Drachten vergelijkbaar is met de andere vestigingen leg ik mijn vragenlijst ook voor aan een 8-tal docenten op de andere vestigingen. Deze collega’s, waaronder jij, zijn geselecteerd op basis van de eerste 8 docenten in alfabetische volgorde van een vestiging. Mijn vraag: willen jullie deze vragenlijst invullen en of per mail of per post naar mij terugsturen. In het verslag van dit eerste onderzoek zal niet herleidbaar zijn waar de antwoorden vandaan komen. Je anonimiteit zal gewaarborgd zijn. Bij voorbaat dank.
Vriendelijke groet, David de Jong Gomarus College Eikesingel 62 9203 NZ Drachten
64
Uitkomsten kwalitatief deel van kwantitatief onderzoek Het labellen is als volgt gedaan: ideeën in rood, problemen en knelpunten in paars en uitgangspunten in het bruin.
1 Eenduidigheid, voor één uitleg vatbaar is een knelpunt 2 Leerlingen zelf meerkeuzevragen laten maken bevordert zeer hun leerprestaties en grip op de leerstof 3 Als leerlingen een toets slecht maken verwachten ze automatisch dat ze de toets over mogen doen. Hoe gaan we daar mee om? Moet 2/3 van een klas een voldoende hebben? Was je toets/onderwijs dan goed? 4 Valkuil is voetstoots uitgaan van kwaliteit methodegebonden toetsen. Een kritische blik blijft noodzakelijk. Meer evenwicht in de verschillende vaardigheden. Bij leesteksten zelf vragen laten bedenken. Maak gebruik van start- en eindtoets. Daardoor ook beter te differentiëren. Het plannen van alle toetsen binnen de school vraagt extra aandacht. Werkdruk bij leerlingen in sommige perioden zeer hoog. Toetsweken invoeren? Meer overleg binnen de talensectie! 5 Mijn uitgangspunt is toch wel, dat ik er vanuit ga dat anno 2011 de methode goed bruikbare toetsen geeft. Tekorten bij mij: eigen inzichtelijke vragen maken bij met name HV. 6 nvt 7 Nieuwe toetsen maken kost veel tijd. Klassikaal bespreken kost veel tijd en niet alle leerlingen zijn daarin geïnteresseerd. Nakijken blijft vervelend werk. Sommige leerlingen vinden een mondelinge toets prettiger en dat is wel eens lastig. 8 Voor mij is het van belang om zo te toetsen dat leerlingen met verschillende leerstijlen (Kolb) ze kunnen maken. Voor sommige onderwerpen is dat erg moeilijk, zodat naast toetsen ook opdrachten moeten worden ingeleverd. 9 Goed lezen is bij leerlingen een moeilijk punt. Zowel technisch als begrijpend lezen is lastig. Is wel een basisvoorwaarde. Beperkte woordenschat bij leerlingen, dus toetsen soms toelichten. 10 Normering van de toetsen. Bespreken van de toetsen met de leerlingen dat ze het nog wel leren. Differentiëren: sommige leerlingen kunnen minder aan, anderen veel meer, maar krijgen dezelfde toets- en lesstof 11 Het maken van een toets waarbij de normering een objectief beeld geeft vd vorderingen. Een toets moet een ontwikkeling ve leerling in beeld brengen. Niet dmv cijfers, maar één die past bij de persoonlijkheid vh kind. Ik denk meer aan ontwikkelingslijnen die passen bij ieder uniek kind. 12 We hebben als vakcollega's afgesproken dat we evenveel nadruk leggen op spreekvaardigheid, schrijfvaardigheid en grammatica. Tot nu toe is het zo dat één veel nadruk legt op het ene en de ander op het andere. We willen meer gelijkheid. Het lijkt me tijd om een toetsenweek aan het einde van het jaar te herintroduceren. Ik vind best moeilijk om aan het eind leerlingen te blijven motiveren. Sportdag kan wel 1 of 2 weken voor de laatste schooldag plaatsvinden. 13 Ik toets heel weinig, hooguit 2 (á3) keer per jaar in een klas. Hangt van de werkhouding van de klas af.
65
14 Een goede toets maken kost veel tijd. Ik heb meer beoordelingsmomenten met ander vaardigheden dan toetsen 15 Er gaat erg veel tijd zitten in het maken van goede toetsen. Daarom (vanwege tijd) zijn methodetoetsen een uitkomst. Het nadeel is alleen dat sommige methodetoetsen niet aansluiten bij de manier waarop je de leerstof hebt behandeld. Je wilt bijvoorbeeld de actualiteit in je lessen/toetsen betrekken. Ook zijn veel methodetoetsen (Pincode/Nieuw Nederlands) erg gericht op de reproductie van kennis en wil je ook wel wat meer inzicht en vaardigheden toetsen. Dan moet je al snel op zoek naar extra/alternatieve toetsen of zelf aan de slag om een toets te maken. 16 Samenwerking met collega's via Fronter spaart tijd en levert betere toetsen op 17 Binnen vakgroepen gemaakte toetsen uitwisselen om van elkaar te leren; elkaars toetsen maken binnen bijv. zaakvakken en er commentaar op leveren 1. Geeft vrijwel nooit problemen. De methode toetsen zijn tegenwoordig van prima niveau, toetsen alle leerstof en zijn goed na te kijken zonder dat het tijdrovend wordt. 2. Ik geloof niet dat ik knelpunten ervaar. Mijn toetsen zijn "eenvoudig" en eenduidig qua opzet. De ll weten wat ze kunnen verwachten aan vragen. Normering vertel ik niet altijd van tevoren, eigenlijk nooit zelfs. De methodegebonden toetsen zijn verschrikkelijk groot, niet leuk meer voor de ll om te maken en afschuwelijk voor mij om na te kijken. Ook moeilijk te normeren. Daarom werk ik meestal met deeltoetsen die ik zelf samenstel. 3. Vooral bij MC kun je vragen hebben of antwoorden die voor meerdere uitleg vatbaar zijn. Met name een B-toets met veranderde vragen en antwoorden op andere plekken heeft wel eens zulke vragen. Ik pas dat dan wel direct aan. Maar nieuwe toetsen blijven onverwachte dingen met zich meebrengen. ja/nee vragen hebben daar het meeste last van/ 5. Respondent verwijst naar bijlage, maar heb deze niet aangetroffen 6. Ik zou meer met de vakgroep willen ten aanzien van toetsen. De hoeveelheid tijd die je zou moeten nemen voor het vervaardigen van een correcte toets is bijna niet reëel en krijg je er dus niet voldoende tijd voor. Je zou voor het maken/evalueren meer met collega's moeten samenwerken. En trouwens, David. ik was degene die die RTTI met Adriaan heeft gedaan, vandaar wat merkwaardige kruisjes in bovenstaande tabel. Je ziet hier ook aan dat we nog niet zijn gestart, maar dat zal komend cursusjaar gebeuren. Ik heb hem daarom zo ingevuld als ik hem nu ervaar. Succes ermee! 7. De normering van tevoren maken. Ik kan het niveau van de leerlingen nog moeilijk bepalen en dat maakt het normeren van een toets heel lastig. Ik heb nog te weinig ervaring hiervoor. Ik geef nog maar één jaar les in het voortgezet. Dus ik hoop in mijn studie volgend jaar hier meer over te leren. 8. Als meerdere groepen eenzelfde toets moeten maken op verschillende tijdstippen kun je de normering pas na afloop (schooljaar) bijstellen, anders ongelijke behandeling. Cijfers moeten namelijk wel per keer ingevoerd worden 9. Ik gebruik overwegend toetsen van de methode. Af en toe kom je daarbij foutjes tegen. Die fouten herstel je voor een volgende toets. 11. Ik ben heel benieuwd of er een vervolg komt naar aanleiding van de uitkomsten van dit onderzoek. Ik vind toetsen maken best lastig en voel me soms wat zwemmen. Ik ervaar het als lastig dat de toetsen die de methode levert erg op het "te leren" gedeelte van de stof ingaan. Ik mis het toepassingsdeel. Ook geeft de methode geen normering. Die maak ik zelf, maar ik twijfel dan wel of ik goed “op niveau"zit. Als een toets erg goed gemaakt is pas
66
ik de normering aan. Ik reageer dan achteraf in plaats van me aan de voorgenomen normering te houden. Dit voelt niet altijd goed. De luister- en leestoetsen van de methode zijn erg gemakkelijk. Ik wijk daarom voor leestoetsen al vanaf klas2 uit naar oude examens (van een lager niveau) maar dat is bij luisteren heel lastig, omdat die niet op het internet staan. Aangezien we een nieuwe methode hebben moeten alle toetsen opnieuw gemaakt worden. Dit is best veel werk. Zelf opdrachten maken is ook erg intensief en bovendien weet ik niet of ze op niveau zijn, dus laat ik het er vaak bij zitten. Ook blijf ik het voor mijn vak Engels lastig vinden dat het examen bestaat uit het schrijven van een brief en een leestoets. De toetsen (vooral in klas 1 en 2) zijn vooral gericht op de behandelde stof en die is vaak wel te leren. Dit geeft wel eens een verkeerd beeld van wat de leerlingen nou echt van het Engels kunnen. Tot slot vind ik de nakijkbelasting van toetsen erg zwaar. Ik weet niet goed hoe ik met meerkeuze moet gaan werken bij mijn vak. Het blijft veel nakijken. Toetsen geven is vaak een heerlijk rustig uur, maar ze maken en nakijken is een verschrikking. 12. Zoals net al gezegd: ik heb de neiging toetsen te moeilijk te maken. Verder is er gewoon te weinig tijd om elke nieuwe toetsen + antwoorden te maken. Ik vind het dus lastig me te verplaatsen in het niveau van de leerlingen. Ik vraag van mezelf veel en doe dat dus ook een beetje van de leerlingen 14. De toetsen die de methode van 3GTL en 4GTL erbij levert zijn niet op niveau. Deze pas ik aan maar het kost ongelofelijk veel tijd 15. De methodegebonden toetsen zijn vaak niet RTTI-waardig. Om die reden maak ik regelmatig zelf toetsen. Tip voor de uitgever zeg maar:) 16. Waar mogelijk behandel ik leerlingen naar hun mogelijkheden en onmogelijkheden. Ik heb er dan ook totaal geen moeite mee om verschillende leerlingen met dezelfde scores verschillende te beoordelen. 18. Tijdsgebrek is het grootste struikelblok. Ik analyseer resultaten van verschillende cohorten om to verfijning van toets en normering te komen. Ik probeer steeds meer aan te sluiten bij het ERK 21. Bij het maken van toetsen ervaar ik weinig tot geen problemen tot nu toe. Bij de komende methode heb ik al gezien dat de toetskwaliteit erg laag is. Daar baal ik van. Ik wil dat een methode op een goed (examen) niveau kan en wil toetsen. Wel ervaar ik bij toetsen dat het bespreken ervan bij talen erg lastig is. Dat verloopt niet prettig en duurt lang. Juist omdat het minder prettig verloopt doe ik het ook minder, terwijl ik het wel een goed iets vind. Qua ideeën heb ik een tip voor Engels. In de kaderklassen (en dat kan ook in andere, maar dat heb ik tot nu toe nog niet gedaan) kijk ik een SO klassikaal na. De leerlingen kijken elkaars SO na. Dat scheelt mij werk(druk) en de leerlingen weten meteen hun cijfer, wat ze erg graag willen. Maar wat ik het belangrijkste vind is dat ik zie dat ze leren van hun gemaakte fouten en mijn manier van nakijken. Ik merk dat ze het prettig vinden om dit te weten en te zien. Ook merk ik dat het als een motivatie werkt voor de volgende keer om wel te leren. Ze vinden het namelijk niet leuk als een medeleerling ziet hoe slecht ze hebben geleerd.Of ze spreken af om met zijn allen een 10 te halen, want dat is voor hun ook gemakkelijker nakijken. Misschien een leuk idee voor wanneer je tijd over hebt. 22. Ik werk nu drie jaar in het onderwijs, het maken van een goede toets is moeilijk. Wat voor mij een duidelijke vraag is, kan voor een leerling helemaal niet duidelijk zijn. Elke vraag kan na afname aangepast worden, soms laat ik een vraag niet meetellen als de vraag niet eenduidig blijkt te zijn. Er is wel een groot verschil tussen Hv of kader en TL klassen.
67
Rubricering van de kwalitatieve opmerkingen Proberen we om deze zaken onder de drie rubrieken onder te brengen, dan komen we tot deze opsomming: Ideeën: - Laat leerlingen zelf hun meerkeuzevragen maken (2). - Is een toets goed als 2/3e van de kinderen een voldoende heeft? - Maak meer evenwicht voor verschillende vaardigheden. - Maak gebruik van begin- en eindtoets. Daardoor ook beter te differentiëren. -Toetsweken invoeren om werkdruk voor leerlingen te reguleren. -Er moet meer overleg komen in de talensectie. -Nabespreken van toetsen is van belang om het nog niet geleerde alsnog onder de knie te krijgen. -We hebben als vakcollega's afgesproken dat we evenveel nadruk leggen op spreekvaardigheid, schrijfvaardigheid en grammatica. Tot nu toe is het zo dat één veel nadruk legt op het ene en de ander op het andere. We willen meer gelijkheid. -Het lijkt me tijd om een toetsenweek aan het einde van het jaar te herintroduceren. Sportdag kan wel 1 of 2 weken voor de laatste schooldag plaatsvinden. -Ik heb meer beoordelingsmomenten met ander vaardigheden dan toetsen . -Je wilt bijvoorbeeld de actualiteit in je lessen/toetsen betrekken. -Meer inzicht en vaardigheden toetsen. Dan moet je al snel op zoek naar extra/alternatieve toetsen of zelf aan de slag om een toets te maken. -Samenwerking met collega's via Fronter (elektronische leeromgeving – DdJ) spaart tijd en levert betere toetsen op. -Binnen vakgroepen gemaakte toetsen uitwisselen om van elkaar te leren -Elkaars toetsen maken binnen bijv. zaakvakken en er commentaar op leveren. -Mijn toetsen zijn "eenvoudig" en eenduidig qua opzet. De ll weten wat ze kunnen verwachten aan vragen. Normering vertel ik niet altijd van tevoren, eigenlijk nooit zelfs. -Daarom (omdat ik toetsen te eenzijdig vindt) werk ik meestal met deeltoetsen die ik zelf samenstel . - Ik zou meer met de vakgroep willen ten aanzien van toetsen.
68
-Ik wijk daarom (methodetoetsen te eenvoudig) voor leestoetsen al vanaf klas 2 uit naar oude examens (van een lager niveau) maar dat is bij luisteren heel lastig, omdat die niet op het internet staan. -Ik analyseer resultaten van verschillende cohorten om tot verfijning van toets en normering te komen. -Ik probeer steeds meer aan te sluiten bij het ERK (Europees Referentiekader). -Qua ideeën heb ik een tip voor Engels. In de kaderklassen (en dat kan ook in andere, maar dat heb ik tot nu toe nog niet gedaan) kijk ik een SO klassikaal na. De leerlingen kijken elkaars SO na. Dat scheelt mij werk(druk) en de leerlingen weten meteen hun cijfer, wat ze erg graag willen. Maar wat ik het belangrijkste vind is dat ik zie dat ze leren van hun gemaakte fouten en mijn manier van nakijken. Ik merk dat ze het prettig vinden om dit te weten en te zien. Ook merk ik dat het als een motivatie werkt voor de volgende keer om wel te leren. Ze vinden het namelijk niet leuk als een medeleerling ziet hoe slecht ze hebben geleerd. Of ze spreken af om met zijn allen een 10 te halen, want dat is voor hun ook gemakkelijker nakijken. Misschien een leuk idee voor wanneer je tijd over hebt.
Problemen en knelpunten: -Eenduidigheid, voor één uitleg vatbaar is een knelpunt. -Als leerlingen een toets slecht maken verwachten ze automatisch dat ze de toets over mogen doen. Hoe gaan we daar mee om? -Valkuil is voetstoots uitgaan van kwaliteit methodegebonden toetsen? -Het plannen van alle toetsen binnen de school vraagt extra aandacht. Werkdruk bij leerlingen in sommige perioden zeer hoog. -Tekorten bij mij: eigen inzichtelijke vragen maken bij met name HV. -Nieuwe toetsen maken kost veel tijd. - Klassikaal bespreken kost veel tijd en niet alle leerlingen zijn daarin geïnteresseerd. -Nakijken blijft vervelend werk. -Sommige leerlingen vinden een mondelinge toets prettiger en dat is wel eens lastig. -Voor sommige onderwerpen is dat (leerstijlen Kolb) erg moeilijk, zodat naast toetsen ook opdrachten moeten worden ingeleverd. -Goed lezen is bij leerlingen een moeilijk punt. Zowel technisch als begrijpend lezen is lastig. -Beperkte woordenschat bij leerlingen, dus toetsen soms toelichten. -Normering van de toetsen.
69
-Differentiëren: sommige leerlingen kunnen minder aan, anderen veel meer, maar krijgen dezelfde toets- en lesstof. -Het maken van een toets waarbij de normering een objectief beeld geeft van de vorderingen. - Ik vind best moeilijk om aan het eind leerlingen te blijven motiveren. -Een goede toets maken kost veel tijd. -Er gaat erg veel tijd zitten in het maken van goede toetsen. -Het nadeel is alleen dat sommige methodetoetsen niet aansluiten bij de manier waarop je de leerstof hebt behandeld. -Ook zijn veel methodetoetsen (Pincode/Nieuw Nederlands) erg gericht op de reproductie van kennis. -Vooral bij MC kun je vragen hebben of antwoorden die voor meerdere uitleg vatbaar zijn. Met name een B-toets met veranderde vragen en antwoorden op andere plekken heeft wel eens zulke vragen. Ik pas dat dan wel direct aan. -De normering van tevoren maken. Ik kan het niveau van de leerlingen nog moeilijk bepalen en dat maakt het normeren van een toets heel lastig. Ik heb nog te weinig ervaring hiervoor. Ik geef nog maar één jaar les in het voortgezet. Dus ik hoop in mijn studie volgend jaar hier meer over te leren. -Ik gebruik overwegend toetsen van de methode. Af en toe kom je daarbij foutjes tegen. Die fouten herstel je voor een volgende toets. -Aangezien we een nieuwe methode hebben moeten alle toetsen opnieuw gemaakt worden. Dit is best veel werk. Zelf opdrachten maken is ook erg intensief en bovendien weet ik niet of ze op niveau zijn, dus laat ik het er vaak bij zitten. - Ook blijf ik het voor mijn vak Engels lastig vinden dat het examen bestaat uit het schrijven van een brief en een leestoets. De toetsen (vooral in klas 1 en 2) zijn vooral gericht op de behandelde stof en die is vaak wel te leren. Dit geeft wel eens een verkeerd beeld van wat de leerlingen nou echt van het Engels kunnen. -Tot slot vind ik de nakijkbelasting van toetsen erg zwaar. - Ik weet niet goed hoe ik met meerkeuze moet gaan werken bij mijn vak. Het blijft veel nakijken. -Toetsen geven is vaak een heerlijk rustig uur, maar ze maken en nakijken is een verschrikking.
70
-Verder is er gewoon te weinig tijd om elke nieuwe toetsen + antwoorden te maken. -Ik vind het dus lastig me te verplaatsen in het niveau van de leerlingen. -Deze(methodegebonden toets) pas ik aan maar het kost ongelofelijk veel tijd. -Tijdsgebrek is het grootste struikelblok. -Wel ervaar ik bij toetsen dat het bespreken ervan bij talen erg lastig is. Dat verloopt niet prettig en duurt lang. Juist omdat het minder prettig verloopt doe ik het ook minder, terwijl ik het wel een goed iets vind. Uitgangspunten: -Mijn uitgangspunt is toch wel, dat ik er vanuit ga dat anno 2011 de methode goed bruikbare toetsen geeft. -Voor mij is het van belang om zo te toetsen dat leerlingen met verschillende leerstijlen (Kolb) ze kunnen maken. - Zowel technisch als begrijpend lezen is lastig. Is wel een basisvoorwaarde. -Een toets moet een ontwikkeling van een leerling in beeld brengen. Niet d.m.v. cijfers, maar één die past bij de persoonlijkheid van het kind. Ik denk meer aan ontwikkelingslijnen die passen bij ieder uniek kind. -Ik toets heel weinig, hooguit 2 (á3) keer per jaar in een klas. Hangt van de werkhouding van de klas af. -Daarom (vanwege tijd) zijn methodetoetsen een uitkomst. Geeft vrijwel nooit problemen. -De methode toetsen zijn tegenwoordig van prima niveau, toetsen alle leerstof en zijn goed na te kijken zonder dat het tijdrovend wordt. -De methodegebonden toetsen zijn verschrikkelijk groot, niet leuk meer voor de leerling om te maken en afschuwelijk voor mij om na te kijken. -Ook moeilijk te normeren. -Maar nieuwe toetsen blijven onverwachte dingen met zich meebrengen. ja/nee vragen hebben daar het meeste last van. -De hoeveelheid tijd die je zou moeten nemen voor het vervaardigen van een correcte toets is bijna niet reëel en krijg je er dus niet voldoende tijd voor. -Je zou voor het maken/evalueren meer met collega's moeten samenwerken.
71
-Als meerdere groepen eenzelfde toets moeten maken op verschillende tijdstippen kun je de normering pas na afloop (schooljaar) bijstellen, anders ongelijke behandeling. Cijfers moeten namelijk wel per keer ingevoerd worden. -Benieuwd of er een vervolg komt? -Zoals net al gezegd: ik heb de neiging toetsen te moeilijk te maken. Ik vraag van mezelf veel en doe dat dus ook een beetje van de leerlingen. -De toetsen die de methode van 3GTL en 4GTL erbij levert zijn niet op niveau. -De methodegebonden toetsen zijn vaak niet RTTI-waardig (reproductie, toepassen 1 en 2, inzicht - DdJ) . Om die reden maak ik regelmatig zelf toetsen. Tip voor de uitgever zeg maar:) -Totaal geen moeite mee om verschillende leerlingen met dezelfde scores verschillende te beoordelen. -Bij de komende methode heb ik al gezien dat de toetskwaliteit erg laag is. Daar baal ik van. -Ik wil dat een methode op een goed (examen) niveau kan en wil toetsen. -Elke vraag kan na afname aangepast worden, soms laat ik een vraag niet meetellen als de vraag niet eenduidig blijkt te zijn. Er is wel een groot verschil tussen HV of kader en TL klassen.
72
Uitkomsten plannen van aanpak Hieronder een letterlijke weergave van de uitkomsten plannen van aanpak van de beide locaties Plannen van Aanpak Drachten Hoe maak ik een goede toets/scholing. Doelstelling is het maken van een checklist op grond waarvan je elke toets objectief kunt beoordelen. Hierbij externe deskundigheid benutten (presentatie gehad in Assen over toetsen volgens RTTIsysteem. Dat vraagt om scholing. Kennis in werkgroepjes van diverse samenstelling uitwerken tot werkbare checklistjes. Vervolgens resultaten bij elkaar brengen en de GGD eruit halen. Rol van de vakgroep is duidelijk: je kunt het niet alleen. De toetsen die we gebruiken naast de checklist leggen en eventueel aanpassen. Het moet geen keurslijf worden, maar een hulpmiddel. Het hoeft geen lang traject te zijn. Kan op één studie(mid)dag. Evaluatie van de plannen houden op locatie en vakgroep niveau. Vervolgens automatiseren. In beginsel blijven docenten verantwoordelijk. Zij leggen verantwoording af aan directie en het wordt onderdeel van de beoordeling.
Vervolg na analyse toetsing. Nu worden cijfers vaak voor kennisgeving aangenomen. Het zou beter zijn als je na een toets differentieert. Wie te laag heeft krijgt herhaling, wie hoog heeft extra stof. Laag: op SO niveau hertoetsing. Hoog: uitdagende opdracht, al of niet voor een cijfer. Als de methode er niet in voorziet, zelf maken. Signaal naar de uitgever. Werk het vooral uit voor die vakken waar kennis gestapeld wordt (taal, exact) Niet alles in één keer willen doen, maar verdelen (ook bijvoorbeeld binnen de vakgroep) In de tijd zou het zo kunnen: Jaar 1 in klas 1 H1 - 3 klaar maken In klas 2 H4 - 6 Jaar 2 in klas 1 H4 - 6 klaar maken In klas 2 H1 – 3 Jaar 3 en 4: idem voor klas 3 en 4 Eindverantwoordelijk eigenaar: de vakdocent, waarbij leidinggevende checkt of hij op schema ligt. Opstarten in de vakgroep. Mogelijke problemen: is er voldoende ruimte in je jaarleerstof om dit extra model ruimte te geven? Kans: gooi het in de vakgroep en ontwikkel het samen. Signaal geven naar de uitgever deze leerstof op te nemen in de werkboeken van de methode. Misschien is er extra scholing nodig om goede herhaalstof voor de zwakke leerling, maar vooral uitdagende leerstof voor de betere leerling te maken. Wat doet de middenmoot, die de herhaling niet nodig heeft en voor wie de extra stof te moeilijk is? Kans: maak de extra stof niet te moeilijk maar vooral leuk. Je kunt de
73
goede leerlingen inzetten om de zwakken te instrueren. Wel is het zaak om te analyseren hoe het komt dat iemand extra laag of hoog scoort (goed leren of goed spieken)
Analyse van eigen toetsen. We ontwikkelen een stappenplan aan de hand waarvan de docent een toets checken kan of er genoeg kennis en inzicht aanwezig is. We beoordelen of toetsen genoeg kennis en inzicht bevatten aan de hand waarvan leerlingen adequaat naar niveau kunnen worden beoordeeld. In Talen, Science, Zaakvakken en Creatieve vakken wordt het nieuwe plan besproken en vergeleken met (bestaande) toetsen (eind februari). Dit mag van de collega’s worden gevraagd. Omdat er kritischer gekeken wordt geeft de uitkomst een reëler beeld. In eerste instantie kost het aardig wat tijd, later wat minder. Eindverantwoordelijk zijn de voorzitters van de 4 vakgroepen. Wat wil je testen? Kennis: afhankelijk van vak en onderwerp tussen 40 en 60% Inzicht: tussen 40 en 60 % Vaardigheden: ongeveer 20% en een oordeel over de netheid van het werk Welke stappen zijn er dan te maken? a. kijk hoeveel kennis, inzicht en vaardigheden er in de toets zitten en vergelijk dit met de richtlijnen b. afwijken van de afspraak moet worden beargumenteerd c. pas waar nodig de toets aan volgens de richtlijnen d. Kennis T 60% moet voldoende zijn, H 70% moet voldoende zijn. V 80% moet voldoende zijn Inzicht: T 65% moet voldoende zijn, H 75% moet voldoende zijn, V 75% moet voldoende zijn Toetscijfer: (% kennis x cijfer kennis) + (% inzicht x cijfer inzicht) 100
Normering en toetsing. Hoe geef je een toets de juiste normering? a. Wat is de grens voldoende/onvoldoende gekoppeld aan het niveau? b. Hoe is de puntenverdeling binnen de toets?
74
c. Op basis waarvan is die puntenverdeling? Het ijkpunt vastleggen, in overleg met meerder collega’s o.a. score →cijfer voor een bepaald niveau Overleg met collega’s uit hetzelfde vakgebied en niveau 1. 5 docenten vormen 1 overleg uit meerdere locaties 2. 1 docent levert *toets en antwoorden (*kan een methodetoets zijn) 3. alle 5 docenten maken bij deze toets een scoreblad en normering 4. deze bespreken in het overleg met als doel: te komen tot 1 correctiemodel, scores en normering 5. Deze toets is dan het werkmodel/ijkpunt voor dat vak en dat niveau Voorbereiding individueel kost ongeveer 1 uur. Het overlegmoment ongeveer 1,5 uur. Voor 1 persoon volgt dan nog een uur voor een eindverslag. Indien gewenst kan dat voor andere toetsen worden herhaald. Eindverantwoordelijk schoolbreed is de vakgroep die daarvoor 1 docent aanwijst, bijvoorbeeld de verslaggever. Op locatie is het de hoofddocent van een vak
Plannen van Aanpak Magnolia Normering van toetsen. Doel: verantwoorden normering toetsen. Wanneer normeer je? (van tevoren, achteraf, flexibel, statisch, normering per docent, opwaardering) Meetbaar bij eindexamen. Sectie- en vakgroepoverleg heeft kennis nodig van het eindexamen. Wat is van belang (qua toetsing) voor het examen? Moet je alles toetsen wat je doet? Toetsen moeten goed uitgewerkt zijn en tijdloos. Verantwoordelijkheid bij vakdocent, locatiedirecteur, sectie, vakgroep.
Analyse van eigen toetsen. Doel: meer inzicht krijgen in eigen toetsen. Als je achteraf je toets wilt analyseren (als de leerlingen de toets hebben gemaakt) kom je het probleem tegen dat veel factoren van invloed zijn op het werk (motivatie, tijdsdruk, het is een momentopname. Toetsen laten beoordelen door collega’s/vakgroep. Daardoor meer inzicht in de vorm van de toets. Maak bij het bekijken van een toets gebruik van een afvinklijstje (RTTI, zit alles erin?) Wat zegt een cijfer. Verantwoordelijkheid ligt bij individuele docent/vakgroep
75
Relatie eindtermen en examenprogramma’s. Doelstelling is examen halen. Specifiek: vaststellen van doorstroom eisen naar de bovenbouw en daar op toetsen. Zwaarder beoordelen. Nadruk op leggen in de les. Per leerjaar-leerstroom- Gomarusbreed. Meetbaar in toetsen/inhoud/vaardigheden. Het moet gebeuren in de vakgroep. Daar moet meer tijd voor worden ingeruimd. Wees dan niet al te bang voor lesuitval. Denk om bezoldiging vakgroepvoorzitter. Eigenaar is directie die er ook interesse voor moet hebben.
Toetsen van vaardigheden. Specifiek het toetsen van vaardigheden muziek en Nederlands (zingen, spelen, ontwerpen, luisteren, lezen, schrijven, spreken) Omschrijf de vaardigheden per niveau, per leerjaar. Kijk naar de eindtermen. Maak duidelijke omschrijving voor leerlingen. Hoe toets je vaardigheden? Proces en/of product (toets, werkstuk, presentatie)? Per groep of individueel? Wat is er nodig? Muziekinstrumenten, goede ruimte, afgezonderde ruimte, geld. Nederlands: tijd
76
Samenstellen focusgroep Toetsing op Gomarus College Drachten
Geachte collega’s, In het kader van mijn onderzoek naar de kwaliteit van toetsing op het Gomarus College heb ik kort voor de zomervakantie een vragenlijst aan alle collega’s voorgelegd. Ook heb ik dezelfde vragenlijst voorgelegd aan een aselecte steekproef van de overige vestigingen. Ik heb de gegevens verwerkt en ik wil nu graag met twee focusgroepen nader spreken over de kwaliteit van toetsing. Met een groep uit Drachten en één van de overige vestigingen wil ik in eerste instantie in een bijeenkomst van 1,5 tot 2 uur spreken over hoe de kwaliteit van toetsing op het Gomarus College (verder) kan worden verbeterd en hoe die verbetering kan worden geborgd. Ik nodig jou hier graag voor uit. Er worden 8 collega’s vanuit Drachten uitgenodigd. Dat gebeurt op basis van aanmelding op eerder vragen van mij, maar ook kijkend naar verschillende vakgroepen, ervaring, verdeling man/vrouw. Aan het begin van de bijeenkomst zal ik kort de uitkomsten van het onderzoek voorleggen. Nadere voorbereiding voor het gesprek is niet nodig. Tijdens het gesprek zullen we inzoomen op mogelijke verbeteringen in het toetsproces en de borging van het toetsproces. Deze bijeenkomst wordt gehouden op donderdagmiddag 24 november a.s van 15.00 tot maximaal 17.00. Het gesprek zal worden opgenomen en naderhand worden uitgewerkt. Jullie ontvangen een exemplaar van deze uitwerking waar je eventuele onjuistheden in aan kunt geven. De gegevens worden vervolgens door mij uitgewerkt door middel van het labellen van ideeën en zullen worden verwerkt tot een advies aan het directieoverleg van het Gomarus College om schoolbreed tot een verbetering te komen. Graag hoor ik van je of je deze datum beschikbaar bent en mee wilt werken. Het is mogelijk dat er nog een tweede bijeenkomst moet worden belegd wanneer de bijeenkomst daar aanleiding toe geeft. Deze vraag zal jullie dan worden voorgelegd. Graag ontvang ik (liefst per mail) een bevestiging van je medewerking. Ik weet dat enkelen ook al door Johan zijn gevraagd voor een week eerder, maar we willen beiden graag optimale uitkomsten. Vandaar! Bij voorbaat dank voor je medewerking en in afwachting van je reactie,
Hartelijke groet, David de Jong
77
Samenstellen focusgroep Toetsing op Gomarus College overige vestigingen Geachte collega’s, In het kader van mijn onderzoek naar de kwaliteit van toetsing op het Gomarus College heb ik kort voor de zomervakantie een vragenlijst aan alle collega’s van het Gomarus College in Drachten voorgelegd. Ook heb ik dezelfde vragenlijst voorgelegd aan een aselecte steekproef op de overige vestigingen. Ik heb de gegevens verwerkt en ik wil nu graag met twee focusgroepen nader spreken over de kwaliteit van toetsing. Met een groep uit Drachten en één van de overige vestigingen wil ik in eerste instantie in een bijeenkomst van 1,5 tot 2 uur spreken over hoe de kwaliteit van toetsing op het Gomarus College (verder) kan worden verbeterd en hoe die verbetering kan worden geborgd. Ik nodig jou hier graag voor uit. De focusgroep van de overige vestigingen zal bestaan uit ongeveer 7 personen. Indien mogelijk van iedere vestiging één docent. Ik heb aan de directies gevraagd om een aantal namen dor te geven die men geschikt acht om over dit onderwerp door te spreken. Liefst drie namen per locatie zodat ik een evenwichtige groep kan samenstellen op basis van vakgroepen, ervaring en man/vrouw verdeling. De collega’s zullen aan het begin van de bijeenkomst worden geïnformeerd over de resultaten van het onderzoek. Verdere voorbereiding is niet noodzakelijk. Tijdens het gesprek zullen we inzoomen op mogelijke verbeteringen in het toetsproces en de borging van het toetsproces. Deze bijeenkomst wordt gehouden op maandagavond 28 november van 20.00 uur tot maximaal 22.00 uur op het Gomarus College locatie Magnolia in Groningen. Het gesprek zal worden opgenomen en naderhand worden uitgewerkt. Jullie ontvangen een exemplaar van deze uitwerking waar je eventuele onjuistheden in aan kunt geven. In het uiteindelijke verslag zal de informatie niet op personen te herleiden zijn. De gegevens worden vervolgens uitgewerkt door middel van het labelen van ideeën en zullen worden verwerkt tot een advies aan het directieoverleg van het Gomarus College om schoolbreed tot een verbetering te komen. Graag hoor ik van je of je deze datum beschikbaar bent en mee wilt werken. Het is mogelijk dat er nog een tweede bijeenkomst moet worden belegd wanneer de eerste bijeenkomst daar aanleiding toe geeft. Deze vraag zal jullie dan worden voorgelegd. Het kan zijn dat niet iedereen die zich beschikbaar stelt ook wordt uitgenodigd vanwege de gemengde samenstelling van de groep (verschillende vakgroepen, ervaring en man/vrouw verdeling) Bij voorbaat dank voor je medewerking en in afwachting van je reactie,
Hartelijke groet, David de Jong
78
Planning focusgroepen Donderdag 24 november in Drachten Deelnemers: V V V M M M M M
wiskunde economie Frans studio A aardrijkskunde/Fries Duits biologie/scheikunde Nederlands
Tijdstip: 16.45 – 18.45 Klaarzetten: Computer (presentatie Kwaliteit van Toetsing 24/11 op stick) IPad met opname apparatuur Flap-over met stiften Groepszetting van 8 personen 4 groepen van 2 personen Formulieren voor plan van aanpak (5) Formulieren laaghangend fruit Cadeau voor medewerking
79
Planning focusgroepen Maandag 28 november in Groningen (Magnolia) Deelnemers: M V V M V M M V
Assen Leeuwarden Vondelpad 2 Magnolia Vondelpad 3 Vondelpad 1 Zh/Mag Vondelpad 1
natuurkunde/scheikunde Nederlands Nederlands wiskunde/rekenen Duits Nederlands muziek wiskunde
Tijdstip: 20.00 – 22.00 Klaarzetten: Computer (presentatie Kwaliteit van Toetsing 24/11 op stick) IPad met opname apparatuur Flap-over met stiften Groepszetting van 8 personen 4 groepen van 2 personen Formulieren voor plan van aanpak (5) Formulieren laaghangend fruit Cadeau voor medewerking
80
Genoemde zaken bij focusgroep Drachten op 24 november 2011 Goede vraagstelling Vaststelling beginniveau Wat toetsen (inhoud) Wat moeten ze aan het eind kunnen? Kennis/inzichtverdeling Normering vooraf? Correctiemodel en accepteren antwoorden Ontwikkelingen volgen Vaardigheden/kennis/cognitief Voorbereiding op toetsen (les) Hoeveel tijd voor een toets? Wat doe je met de resultaten?
81
Genoemde zaken bij focusgroep Magnolia op 28 november 2011 Toetsing naar examens toe Dekkend toetsen, alles wat is geleerd Methode toetsen (kwaliteit) Gebruik van RTTI Verschillende vormen van toetsen Efficiënt toetsen Aansluiting onderbouw/bovenbouw Verschil in toetsing/leerling-kenmerken Andere toetsing bij onderwijsvernieuwing Normering – weging Aantal toetsen/herkansingen Resultaten onvoldoende; cijfer … en dan Terugkoppeling naar leerlingen Wat moeten ze weten Toets is ook procesbewaking
82
Plan van Aanpak Kwaliteit van Toetsing Drachten/Groningen Onderwerp: Deelnemers: Doelstelling:
Specifiek:
Meetbaar:
Actief:
Realistisch:
Tijdgebonden:
Eindverantwoordelijk eigenaar:
83
Laaghangend Fruit Kwaliteit van Toetsing Ideeën die kunnen worden gerealiseerd op korte termijn en tegen geringe kosten
Onderwerp:
Doelstelling:
Termijn:
Verantwoordelijk:
84
Uitkomsten Laaghangend Fruit Drachten Laaghangend fruit Vervolg na analyse toetsing Komen tot een eenvoudig BHV-model Bewustwording van het feit dat er meer uit je toetsing te halen is 1e jaar: bezoek basisschool – vo-school waar ze werken met differentiatiemodel Enthousiasmeren van de vakgroep 2e jaar: scholing aanbieden voor implementatie van het BHV-model Verantwoordelijk: directie voor bezoekregeling op basisscholen en druk op vakgroepen ELO Fronter is voor implementatie BHV-model goed bruikbaar Vakgroepen binnen locatie nieuw leven inblazen, voorzitter aanstellen Analyse van toetsen willen we graag van de grond krijgen. Eind februari regelen. Verantwoordelijkheid eerst bij directie, later bij voorzitters zaakvakken, taal, creatief en science Inventariseren wat er op CITO-gebied is. Presenteren aan het team. Plan van aanpak maken voor: Hoe maak ik een goede toets? Zaken uit de vakgroepen terugkoppelen naar de APV Toets + correctiemodel + scoreblad + norm voor het nakijken van leerlingenwerk vastleggen en je er aan houden Leg één toets map aan met toets, correctiemodel en normering voor een heel leerjaar. Doel: je hebt je eigen databank, je kunt een mede vakdocent hiermee helpen als hij/zij een volgend schooljaar deze jaargroep heeft In hoeverre is het mogelijk gebruik te maken van een landelijke toetsenbank. Iets om te onderzoeken.
85
Magnolia Laaghangend fruit
1. Schoolbrede toetsing. Doel bewaken en borgen doorlopende leerlijnen. Op het eerstvolgende vakgroepoverleg. Verantwoordelijkheid bij vakgroep en team- of locatieleider. 2. Woordenschatontwikkeling. Doel is een beter begrip van begrippen. Direct van start door taalcoördinator/vakdocent 3. analyse van toetsen → delen met collega’s. Meer inzicht krijgen in de eigen manier van toetsing. 4. vaststelling doorstroom eisen onderbouw/bovenbouw. Met alle docenten examens bekijken om te constateren wat er eigenlijk getoetst wordt. 5. Betere aansluiting onderbouw/bovenbouw. Zo spoedig mogelijk mee beginnen. In de brede vakgroep. 6. Maak cijfers inzichtelijk voor ouders. Betere communicatie. Verantwoordelijkheid bij ICT en directie.
86
