OpbrengstGericht Werken in de klas Trainersmap

OpbrengstGericht Werken in de klas Trainersmap oktober 2013

Erik Adema, Rosa Hessing, Evelien Loeffen, Yvonne Meulman en Emerance Uytendaal

13939 oktober 2013

0

ALGEMEEN

Aan

Datum

Trainers OGW in de klas

2 oktober 2013

Ons kenmerk 13939 Van

Yvonne Meulman, Emerance Uytendaal, Evelien Loeffen, Erik Adema en Rosa Hessing Trainersmap OGW in de klas De training bestaat uit de volgende onderdelen: 1

Voor de training

a

Observatie in de klas door de trainer bij elke deelnemer. Eén volledige les wordt

b

De les wordt door de trainer nabesproken met de deelnemer, de rubric wordt besproken en

geobserveerd aan de hand van de rubric en op video opgenomen. samen ingevuld. Videobeelden worden teruggekeken. Dit lukt niet altijd. De videobeelden worden in ieder geval op USB-stick aan de deelnemer overhandigd, zodat de deelnemer naar eigen inzicht tijdens de cursus gebruik kan maken van deze beelden. Uit de nabespreking komt een aantal ontwikkelpunten van de deelnemer. Ook kan de deelnemer op basis van de bespreking van de rubric en de video opnamen voor zichzelf zijn/haar ontwikkelingspunten aangeven. c

In de nabespreking zal als extra activiteit door de deelnemer een mindmap gemaakt worden van het begrip OGW. Het doel hiervan is om na te gaan wat de deelnemer voor zichzelf al weet van opbrengstgericht werken. Na afloop van de cursus maakt de deelnemer bij de laatste nabespreking nogmaals een mindmap.

2

De training

De training bestaat uit vijf bijeenkomsten van minimaal 2,5 uur, verzorgd door de trainer die ook de lesobservaties heeft gedaan. Tussen de bijeenkomsten door oefenen de deelnemers in hun eigen lessen met onderdelen uit de training. Tevens gaan de deelnemers bij elkaar in de les kijken, als dat mogelijk is. Ze geven elkaar daarbij feedback. 3

Na de training

a

Na de trainingsbijeenkomsten observeert de trainer wederom in de klas bij elke deelnemer. Eén volledige les wordt geobserveerd aan de hand van de rubric en op video opgenomen.

b

De les wordt door de trainer nabesproken met de deelnemer, aan de hand van de rubric die de trainer en de deelnemer gezamenlijk invullen wordt besproken de les nabesproken. Zo mogelijk bekijken ze de videobeelden. De deelnemer krijgt deze video opnamen wederom op de USB-stick. De deelnemer en trainer kijken gezamenlijk naar de eerder ingevulde rubric en bespreken de ontwikkeling van de deelnemer tijdens het volgen van de training.

c

In de nabespreking kan als extra activiteit door de deelnemer een mindmap gemaakt worden van het begrip OGW. Ook de eerder gemaakte mindmap wordt er bijgehaald om hierdoor het verschil tussen de situatie voor de training en na de training met elkaar te vergelijken.

In deze trainingsmap vindt u alle materialen om deze drie stappen goed te kunnen doorlopen als trainer. Te gebruiken bestand: Algemeen Hoe intake observatie en nabespreking vormgeven OGW in de klas. Naast de presentaties voor alle vijf trainingsbijeenkomsten zijn in deze map ook alle overige Algemene materialen bijgevoegd (ook digitaal). Overige Algemene materialen 1

Rubric: lege versie en uitgebreide versie met voorbeelden

De rubric is een observatie-instrument dat op twee momenten in de training OGW in de klas gebruikt wordt: voor de training en na de training. Het observatie-instrument omvat de belangrijke onderdelen van de condities voor Opbrengstgericht werken (OGW) in de klas. Deze worden in vier oplopende niveaus omschreven: van ‘niet opbrengstgericht werken’ tot ‘expert in opbrengstgericht werken’. In de uitgebreide versie van de rubric met voorbeelden worden per cel lesvoorbeelden omschreven. De voorbeelden zijn voor zowel de deelnemer als de observator een goede steun om te bepalen hoe de rubric ingevuld kan worden. Bestanden: Algemeen Observatie Instrument Condities voor OGW (rubric) met voorbeelden Algemeen Observatie Instrument Condities voor OGW (rubric) leeg 2

Interviewvragenlijst voor de schoolleider

De schoolleider kan voordat collega’s gaan deelnemen aan de training geïnterviewd worden over zijn / haar ideeën hoe de training OGW in de klas past binnen het totale beleid op school ten aanzien van opbrengstgericht werken. Ook kan de vragenlijst nadien gebruikt worden, om vervolgstappen met elkaar door te nemen. Dat kan zijn met: hoe nu verder met de training OGW in de klas, maar ook met opbrengstgericht werken op de school. Bestand: Algemeen Vragenlijst directie – teamleider ivm OGW 3

Intake: informatie aan deelnemer, observatie en nabespreking met de leraar

In een brief worden de deelnemers geïnformeerd over het traject OGW in de klas. Daarna worden afspraken gemaakt voor de eerste activiteit van het traject: het observeren en nabespreken. Elke deelnemer wordt voordat hij / zij gaat deelnemen aan de training geobserveerd door de trainer. Dit is een vorm van intake. Is er afgesproken dat er ook met een pop gewerkt gaat worden, dan wordt er in de nabespreking hier expliciet aandacht aan besteed. Bestanden: Algemeen Brief aan deelnemers training OGW in de klas Algemeen Hoe intake observatie en nabespreking vormgeven Algemeen Interviewvragenlijst bij nabespreking video opname en klas observatie Algemeen pop OGW in de klas 4

Literatuurstudie

Ter onderbouwing van de rubric en als basis voor de training OGW in de klas heeft er een Pagina 2/9 2 oktober 2013 13939

literatuurstudie plaats gevonden. Deze zal door de trainer goed van te voren bestudeerd moeten worden. De literatuurstudie kan ook uitgedeeld worden aan de deelnemers.

Bestand: Algemeen Literatuurstudie Condities Opbrengstgericht Werken 5

Evaluatie

Om het gehele traject te evalueren kan de trainer gebruik maken van een evaluatieformulier. Ook kan er na elke trainingsbijeenkomst een korte evaluatie plaatsvinden Bestand: Algemeen Evaluatievragen na afloop van het gehele traject aan deelnemers Algemeen Evaluatie per trainingsbijeenkomst 6

Literatuur

Het is een aanrader om aan alle cursisten het boek ‘Opbrengstgericht onderwijs ontwerpen’ van A. Bax e.a. (2012) Coutinho, te geven. Per bijeenkomst kan van te voren steeds een deel uit het boek bestudeerd worden. Interessante literatuur om je als trainer voor de training in te verdiepen: • •

Bakx, A. e.a (2012), Opbrengstgericht, onderwijs ontwerpen, Coutinho, Bussum Bronkhorst e.a. (2001), Project leerstofontwikkeling voor hoogbegaafde leerlingen op het gebied van Nederlandse taal, SLO Enschede

•

KPC Groep (2013), Liniaal Opbrengstgericht werken in de klas, Den Bosch

•

Hattie, J. en H. Timperley (2007), The Power of Feedback.Review of Educational Research, 77 (1), 81-112.

•

KPC Groep (2012), Opbrengstgericht werken, een voorbeeld van een cyclische aanpak voor meer dan meetbaar onderwijs?, Den Bosch

•

Inspectie van Onderwijs (2010), De staat van het onderwijs, Onderwijsverslag 2008/2009, Utrecht

•

School aan Zet (2012), Meetlat OGW, Den Haag

•

Sontag, L. (2012), Effectieve instructie: Omgaan met verschillen, projectplan, KPC Groep, Den Bosch

•

Vermaas (2013), Opbrengstgericht werken en het vakmanschap van de leraar, School aan Zet, VO-raad en AOC Raad

•

Vernooij (2009), Omgaan met verschillen nader bekeken, wat werkt?, Onderwijs maak je samen, www.onderwijsmaakjesamen.nl

Pagina 3/9 2 oktober 2013 13939

De deelnemersmap In de map, die je samenstelt voor de deelnemers, kan je de volgende documenten opnemen: -

de PowerPoint per bijeenkomst;

-

artikelen die horen bij de verschillende bijeenkomsten;

-

opdrachten;

-

evaluatie per bijeenkomst;

-

eindevaluatie.

Materialen voor de vijf trainingsbijeenkomsten De PowerPoint bij elke bijeenkomst is de leidraad van de bijeenkomst. De specifieke tips bij bepaalde programmaonderdelen zijn opgenomen in de PowerPoint presentatie in het commentaarscherm. Opdrachten staan ook in de PowerPoint opgenomen en materialen die daar mogelijk voor uitgereikt moet worden, worden hierbij aangeleverd. Zorg dat u altijd van te voren de AV-apparatuur goed heeft uitgetest. Zelf kunt u naar eigen inzicht energizers inzetten. Hierna volgt per bijeenkomst:


1

Literatuur

2

Presentatie

3

Tips voor de bijeenkomst

4

Voorbereiding

Bijeenkomst 1: ‘Opbouw vijf bijeenkomsten’ en ‘Doelen en succescriteria opstellen en communiceren’ 1

Literatuursuggestie

-

Hoofdstuk 4 Doelen vaststellen voor opbrengstgericht ontwerpen uit Opbrengstgericht onderwijs ontwerpen van A. Bax e.a.

2

Presentatie

Bestand PowerPoint: Bijeenkomst 1 Opbouw training en Doelen en succescriteria. 3


Bijeenkomst 1 is een bijeenkomst met twee doelen: -

opbouw van de training weergeven, met werkprincipes en werkwijze;

-

inhoudelijk behandelen: doelen stellen, communiceren en succescriteria opstellen en communiceren.

Hierdoor is het een heel volle bijeenkomst. Vaak ook moeten de deelnemers nog aan elkaar wennen. Dus neem de tijd voor kennismaking aan het begin. Maar ga daarna direct goed van start met een flink tempo. In deze bijeenkomst is het belangrijk om te oefenen met het formuleren en concreet maken van doelen, besteed hier ruim aandacht aan. Aan het einde van de bijeenkomst de suggestie opperen dat de deelnemers bij elkaar gaan kijken, dan wel als maatjes met elkaar aan de slag gaan over het behandelde onderwerp. Aan het einde de literatuursuggestie van deze bijeenkomst geven (vooraf bestuderen zat er natuurlijk niet in voor bijeenkomst 1), evenals die van de volgende bijeenkomst. 4

Voorbereiding

Bedenk een aantal voorbeelden van goede en minder goede doelstellingen en succescriteria. Voorbeelden geven de deelnemers vaak een goede inzicht wat je precies bedoelt.


Bijeenkomst 2: ‘Evalueren’ 1

Literatuursuggesties

-

Hoofdstuk 8 Evalueren uit Opbrengstgericht onderwijs ontwerpen van A. Bax e.a.

-

Castelijns J., e.a. Evalueren om te leren. Toetsen en beoordelen op school. Coutinho, (2011).

2

Presentatie

Bestand PowerPoint: Bijeenkomst 2 Evalueren. 3


Bijeenkomst 2 gaat over Evalueren, vaak de laatste fase van een les, of lessenreeks. Maar ook kan een complete les ingevuld worden als evaluatie-les, bijvoorbeeld als je een toets geeft. Deze fase van evalueren komt heel vaak in de knel omdat de leraar vaak niet voldoende tijd incalculeert om de evaluatie ook goed te doen. Daarnaast zien we dat als er geëvalueerd wordt, er met name ingegaan wordt op hoe er is gewerkt, in plaats van of de doelen van de les behaald zijn. Tijdens de eerste uitvoering van deze training bleek dit ook een belangrijke eye-opener voor de deelnemers te zijn. Goed duidelijk maken: summatieve (ter afronding van lessenreeks) en formatieve (tussentijds om tijdens de les of lessenreeks bij te kunnen stellen) evaluatie. 4

Voorbereiding

Selecteer uit het opgenomen videomateriaal twee fragmenten waarin de evaluatie duidelijk te zien is. Deze worden getoond in bijeenkomst 2 en met elkaar besproken. Wel even van te voren de betreffende deelnemer informeren. Het gaat nooit om: dit is goed, dit is fout. Maar meer: wat steek je er van op?, hoe had het ook gekund?, welke data wordt verzameld? Gebruik opdrachtformulier ‘Kijkopdracht’. Je hebt flaps nodig en stiften: placemat-opdracht. Wat is volgens jou doel en functie van evalueren. Vraag staat midden in. Iedereen schrijft eerst zijn eerste ideeën in één van de vakken, na twee minuten doordraaien, lezen en aanvullen, na twee minuten weer doordraaien, lezen en aanvullen, doordraaien. Vervolgens alles lezen van elkaar en gemene deler in het midden schrijven.


Bijeenkomst 3: ‘Differentiëren’ 1 -

Literatuursuggesties Hoofdstuk 6 Effectieve organisatie van leeractiviteiten uit Opbrengstgericht onderwijs ontwerpen van A. Bax e.a.

-

De vier documenten die je ook kunt uitreiken aan de deelnemers als extra achtergrond Informatie.

-

Opbrengstgericht differentiëren van Esther de Boer e.a. 2013 (KPC Groep).

2

Presentatie

Bestand PowerPoint: Bijeenkomst 3 Differentiëren. 3


Bijeenkomst 3 is een bijeenkomst die helemaal in het teken staat van differentiëren: -

PO: nagenoeg alle basisscholen zijn bekend met het werken met groepsplannen en het

werken met drie niveau groepen. Hoe er echt mee gewerkt wordt en of dat ook goed gebeurt, kan in deze bijeenkomst nader onderzocht worden. Heb veel voorbeelden van alle groepen/bouwen voor ogen als je deze bijeenkomst gaat verzorgen. -

VO: binnen sommige vmbo-scholen zitten leerlingen van de verschillende niveaus in een

klas, dat vraagt van de docent al dat hij differentieert in zijn les. Bijvoorbeeld de BB- en KBleerlingen zitten bij elkaar. Veel vo-scholen en -docenten geven aan dat differentiëren niet eenvoudig te doen is (dan hebben ze het met name over divergent differentiëren). Maar ook de mogelijkheden van convergent differentiëren worden nog zeker niet uitgebuit. Elke docent kan in zijn les convergent differentiëren door in zijn voorbereiding rekening te houden met de ‘slimme’ en ‘minder slimme’ leerlingen of de snelle en minder snelle leerlingen. Probeer met name te zoeken naar mogelijkheden. Heb veel voorbeelden van diverse vakken en niveaus voor ogen als je deze bijeenkomst gaat verzorgen. 4

Voorbereiding

Maak jezelf de begrippen summatieve en formatieve evaluatie goed eigen, bedenk voorbeelden, zodat je de begrippen kunt illustreren.


Bijeenkomst 4: ‘Feedback geven’ 1 -

Literatuursuggesties Hoofdstuk 7 Het begeleiden van leeractiviteiten uit Opbrengstgericht onderwijs ontwerpen van A. Bax e.a.

-

Goudswaard M, Jonkman L. en Vergunst V. In onze klas is Feedback heel normaal. Praxisbulletin, jaargang 30, nummer 8, april 2013.

-

Vergunst V. en Jonkman L. Nakijkwerk in uitvoering. Praxisbulletin, jaargang 30, nummer 9, mei 2013.

-

Kamphuis E. en Vernooy K. Feedback geven, Een sterke leerkrachtvaardigheid. Basisschool Magazine, 11 / 2011.

2

Presentatie

Bestand PowerPoint: Bijeenkomst 4 Feedback geven. 3


Bijeenkomst 4 behandelt een onderwerp Feedback geven dat soms verward wordt met evalueren. Feedback is immers een vorm van formatieve evaluatie: tussentijds nagaan of leerlingen op de goede weg zitten voor het behalen van de (les) doelen. Feedback voegt daaraan toe dat er een actie is richting de leerling of een groep leerlingen, waarin duidelijk wordt gemaakt waar men nu staat en hoe men verder kan richting het behalen van de lesdoelen. Geef in deze bijeenkomst veel voorbeelden, waardoor het de deelnemers duidelijk is wat feedback is en hoe je het ‘just in time’ kunt geven. Opmerkingen als: “We werken hard”, zijn geen goede vormen van feedback. Ze dienen altijd terug te grijpen naar het lesdoel. 4

Voorbereiding

Je kunt enkele videofragmenten selecteren die illustreren wat goede en geen goede feedback zijn.


Bijeenkomst 5: ‘Data Gegevens Informatie als smeerolie bij OGW in de klas’ 1

Literatuursuggestie

Lezen van de bijgeleverde documenten: -

Eigentijds toetsen Lectorale Rede van Desiree Joosten-ten Brinke.

-

Handreiking ‘Datamuur werken met groepsplannen’ van School Aan Zet.

2

Presentatie

Bestand PowerPoint: Bijeenkomst 5 Data Gegevens Informatie als smeerolie bij OGW in de klas. 3


Bijeenkomst 5 behandelt het onderwerp dat belangrijk is voor alle fasen / stappen van OGW in de klas. Zonder data, zonder gegevens, zonder informatie ben je nergens als leraar en kan je de diverse stappen niet goed zetten. Het kan gaan om heel objectieve gegevens, maar ook om subjectieve gegevens. Belangrijk is dat je zorgt dat je voldoende data hebt om al je stappen goed te kunnen maken. Op basisscholen werken ze vaak met datamuren; op vo-scholen hebben ze de cijferlijsten per vak. Beide geven veel informatie over de resultaten voor een langere periode. Om per les of lessenreeks goed te kunnen bijsturen zijn gegevens of data, die je verkrijgt uit observatie of een evaluatiemoment, belangrijk. Bijstellen van je lesdoelen, groepjes vormen om te kunnen differentiëren, bepaalde leerlingen feedback geven, doe je met data die je zelf verzamelt en die je, passend bij de leerlingen, je onderwijs laat bijstellen. 4

Voorbereiding

Je hebt A3-vellen nodig en stiften voor de matrix-opdracht: ‘Informatiedragers ordenen per fase van OGW in de klas’. Print de PowerPoint met informatiedragers uit met zes dia’s per vel en knip ze uit. Voor elk tweetal een setje.


Doelen / Succescriteria

Differentiëren

Feedback

Evaluatie

Verslag literatuurstudie Condities voor Opbrengstgericht Werken in de klas Anne-Marieke van Loon en Kris Verbeeck

Opbrengstgericht werken Opbrengstgericht werken is één van de belangrijke pijlers van de Kwaliteitsagenda (2010) voor het primair onderwijs. Voor de inspectie is opbrengstgerichtheid een belangrijke sleutel om verbetering van de leerresultaten te bereiken. Zo blijkt uit hun nieuwsbrief (1 november 2010) dat door het onderzoek ‘Opbrengstgericht werken in het primair onderwijs’ (2010) van de Onderwijsinspectie een positief verband is vastgesteld tussen opbrengstgerichtheid en de leerresultaten van leerlingen. In het rapport wordt opbrengstgerichtheid gedefinieerd als: ‘systematisch en doelgericht werken aan het maximaliseren van de prestaties van leerlingen’. Er wordt gesteld dat scholen waar leerlingen beter presteren, de leerresultaten van hun leerlingen vaker evalueren en uit die gegevens conclusies trekken naar het lesgeven. Leraren op deze scholen hebben hoge verwachtingen van de leerlingen en stemmen hun les af op de verschillen tussen hen. Leerlingen die extra zorg nodig hebben, krijgen die van leraren die daarvoor de specifieke benodigde kennis hebben. Op 60% van de scholen wordt niet duidelijk gemaakt wat leraren met een les willen bereiken m.a.w. aan welk doel ze gaan werken. Dikwijls wordt alleen feedback gegeven op het resultaat van het werk, terwijl feedback op hoe ze tot dat resultaat zijn gekomen veel zinvoller is. ‘Het bevorderen van opbrengstgericht werken kan een belangrijke bijdrage leveren aan het terugdringen van het aantal zeer zwakke en zwakke scholen en aan het verkorten van de verbetertrajecten’, aldus de Onderwijsinspectie in haar nieuwsbrief. Vooral ten aanzien van de basisvaardigheden wordt de term opbrengstgericht werken gebruikt. De Onderwijsraad vindt het opbrengstgericht werken met name van belang om achterstanden op taal en rekenen in het primair onderwijs weg te werken (2008) en de leerprestaties in het voortgezet onderwijs te verbeteren (2011). Doelgerichtheid, vaker evalueren, daaruit conclusies trekken voor het lesgeven en feedback op het proces, zijn sleutelwoorden uit het beleid van de Onderwijsraad. Dit literatuuronderzoek naar de condities van het opbrengstgericht werken focust zich op wat een leerkracht systematisch in de klas kan doen om het opbrengstgericht werken te verbeteren en daardoor de prestaties van leerlingen te verbeteren. Het gaat na welke voorwaarden vervuld moeten zijn om opbrengstgericht te kunnen werken. Het literatuuronderzoek en de uitkomsten ervan beperken zich niet tot de basisvaardigheden, maar kunnen op meerdere vakgebieden toegepast worden zowel in het primair onderwijs als in het voortgezet onderwijs. Aan welke condities dienen leerkrachten te voldoen om opbrengstgericht te werken, komen overeen met de condities, die belangrijk zijn bij formatief assessment. Black en Wiliam (1998) onderscheiden belangrijke condities die het leren door assessment verbeteren: het delen van leerdoelen met de leerlingen, leerlingen betrekken in hun eigen assessment, effectieve feedback geven aan leerlingen die hen helpt de volgende stap te zien en hoe die te ondernemen, de actieve betrokkenheid van de leerlingen bij hun eigen leren, de behoefte van de leerlingen om zelf zicht te krijgen op hun vooruitgang. Het is duidelijk dat het betrekken van leerlingen hierbij een belangrijke factor speelt. Ook vanuit de self-determination theory (Deci & Ryan, 2000) weten we hoe belangrijk eigen inbreng van de leerlingen is om de motivatie en als gevolg daarvan de prestaties van de leerlingen te vergroten. Marzano (2009) 13939

geeft in zijn overzicht van onderzoek aan hoe belangrijk het stellen van doelen en het geven van

feedback is om effectief onderwijs te verzorgen. Hattie en Timperley (2007) bevestigen dit en diepen het concept feedback specifieker uit. Niet elke vorm van feedback draagt immers bij aan het verhogen van de prestaties. Op vier condities voor opbrengstgericht werken, afgeleid uit Black en Wiliam (1998) en vele eerder genoemde bronnen, gaan we nader in. 1

Het stellen en communiceren van leerdoelen

Het stellen van doelen Cotton (1985) in Marzano geeft aan dat het stellen van doelen het verschil maakt tussen een effectieve leraar en een minder effectieve leraar en dit heeft effect op de leerling resultaten. Hattie en Timperley (2007), vertaald door Bakx e.a.(2012), hebben een aantal criteria opgesteld waaraan leerdoelen moeten voldoen willen ze ook effect hebben voor het leren van de leerling: -

ze moeten transparant en duidelijk zijn;

-

afgestemd op de beginsituatie van de leerlingen;

-

net iets hoger liggen dan het eigen kunnen van de leerlingen;

-

succescriteria bevatten en dus meetbaar zijn;

-

uitdagend zijn voor de leerlingen;

-

gecommuniceerd worden met leerlingen inclusief succescriteria;

-

door leerlingen (h)erkend worden.

Wanneer leerlingen weten wat het doel van de les is, zijn ze meer gemotiveerd en meer op de taak georiënteerd, maar ook maken ze betere beslissingen over hoe ze de taak gaan aanpakken. Ook de inspectie van het onderwijs (2011) onderschrijft het belang van het stellen van duidelijke doelen in het kader van opbrengstgericht werken. Locke en Lathman in Hattie (2009) hebben via onder andere een aantal meta-analyses aangetoond hoe belangrijk het is om doelen te stellen als je de resultaten wilt verhogen. Zij wijzen ook op het belang van uitdagende doelen te stellen en niet gewoon doelen waarvoor leerlingen hun best moeten doen. Om doelgericht te kunnen werken, moeten scholen bepalen welke doelen ze als uitgangspunt nemen. De kerndoelen/eindtermen zijn te globaal om als leidraad te dienen voor de les van morgen. Clarke (2001) geeft aan dat doelen samenhang met elkaar moeten vertonen en op elkaar moeten zijn afgestemd, zodat er sprake is van een evenwichtig curriculum. Dit betekent dat leerdoelen op verschillende niveaus worden geformuleerd: -

lange termijn: leerdoelen voor een heel leerjaar (afgeleid van de einddoelen); hiervan afgeleid:

-

middellange termijn: leerdoelen per blok, thema of project; hiervan afgeleid:

-

korte termijn: leerdoelen per les of dagdeel.

Wanneer de leraar de doelen op deze wijze vaststelt, heeft hij zicht op wat leerlingen moeten leren in een bepaalde periode en op de wijze waarop de leerstof voor een bepaald vakgebied is opgebouwd. In het basisonderwijs worden voor taal en rekenen leerlijnen ontwikkeld waarin per deelgebied de operationele leerdoelen in een bepaalde volgorde zijn opgenomen (zie voor rekenen: Verbeeck, 2010). Het is van belang dat leraren de leerlijnen voor hun eigen groep paraat hebben en dat ze de leerlijnen van andere groepen globaal kennen. Dan weten zij immers welke stappen cruciaal zijn voor de verdere ontwikkeling van leerlingen en kunnen ze welbewust kiezen waar ze extra aandacht aan besteden en welke stappen leerlingen zelfstandig Pagina 2/12 1 oktober 2013 14305

kunnen zetten. Wanneer in de leerlijn de referentieniveaus van taal en rekenen worden gemarkeerd (het niveau dat leerlingen minimaal moeten behalen), kunnen leraren hier gericht naartoe werken

Het communiceren van doelen met de leerling Het belang om leerlingen te informeren over het leerdoel bij taken wordt breed onderschreven door onderzoek (Crooks, 1988; Hillocks, 1986; Ames & Ames, 1984; Butler, 1988). Ook Bakx e.a. (2012) bevestigen dat het communiceren van de leerdoelen met de leerlingen een belangrijk onderdeel is van opbrengstgericht werken. Het delen van de doelen met de leerlingen is echter een complex proces. Het effectief delen van de leerdoelen met de leerlingen gebeurt slechts wanneer de doelen helder en niet ambigu zijn zodat de leraar ze zodanig kan vertellen aan de leerlingen dat ze begrijpelijk voor hen zijn. De leerdoelen hebben het meeste impact op het begrijpen van de taak en dus op de vooruitgang van leerlingen als ze aansluiten bij de opdrachten, ook succescriteria bevatten, en als de feedback hier ook op gefocust is. Het is volgens Clarke ook belangrijk om duidelijk de doelen apart uit te leggen van de instructie over de taak. Op die manier wordt het verschil duidelijk tussen wat je wil dat leerlingen leren en wat je wil dat ze doen. Volgens Clarke blijkt dat de leerdoelen meer effectief zijn als ze in leerlingtaal geformuleerd zijn zodat leerlingen ze ook echt begrijpen. Aansluiten van activiteiten bij deze doelen is uiteraard sterk van belang. Leerdoelen formuleren Van Parreren (1983) geeft aan dat leerdoelen moeten aansluiten bij de zone van nabije ontwikkeling. Hij baseert zich hierbij op de Russische leerpsychologen Vygotsky en Galperin. Aansluiten bij de zone van nabije ontwikkeling wil zeggen dat de doelen zijn gericht op wat leerlingen nog (net) niet beheersen. Om de doelen te behalen, leren leerlingen eerst aan de hand van concrete materialen (bijvoorbeeld leren vermenigvuldigen met gebruik van blokken), totdat zij inzicht hebben in de achterliggende principes (vermenigvuldigen is herhaald optellen). Daarna worden de leeractiviteiten steeds abstracter en verinnerlijken leerlingen de noodzakelijke handelingen. Van Parreren geeft dus een volgorde aan in leeractiviteiten: eerst verwerven leerlingen inzicht met behulp van (zo mogelijk) concreet materiaal, daarna oefenen zij en uiteindelijk passen zij het geleerde toe in nieuwe situaties. -

Stel doelen die net iets hoger liggen dan het eigen kunnen van leerlingen.

-

Bouw leeractiviteiten op van concreet naar abstract.

-

Laat leerlingen het geleerde oefenen en toepassen in nieuwe situaties.

Van activiteitgericht naar doelgericht werken en opbrengstgericht werken Activiteitgericht werken kan ertoe leiden dat leerlingen weinig inhoudelijke feedback krijgen en dat leraren minder zicht hebben op de ontwikkeling van leerlingen. Een ander nadeel is dat leerlingen bij activiteitgericht onderwijs minder conceptuele kennis opdoen (inzichten, relaties) en meer oppervlakkige kennis (feiten die voor een deel snel verouderen). Het is belangrijk dat leerlingen vooral conceptuele kennis verwerven. Voorbeelden van conceptuele kennis zijn: inzicht hebben in de invloed van de draaiing van de aarde om de zon of overzicht hebben over de kenmerken van de tijdvakken in de geschiedenis. Het onderscheid tussen doelgericht en activiteitgericht werken wordt geïllustreerd aan de hand van verschillende typen vragen die in diverse fasen worden gesteld worden:


Activiteitgericht

Doelgericht

Startfase

Wat vinden leerlingen leuk?

Wat wil ik leerlingen leren?

Focus

Zijn leerlingen betrokken?

Zijn leerlingen met de juiste Inhoud en onderwijsactiviteiten bezig?

Proces

Zijn ze lekker bezig?

Leiden de activiteiten tot de beoogde resultaten?

Evaluatie

Hebben ze goed gewerkt?

Zijn de beoogde doelen bereikt?

(Ros, Timmermans, Van der Hoeven & Vermeulen, 2009) Differentiëren in lesdoelen Leraren kunnen, door te differentiëren naar doelstelling, leertijd of instructiemethode tegemoet komen aan verschillen tussen leerlingen (Onderwijsraad, 2011) en langs deze weg de leerresultaten van leerlingen verbeteren. Clarke, Timperley en Hattie pleiten voor het afstemmen van de doelen op de leerlingen die op verschillende niveaus werken zodat de doelen ook op maat geformuleerd zijn voor de leerlingen. Posner en Rothbart (2007) toonden vanuit neurowetenschappen aan dat hersenen zich op een standaardmanier ontwikkelen, maar dat het tempo waarin dat verloopt erg kan verschillen. Volgens Bakx, Ros en Teune (2012) ‘kunnen we daarom niet uitgaan van een gelijk niveau van leerlingen, maar moeten we goed kijken naar waar elke leerling zich in de ontwikkeling bevindt’ (p.34). Het belang van differentiëren, dus ook in doelen, wordt hiermee onderschreven. Uit onderzoek van Bosker (2005) blijkt dat tussen de 10 procent best presterende leerlingen en de 10% minst presterende leerlingen is op taalgebied halverwege de basisschool een verschil van 4 schooljaren! Het is dus onmogelijk om aan die verschillende leerlingen dezelfde eisen te stellen en zeker niet om hen dezelfde leeractiviteiten aan te bieden. In het onderzoek van Oomens e.a. (2008) naar opbrengstgericht werken in scholen wordt rekening houden met verschillen tussen leerlingen als één van de bepalende factoren genoemd in het onderwijsleerproces. Ook bij het onderdeel leerstofaanbod wordt aangegeven dat de invloed van het aanbod niet zo groot is, maar wel het aanpassen van het leerstofaanbod aan het niveau van de leerlingen is van belang bij het behalen van hogere opbrengsten. Helaas wordt er door de leraren nog te weinig gedifferentieerd, zeker in het voortgezet onderwijs. Volgens de Onderwijsraad (2011) stemt de helft van de leraren niet af op verschillen tussen leerlingen. Bulterman-Bos (2007) toont, op basis van interviews met docenten in het voortgezet onderwijs aan dat de ‘ruimte’ voor differentiatie die door wetenschappers, onderwijsondersteuners, beleidsmakers en Inspectie wordt verondersteld aanwezig te zijn in de klas, er in de perceptie van docenten vaak niet is. Differentiatie door de docent kan leerlingen namelijk in een uitzonderingspositie plaatsten, hetgeen door hen als bedreigend kan worden ervaren. Zeker in deze specifieke ontwikkelingsfase (pubers, 12-18 jaar), is ‘bij de groep horen’ voor leerlingen erg belangrijk (Westenberg, 2008). Bulterman-Bos laat zien dat docenten juist vanwege dit argument besluiten om terughoudend te zijn met het toepassen van differentiatie. Zij geeft ook voorbeelden van docenten die vormen van differentiatie toepassen, juist om te voorkomen dat leerlingen in een uitzonderingspositie terecht komen en zich onveilig voelen. Verondersteld wordt dat gevoelens van onveiligheid en uitzondering een negatief effect hebben op de intrinsieke motivatie en daarmee op de leerprestaties van leerlingen (Borkowski & Thorpe, Pagina 4/12 1 oktober 2013 14305

1994).

Er zijn twee soorten van differentiatie: convergente en divergente. De convergente vorm wil verschillen tussen leerlingen verkleinen door uit te gaan van minimumdoelen en door zwakkere leerlingen extra te begeleiden. Dit kan betekenen dat de zwakkere leerder er langer over mag doen, maar ook dat de snellere een andere uitdaging krijgt. Bij divergente differentiatie gaat het erom leerlingen onderwijs aan te bieden passend bij hun niveau. Eventuele verschillen worden door deze benadering versterkt. Voor zwakkere en sterkere leerlingen worden verschillende doelen gesteld of er worden dezelfde doelen gesteld met aangepaste eisen afhankelijk van de leerlingen.

Samengevat Doelen dienen in leerling taal geformuleerd te worden zodat leerlingen snappen wat van hen gevraagd wordt. Doelen dienen helder en niet ambigu te worden geformuleerd en gecommuniceerd. Als leerlingen de doelen weten en begrijpen, zijn ze meer gemotiveerd en beter op de taak georiënteerd. De doelen dienen afgestemd te worden op de verschillende niveaus van leerlingen (differentiëren).

2

Succescriteria formuleren

Het stellen en communiceren van doelen is een eerste stap op weg naar meer opbrengstgericht werken. Een tweede stap is bepalen hoe je weet of je die daadwerkelijk geleerd en bereikt hebt. Het gaat erom dat de leerlingen weet hebben van de beoordelingscriteria die de leraar in zijn hoofd heeft, aldus Clarke. Vaak blijft onduidelijk op basis waarvan de leerkracht uiteindelijk een beoordeling gaat geven. Om leerlingen bij hun eigen leren te betrekken, is het belangrijk samen met hen de succescriteria te laten formuleren (Clarke, 2001). Het is nodig dat het doel en de succescriteria ook zichtbaar zijn voor de leerlingen. Uit onderzoek van Clarke blijkt dat het zichtbaar maken (opschrijven van doel en succescriteria) ertoe leidt dat leerlingen het beter weten en begrijpen dan alleen bij mondelinge mededeling ervan. Hattie (2009) geeft eveneens aan dat naast het stellen van doelen het erg belangrijk is om aan te geven hoe je die doelen kan behalen. Een meta-studie van Gollwitzer en Sheeran (in Hattie) toont aan hoe belangrijk het is om de succescriteria helder te formuleren zodat leerlingen ook weten waar ze op beoordeeld worden. Hattie (2009) bevestigt dit. Het is belangrijk dat de succescriteria heel duidelijk en specifiek zijn. Samengevat Succescriteria geven de beoordelingscriteria van de leraar aan en moeten duidelijk zijn voor de leerlingen. Ze hebben het meest effect als ze samen met de leerlingen worden opgesteld en als ze zichtbaar worden opgehangen in het lokaal. Pagina 5/12 1 oktober 2013 14305

3

Feedback geven

‘Feedback is het instrument dat leraren in handen hebben om de verzamelde informatie over het leren van leerlingen om te zetten in zinvolle adviezen om het leren te verbeteren’ (Hattie en Timperley, 2007). Feedback is de motor voor zelfregulerend leren. Uit onderzoek van Keuvelaar (2013) blijkt dat leraren niet goed in staat zijn om effectieve feedback te geven. Veel leraren vinden het niet eenvoudig om feedback gestalte te geven in de praktijk. Vooral als leerlingen met allerlei verschillende taken bezig zijn en aan verschillende leerdoelen werken, is de leraar bezig met organisatorische zaken om te zorgen dat leerlingen ‘vooruit kunnen’. Het risico bestaat dan dat het geven van goede feedback erbij inschiet Uit een grote overzichtsstudie (Hattie & Timperly, 2007) blijkt dat feedback en de kwaliteit van de feedback belangrijke voorspellers zijn van leerprestaties van leerlingen. Dit onderzoek laat echter ook zien dat leraren maar heel weinig goede feedback geven. Feedback wordt gedefinieerd als: 'Specifieke informatie over de vergelijking tussen de waargenomen prestaties van een leerling en een ‘standaard- gegeven’ met de bedoeling om de prestaties van de leerling te verbeteren' (Van de Ridder, Stokking, McGaghie & Ten Cate, 2008). De standaard is geformuleerd in het leerdoel. Deze doelstellingen moeten duidelijk zijn, aangezien feedback in wezen informatie is over hoe huidige prestaties van de leerling zijn met betrekking tot deze doelen (Nicol & Macfarlane-Dick, 2006). Goede feedback geeft de leerling antwoord op de volgende vragen: -

waar sta ik nu, hoe ver ben ik nog van het leerdoel verwijderd?

-

welke stappen zijn nog nodig om het doel te behalen?

Een voorwaarde voor goede feedback is dus dat de leraar goed weet welke doelstellingen hij bij welke leerlingen wil bereiken. Hattie en Timperly (2007) stellen dat, om effectief het leren van studenten te verbeteren, feedback moet beantwoorden drie vragen. 1

De eerste vraag gaat over de leerdoelen: 'Wat ga ik doen”, “Waar ga ik naartoe?”,

2

De tweede vraag is: “Hoe die ik het?” Studenten moeten weten hoe de huidige prestaties

verwijzend naar betekenisvolle leerdoelen (feed up). betrekking heeft op de leerdoelen. Hoe doe ik het, verwijzend naar de huidige kennis (feed back). 3

Ten slotte moeten de studenten weten “Hoe moet ik verder?”. Welke activiteiten moeten worden ondernomen om meer vooruitgang te maken? Hoe moet ik verder, verwijzend naar relevante vervolgstappen om de leerdoelen te halen (feed forward).

Focus van feedback en doelgerichtheid van feedback De feedback kan gericht zijn op de inhoud van de taak, op de manier waarop de leerling de taak aanpakt en op de wijze waarop de leerling zijn eigen aanpak en leerproces monitort (Hattie & Timperly, 2007). Feedback op de inhoud van de taak geeft de leerling bevestiging dat hij op de goede weg zit (of juist niet). Om feedback op de inhoud van de taak te kunnen geven, moet de leraar goed weten wat hij beoogt en moet hij de activiteiten van leerlingen kunnen duiden in leerlijnen en doelen. Naast feedback geeft de leraar tips hoe de leerling tot het goede antwoord kan komen en hoe hij de taak kan aanpakken. De leraar is alert op misconcepties en verkeerde of inefficiënte oplossingsstrategieën. Pagina 6/12 1 oktober 2013 14305

Feedback gericht op het proces, verwijst naar de manier waarop de leerling de taak aanpakt, ondersteunt de leerling bij de ontwikkeling van metacognitieve vaardigheden. Om invloed te kunnen uitoefenen op hun eigen leeractiviteiten hebben leerlingen metacognitieve vaardigheden nodig. Daarmee kunnen zij hun leerproces plannen en monitoren (Oostdam et al., 2007; Ros, 2007a; 2008). Feedback op het zelfregulerings- of meta-cognitief niveau heeft betrekking op de manier waarop leerlingen hun gedrag reguleren om vaardig te worden in zelfevaluatie. Het gaat bijvoorbeeld om vaardigheden, zoals activiteiten plannen, een (onderzoeks)plan opstellen, de eigen motivatie en inzet reguleren, het uitvoeringsproces controleren en resultaten evalueren. Met name bij open taken en opdrachten met weinig structuur hebben leerlingen metacognitieve vaardigheden nodig. Leerlingen verschillen in de mate waarin ze deze vaardigheden beheersen en in de begeleiding die ze daarbij nodig hebben. Feedback op het eigen niveau is gedefinieerd als persoonlijke feedback, dit houdt geen verband met specifieke kenmerken van de taak (Hattie & Timperly, 2007). Adaptiviteit van feedback Ongeacht het niveau waarop feedback is gericht; feedback moet worden afgestemd op de behoeften van de individuele leerling. Leraren hebben de informatie van studenten die nodig is als basis voor de feedback te verwerven. Op basis van deze informatie over de leerling, in combinatie met informatie over de gewenste resultaten, kunnen leraren adaptieve feedback formuleren (Shute, 2008). Aard van feedback Met betrekking tot de aard van de feedback: leraren benadrukken denken vaak dat feedback moet positief zijn en je niet moet ingaan op zwakke onderdelen van het werk van leerlingen (Sol & Stokking, 2009). Naast de bevestiging van goed werk moet feedback echter, ook opbouwende kritiek bevatten voor de verbetering van de zwakkere delen van het werk (Nicol & MacfarlaneDick, 2006). Manier van het geven van feedback De manier waarop feedback wordt gegeven door de leraar kan directief of faciliterend zijn. Directieve feedback vertelt de student wat er moet worden herzien en hoe dit moet worden gedaan, terwijl faciliterende feedback de studenten opmerkingen en suggesties geeft. Studenten kunnen gebruik maken faciliterende feedback als een leidraad in hun eigen herziening van hun werk (Black & Wiliam, 1998). Als het leren gericht is op kennisconstructie en de leerkracht vooral het leerproces wil ondersteunen vraagt de context faciliterende manieren van feedback (Duffy & Cunningham, 1996). Voorwaardelijke leraarvaardigheden Feedback is de informatie over het gat tussen het huidige niveau en het te behalen niveau om het gat te kunnen dichten (aldus Ramaprasad, 1983). Sadler (1989) noemt onder andere kennis van een standaard of een doel als een conditie voor effectieve feedback. Er zijn zes factoren belangrijk met betrekking tot de feedback van de leraar tijdens actief leren:


-

de focus van feedback (taak / proces niveau/ metacognitie);

-

het doelgerichtheid van feedback (aansluiten bij het leerdoel);

-

de aard van feedback (positief of ook constructief opbouwend);

-

de manier van het geven van feedback (faciliterend of directief);

-

de adaptiviteit van feedback (aansluiten bij de beginsituatie van de leerling);

-

de voorwaardelijke leerkracht vaardigheden voor het geven van feedback in een actieve

Om leerlingen te kunnen begeleiden en hen te voorzien van feedback tijdens het leren zijn klassenmanagement-vaardigheden ook voorwaardelijk. Klasmanagement verwijst naar de acties van de leraar om een leeromgeving te creëren waarin instructie en het verstrekken van feedback met succes kan plaatsvinden (Brophy, 2006).

Samengevat Geef feedback gerelateerd aan de beoogde lesdoelen. Geef in je feedback inzicht in waar leerlingen naartoe gaan (feed up). Kijk in je feedback terug op waar het kind staat ten opzichte van de doelen (feedback). Kijk vooruit naar de vervolgstappen om een doel te behalen (feed forward).

4

Evalueren van het gestelde doel

Evaluatie leidt tot informatie om te zien of de doelen bereikt zijn en heeft de bedoeling het lesgeven bij te sturen of te plannen ‘Bij elke doelgerichte activiteit horen momenten waarop een balans wordt opgemaakt van wat is bereikt.’ (p.34), aldus Dochy en Struyven in het boek ‘Evalueren om te leren’(2011). Evalueren impliceert het verzamelen van gegevens om iets te weten te komen (Veldhuijzen & Kleintjens, 1993) met het doel om beslissingen te nemen over het onderwijs en de ontwikkeling van de leerlingen (Janssens, 2008). Leraren besteden een groot deel van hun tijd aan evaluatieactiviteiten (Stiggings, 2005). Zij stellen vragen om te zien wat een leerling wel of niet snapt, nemen toetsen af, kijken over de schouder van een leerling terwijl die aan het werk is.. Sluysmans en Dochy (1998) stellen dat evaluatie één van de meest sturende factoren in het onderwijs is voor het leergedrag van leerlingen. We onderscheiden twee vormen van evaluatie; summatieve en formatieve evaluatie. Het verschil ligt in de bedoeling van het evalueren: nagaan welke leerlingen de leerdoelen beheersen en dit wordt vaak vastgelegd in een score (summatief) of nagaan waar de leerlingen zitten in hun leerproces en kijken waar extra hulp nodig is (formatief). Bij formatieve evaluatie is de feedback die tussentijds gegeven is van cruciaal belang. Evaluatie kan product- of procesgericht zijn. Bij productevaluatie wordt slechts het eindproduct als informatiebron gebruikt. Procesevaluatie daarentegen geeft informatie over hoe het leerproces verloopt dat tot het eindproduct leidt, dus over hoe er gewerkt is aan het bereiken van de doelen. Het is belangrijk om de vorm van de evaluatie af te stemmen op het doel dat je ermee hebt. In een schooljaar krijgen leerlingen te maken met veel verschillende leerdoelen. Het is onmogelijk om alle leerdoelen te evalueren. Leraren dienen een bewuste selectie te maken van de leerdoelen die geëvalueerd moeten worden zodat ze representatief zijn voor wat de leerlingen hebben geleerd. Evalueren kan op elk moment in het leerproces van belang zijn: aan het begin (een nulmeting), tussentijds en aan het einde van een les of lessenreeks. Het is belangrijk om met de leerlingen te evalueren met het oog op het informeren, ondersteunen en stimuleren van het leren van de leerlingen. Leerlingen hebben volgens Black en Wiliam de behoefte om zelf zicht te krijgen op hun eigen voortgang. Clarke wijst erop dat het evalueren door de leerlingen zowel tijdens als aan het eind van de les een noodzaak is. Ze meldt dat evalueren helaas vaak beperkt blijft tot leerlingen hun werk laten delen in plaats van te evalueren op het eigen leerproces. Als zelf-evaluatie gelinkt wordt aan de leerdoelen van een taak, dan verbetert de voortgang die leerlingen boeken, het doorzettingsvermogen en de eigenwaarde van de leerling, aldus Black en Wiliam. Voor het eigen leerproces is inzicht in de Pagina 8/12 1 oktober 2013 14305

eigen ontwikkeling van belang. Bij leerlingen die zelf betrokken worden in het beoordelen van hun eigen leren wordt de term ‘zelfbeoordeling’ gebruikt, aldus Boud & Falchikov (1989). Daarbij wordt kritisch gekeken naar eigen producten en de bijbehorende leerprocessen op basis van

vooropgestelde succescriteria. Er wordt nagegaan in hoeverre iemand voldoet aan de criteria en wat hij nodig heeft om er verder naartoe te groeien. Het geeft leerlingen de kans om zelf en bewust na te denken over hun eigen leren. Zelfreflectie op de zelfbeoordeling is de volgende stap want dan wordt gekeken naar welke conclusies kunnen worden getrokken voor het verdere leren.

Samengevat Evalueren is informatie verzamelen om je onderwijs nog beter af te stemmen op de behoeften van de leerlingen. Evaluatie kan een formatieve (tijdens het leerproces) of summatieve (na het leerproces) functie hebben Evaluatie kan proces- (informatie over het leerproces) of productgericht (het eindproduct is bron van informatie) zijn. Het is belangrijk voor leerlingen om zelf betrekken te worden bij hun evaluatie want dan krijgen ze inzicht in hun eigen leerproces.

Conclusies Naar aanleiding van deze literatuurstudie, hebben we vier condities vastgesteld die effect hebben op het opbrengstgericht werken: -

doelen stellen, doelen communiceren en afstemmen op de leerlingen;

-

succescriteria opstellen samen met de leerlingen;

-

feedback geven op de doelen;

-

evalueren van de doelen.

Deze criteria worden verwerkt in een rubric waarmee we de mate van opbrengstgericht werken in een school willen vast te stellen. Op basis van de uitkomsten van het toepassen van het instrument wordt vervolgens een scholing ontworpen waarmee we scholen helpen om beter opbrengstgericht te werken.


Referenties •

Ames, C. & Ames, R. (1984). Systems of student and teacher motivation: toward a qualitative definition. Journal of educational psychology, 84, 261-71.

•

Baxk, A., Ros, A., Teune, P. (2012). Opbrengstgericht onderwijs ontwerpen. Bussum: Coutinho.

•

Brophy, J. (2006). History of research on classroom management. In Evertson, CM,

•

& Weinstein, CS (Eds.), Handbook of classroom management: Research,

•

practice, and contemporary issues (p. 17-43). Mahwah, NJ: Lawrence

•

Erlbaum

•

Bergh, van den, L., Ros, A., & Beijaard, D. (2010). Feedback van basisschoolleerkrachten tijdens actief leren: de huidige praktijk. ORD-paper ORD 2010, Enschede.

•

Black, P., & Wiliam, D. (1998). Inside the Black Box: Raising Standards through Classroom

•

Bosker, R.J. (2005). De grenzen van gedifferentieerd onderwijs. Rede, Rijksuniversiteit

Assessment, London: King’s College School of Education. Groningen. •

Boston, Carol (2002). The concept of formative assessment. Practical Assessment, Research & Evaluation, 8(9).

•

Boud, D. & N. Falchikov (1989). Qualitative studies of student self assessment in higher

•

Bronkhorst e.a. (2001), Project leerstofontwikkeling voor hoogbegaafde leerlingen op het

education: a critical analysis of findings. In: Higher Education (18) 529-549. gebied van Nederlandse taal, SLO Enschede •

Butler, R. (1988). Enhancing and undermining intrinsic motivation; the effects of taskinvolving and ego-involving evaluation on interest and performance, British Journal of Educational Psychology, 58, 1-14.

•

Castelijns, J., Segers, M. & Struyven, K. (red.), (2011). Evalueren om te leren. Toetsen en beoordelen op school. Bussum: Coutinho.

•

Clarke, S. (2001). Unlocking Formative Assessment. Practical strategies for enhancing

•

Crooks, T.J. (1998). The impact of classroom evaluation practices on students., Review of

•

Deci, E.L. & Ryan, R.M. (2000). The ‘what’and ‘why’of goal pursuits. Human needs and the

pupils' learning in the primary classroom. Londen: Hodder & Stoughton. Educational Research, 58, 438-481. self-determination of behaviour. Psychological Inquiry, 11, 227-268. •

Dochy, F., L. Heylen & van de Mosselaer (eds.) (2002). Assessment in krachtige leeromgevingen. Nieuwe toetsvormen en examinering in competentie ontwikkelend onderwijs en probleemgestuurd leren. Utrecht: Lemma.

•

Duffy, T. M., & Cunningham, D. J. (1996). Constructivism: Implications for the

•

design and delivery of instruction. In D. Jonassen (Ed.), Handbook of

•

Research for Educational Communications and Technology (pp. 170-198).

•

New York: Simon & Schuster Macmillan.

•

Expertgroep Doorlopende leerlijnen Taal en Rekenen (2008). Over de drempels met taal en rekenen. Enschede: Expertgroep.

•

Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to

•

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational

•

Research, 77, 81-112.

•

Hillocks, G. Jr (1986). Research on written composition, new directions for teaching.

achievement. London: Taylor & Francis.

Urbana, Illinois: National Conference on research in English. •

Hofman, R.H. (2008), Spijkerboer, A.W. Dijkstra, B.J. & van der Werf, M.P.C. (2008).

•

Inspectie van het onderwijs (2008). De Staat van het Onderwijs. Onderwijsverslag 2007-

Opbrengstgericht werken en wegwerken van tekorten. GION, Groningen. Pagina 10/12 1 oktober 2013 14305

2008. Utrecht: Inspectie van het Onderwijs.

•

Inspectie van Onderwijs (2010), De staat van het onderwijs, Onderwijsverslag 2008/2009, Utrecht: Inspectie van het onderwijs.

•

Inspectie van het onderwijs (2010). Opbrengstgericht werken in het primair onderwijs.

•

Inspectie van het onderwijs (2011). Opbrengsten maak er werk van. Utrecht: Inspectie van

•

Janssens, F.J.G. (2008). Een andere kijk op toetsen. Enschede: Universiteit Twente

Utrecht: Inspectie van het onderwijs. het onderwijs. (bijlage bij de brief van de staatssecretaris van Onderwijs, Cultuur en Wetenschap aan de voorzitter van de Tweede Kamer, d.d. 16 juni 2008, kenmerk PO/KO/19891) •

Keuvelaar, L. (2013). Feedback van de Leerkracht tijdens Actief Leren: De Ontwikkeling en Evaluatie van een Professionaliseringsprogramma. Promotieonderzoek Technische Universiteit Eindhoven.

•

KPC Groep (2012), Opbrengstgericht werken, een voorbeeld van een cyclische aanpak voor meer dan meetbaar onderwijs?, Den Bosch.

•

KPC Groep (2013), Liniaal Opbrengstgericht werken in de klas, Den Bosch.

•

Kwaliteitsagenda: https://abonneren.rijksoverheid.nl/article/primair-onderwijs/nieuwsbriefprimair-onderwijs-nummer-45/kwaliteitsagenda-primair-onderwijs/225/1053.

•

Ledoux, G., Blok, H. & Boogaard, M. (2009). Opbrengstgericht werken. Over de waarde

•

Marzano, R.J. (2009). Wat werkt op school. Research in actie. Middelburg, Bazalt.

•

Mayer, R.E (2010). Applying the Science of Learning. Boston: Pearson Education Inc.

van meetgestuurd onderwijs. SCO-Kohnstamm Instituut, Amsterdam.

•

Nicol, D. & Macfarlane-Dick, D. (2006). Formative assessment and self-regulated

•

learning: A model and seven principles of good feedback practice. Studies in

•

Higher Education, 31, 199–218.

•

Oomens, M., van Aarsen, E., van Eck, P. & Kieft, M. (2008). Opbrengstgericht werken door scholen voor primair en voortgezet onderwijs. Oberon, Utrecht.

•

Onderwijsraad (2008). Partners in onderwijsopbrengst. Den Haag: Onderwijsraad.nog niet

•

Oostdam R. & Peetsma, T. & Blok, H. (2007). Het nieuwe leren in basisonderwijs en

•

voortgezet onderwijs nader beschouwd: een verkenningsnotitie voor het Ministerie van

•

Parreren, C.F. van (1983). Leren door handelen. Onderwijsvernieuwing in de klas.

•

Apeldoorn: Van Walraven.

gebruikt

Onderwijs, Cultuur en Wetenschap. Amsterdam: SCO-Kohnstamm Instituut.

•

Pellegrino, J.W., Chudowsky, N. & Glaser, R. (Eds.) (2001). Knowing what students know: The science and design of educational assessment. Washington DC: National Academy Press.

•

PO-Raad (2009). Opbrengstgericht werken doe je zo – 9 schoolportretten. Utrecht: PORaad.

•

Posner, M.I. & M.K. Rothbart (2007). Educating the human brain. Washington, D.C.:

•

Rodgers, C. (2006). Attending to student voice: the impact of descriptive feedback on

•

Ramaprasad, A. (1983). On the definition of feedback. Behavioural Science, 28, 4-13.

•

Ros, A. (2007a). Kennis en leren in het basisonderwijs. Oratie. Eindhoven: Fontys

American Psychological Association. learning and teaching. Oxford: Blackwell Publishing.

\Hogescholen. •

Ros, A. (2007b). Werken met kernconcepten. ’s-Hertogenbosch: KPC Groep.

•

Ros, A. & Timmermans, R. (2010). Schieten op het doel. Over leerdoelen en leerbehoeften.

•

Ros, A., Timmermans, R., Van der Hoeven J. & Vermeulen, M. (2009). Leren en laten

’s-Hertogenbosch: KPC Groep.

Pagina 11/12 1 oktober 2013 14305

leren. Ontwerpen van leeractiviteiten voor leerlingen en docenten. Meso Focus, 75. •

Sadler, D.R. (1989). Formative assessment and the design of instructional systems, Instructional Science, 18, 145-165 .

•

School aan Zet (2012), Meetlat OGW, Den Haag.

•

Shute, V. (2008). Focus on formative feedback. Review of Educational Research, 78,

•

153-189.

•

Simons, P. R. J., Linden J. L. van der, & Duffy, T. M. (eds.) (2000). New Learning.

•

Dordrecht: Kluwer Academic Publishers.

•

Sluijsmans, D. & F. Dochy (1998). Alternatieve toetsmethoden in studentgericht onderwijs.

•

Sol, Y. B., & Stokking, K. M. (2009). Mondelinge feedback bij zelfstandig werken.

•

Interactie tussen docenten en leerlingen in het VO. [Verbal feedback during

•

seatwork. Interactions between teachers and students in secondary schools.]

•

Utrecht: IVLOS

•

Sontag, L. (2012), Effectieve instructie: Omgaan met verschillen, projectplan, KPC Groep,

•

Stiggins, R.J. (2005). From formative assessment to assessment for learning. A path to

In: Tijdschrift voor Hoger Onderwijs 16 (4) 298-314.

Den Bosch. success in standards-based schools. In: Phi Delta Kappan (87), 324-328. •

Taras, M. (2005). Assessment – summative and formative – some theoretical reflections.

•

British Journal of Educational Studies, 53, 466-478.

•

Veldhuijzen, N.H., & F.G.M. Kleintjens (1993) Dataverzameling. In: T.J.H.M. Eggen & P.F.

•

Verbeeck, K. (2010). Het kwartje valt. Den Bosch: KPC Groep.

•

Vermaas (2013), Opbrengsgericht werken en het vakmanschap van de leraar, School aan

•

Vernooij (2009), Omgaan met verschillen nader bekeken, wat werkt?, Onderwijs maak je

Sanders. Psychometrie in de praktijk. (pp. 17-33). Arnhem: Cito.

Zet, VO-raad en AOC Raad. samen, www.onderwijsmaakjesamen.nl

Pagina 12/12 1 oktober 2013 14305

•

Zimmermann, B. (1990). Self-regulated learning and academic achievement: An overview.

•

Educational Psychologist, 25, 3-17.

Aan deelnemers training OGW in de klas

Postbus 482

Ons kenmerk

1 oktober 2013

13939

Betreft

5201 AL 's-Hertogenbosch

Kooikersweg 2

Datum

Training OWG in de klas

Beste deelnemer,

5223 KA 's-Hertogenbosch

Je neemt deel aan de training OGW in de klas. Allereerst dank voor de belangstelling en de Telefoon 073 6247 247 Fax 073 6247 294

bereidheid hier aan deel te nemen. In deze brief staat een korte beschrijving van de intake en de opzet van de bijeenkomsten. Waarom deze training? In het kader van onderzoek naar opbrengstgericht werken in de klas, is een professionaliseringsactiviteit voor leraren ontwikkeld. Tijdens de bijeenkomsten wordt gewerkt vanuit de principes van een professionele leergemeenschap: het leren van de deelnemers staat centraal; leren van en met elkaar en resultaat staat voorop. Om resultaten te boeken, opbrengsten zichtbaar te maken en goed aan te sluiten bij jullie leervragen en motivatie werken we met persoonlijke ontwikkelingsplannen (POP’s). De training is zowel ontwikkeld voor het primair als voor het voortgezet onderwijs. Met de try-out van de training is onderzocht welke interventies er werkelijk toe doen in het beter vorm en uitvoering geven aan OGW in de klas door jullie. Wat zijn de opbrengsten? -

Er is een training voor leraren ontwikkeld. Hierin staat het didactisch handelen van de leraar tijdens de les centraal. Van de inhouden en de instrumenten van de training kunnen meerdere collega’s in de school gebruik maken.

-

Iedere deelnemende leraar heeft op basis van zijn of haar eigen ontwikkelingsplan doelgericht gewerkt aan persoonlijke leerdoelen en vastgesteld in hoeverre deze gerealiseerd zijn.

-

Er is hierbij gebruik gemaakt van een zogenaamde rubric (een inhoudelijk observatiekader). Hiermee kan het vaardigheidsniveau op de verschillende componenten van het didactisch handelen in kaart gebracht worden.

-

De deelnemers hebben voldoende bagage over OGW om met andere collega’s in de school/de sectie/bouw het gesprek te voeren over het belang van en de wijze waarop OGW

bij kan dragen aan het verbeteren van de kwaliteit van het onderwijs in het team en/of de sectie/de bouw. -

Na afloop van de training heb je vele vaardigheden opgedaan om OGW in de klas daadwerkelijk te realiseren. Daarnaast weet je welke vaardigheden er werkelijk toe doen en op welke wijze deze vaardigheden bij jou verder verbeterd kunnen worden.

De intake We stellen de persoonlijke leerdoelen van de deelnemer centraal. Dit betekent dat we vooraf een aantal activiteiten ondernemen. -

Er wordt een les geobserveerd en er wordt gebruik gemaakt van een observatie-instrument (rubric). Ook wordt er, na toestemming door de deelnemer, een opname gemaakt van de les. Delen uit de opnamen worden in overleg gebruikt tijdens de training.

-

Na de lesobservatie maakt de leraar een mindmap over OGW in de klas.

-

Vervolgens vindt de terugkoppeling plaats van de geobserveerde les. Gezamenlijk vullen we de rubric in. Op deze manier komen we tot het vaststellen van de beginsituatie van de deelnemer.

-

Tenslotte wordt (na een korte toelichting) aan de leraar gevraagd een (digitaal) POPformulier in te vullen.

-

De leraar levert de digitale POP binnen twee weken in en ontvangt feedback voor aanvang van de eerste gezamenlijke bijeenkomst.

Hoe ziet het programma van de training er uit? De bijeenkomsten hebben een vaste structuur; de onderwerpen verschillen en zijn mede afhankelijk van de beginsituatie van de deelnemers en hun persoonlijke leervragen. Vaste onderdelen zijn: -

Instructie;

-

doen en reflectie;

-

supervisie.

Onderwerpen die zeker aan de orde komen: -

het stellen van doelen, het communiceren van doelen;

-

succescriteria opstellen en communiceren;

-

evalueren;

-

feedback geven;

-

differentiëren;

-

omgaan met data.

Data van de bijeenkomsten De data worden in overleg met de trainer gepland. Als er vragen zijn, stel die dan gerust: Mobiel: <mobielnummer> of e-mail: <e-mailadres> Met vriendelijke groet,

trainer


De intake: observatie en nabespreking met de deelnemers Vooraf -

Deelnemer per mail informeren over lesbezoek; doel, werkwijze, terugkoppeling en

vaststellen van een smart geformuleerde ontwikkelvraag aan de hand van de eigen ambitie en een korte toelichting op de training en de onderdelen (soort studiewijzer). -

Afspraken maken met deelnemer over opnames en gebruik daarvan.

Tijdens observatie en nabespreking -

Maken van opname en invullen observatieformulier (rubric).

-

Na observatie deelnemer vragen een mindmap te maken over OGW in de klas.

-

Terugkoppelen observatie en bespreken. Hierbij kunnen de video-opnamen gebruikt worden. Eventueel gezamenlijk verder de rubric invullen; feedback is / wordt acceptabel voor de deelnemer.

-

Deelnemer bevragen over de ambities en ontwikkelpunt(en) bespreken. Facultatief: toelichting geven op digitale pop OGW in de klas (zie document POP OGW in de klas) en afspraak maken over digitaal aanleveren pop.

Achteraf -

Facultatief: feedback geven op pop van de deelnemer (reflectie en ambitie en daaruit afgeleid het smarti-doel, passend in opzet en de doelen van de training).

13939

……………………………………………………………………………………………………………….

Datum:

Observatie-Instrument CONDITIES VOOR OPBRENGST GERICHT WERKEN IN DE KLAS met voorbeelden KPC Groep ’s-Hertogenbosch (2013). Nadere informatie: Rosa Hessing ([email protected])

………………………………………………………………………………………………………………..

………………………………………………………………………………………………………………..

………………………………………………………………………………………………………………..

Leraar:

Les:

………………………………………………………………………………………………………………..

School:

Groep/klas:

………………………………………………………………………………………………………………

Observator

Met voorbeelden en uitleg.

OBSERVATIE-INSTRUMENT ‘CONDITIES VOOR OPBRENGSTGERICHT WERKEN IN DE KLAS’ (RUBRIC)

WERKEN

WERKEN

WERKEN

OPBRENGSTGERICHT

EXPERT IN

Zichtbaar

Inhoudelijk

-

-

b.v. ‘Na deze les weten we door welke factoren de 2e wereldoorlog is ontstaan en welke landen betrokken waren.’

geformuleerd,

b.v. ‘We gaan vandaag meer kennis van de 2e wereldoorlog krijgen’. Het doel kan ook in de lesvoorbereiding van de leraar staan.

(noch schriftelijk, noch mondeling).

b.v. ‘We gaan vandaag op pagina 4

verder werken.’ Of ‘We gaan oefening

3 en 6 maken.’

geformuleerd,

concreet inhoudelijk lesdoel

globaal inhoudelijk lesdoel

inhoudelijk lesdoel geformuleerd

Leraar heeft (vaststelbaar) een


Leraar heeft geen (vaststelbaar)

Korte termijn

Relatie kerndoelen

Concreet

… ‘

vandaag beginnen we aan doel twee

wereldoorlog willen bereiken nl. . . . en

in de lessenreeks over tweede

hebben we een viertal doelen, die we

kerndoel afdekt: ‘Zoals jullie weten

een lessenreeks die gezamenlijk een

b.v. Verwijzing naar de leerlijn, of naar

duidelijke opbouw in doelen.

geformuleerd, aansluitend bij een




scoren.

Maar ook: valt je op: dat doen we om te kijken of er nog iets ontbreekt waar we niet aan gedacht hebben. Hier kan je allerlei opmerkingen in kwijt over wat je zag, of moeilijk vond bij het

Vul aan met concrete voorbeelden:

Formuleren

Niet activiteitgericht

-

Kenmerken van een doel:

b.v. een woordje met een plaatje verbinden = activiteitgericht en dus geen doel zoals we dat willen; maar 8 woorden koppelen aan betekenissen is wel een doel zoals we dat willen.

heeft met de kerndoelen.

Onder lesdoel verstaan we: een voor de leerlingen begrijpelijk inhoudelijk, niet activiteitgericht, zichtbaar korte termijndoel, wat je aan het einde van de les bereikt wil hebben en dat relatie

DOELEN (FEED UP)

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

en 6 maken.’ Of leraar gaat direct met

zijn instructie aan de slag

lesdoelen begrijpen gebeurt

natuurlijk altijd mondeling.

groter geheel van doelen (leerlijn).

vandaag dus leren, Ilse? Zeg het even

optellen, want …’

belangrijk om grote getallen te kunnen

getallen boven de 100. Het is

en 3. We gaan leren optellen van

de lesdoelen voor vandaag in kolom 2

b.v. Leraar zegt: ‘Zie in het overzicht

lesdoel wordt gewerkt passend bij het

het doel van de les: ‘Wat gaan we

in je eigen woorden.’

leerlingen begrijpen waarom er aan dit

b.v. Leraar zegt na het benoemen van

aannemelijk gemaakt, waardoor de

leren sommen tot en met 10 op te lossen b.v. 8 erbij 2; 7 erbij 1.’

het lesdoel voor de leerlingen

b.v. Leraar vertelt: ‘Vandaag gaan we



leerlingen gecheckt of het voor hen

ze het begrijpen.

verder werken of we gaan oefening 3

Het checken of leerlingen de

is. Hij heeft eveneens het belang van

gecheckt of het voor hen begrijpelijk

wijze gecommuniceerd en bij

begrijpelijk is.

gecommuniceerd en bij leerlingen

leerlingen toe op een begrijpelijke

maar checkt niet bij de leerlingen of

leerlingen op een begrijpelijke wijze

(zichtbaar en/of verbaal) naar

Leraar heeft een inhoudelijk lesdoel

gecommuniceerd naar leerlingen,



b.v. ‘We gaan vandaag op pagina 4

(zichtbaar en/of verbaal)

gecommuniceerd met leerlingen.

WERKEN

bord, maar zeker ook mondeling.


Leraar heeft geen inhoudelijk lesdoel

WERKEN

WERKEN

OPBRENGSTGERICHT

EXPERT IN

Dat kan schriftelijk: op papier of

Communiceren met leerlingen

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

WERKEN

WERKEN

WERKEN

OPBRENGSTGERICHT

EXPERT IN

gaan we verder met het oefenen met het optellen van getallen onder de 10.

kunnen maken en mij kunnen uitleggen hoe je dat doet’.

hebben.’

goed?......’

hoeveel hebben jullie er dan

10 geef aan het einde van de les,

oefenen met sommen tot 20. Als ik er

‘Groepje y: jullie gaan verder met het

Leraar: ‘Prima, daar gaan we voor.’

Leerling uit groepje X: ‘allemaal.’

moet je er dan goed van hebben?’

kan, van de 10 sommen, hoeveel

Wanneer vind je dat je dat voldoende

b.v. Leraar zegt: ‘Groepje x: vandaag

jullie de optelsommen tot 10 juist

jullie 8 van de 10 sommen goed

die gerelateerd zijn aan het lesdoel. b.v. Leraar zegt: ‘Ik ben tevreden als

b.v. Leraar zegt: ‘Ik ben tevreden als



hier centraal

voor verschillende groepen leerlingen,

concrete succescriteria geformuleerd

oefening 2 en 3.’

leerlingen, gerelateerd aan lesdoel.

op aantallen (kwantitatief).

Leraar heeft samen met de leerlingen

b.v. Leraar zegt: ‘Ga aan de slag met

succescriteria geformuleerd voor de

succescriteria geformuleerd, gericht

geformuleerd.

afstemmen met de leerlingen staat

Het formuleren, communiceren en

Leraar heeft zelf concrete

Leraar heeft heel globaal

Leraar heeft geen succescriteria


weet wat ze betekenen.

b.v. We bedoelen niet: Ik ben tevreden als het juiste woordje met het juiste plaatje is verbonden, maar wel als je weet wat de woorden betekenen. Of specifieker als je van 80% van de woorden

Onder succescriteria verstaan we: wanneer ben ik tevreden over het behaalde resultaat in het licht van het inhoudelijke lesdoel zoals geformuleerd onder ‘doelen’.

SUCCESCRITERIA

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

WERKEN

WERKEN

WERKEN

OPBRENGSTGERICHT

EXPERT IN

verwerkingsopdrachten te maken.

vermeld b.v. optellen t/m 10. Of de

verwerkingsopdrachten te doen. De

aangeboden en/of meer tijd om de

krijgt een verlengd instructiemoment


Vul aan met observaties concrete voorbeelden:

hetzelfde).

krijgen meer tijd om de

leraar staat een inhoudelijk doel

verwerkingsopdrachten (meer van

instructiemoment aangeboden en/of

b.v. In de lesvoorbereiding van de

geformuleerd. De zwakke leerling

dezelfde inhoudelijke lesdoelen

Of we gaan oefening 3 en 6 maken.’

leerlingen krijgen een verlengd

geformuleerd.

vandaag op pagina 4 verder werken.’

geformuleerd, alleen zwakke

geformuleerd of heeft geen lesdoel

leerlingen en goede leerlingen

Leraar heeft voor de zwakke

goede leerlingen krijgen extra

hetzelfde inhoudelijke lesdoel


tussen leerlingen

leraar zegt: ‘ We gaan (allemaal)

Leraar heeft voor alle leerlingen


Rekening houden met verschillen

tussen leerlingen

oplossen b.v. 3 erbij 5; 10 erbij 0.’

groepje 2 gaat sommen t/m 10

oplossen b.v. 1 erbij 3; 2 erbij 2;

gaat het groepje 1 sommen t/m 5

b.v. De Leraar geeft aan: ‘Vandaag

verwerkingsopdrachten aangeboden

verdiepende lesstof en/of

goede leerlingen krijgen extra

onderwijsbehoeften van leerlingen. De

naar verschillende

inhoudelijke lesdoelen geformuleerd

Leraar heeft verschillende

gedacht worden aan het toepassen van verschillende werkvormen, diversiteit aan opdrachten of het samenstellen van groepjes leerlingen waarbij recht gedaan wordt aan de verschillen

van extra instructie aan de leerlingen die dit nodig hebben en het geven van extra verwerkingsopdrachten en/of verdiepende lesstof aan leerlingen die snel van begrip zijn. Maar ook kan er

Hoe gaat de leraar om met verschillen tussen (groepen) leerlingen? Er kan op vele manieren tegemoet gekomen worden aan verschillen tussen leerlingen. De meest bekenden zijn: het geven

DIFFERENTIËREN

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

WERKEN

WERKEN

WERKEN

OPBRENGSTGERICHT

EXPERT IN

Ga zo door.’

onderwijsbehoeften van leerlingen.

de ik, hij, zij en wij-personen. Let op

fouten staan.’

goed.’

je die toepast dan kan je het helemaal

je verkeerd. De regel zegt . . . . en als

juist, maar ‘Rijd jij met de auto?’ schrijf

maakt. ‘Kom jij slapen? ’ dat schrijf je

als onderwerp, zie ik dat je fouten

werkwoord eerst staat en daarna ‘jij’

de ik, hij, zij en wij-personen. Als het

tegenwoordige tijd al juist schrijft bij

b.v. Leraar zegt: ‘Hans, ik zie dat jij de

gedifferentieerd naar

tegenwoordige tijd al juist schrijft bij

juist schrijven.’

voor de jij-vorm want daar zie ik nog

om het doel te behalen en dit

b.v. Leraar zegt: ‘Ik zie dat jij de

welke stappen hij kan ondernemen

leerling al weet, nog niet beheerst en

het inhoudelijke lesdoel m.b.t. wat de

en expliciete feedback, gekoppeld aan

Leraar geeft voortdurend individuele

leerlingen de tegenwoordige tijd al

b.v. Leraar zegt: ‘Ik zie dat de meeste

hij nog niet weet.

m.b.t. wat de leerling al weet en wat

inhoudelijke lesdoel.

b.v. Leraar zegt: ‘Ja, goed gewerkt.

feedback op het inhoudelijke lesdoel

keer algemene feedback op het

het inhoudelijke lesdoel verwijst.

Leraar geeft regelmatig en expliciete

Leraar geeft slechts incidenteel 1 of 2

Leraar geeft geen feedback die naar


Feedback geven

nu bezig met het leren van de betekenis van deze woorden.

B.v. we bedoelen niet: je bent goed bezig, niet: je hebt hard gewerkt, niet: je bent al een eind gevorderd. Wel bedoelen we: Ik hoor dat jij al de betekenis van deze 4 woorden kent. Of: je bent

leerdoel die gedurende de les wordt gegeven en dus niet aan het einde van de les.

feedback in wezen informatie is over hoe huidige prestaties van de leerling zijn met betrekking tot deze doelen (Nicol & Macfarlane-Dick, 2006). Het gaat om feedback over het inhoudelijke

van de leerling te verbeteren' (Van de Ridder, Stokking, McGaghie & Ten Cate, 2008). De standaard is geformuleerd in het leerdoel. Deze doelstellingen moeten duidelijk zijn, aangezien

Onder feedback verstaan we: 'Specifieke informatie over de vergelijking tussen de waargenomen prestaties van een leerling en een “standaard-gegeven” met de bedoeling om de prestaties

FEEDBACK GEVEN

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

WERKEN

WERKEN

WERKEN

OPBRENGSTGERICHT

EXPERT IN

p.15.

ruim je spullen op en neem je boek

een nieuwe spellingregel geleerd. Wat kunnen we daar nu mee?’

b.v. Leraar zegt; ‘Jongens, jullie hebben vandaag goed gewerkt.’

b.v. Leraar zegt: ‘We hebben vandaag

relatie met de succescriteria.

lesdoelen.

op de lesdoelen, maar legt niet de

of in z’n geheel niet inhoudelijk op de

Leraar blikt concreet inhoudelijk terug

procesgericht terug en slechts beperkt

Leraar blikt hoofdzakelijk



inhoudelijke lesdoelen.

relatie tot de succescriteria

b.v. Leraar zegt: ‘We zijn nu klaar,

Leraar blikt niet terug op de

Proces en/of productgericht in

van 8 woorden geleerd? Een goede evaluatie legt een relatie met de succescriteria.

daardoor nu juist kunnen schrijven.’

voorbeelden van woorden die we

ik vraag nu: schrijf eens 3 concrete

zouden moeten kunnen noemen. Dus

van de les minimaal 3 voorbeelden

begin zei ik dat jullie aan het einde

Welke was dat ook alweer? Aan het

een nieuwe spellingregel geleerd.

b.v. Leraar zegt: ‘We hebben vandaag


op de lesdoelen en legt hierbij de


Onder evalueren verstaan we: aan het einde van de les terugblikken of het lesdoel is behaald. B.v. we bedoelen niet: hoe is het gegaan of wat vond je moeilijk, wel: hebben we de betekenis

EVALUEREN (FEED FORWARD)


OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

vandaag goed gewerkt heeft?’

b.v. Leraar zegt: ‘Oké de les is bijna afgelopen, we hebben de stelling van Pythagoras geleerd. Ik heb nog een som voor jullie, wie hem (zonder af kijken) goed heeft, mag naar huis.’

b.v. Leraar zegt: ‘Oké de les is bijna afgelopen, we hebben vandaag de stelling van Pythagoras geleerd, hebben jullie nu door hoe deze werkt?’

groepsniveau.

b.v. Leraar zegt: ‘Wie vindt dat hij

en zonder voorbereiding.

Leraar evalueert de inhoudelijke

lesdoelen gepland en voorbereid op

lesdoelen op groepsniveau ongepland

lesdoelen.



Leraar evalueert niet de inhoudelijke



Systematiek van evalueren

WERKEN

WERKEN

WERKEN

sommen geoefend hebben vandaag.’

moeilijkere, omdat jullie al moeilijkere

ook een som, maar dan een

de stelling nu begrijpen. Groep Y krijgt

nog een som om na te gaan of jullie

Pythagoras geleerd. Groep X geef ik

afgelopen, we hebben de stelling van

b.v. Leraar zegt: ‘Oké de les is bijna

subgroepniveau.


OPBRENGSTGERICHT

EXPERT IN

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

zouden jullie kunnen laten zien of jullie het lesdoel behaald hebben? Geef daarbij ook aan hoe je hieraan

we ons doel ook bereikt hebben. Wat was ook alweer het doel van deze les? Overtuig me eens dat jullie dat doel hebben behaald.’

vraagt tijdens de evaluatie beperkte inbreng van de leerlingen.

b.v. leraar zegt: ‘Ik merkte dat er veel leerlingen de betekenis van de nieuwe woorden kennen. John, geef eens een voorbeeld van een woord dat jij kent.’

vraagt tijdens de evaluatie geen

inbreng van de leerlingen.

b.v. Leraar zegt: ‘Ik merkte dat er veel

leerlingen de betekenis van de nieuwe

woorden kennen.’


het einde van elke les? Evalueren of

b.v. Leraar zegt: ‘Wat doen we aan

een duidelijke inbreng in de evaluatie.

leiding, echter de leerlingen hebben

Tijdens de evaluatie heeft de leraar de

Leraar evalueert voornamelijk zelf en

Leraar evalueert helemaal zelf en

BESCHRIJVING VAN CONTEXT VAN DE LES EN BIJZONDERHEDEN (BIJV. SFEER EN PROCES)


Inbreng van de leerlingen

WERKEN

WERKEN

gewerkt heb.’

het doel van de les behaald is. Hoe

het einde van elke les? Evalueren of

b.v. Leraar zegt: ‘Wat doen we aan

ze de lesdoelen behaald hebben.

leerlingen duidelijk maken of en hoe

De leraar leidt de evaluatie, waarin de

WERKEN

OPBRENGSTGERICHT

EXPERT IN

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

……………………………………………………………………………………………………………….

Datum:

Observatie-Instrument CONDITIES VOOR OPBRENGST GERICHT WERKEN IN DE KLAS KPC Groep ’s-Hertogenbosch (2013). Nadere informatie: Rosa Hessing ([email protected])

………………………………………………………………………………………………………………..

………………………………………………………………………………………………………………..

Les:

Leraar:

Groep/klas:

………………………………………………………………………………………………………………..

………………………………………………………………………………………………………………..

School:

………………………………………………………………………………………………………………

Observator:

Zonder voorbeelden, om in te vullen bij observaties.

OBSERVATIE-INSTRUMENT ‘CONDITIES VOOR OPBRENGSTGERICHT WERKEN IN DE KLAS’ (RUBRIC)

leerlingen op een begrijpelijke wijze gecommuniceerd en bij leerlingen gecheckt of het voor hen begrijpelijk is. Hij heeft eveneens het belang van

leerlingen toe op een begrijpelijke wijze gecommuniceerd en bij leerlingen gecheckt of het voor hen begrijpelijk is.

gecommuniceerd naar leerlingen, maar checkt niet bij de leerlingen of ze het begrijpen.

groter geheel van doelen (leerlijn).

lesdoel wordt gewerkt passend bij het

leerlingen begrijpen waarom er aan dit

aannemelijk gemaakt, waardoor de

het lesdoel voor de leerlingen




duidelijke opbouw in doelen.

geformuleerd, aansluitend bij een

(zichtbaar en/of verbaal)


geformuleerd,




geformuleerd,

(noch schriftelijk, noch mondeling).



gecommuniceerd met leerlingen.

globaal inhoudelijk lesdoel

inhoudelijk lesdoel geformuleerd

WERKEN

OPBRENGSTGERICHT

EXPERT IN

Leraar heeft geen inhoudelijk lesdoel


Leraar heeft geen (vaststelbaar)

WERKEN

WERKEN



Communiceren met leerlingen


Formuleren

DOELEN (FEED UP)

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

leerlingen, gerelateerd aan lesdoel.

succescriteria geformuleerd, gericht op aantallen (kwantitatief).

geformuleerd.

krijgt een verlengd instructiemoment aangeboden en/of meer tijd om de verwerkingsopdrachten te maken. De

geformuleerd, alleen zwakke leerlingen krijgen een verlengd instructiemoment aangeboden en/of krijgen meer tijd om de verwerkingsopdrachten te maken.

geformuleerd of heeft geen lesdoel

geformuleerd.


Vul aan met observaties concrete voorbeelden:

geformuleerd. De zwakke leerling



tussen leerlingen

hetzelfde).

verwerkingsopdrachten (meer van

sterke leerlingen krijgen extra

dezelfde inhoudelijke lesdoelen

leerlingen en sterke leerlingen



Leraar heeft voor de zwakke

succescriteria geformuleerd voor de

Leraar heeft zelf heel globaal

Leraar heeft geen succescriteria

Leraar heeft zelf concrete

WERKEN

WERKEN

Rekening houden met verschillen

DIFFERENTIËREN



SUCCESCRITERIA

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

verwerkingsopdrachten aangeboden.

verdiepende lesstof en/of

sterke leerlingen krijgen extra

onderwijsbehoeften van leerlingen. De

naar verschillende

inhoudelijke lesdoelen geformuleerd

Leraar heeft verschillende

die gerelateerd zijn aan het lesdoel.

voor verschillende groepen leerlingen,

concrete succescriteria geformuleerd

Leraar heeft samen met de leerlingen

WERKEN

OPBRENGSTGERICHT

EXPERT IN

leerling al weet, nog niet beheerst en

hij nog niet weet.

inhoudelijke lesdoel.

of in z’n geheel niet inhoudelijk op de




procesgericht terug en slechts beperkt

inhoudelijke lesdoelen.

tot de succescriteria.

lesdoelen.

op de lesdoelen, maar legt niet de

Leraar blikt hoofdzakelijk

Leraar blikt niet terug op de


het inhoudelijke lesdoel m.b.t. wat de

m.b.t. wat de leerling al weet en wat

keer algemene feedback op het

het inhoudelijke lesdoel verwijst.


op de lesdoelen en legt hierbij de


onderwijsbehoeften van leerlingen.

gedifferentieerd naar

om het doel te behalen en dit

welke stappen hij kan ondernemen

en expliciete feedback, gekoppeld aan

feedback op het inhoudelijke lesdoel

Leraar geeft slechts incidenteel 1 of 2

Leraar geeft voortdurend individuele

WERKEN

OPBRENGSTGERICHT

EXPERT IN

Leraar geeft geen feedback die naar

Leraar geeft regelmatig en expliciete

WERKEN

WERKEN

Proces en/of inhoudelijk in relatie

EVALUEREN (FEED FORWARD)


Feedback geven

FEEDBACK GEVEN

OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

Leraar evalueert voornamelijk zelf en vraagt tijdens de evaluatie beperkte inbreng van de leerlingen.

vraagt tijdens de evaluatie geen

inbreng van de leerlingen.


een duidelijke inbreng in de evaluatie.

leiding, echter de leerlingen hebben

Tijdens de evaluatie heeft de leraar de

groepsniveau.

en zonder voorbereiding.

Leraar evalueert helemaal zelf en


lesdoelen op groepsniveau ongepland

lesdoelen.




Leraar evalueert niet de inhoudelijke

BESCHRIJVING VAN CONTEXT VAN DE LES EN BIJZONDERHEDEN (B.V. SFEER EN PROCES)


Inbreng van de leerlingen


Systematiek van evalueren

WERKEN

WERKEN

WERKEN

ze de lesdoelen behaald hebben.

leerlingen duidelijk maken of en hoe

De leraar leidt de evaluatie, waarin de

subgroepniveau.


OPBRENGSTGERICHT

OPBRENGSTGERICHT

OPBRENGSTGERICHT

EXPERT IN

OPBRENGSTGERICHT

ERVAREN IN

ONTWIKKELEND IN

NOG NIET

Interviewvragenlijst voor leraren n.a.v. klasobservatie en het invullen van de rubric opbrengstgericht werken School: Naam leraar: Datum gesprek:

1

T.a.v. opbrengstgericht werken

1.1 Wat is opbrengstgericht werken volgens u? 1.2 Wordt er bij jou op school gesproken over opbrengstgericht werken? 0 ja 0 nee Indien ja, wanneer? 0 tijdens vergaderingen 0 tijdens bouwoverleg 0 tijdens studiedag 0 anders nl.: Indien ja, hoe vaak? 0 elke week 0 2 keer per maand 0 maandelijks 0 anders nl.:

1.3 Is opbrengstgericht werken belangrijk voor wat jij doet in de klas/ naar de leerlingen toe? Licht toe. 2

T.a.v. het stellen van doelen

2.1a Ik heb bij jou een les geobserveerd en daar viel mij ten aanzien van de doelen het volgende op. (Hierbij geef je aan wat je bij de drie onderdelen van doelen hebt gescoord en waarom). Klopt dat? 0 ja 0 nee

13939

Even doorvragen of als je geen doel hebt gezien of gehoord kan je vragen: Heb je een doel gesteld bij deze les? Hoe heb je dat gedaan b.v uit de methode of van een leerlijn of . . .? 2.1 b Reflecteer op wat we hebben gezien. Misschien heb je er ook nog wat aan toe te voegen?

2.2 Welke hulp zou je kunnen gebruiken om (nog) beter doelgericht te werken? 2.3 Wat vind je er moeilijk of lastig aan?

3.

T.a.v. het stellen van succescriteria

3.1a Ik heb bij jou een les geobserveerd en daar viel mij ten aanzien van het stellen van succescriteria het volgende op. (Hierbij geef je aan wat je bij de twee onderdelen van succescriteria hebt gescoord en waarom). Klopt dat? 0 ja 0 nee Als je geen succescriteria gezien of gehoord hebt vraag je: Heb je succescriteria gesteld? Welke waren dat? Of waarom heb je dat niet gedaan b.v. vind je dat niet belangrijk, had je er geen tijd voor of . . ? 3.1 b Reflecteer op wat we hebben gezien. Misschien heb je er ook nog wat aan toe te voegen?

3.2 Welke hulp zou je kunnen gebruiken om te leren succescriteria te stellen? 3.3 Wat vind je er moeilijk of lastig aan?

4.

T.a.v. het geven van feedback

4.1a Ik heb bij jou een les geobserveerd en daar viel mij ten aanzien van feedback het volgende op. (Hierbij geef je aan wat je bij het onderdeel feedback hebt gescoord en waarom). Klopt dat? 0 ja 0 nee En wellicht ook doorvragen door: Op welke manier geef jij feedback naar de leerlingen? Wat voor soort feedback geef je zoal? Waarom? Wat wil je ermee bereiken?

4.1 b Reflecteer op wat we hebben gezien. Misschien heb je er ook nog wat aan toe te voegen? Pagina 2/3 1 oktober 2013 14305

4.2 Welke hulp heb je nodig om nog beter inhoudelijke feedback te kunnen geven?

4.3 Wat vind je er moeilijk of lastig aan?

5.

T.a.v. evalueren

5.1a Ik heb bij jou een les geobserveerd en daar viel mij ten aanzien van evalueren het volgende op. (Hierbij geef je aan wat je bij het onderdeel evalueren hebt gescoord en waarom). Klopt dat? 0 ja 0 nee

Ook doorvragen: Hoe evalueer je de les gewoonlijk? Waarom doe je dat zo? Wat is het effect ervan op de leerlingen?

5.1b Reflecteer op wat we hebben gezien. Misschien heb je er ook nog wat aan toe te voegen?

5.2 Welke hulp heb je nodig om nog beter te leren evalueren aan het einde van de les?

5.3 Wat vind je er moeilijk of lastig aan?

6.

T.a.v. beleid van de directie i.v.m. opbrengstgericht werken

6.1 Praat de directie / IB’er met het team over opbrengstgericht werken? Hoe? Wanneer? Frequentie? Waarover gaat het dan?

6.2 Stimuleert de directie opbrengstgericht werken? Hoe?

6.3 Staat opbrengstgericht werken in de plannen voor de komende 4 jaar? Hoe dan? Waar dan? (eventueel opvragen)

6.4 Wat kan de directie / IB doen om je verder te helpen met opbrengstgericht werken?


POP-format Passend bij jou en passend bij je ontwikkelingsdoelen – Op weg naar meer excellentie in de klas! Een POP is een 'ontwikkelingscontract' tussen werkgever en werknemer. De bedoeling is, de werknemer de kans te bieden zich verder te ontwikkelen. Zo kun je de organisatiedoelen van de werkgever en de ambities van de werknemer zo goed mogelijk op elkaar afstemmen. In het ideale geval gaan de ontplooiing van de werknemer en het streven van de werkgever hand in hand. Naam: School: Personeelsverantwoordelijke :

Korte samenvattende beschrijving (reflectie op de lesobservatie en beeld schetsen van gewenste situatie of anders geformuleerd je ambitie binnen het kader van OGW in de klas)

Goedgekeurd op:

Door (naam leraar)

13939

(datum)

Door (naam personeelsverantwoordelijke)

verwerven?

13939

Zodat ……

..

•

vaardigheden die je wilt

..

•

meetbare kennis en

Gaat het om …….

Bij …..

waarneembare,

Wat zijn de zichtbare,

Het gewenste resultaat

beroepssituatie

Kenmerkende

(Smarti: Specifiek, Meetbaar, Acceptabel, Realistisch, tijdgebonden en Inspirerend)

Mijn ontwikkelingsdoel in dit plan luidt:

Geef hier aan waar het plan over gaat. Bedenk een aansprekende titel.

Persoonlijk ontwikkel-actieplan

3

2

1

Stap

Pagina 3/4

Wat (activiteit)?

leidinggevende of..

Evaluatiemomenten met

studiepakket

zoals een boek of

coach, leermiddelen

docent, begeleider of

je leidinggevende,

besteden uren), uren van

(met name: extern te

Denk aan: je eigen uren

faciliteiten heb je nodig.

Welke ondersteuning en

faciliteiten

Ondersteuning en

Wie?

zichtbaar? (bijvoorbeeld document, foto, enquête, toets)

ondersteuning, ….)

(+wanneer klaar) Evaluatie

Wanneer tevreden, wat is de opbrengst? In welke vorm

Nodig? (materiaal, overleg,

Wanneer?

10

9

8

7

6

5

4

Pagina 4/4

.

Vragenlijst voor directie / teamleider in verband met opbrengstgericht werken School: Naam directeur: Datum gesprek:

Vragen gesteld voor de training en na de training 1

Wat is opbrengstgericht werken volgens u?

2

Vindt u het belangrijk? Waarom wel / waarom niet?

-

Is het een speerpunt op uw school? Waaruit blijkt dat?

-

Vindt het team het ook belangrijk? Waaruit blijkt dat?

3

Wat doet u al om in uw school opbrengstgericht te werken?

4

Binnen opbrengstgericht werken zijn verschillende stappen belangrijk: het vastleggen van doelen en standaarden (in meetbare termen en voldoende specifiek), het verzamelen van gegevens (liefst met verschillende instrumenten), het registreren van gegevens (liefst digitaal), het analyseren en interpreteren van gegevens (leerstofgericht en normgericht) en het nemen van beslissingen. Hoe doet u dat op uw school en waar is dit terug te vinden?

5

Welke condities doen ertoe om opbrengstgericht te kunnen werken?

6

Binnen welke vakken (vakgebieden) stimuleert u opbrengstgericht werken? Waarom die keuze?

7

Wat zou u eventueel nog meer kunnen doen om meer opbrengstgericht te werken?

8

Heeft u het opbrengstgericht werken als doel vastgelegd in een plan bijvoorbeeld in een taalbeleidsplan, rekenbeleidsplan, in een schoolplan etcetera? Zo ja, waar dan? Zo nee, waarom niet?

9

Op welke manier(en) heeft u zicht op opbrengstgerichtheid van uw leraren?

10

Op welke manier(en) stimuleert u opbrengstgericht werken naar uw leraren in uw school?

11

Heeft opbrengstgericht werken volgens u ook betekenis en effect voor de leerlingen?

12

Heeft u plannen om in de toekomst het opbrengstgericht werken nog verder aan te pakken, te borgen, te verbeteren? Wat gaat u dan concreet doen?

13939

13

Stel dat uw leraren gaan deelnemen aan een training om meer opbrengstgericht te werken in de les.

-

Wat is dan de beginsituatie van uw leraren?

-

Wat zouden volgens u belangrijke doelen van een dergelijke training moeten zijn?

-

Hoe gaat de school de effecten van de training borgen in personen en in het systeem (vergaderingen, HRM-instrumenten etcetera)?

14

Hoe zou u als directie kunnen aangeven / laten zien dat je een dergelijke training heel belangrijk vindt voor de toekomst?

Aanvullende vragen met name voor na het volgen van de training door leraren -

Wat heeft u er van gemerkt dat de collega’s de training hebben gevolgd?

-

Wat voor mogelijkheden ziet u voor verbreding binnen de school, vindt u dat belangrijk dat dat ook gebeurd?


Datum

Aan Deelnemers training Opbrengstgericht werken in de klas

Ons kenmerk 13939 Van

Evaluatie bijeenkomst Graag onderstaande vragen beantwoorden over deze bijeenkomst Bijeenkomst-onderwerp: ……………………………………………………………. 1

Wat heb je bijgeleerd gezien het onderwerp van de bijeenkomst?

………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. 2

Heb je nu voldoende kennis en kunde in handen om in de praktijk hiermee aan de slag te gaan?

………………………………………………………………………………………….. ………………………………………………………………………………………….. Zo nee, wat mis je dan nog? ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. 3

Wat vond je TOP?

………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. z.o.z.

4

Welke TIP heb je?

………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. 5

Heb je nog vragen met betrekking tot het onderwerp die in de bijeenkomst niet aan bod gekomen zijn? Indien ja, welke?

………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. 6

Opmerkingen

………………………………………………………………………………………….. ………………………………………………………………………………………….. ………………………………………………………………………………………….. …………………………………………………………………………………………..

Pagina 2/2

Datum

Aan

Deelnemers training ‘Opbrengstgericht werken in de klas’ Ons kenmerk

Van

Notitie

Evaluatievragen na afloop van het gehele traject Beste deelnemer, De training ‘Opbrengstgericht werken in de klas’ is nu achter de rug. Graag willen we ook aan het einde je nog een aantal vragen stellen. Zou je onderstaande vragen willen beantwoorden. Onderaan vind je ook de vragen die relevant zijn voor het opstellen van een certificaat van deelname voor jou. Het bestandje kun je retour mailen aan ………………….. Let op: graag vóór ……………………., eerder mag ook. De training ‘Opbrengstgericht werken in de klas (OGW in de klas)’ bestond uit: - Intake: lesobservatie, nabespreking met rubric (observatie instrument), mindmap maken over OGW; - POP maken en bijhouden; - Gesprek van jouw schoolleider/manager met trainer over OGW; - 5 trainingsbijeenkomsten met de onderwerpen: 1. Opbouw vijf bijeenkomsten en Doelen en succescriteria opstellen en communiceren, 2. Evaluatie, 3. Differentiëren, 4. Feedback geven, 5. Data/Gegevens/Informatie als smeerolie bij OGW in de klas. -

Lesobservatie nadien, nabespreking aan de hand van rubric en mindmap over OGW maken; Eindgesprek met je leidinggevende en met de trainer.

Vragen: 1) Wat heeft dit traject OGW in de klas je opgeleverd? ……………………………………………………………………………………………….. ……………………………………………………………………………………………….. ……………………………………………………………………………………………….. ………………………………………………………………………………………………..

2) Wat zijn voor jou de meest waardevolle onderdelen van het traject geweest? ……………………………………………………………………………………………….. ……………………………………………………………………………………………….. ………………………………………………………………………………………………..

[Datum]

………………………………………………………………………………………………..

3) Wat doe je nu anders in je lessen? ……………………………………………………………………………………………….. ……………………………………………………………………………………………….. ……………………………………………………………………………………………….. ………………………………………………………………………………………………..

4) Welke concrete plannen heb je nog verder voor de nabije toekomst? ……………………………………………………………………………………………….. ……………………………………………………………………………………………….. ……………………………………………………………………………………………….. ………………………………………………………………………………………………..

5) Aan welke trainingsbijeenkomsten heb je deelgenomen? (zie hierboven voor de onderwerpen). Zet een kruisje bij de bijeenkomst waar jij aan deelnam. 1

/

2

/

3

/

4

/

5

Vragen om het deelnemers-certificaat goed te kunnen maken: 6) Wat zijn je voorletters:

7) Wat is je achternaam:

8) Wat is je geboortedatum:

9) Geboorteplaats:

10) Op welke school ben je werkzaam (naam en plaats):

11) Wat is je functie op de school:

Heel hartelijk dank voor het invullen. Het deelnemerscertificaat zullen we naar de school sturen.

Pagina 2/2 )RXW9HUZLM]LQJVEURQQLHW )RXW9HUZLM]LQJVEURQQLHW

1

BIJEENKOMST 1

Bijeenkomst 1 OGW in de klas, datum

Opbouw training OGW in de klas Doelen en succescriteria

Naam cursusleider

Opening en welkom

Met elkaar de werkprincipes, werkwijze en opzet van deze bijeenkomsten doornemen;

Gemeenschappelijke achtergrondkennis geven en uitwisselen o.a. vanuit onderzoek m.b.t. het belang en het stellen van doelen;

Inzicht krijgen in het verschil tussen activiteitgericht en doelgericht/ opbrengstgericht leren;

Inzicht krijgen in hoe doelen concreet benoemen en ze leren formuleren;

Inzicht krijgen in hoe doelen effectief communiceren;

Inzicht krijgen in wat succescriteria zijn en ze leren formuleren.

•

•

•

•

•

•

Doelen van deze bijeenkomst

Doornemen werkprincipes, werkwijze en opzet van de 5 bijeenkomsten

Informeren over het belang van doelen begrijpelijk formuleren en communiceren;

Informeren over succescriteria aangeven;

•

•

•

Afsluiting: evaluatie

En dit met elkaar oefenen.

Verschil tussen activiteitgericht of doelgericht (opbrengstgericht) werken;

•

Inhoudelijk deel: • Informeren over het belang van doelen stellen;

•

Agenda van deze bijeenkomst

• • • • • • • • •

Storingen gaan voor Maak contact Vertrouwelijkheid Niets is gek Zorg goed voor jezelf Zorg goed voor de ander Je bent verantwoordelijk voor je eigen ‘ja’ en ‘nee’ Laat grenzen in tact Rond zaken af

Hoe gaan we met elkaar om?

• In de training wordt gewerkt aan herkennen en erkennen van onbewuste en informele leerprocessen; • Leren is intensief van aard en leren vindt niet alleen plaats tijdens de bijeenkomsten; actief leren in de praktijk en reflectie doen ertoe; • Werken met eigen ervaringen • Onderzoeken van eigen ideeën en opvattingen in de praktijk

Uitgangspunten

• OGW start altijd (binnen alle niveaus) met de doelen formuleren

• OGW is werken in een cyclisch proces en komt terug op alle niveaus binnen het hele onderwijs: - OGW in het primaire proces: in de klas - OGW binnen de afdeling of bouw, of voor een bepaald vakgebied - OGW binnen de school - OGW binnen het bestuur

Leerlijn in de training

•OGW in de klas

Highlights van de 5 bijeenkomsten

• • • • •

Type doelen (lange, middel en korte termijn) Formulering van lesdoelen (activiteit versus doelgericht) Leerdoel versus lesdoel Communicatie over de lesdoelen Succescriteria (wanneer ben ik tevreden over het behaalde resultaat irt het inhoudelijk lesdoel)

Bijeenkomst 1: over Lesdoelen, communicatie over lesdoelen en succescriteria

Doel van evaluatie • Zicht op: - Wat er geleerd is en nog geleerd moet worden - Hoe er geleerd is en nog geleerd moet worden

Bijeenkomst 2: Evalueren

Verschillen in leerlingen erkennen en onderkennen en daarop inspelen in de les

Bijeenkomst 3: Differentiëren

Goede feedback geeft aan de leerling antwoord op : 1 Waar sta ik nu? 2 Hoe ver ben ik van het leerdoel verwijderd? 3 Welke stappen zijn nodig om het leerdoel te behalen?

Feedback en de kwaliteit van feedback is een belangrijke voorspeller van leerprestaties van leerlingen

Bijeenkomst 4: Feedback geven

Bijeenkomst 5: Data verzamelen en gebruiken in alle stappen van OGW in de klas

•OGW in de klas

Leerdoelen en communiceren over leerdoelen Succescriteria opstellen en communiceren

weten

ervaringen

vragen

Wat weten jullie al over dit onderwerp, welke ervaringen hebben jullie en welke vragen hebben jullie?

Geef uit een recente les een voorbeeld van hoe je omgaat met de doelen uit die les. Hoe pak je het aan?

4. Ik vind het belangrijk goed inzicht te hebben in de doelen van het hele jaar en niet slechts van de les.

3. Eigenlijk gaat het erom of de leerlingen de opdrachten kunnen maken en moeten ze niet wakker liggen van doelen.

2. Ik schrijf het doel van de les steeds op zodat leerlingen dat kunnen lezen.

1. Doelen zijn er voor methodemakers en verder hoef ik me er niet druk over te maken.

Enkele stellingen: eens of oneens?

zijn meer gemotiveerd. zijn meer op de taak gericht. nemen betere beslissingen om taken aan te pakken.

-

-

Het verschil tussen een effectieve leraar en een minder effectieve leraar. Dit heeft effect op de leerresultaten van de leerlingen.

• Marzano:

-

• Leerlingen:

Waarom zijn lesdoelen belangrijk?

• Herken je die bevindingen in je praktijk?

Overleg even met elkaar

Zijn ze lekker bezig? Hoe voeren de leerlingen Worden de activiteiten goed de activiteit uit? uitgevoerd? Leiden de activiteiten tot beoogde resultaten?

Focus van de leraar

Evaluatie Hebben de leerlingen goed gewerkt?

Zijn leerlingen betrokken bij de activiteit?

Focus van de leraar

Zijn de beoogde doelen gerealiseerd?

Zijn leerlingen met de juiste inhoud en onderwijsleeractiviteiten bezig?

Wat vinden leerlingen leuk? Wat is belangrijk dat leerlingen leren?

Opbrengstgericht onderwijs

Startfase

Activiteitgericht onderwijs

Activiteitgericht - Opbrengstgericht

• oppervlakkige kennis

En dit leidt tot:

Ù

Hebben ze hard gewerkt? Is het niet uit de hand gelopen?

•

•

Wat gaan we doen? Wat vinden leerlingen leuk? Zijn ze lekker bezig?

• • •

dieperliggende kennis

En dit leidt tot:

Constateren we verbetering in gedrag?

Wat gaan we leren? Wat hebben ze nodig? Leidt het tot de beoogde kennis? Zijn de doelen gehaald?

Activiteitgericht Ù Doelgericht

Stel doelen die net iets hoger liggen dan het eigen kunnen van leerlingen, maar die wel haalbaar zijn: dus doelen in de zone van de naaste ontwikkeling.

Doelen hangen samen met elkaar waardoor ze een leerlijn vormen. Die leerlijn is niet altijd lineair, maar kan b.v. bij taal/Nederlands concentrisch zijn.

Doelen worden geconcretiseerd in leeractiviteiten, deze leeractiviteiten dienen opgebouwd te worden van concreet naar abstract.

Formuleer doelen, waarbij activiteiten passen, waarmee leerlingen het geleerde oefenen en toepassen in nieuwe situaties.

•

•

•

•

Goed om te weten

• Korte termijn: lesdoelen (doelen van één les of lessenreeks) of per dagdeel.

• Middellange termijn: leerdoelen per blok, thema of project;

• Lange termijn: leerdoelen voor een heel leerjaar (afgeleid van de einddoelen);

Verschillende soorten doelen

• De leerdoelen zijn geordend op meso niveau in een leerlijn. • De leerdoelen worden gespecificeerd tot op lesniveau (micro) in lesdoelen.

• Lesdoelen: doelen die je wilt bereiken in een les of een lessenreeks, dat kunnen inhoudelijke doelen zijn, maar ook procesdoelen zoals b.v. mijn lesdoel is leerlingen betrokken bij de les houden.

• Leerdoelen: doelen uit een leerlijn, geformuleerd voor een lessenreeks

Leerdoel versus lesdoel

• Doelen gericht op wat er geleerd gaat worden: kennis en vaardigheden; • Doelen gericht op hoe er gewerkt gaat worden: vormen van verwerking van de kennis en kunde; • Doelen gericht op gedrag: welk gedrag wil de leraar zien bij het uitvoeren van de activiteiten.

• Mastery goals: om nieuwe vaardigheden te leren • Learning goals: die verder gaan dan het beheersen

Type leerdoelen (Hattie)

• Na afloop van deze les kan je . . .

• De leerling kan aan het eind van het jaar . . .

• Ik durf mijn eigen mening te geven.

• De leerling traint leerlingvaardigheden.

Wat vind je van deze doelen?

• Geef aan voor welke leerlingendoelgroep de lesdoelen zijn. • Beschrijf het waarneembare eindgedrag (wat kan de leerling aan het einde van de les) dat deze leerlingen na afloop van de les(senreeks) moet vertonen. • Vermeld (indien van toepassing) de belangrijkste omstandigheden waaronder de leerlingendoelgroep het verwachte eindgedrag moet vertonen. • Beschrijf het vereiste beheersingsniveau, b.v. door te expliciteren welke prestaties de leerling moet leveren om zijn eindgedrag als voldoende beoordeeld te zien.

Formuleren van lesdoelen!

-

Specifiek Meetbaar Acceptabel Realistisch Tijdsgebonden

• Formuleer SMART

• Omschrijf het eindgedrag

Formuleren van leerdoelen

• Afhankelijk van de gekozen vorm van differentiëren formuleer je verschillende lesdoelen, b.v. werken met homogene subgroepen of individuele leerwegen, dan formuleer je per groep van leerlingen eigen lesdoelen.

• Werk je met gedifferentieerde instructie, dan formuleer je ook per les gedifferentieerde lesdoelen. B.v. voor bepaalde leerlingengroepen verschillende lesdoelen.

Gedifferentieerde lesdoelen

Correct geformuleerde lesdoelen De leerling kan aan het einde van deze lessenreeks foutloos trek- en drukkrachten berekenen voor een maquette van een loop- en fietsbrug. De leerling kan na deze periode een website maken met Websitemaker bestaande uit minstens vier pagina's Gedurende de taak bespreken die leerlingen met elkaar wat zij verstaan onder goed samenwerken en hebben aan het einde van de les drie afspraken op geschreven voor wat zij verstaan onder goed samenwerken. In de komende vijf lesweken leert elke leerling zijn/haar eigen mening te formuleren over de onderwerpen die aan de orde komen en kan zijn/haar mening uiten aan de leerlingen waarmee hij/zij samenwerkt in het groepje.

Incorrect geformuleerde lesdoelen

De leerling traint rekenvaardigheden.

De leerling heeft inzicht in het proces van websites bouwen.

De leerlingen kunnen goed samenwerken.

Ik durf mijn eigen mening te geven.

Denk na over de lessen in de komende week. Welke lesdoelen komen aan bod. Formuleer er een aantal volgens de eerder genoemde criteria.

•

•

Complex proces: Doelen moeten helder zijn Doelen moeten niet ambigu zijn: niet multi-interpretabel Begrijpelijk voor alle leerlingen In leerlingtaal Apart formuleren van de instructie Onderscheid tussen wat je wil dat de leerlingen leren (doelen) en wat je wil dat ze gaan doen (instructie) De activiteiten van de taak zijn in lijn met de leerdoelen Leerdoel heeft de meeste impact als: Ze terug grijpen op doelen van de vorige les(senreeks) Ze aansluiten bij de opdracht(en) Ze succescriteria bevatten De feedback hierop gericht is

Delen van de lesdoelen met de leerlingen

0 niet 0 staat op het bord 0 staat in de methode 0 bespreek ik met de leerlingen 0....

Hoe communiceer jij over de doelen?

Vertellen Op het bord/digibord Op papier Met of zonder toelichting Mate van concreetheid: zonder/met benoemen van voorbeelden, aansluitend bij de belevingswereld van de leerlingen • Teruggrijpen naar het eerder geleerde (activeren van voorkennis) • Taalgebruik: in leerlingentaal

• • • • •

Manieren van communiceren

En wat doe jij nu? Hoe zou je het anders willen?

• Niet benoemen • Alleen benoemen en niet checken of de leerlingen het begrijpen • Benoemen en checken of de leerlingen het begrijpen • Benoemen, checken begrip en maakt duidelijk het belang van het lesdoel • Benoemen, checken begrip, maakt belang duidelijk en geeft plaats aan in het groter geheel van doelen

Communiceren van doelen: van goed naar beter

Terug naar de doelen uit een van je toekomstige lessen. Bespreek met elkaar op welke manier je de doelen wil communiceren aan je leerlingen.

Kan ook: Samen met de leerlingen de succescriteria formuleren, jij als leraar stelt uiteindelijk de succescriteria vast

•

•

•

Zelf als leraar bepalen, vaststellen en communiceren. Nadat je de doelen van de les hebt bepaald, kunnen de succescriteria bepaald en vastgesteld worden. Een succescriterium geeft aan: wanneer ben ik tevreden met het behaalde resultaat t.o.v. het inhoudelijk lesdoel? - Kwantitatief: aantal wat je goed moet doen/kennen b.v. 5 van de 7 sommen goed (globale formulering); - In waarneembare leeropbrengst: 5 van de 7 goed en je kunt uitleggen aan mij hoe je de sommen gemaakt hebt (concreet); - Voor verschillende groepen leerlingen zijn verschillende succescriteria mogelijk. Delen van de succescriteria met de leerlingen.

• •

Succescriteria

Ga na voor je doelen van de komende week welke succescriteria je wilt meegeven en hoe je dat met de leerlingen gaat bespreken.

Succescriteria bespreken met leerlingen.

Doelen communiceren aan leerlingen;

• Ga in de komende weken bewust aan de slag met:

Opdracht

• Evaluatie invullen

• Terugkijken naar de doelen: wat hebben we geleerd?

Terugblik op de bijeenkomst

BIJEENKOMST 2

2

•Bijeenkomst 2 OGW in de klas

Evalueren

De deelnemer kan benoemen wat hij/zij geleerd heeft van de opdrachten uit bijeenkomst 1 en kan verbeteracties formuleren. De deelnemer kan aan het einde van de bijeenkomst verschillen benoemen tussen formatieve en summatieve evaluatie De deelnemer kan aan het einde van de bijeenkomst vormen van formatieve evaluatie benoemen afhankelijk van de lesdoelen De deelnemer kan op basis van de informatie uit de evaluatie nieuwe lesdoelen bepalen

Succescriteria voor deze bijeenkomst zijn………..

-

-

-

-

Doelen bijeenkomst 2

Opdracht • Vertel aan collega - wat je hebt gedaan? - wat je hebt ervaren? - heb je de doelen en resultaten bereikt? • Collega geeft korte samenvatting en stelt nog een reflectieve vraag?

Terugblikken opdracht bijeenkomst 1

Hoe evalueer je en hoe betrek je de leerlingen bij het evalueren Hoe interpreteer je de informatie die je verzamelt door middel van evalueren Hoe zet je dit om in (gedifferentieerde) lesdoelen en activiteiten (bijeenkomst 3) en het geven van feedback (bijeenkomst 4)

Opdracht 2 • Wat is volgens jou doel en functie van evaluatie (placemat in groepen van 3 a 4 deelnemers)?

•

•

•

Hoofdvragen voor de inhoud bijeenkomst 2

Korte instructie met een opdracht (15 minuten)

Bekijken twee filmfragmenten

Instructie over type doelen en evaluatievormen, rol van leerling en de groep (zelfevaluatie en peer assessment) en verdiepingsopdracht (aan de hand van eigen casuïstiek)

•

•

•

Wat gaan we doen:

Doel • Wat er geleerd is en nog geleerd moet worden (product) • Hoe er geleerd is en nog geleerd moet worden (proces) Functie • Evaluatie geeft zowel de leerling als de leraar informatie • Type informatie hangt af van de functie van evalueren: summatief of formatief Evaluatie en OGW in de klas • Evaluatie is meest effectief als het direct gebeurt • Evaluatie is altijd gebaseerd op de les en leerdoelen

Evalueren

• Vindt plaats aan het einde van het leerproces • Weinig mogelijkheden om leerproces bij te sturen • Vaak mogelijkheden om opbrengsten tussen scholen te vergelijken indien externe normering aan is gekoppeld • Lage impact op het leren • Uitkomsten liggen vast

Summatieve evaluatie • Vindt plaats tijdens het leerproces • Veel mogelijkheden om leerproces bij te sturen • Feedback is een voorbeeld van evaluatie • Hoge impact op het leren • Uitkomsten zijn bespreekbaar

Formatieve evaluatie

• Op een gepland moment • Aan de hand van een specifieke opdracht • Feedback volgt na formatieve evaluatie. Deze feedback kan leerling gericht zijn, maar ook groepsgericht: dit kan je al, dit nog niet, zo kan je daar verder aan werken of hoe ga je daar verder aan werken?

Formatieve evaluatie

• Doorlopend en niet gepland • Just in time • Op basis van observaties en gesprekken •Actie (mondeling/schriftelijk) richting de leerling waarin duidelijk wordt gemaakt hoe de leerling verder kan richting het behalen van de (les)doelen

Feedback en

•

Opdracht Wat is de kracht van formatieve evaluatie in kader van OGW?

2. Welke informatie geeft evaluatie, wat zegt dit over verschillen tussen leerlingen en het stellen van nieuwe lesdoelen?

1. Een evaluatievorm wordt bepaald door stil te staan bij vijf vragen: waarom, wat, wanneer, wie en hoe? Vul het schema twee maal in.

Lees onderstaande vragen en bekijk de fragmenten.

Opdracht

Observatieopdrachten

Hoe

Wie

Wanneer

Wat

Waarom

Vorm

……. Fragment 1

……. Fragment 2

Vormen van evaluatie

verklaringen Weten: weetjes, regels,

conceptuele kennis

Kennis: feiten

Attitudes

Vaardigheden

Begrijpen: verbanden, relaties,

Kennis: inzichten en

gedrag automatisch uitvoeren

(Automatisch doen): houding,

handelingen uitvoeren

Kunnen: fysiek of mentaal

betekenis van woorden

Gericht op

Leeropbrengst

•

•

•

•

Voorbeelden van toetsopdrachten

Doelen en vormen evaluatie

• Over de evaluatievorm • Mate waarin ze geactiveerd worden • De mate waarin ze uitgenodigd worden een eigen oordeel te geven over zichzelf of een medeleerling • Meedenken/praten vanuit het eigen perspectief of het perspectief van de leraar

Inbreng van de leerling bij evalueren

Hoe heb je aan het gestelde doel gewerkt? Heb je de gestelde doelen behaald? Hoe weet je dat? Waaraan kan ik zien dat je de doelen hebben gehaald? • Wat heb je voor nieuws geleerd? • Wat kan beter en waarom juist dat?

• • • •

Zelfevaluatie

Voorwaarde:

- veilig pedagogisch klimaat - gaat vrijwel nooit over cognitieve doelen

Voordelen - Leerlingen kijken kritisch (leren kritisch te kijken) naar eigen werk en dat van medeleerling - Leerlingen gebruiken (ontwikkelen) vaardigheden als analyseren en reflecteren - Leerlingen integreren (leren) de geleerde kennis (te integreren) - Leerlingen werken (leren) samen (te werken) met andere leerlingen - De motivatie van leerlingen wordt geprikkeld - Het werkt verhogend voor de leeropbrengsten

Peer assessment

• A vertelt, B en C stellen verduidelijkingsvragen

Opdracht • Neem een recent gegeven les • Welke evaluatievorm is passend bij het lesdoel? • In groepjes van drie en rouleer

Opdracht eigen casuïstiek

• Vooruitblik: Koppel de komende periode bewust diverse evaluatievormen aan jouw lesdoelen en neem van één les de opzet en resultaten mee naar bijeenkomst 3. Neem de evaluatie eventueel op op video.

Opdracht • Terugblik: Welke formatieve evaluatiemomenten zaten in deze bijeenkomst?

Terugblik en vooruitblik

Kijkopdracht bijeenkomst 2 Kijk naar het fragment en vul in. Bespreek in twee groepen

Vorm

Waarom

Wat

Wanneer

Wie

Hoe

13939

……. Fragment 1

……. Fragment 2

[Leeropbrengst

Gericht op

Voorbeelden van toetsopdrachten

Kennis: inzichten en conceptuele

Begrijpen: verbanden, relaties,

•

kennis

verklaringen

Volgordeopdrachten maken (plaatjes op volgorde leggen, processen op volgorde zetten en dergelijke)

•

Problemen oplossen en oplossingsstrategie toelichten

•

Korte presentatie verzorgen over bepaalde concepten of onderwerpen

•

Vragen beantwoorden die gericht zijn op verbanden leggen

•

Fenomenen verklaren

•

Miniles verzorgen voor een groepje medeleerlingen

• •

Hoofdpuntenwerkstukje maken Overeenkomsten en verschillen uitwerken en toelichten

Kennis: feiten

Weten: weetjes, regels,

•

betekenis van woorden

Vragen beantwoorden gericht op reproductie (mondeling of schriftelijk)

•

De weetjes in een tekst opnemen, waaruit duidelijk wordt of de feiten, woorden en regels bekend zijn

•

Uitleg geven aan een andere leerling

•

Samen met medeleerlingen een weetjeslijst invullen

•

Miniquiz maken: wat is wat?

•

Flitskaarten met nieuwe woorden en feitenvragen gebruiken

Vaardigheden

Kunnen: fysiek of mentaal

•

Meerkeuzetoets maken

•

Ict-toets of toetsspel maken

•

Vaardigheid demonstreren door

handelingen uitvoeren

doen of toepassen, zoals spelling, rekensommen of motorische oefeningen

Attitudes

(Automatisch doen): houding,

•

Gewenst gedrag laten zien

gedrag automatisch uitvoeren

•

Herhalen van de regels om leerlingen alert te houden

•

Verwoorden wat (on)gewenst gedrag is

Bron: Bakx, A., Ros, A., & Teune, P. (2012) Opbrengstgericht onderwijs ontwerpen. Uitgeverij Coutinho, Bussum

ToetsSpecial | Leren van Toetsen

Leren van toetsen; een cyclisch proces In de afgelopen decennia is er steeds meer aandacht gekomen voor de rol van toetsen in het leerproces. Toetsen zijn een cruciaal onderdeel van het onderwijs, toetsen maken het mogelijk om na te gaan of een bepaalde instructieactiviteit heeft geleid tot het realiseren van de beoogde leeropbrengsten. In de klas worden toetsen veelvuldig gebruikt om informatie te verzamelen over de leeropbrengsten van leerlingen. Assessment Onder een toets verstaan we "een instrument voor het meten van iemands kennis en vaardigheden (praktische vaardigheden en houdingen) die door middel van studie en/of onderwijs op een of ander vakgebied zijn verworven" (Cito toetstechnische begrippenlijst, 2010). Naast toetsen kan ook met behulp van andere instrumenten bepaald worden wat leerlingen kennen en kunnen. Zo kan gebruik gemaakt worden van bijvoorbeeld huiswerk, projecten, discussies en observaties. Wanneer een breed spectrum aan technieken wordt gebruikt voor het verzamelen van informatie over leeropbrengsten spreekt men ook wel van assessment. Formatieve en summatieve toetsing Traditioneel wordt in de onderwijswereld onderscheid gemaakt tussen formatieve en summatieve functies van toetsing. Kort gezegd hebben summatieve toetsen als functie de leerprestaties van een leerling te beoordelen en vervolgens een beslissing te nemen met betrekking tot selectie, classificatie, plaatsing of certificering (Sanders, 2011). Er zijn echter ook toetsen die als doel hebben inzicht te krijgen in het onderwijsleerproces en dit waar nodig bij te sturen. Deze toetsen worden formatieve toetsen genoemd. Formatieve toetsen hebben als doel informatie te geven aan de leerkracht en leerlingen over de mate waarin de leerstof al wel of niet beheerst wordt. Over deze toetsspecial Deze special heeft betrekking op het gebruik van toetsen voor formatieve doeleinden. In de afgelopen jaren zijn er veel begrippen ontstaan die samenhangen en deels samenvallen met het begrip formatieve toetsing. Veelgebruikte begrippen zijn opbrengstgericht werken (OGW), assessment for learning (AfL) en diagnostisch toetsen (DT). Het doel van deze special is om de lezer wegwijs te maken in de betekenis van deze begrippen, de overeenkomsten en verschillen tussen deze begrippen te verduidelijken en een beeld te schetsen van de betekenis van deze begrippen voor de onderwijspraktijk in de klas. Deze special is geschreven vanuit de context van het primair onderwijs, maar de beschreven benaderingen kunnen in alle vormen van onderwijs worden toegepast. De special is gebaseerd op het nog te verschijnen artikel 'Data-based decision making, assessment for learning, and diagnostic testing in formative assessment' geschreven door Van der Kleij, Vermeulen, Schildkamp en Eggen.

Dit artikel is de printversie van de toetsspecial ‘Leren van toetsen; een cyclisch proces’ op de website Toetswijzer, zie: http://toetswijzer.kennisnet.nl/html/leren_van_toetsen/default.shtm. Op dit webadres kunt u ook terecht voor de hyperlinks in onderstaand artikel.

Inhoud De toetsspecial behandelt de volgende onderwerpen: 1 | Formatieve versus summatieve toetsing 2 | Opbrengstgericht werken (OGW) 3 | Assessment for learning (AfL) 4 | Diagnostisch toetsen (DT) 5 | Samenvatting van de belangrijkste kenmerken van OGW, AfL en DT 6 | Overeenkomsten en verschillen 7 | Een aanzet tot een programma voor formatieve toetsing 8 | Literatuur

ToetsWijzer | http://toetswijzer.kennisnet.nl

1


1 | Formatieve versus summatieve toetsing In de Toetswijzer-special Toetsconstructieproces in 8 stappen zijn de mogelijke functies van toetsen beschreven. Summatieve toetsen Toetsen kunnen bijvoorbeeld een selectiefunctie, kwalificerende functie of een prognostische functie hebben. Deze toetsen worden afgenomen na een bepaalde periode om te beoordelen in hoeverre een leerling de beoogde leerdoelen in voldoende mate beheerst. Op basis van de score op een dergelijke toets wordt een (deel van de) zak-/slaagbeslissing genomen. Men zegt in dit geval dat de toets een summatieve functie heeft. Zie voor praktische voorbeelden van summatieve toetsen in verschillende onderwijssectoren hoofdstuk 1 van de publicatie Toetsen op School (Sanders, 2011). Formatieve toetsen Formatieve toetsen daarentegen hebben als doel de leerkracht en leerlingen te informeren over de mate waarin de leerstof beheerst wordt. Op basis van de resultaten op deze toetsen kan worden besloten om het onderwijs aan de groep of de individuele leerling aan te passen. Formatieve toetsen hebben daarom een didactische functie. Wat inhoudt dat ze informatie verschaffen over het onderwijsleerproces en hier sturing aan geven (zie de Toetswijzer-special Toetsconstructieproces in 8 stappen). Mede vanwege deze didactische functie wordt van formatieve toetsen beweerd dat deze een positieve invloed kunnen hebben op de leeropbrengst van leerlingen. Er is alleen sprake van formatieve toetsing wanneer de resultaten worden gebruikt voor het geven van feedback en/of het aanpassen van de instructie. Summatieve of formatieve functie Een toets is niet per definitie formatief of summatief. Het gaat erom hoe de toetsresultaten gebruikt worden, met andere woorden; de functie van de toetsresultaten. Wanneer het resultaat op een toets meetelt bij het maken van een (deel van de) zak-/slaagbeslissing vervult deze een summatieve functie. Dezelfde toets kan echter ook een formatieve functie vervullen. Dit is bijvoorbeeld het geval wanneer er feedback gegeven wordt aan de leerling, die de leerling kan gebruiken in het vervolgtraject van het onderwijs. Een ander voorbeeld is een leerkracht die toetsresultaten gebruikt om de effectiviteit van zijn of haar instructie te evalueren. Wanneer bijvoorbeeld uit de toetsresultaten blijkt dat het merendeel van de klas een onderdeel van de leerstof niet heeft begrepen, kan de leerkracht concluderen dat hij/zij extra aandacht aan dat deel van de leerstof moet besteden. Formatieve toetsing Formatieve toetsing is een breder begrip dan hierboven is beschreven. De term is geïntroduceerd om de tussentijdse evaluatie van programma's (interventies) te beschrijven (Scriven, 1967). In 1968 is de term formatief voor het eerst gebruikt in de context van instructie. In de loop der jaren zijn er verschillende definities toegekend aan formatieve toetsing. Er kan onderscheid worden gemaakt tussen formatieve programma-evaluaties en formatieve assessments (Shepard, 2005). Formatieve programma-evaluaties zijn bedoeld om op een hoger aggregatieniveau dan de leerling (klas, school) beslissingen te nemen over de onderwijsbehoeften van groepen leerlingen. Formatief assessment is gericht op het leerlingen klasniveau; het wordt gebruikt om instructie te laten aansluiten op individuele onderwijsbehoeften van leerlingen. In deze special zullen we spreken van formatieve evaluatie als het evalueren van de kwaliteit van het onderwijs wordt bedoeld. Van formatief assessment is sprake als het toetsproces gericht is op leerprocessen binnen een klas en het verbeteren van instructie aan de klas en individuele leerlingen. Niveaus van assessment en evaluatie Opbrengstgericht werken valt zowel onder formatieve programma-evaluatie als onder formatief assessment. Assessment for learning valt onder formatief assessment. Diagnostisch toetsen valt onder formatief assessment, maar gaat dieper in op onderwijsbehoeften van leerlingen dan assessment for learning. De niveaus waarop deze drie benaderingen zijn gericht, zijn weergegeven in onderstaande figuur. Het schoolniveau in het figuur op de volgende pagina verwijst naar een school of een schoolbestuur.


2


Niveaus van assessment en evaluatie in opbrengstgericht werken, assessment for learning en diagnostisch toetsen

2 | Opbrengstgericht werken Een manier om de opbrengsten van het onderwijs te verhogen, is door intensiever gebruik te maken van toetsresultaten. Dit houdt in dat het onderwijs zou moeten worden gestuurd door de opbrengsten van het leren zoals gedemonstreerd in toetsen en dagelijkse leeractiviteiten. Dit wordt ook wel opbrengstgericht werken genoemd. Dit hoofdstuk gaat in op de betekenis van het begrip opbrengstgericht werken, wat zal worden afgekort tot OGW. Definities van OGW OGW houdt in dat gegevens over opbrengsten worden geanalyseerd en vervolgens benut om het onderwijs af te stemmen op de behoeften van de leerlingen in relatie tot het behalen van de beoogde leeropbrengsten. De term OGW vindt zijn oorsprong in het Engelse data-driven decision making (bijvoorbeeld beschreven door Fullan, 2007). Dit begrip is relatief nieuw, maar de gedachte er achter is dat niet. Er wordt bijvoorbeeld al lang gebruik gemaakt van data over leerlingprestaties, ook wel datafeedback genoemd, om te komen tot beslissingen over de vervolgstappen in het instructieproces (Morrison, Ross, & Kemp, 2007). In deze special wordt een combinatie van de volgende definities van OGW gehanteerd: "Het systematisch, doelgericht werken aan het maximaliseren van prestaties" (Inspectie van het Onderwijs, 2010). OGW wordt ook wel meetgestuurd onderwijs genoemd. Qua betekenis komt deze term grotendeels overeen met OGW en data-driven decision making. Meetgestuurd onderwijs kan worden gedefinieerd als: "Onderwijs waarbij betrokkenen (scholen, leerkrachten, leerlingen) zich in hun taakuitvoering laten sturen door de uitkomsten van metingen" (Ledoux, Blok, Boogaard, & Krüger, 2009, p. 9). Ledoux et al. (2009) geven de voorkeur aan de term meetgestuurd onderwijs boven OGW omdat in de term OGW geen verwijzing zit naar het systematische gebruik van feedback. Met feedback wordt in deze context de uitkomst van metingen van leerlingprestaties bedoeld. In de definitie van de Inspectie van het Onderwijs komt echter wel terug dat OGW een systematisch proces is. Daarentegen wordt er niet gespecificeerd wie de betrokkenen zijn. Wat is OGW? OGW omvat een systematisch en cyclisch proces, waarin steeds dezelfde stappen worden uitgevoerd: plannen, uitvoeren, evalueren en handelen. Het evalueren van het onderwijs wordt bij voorkeur gebaseerd op betrouwbare en objectieve gegevens. Deze evaluatie noemt men het toepassen van datafeedback. Er is sprake van OGW wanneer deze datafeedback wordt gebruikt om beslissingen te nemen over de inrichting van het onderwijs (Ledoux et al., 2009).


3

ToetsSpecial | Leren van Toetsen Zoals blijkt uit de voorgaande paragraaf zijn er verschillende definities van OGW in omloop. Er zijn tussen de verschillende definities echter wel overeenkomsten te vinden. In alle gevallen gaat het namelijk om: x x

een systematisch en cyclisch proces, met als doel de leeropbrengsten van leerlingen te verhogen.

Wat opvalt aan de definitie van de Inspectie van het Onderwijs is dat wat onder prestaties verstaan wordt zeer breed te interpreteren is. Verder zijn de gegevens over opbrengsten die zouden moeten worden gebruikt om deze prestaties te bereiken niet gespecificeerd. Aan de ene kant bestaat de visie dat binnen OGW enkel gebruik gemaakt moet worden van data over leerlingprestaties op gestandaardiseerde en genormeerde toetsen, om de kwaliteit van de genomen beslissing te waarborgen. Aan de andere kant bestaat de visie dat binnen OGW diverse vormen van assessment gebruikt kunnen worden, zoals observaties, methodegebonden toetsen, beoordelingen van schrijfproducten, etc. In definities over OGW zijn bovendien verschillende meningen terug te vinden over de mate waarin metingen objectief en formeel moeten zijn. De mate waarin de gebruikte datafeedback afkomstig moet zijn uit objectieve en kwalitatief hoogwaardige bronnen hangt af van de consequenties van de te nemen beslissing. Hiermee verschilt de frequentie waarmee de evaluatieve cyclus doorlopen kan worden. Punten waarop de definities verschillen zijn de niveaus waarop deze gericht zijn, bijvoorbeeld op de individuele leerling, het klasniveau of op het schoolniveau. Op leerlingen klasniveau is OGW voornamelijk gericht op het aanpassen van de instructie en didactiek aan de behoeften van leerlingen. Door het instructie-aanbod in didactisch opzicht aan te passen op de behoeften van de leerlingen kan voor elke leerling een maximale leerwinst worden bereikt. Hierbij gaat speciale aandacht uit naar de behoefte van opvallende leerlingen. Opvallende leerlingen zijn niet alleen leerlingen die onvoldoende voortgang maken, maar ook leerlingen die juist veel beter presteren dan het gemiddelde niveau dat van hen verwacht mag worden. Hiervoor worden bijvoorbeeld gegevens uit een leerlingvolgsysteem gebruikt, aangevuld met informatie verkregen met methodegebonden toetsen. Deze gegevens worden voornamelijk verzameld met toetsen met een formatief doel, aangezien deze toetsen de leerkracht en leerlingen informatie verschaffen over de mate waarin de leerstof beheerst wordt. Dit valt onder formatief assessment. Op schoolniveau heeft OGW betrekking op kwaliteitszorg in brede zin, bijvoorbeeld schoolzelfevaluaties. De datafeedback die op schoolniveau kan worden verzameld kan afkomstig zijn uit een breed spectrum aan bronnen, zoals leerlingprestaties op een centrale eindtoets, schoolzelfevaluatie-rapportages, of vragenlijsten. Op schoolniveau kunnen dus ook toetsen met een summatief doel waardevolle informatie verschaffen. Wanneer datafeedback op schoolniveau wordt gebruikt om beslissingen te nemen over de inrichting van het onderwijs, spreken we van formatieve evaluatie. Daarentegen is er bijvoorbeeld sprake van summatieve evaluatie wanneer deze data worden gebruikt voor kwaliteitsbeoordelingen door de Inspectie van het Onderwijs. Verder verschilt de aard van de datafeedback die verzameld kan worden op verschillende niveaus. Leerkrachten zullen bijvoorbeeld andere datafeedback verzamelen dan de schooldirectie. Uiteraard vindt er interactie plaats tussen de verschillende niveaus binnen de school en zullen de beslissingen op deze niveaus elkaar beïnvloeden (Mandinach, Honey, & Light, 2006). Uit het onderzoek van Ledoux et al. (2009) blijkt dat OGW een positief effect kan hebben op de leeropbrengsten van leerlingen. De redenen hiervoor zijn dat OGW het mogelijk maakt om nauwkeuriger zwakke plekken te signaleren in het leerproces van de leerling, de resultaten te vergelijken met die van andere leerlingen (of andere klassen en scholen), of met een referentieniveau. Doordat hierdoor verbeterd inzicht in de zwakke plekken ontstaat, kunnen meer gericht verbeteringsmaatregelen genomen worden. Het gaat er dus om dat leerkrachten weten wat een leerling wel of niet kan om vervolgens het aanbod van de instructie daarop af te stemmen. Dit vergt


4

ToetsSpecial | Leren van Toetsen naast een goede interpretatie van waar nog onderwijsbehoeften liggen ook de competentie om het onderwijsaanbod op basis van verschillen in onderwijsbehoeften te differentiëren. Data-driven decision making en data-driven teaching OGW vindt zijn oorsprong in data-driven decision making (datagestuurde beslissingen nemen) en data-driven teaching (datagestuurd lesgeven). Deze twee begrippen zijn nauw gerelateerd, maar datadriven teaching is voornamelijk gericht op het klasniveau, terwijl data-driven decision making alle niveaus in de school behelst. Om meer duidelijkheid te verschaffen over de kenmerken van OGW gaan we kort in op de begrippen data-driven decision making en data-driven teaching en de totstandkoming hiervan. Traditioneel wordt het onderwijs gezien als een veld waarin leerkrachten op basis van hun intuïtie en instinct beslissingen nemen (Slavin, 2002). De No Child Left Behind Act (NCLB) in de Verenigde Staten heeft er echter voor gezorgd dat het gebruik van data om de schoolpraktijk te informeren aan populariteit heeft gewonnen. De gedachte achter NCLB is dat door standaarden te bepalen en meetbare doelen te stellen de leeropbrengsten van leerlingen verhoogd kunnen worden. Onderzoek heeft aangetoond dat het stellen van nauwkeurige leerdoelen kan leiden tot prestatieverbetering. In Nederland hebben de beleidsveranderingen uit de Verenigde Staten geleid tot een nieuwe onderwijsvisie: leerlingen moeten, ongeacht eventuele speciale onderwijsbehoeften, de kans krijgen naar dezelfde school te gaan als leerlingen zonder speciale onderwijsbehoeften. Deze visie is onder andere terug te vinden in onderwijsbeleid zoals Weer Samen Naar School (Ministerie van OCW, 1990) en Passend Onderwijs (Ministerie van OCW, 2009). Door deze veranderingen wordt in het reguliere onderwijs belang gehecht aan het aansluiten op de onderwijsbehoeften van alle leerlingen in plaats van alleen zorgleerlingen (leerlingen met speciale onderwijsbehoeften). Schildkamp en Kuiper (2010) definiëren data-driven decision making als "het systematisch analyseren van bestaande databronnen in de school, uitkomsten van analyses toepassen om instructie, curricula en schoolprestaties te innoveren en implementeren (bijvoorbeeld verbeteringsacties uitvoeren) en deze innovaties te evalueren" (p. 482). Deze databronnen zijn niet alleen toetsresultaten van leerlingen. Bruikbare data zijn bijvoorbeeld schoolzelfevaluatie-data, data over de kenmerken van leerlingen in de school, leerresultaten op een centrale eindtoets, leerresultaten op methodegebonden toetsen en de resultaten uit vragenlijsten afgenomen aan ouders of leerlingen (Schildkamp & Kuiper, 2010). De term OGW zoals deze in de Nederlandse context gebruikt wordt ligt ergens tussen datadriven decision making en data-driven teaching, waarin wordt nagestreefd dat in de school als geheel een meer onderzoekende werkwijze wordt gehanteerd. In Nederland ligt vooral nadruk op leerlingprestaties als bron van datafeedback, terwijl in data-driven decision making ook gebruik gemaakt wordt van andere bronnen van datafeedback, zoals resultaten uit een vragenlijstonderzoek. Het uitgangspunt van zowel OGW als data-driven decision making en data-driven teaching is dat datafeedback kan worden gebruikt om goed geïnformeerde beslissingen te nemen over het onderwijs. De volgende paragraaf zal hier op ingaan. Van datafeedback naar beslissingen over het onderwijs Veel scholen hebben beschikking over objectieve gegevens over de leerprestaties en de leervorderingen van leerlingen, bijvoorbeeld uit een leerlingvolgsysteem. Ook beschikken leerkrachten over datafeedback die in de dagelijkse praktijk met verschillende assessments wordt verzameld. Zoals al eerder aangegeven is er sprake van OGW wanneer datafeedback daadwerkelijk wordt gebruikt om beslissingen te nemen over de inrichting van het onderwijs. In de Nederlandse scholen wordt datafeedback echter nog onvoldoende benut (Ledoux et al., 2009). De beschikbare gegevens worden dus nog in onvoldoende mate gebruikt om gericht veranderingen door te voeren in het onderwijsprogramma om aan de wensen en noden van de leerlingen te voldoen. Wanneer datafeedback goed benut wordt zal dit leiden tot onderwijs dat beter is afgestemd op de behoeften van leerlingen en uiteindelijk tot betere leerresultaten. Bij OGW speelt de evaluatieve cyclus in het onderwijsproces een grote rol. Of in de woorden van Ledoux et al. (2009): "Het gebruik van vorderingengegevens is onlosmakelijk verbonden met de evaluatieve cyclus" (p. 21). Zij geven aan dat in de praktijk de evaluatieve cyclus vaak niet in zijn geheel wordt doorlopen. Hierbij ontbreekt volgens hen het stellen van doelen en vastleggen van standaarden, het interpreteren van data en het nemen van beslissingen. Verder stellen zij dat de


5

ToetsSpecial | Leren van Toetsen kwaliteit van de evaluatieve cyclus rechtstreeks afhangt van de kwaliteit van de datafeedback die is verzameld. Dit betekent dan ook dat onbetrouwbare datafeedback ertoe kan leiden dat onjuiste beslissingen worden genomen. Maar ook de onjuiste interpretatie van betrouwbare data kan leiden tot onterechte beslissingen (Visscher & Ehren, 2011). Het juist kunnen interpreteren van de datafeedback is dus een voorwaarde voor een succesvolle invoering van OGW. Verder is een risico van het gebruik van een vaste evaluatieve cyclus dat men in een mechanistische aanpak beland zonder aandacht voor de eigen context. Gebruik maken van datafeedback houdt in dat scholen allerlei bronnen van informatie benutten om zelf te onderzoeken wat wel en niet werkt. Light, Wexler en Heinze (2004) en Madinach et al. (2006) beschrijven het proces van datafeedback naar beslissingen over het onderwijs: 1. Data zijn ruw materiaal, bijvoorbeeld scores van leerlingen op een toets. Of data worden omgezet naar informatie is in de handen van de persoon die de data bestudeert. Nadat de data zijn verzameld moeten deze op een of andere manier worden samengevoegd en gepresenteerd. Dit kan bijvoorbeeld betekenen een rapportage maken om de betekenis van de data eruit te halen, oftewel, data omzetten in informatie. Een leerlingvolgsysteem kan hierbij nuttige ondersteuning bieden. 2. Vervolgens worden patronen in de data geanalyseerd en de informatie die hieruit wordt gehaald samengevat. In deze fase vindt interpretatie van de data plaats en worden wanneer nodig diepteanalyses uitgevoerd. Ook kan het in deze fase nodig zijn om meer data te verzamelen, bijvoorbeeld met behulp van een diagnostisch toetsinstrument. 3. De verkregen informatie wordt omgezet in kennis. Om dit te doen moet de verzamelde informatie worden gesynthetiseerd, waarna wordt bepaald welke acties nodig zijn. Dit leidt tot het nemen van beslissingen, die worden uitgevoerd en waarvan vervolgens de opbrengsten worden gemeten. Met andere woorden, er wordt weer teruggegaan naar de eerste stap in het proces. Op deze manier vormt zich een feedbackloop. Binnen de school kunnen veel verschillende feedbackloops ontstaan. De frequentie waarmee een feedbackloop wordt doorlopen is onder andere afhankelijk van het gebruikte type datafeedback. Datafeedback uit formele en objectieve toetsen, bijvoorbeeld uit een leerlingvolgsysteem, zijn minder frequent beschikbaar dan datafeedback uit informele assessment situaties, bijvoorbeeld uit een methodegebonden toets. Strategieën voor OGW Zoals al eerder aangegeven speelt de evaluatieve cyclus een grote rol in de systematische benutting van gegevens over leerprestaties van leerlingen. In deze paragraaf wordt verder ingegaan op de evaluatieve cyclus. Door Ledoux et al. (2009) wordt deze cyclus beschreven in vijf stappen: 1. 2. 3. 4. 5.

Vastleggen van doelen en standaarden Informatie (data) verzamelen Verzamelde gegevens registreren Resultaten interpreteren Beslissingen nemen

Om een praktisch voorbeeld te nemen zullen wij de cyclus zoals beschreven door Ledoux et al. (2009) doorlopen in de rol van de leerkracht met als doel beslissingen te nemen naar aanleiding van de resultaten op een toets. Bij stap één worden door de school zelf doelen en standaarden vastgelegd of worden extern opgestelde doelen en standaarden gehanteerd. In stap twee wordt informatie verzameld over de leervoortgang van leerlingen, dit is dus de afname van de toets. Zoals is gebleken uit de voorgaande paragraaf kunnen we in deze fase eigenlijk nog niet spreken van informatie. Het zou beter zijn om te spreken van het verzamelen van data, immers, informatie ontstaat pas wanneer er betekenis wordt gegeven aan de data (dit vindt plaats in stap vier van de cyclus). Data zijn in dit voorbeeld toetsscores van leerlingen.


6

ToetsSpecial | Leren van Toetsen Vervolgens worden in stap drie de data (toetsscores) geregistreerd. Bijvoorbeeld het invoeren van toetsresultaten in een leerlingvolgsysteem. De vierde stap is de interpretatie van de verzamelde toetsscores. Bij het interpreteren van de toetsscores gaat het erom de geobserveerde scores te vergelijken met een standaard. In deze stap wordt er kritisch gekeken naar de eigen onderwijsopbrengsten. Samenwerking met collega's kan hierbij nuttig zijn. De vierde fase resulteert in inzicht in de betekenis van de toetsscores voor de eigen onderwijscontext (informatie) en patronen die hierin zichtbaar zijn. In de vijfde stap wordt tenslotte de informatie omgezet in kennis en worden beslissingen genomen over de inrichting van het onderwijs. Een mogelijke actie van een leerkracht na het doorlopen van de vijf stappen in de evaluatieve cyclus is extra aandacht besteden aan een bepaald onderwerp of bepaalde leerlingen extra instructie te geven. De effectiviteit van de genomen beslissing wordt vervolgens geëvalueerd door de cyclus opnieuw te doorlopen, wanneer dit niet gedaan wordt is de feedbackloop niet compleet. De kwaliteit van de cyclus hangt af van de kwaliteit van de data die zijn verzameld. Dit wil zeggen dat onbetrouwbare data kunnen leiden tot het nemen van verkeerde beslissingen. De kwaliteit van de verzamelde data (in stap twee) is dus noodzakelijk voor een goed verloop van de rest van het proces. Afhankelijk van hoe belangrijk de beslissing is die genomen moet worden, kunnen meer of minder strenge eisen worden gesteld aan de kwaliteit van de data. Ook is het belangrijk om elke stap in de evaluatieve cyclus volledig te doorlopen. Wanneer er bijvoorbeeld geen duidelijke doelen en standaarden zijn zal dit de interpretatie van de toetsresultaten bemoeilijken. Uit onderzoek is gebleken dat scholen vooral moeite hebben met het uitvoeren van stap één, vier en vijf van de cyclus (Ledoux et al., 2009). Praktische voorwaarden bij OGW Visscher en Ehren (2011) hebben vier voorwaarden geformuleerd waaraan voldaan moet worden om bovenstaande kerncomponenten succesvol in te voeren: 1. Er is een instrument beschikbaar waarmee de onderwijsresultaten (leeropbrengsten van leerlingen) op valide en betrouwbare wijze kunnen worden gemeten. Aangezien deze data de basis vormen voor de te maken instructiebeslissingen is de kwaliteit van de gebruikte instrumenten van groot belang. 2. Er wordt een vaste cyclus gevolgd. De effectiviteit van de gekozen instructiebenadering wordt geëvalueerd in een volgende meting. Tijdens de uitvoering van de cyclus is het monitoren van de voortgang van belang. Hierbij kunnen de prestaties van leerlingen op methodegebonden toetsen nuttige inzichten opleveren. 3. Er is tijd beschikbaar om de vernieuwingen te ontwikkelen en in te voeren. Ook is er tijd beschikbaar voor het uitvoeren van nieuwe werkzaamheden. 4. Er is een goede afstemming tussen instructie en toetsmaterialen, wat de koppeling tussen datafeedback en instructiebeslissingen vergemakkelijkt. Wanneer scholen opbrengstgericht gaan werken zal dit van de medewerkers binnen de school het volgende eisen (Visscher & Ehren, 2011): x x x x

Men zal zich moeten verdiepen in nieuwe werkwijze. Men zal nieuwe kennis moeten opdoen en deze ook leren toepassen binnen de werkwijze van OGW. Binnen het schoolteam zullen precieze en realistische doelen moeten worden gesteld en de behaalde resultaten moeten worden geëvalueerd aan de hand van de gestelde doelen. Men zal moeten leren om kritisch naar de eigen resultaten te kijken en een relatie te leggen tussen het gegeven onderwijs en de behaalde resultaten.


7


3 | Assessment for learning In de introductie is de term 'assessment for learning' genoemd als een manier om sturing te geven aan het leerproces, met andere woorden, voor formatieve doeleinden. Assessment for learning betekent letterlijk vertaald 'assessment voor leren'. In de Nederlandstalige literatuur wordt assessment for learning ook wel 'Evalueren om te leren' genoemd. In deze special wordt de originele term 'assessment for learning' gehanteerd, die afgekort zal worden als AfL. Dit hoofdstuk gaat in op de theorie achter AfL en de belangrijke aspecten die hierbij een rol spelen. Definities van AfL Net zoals voor formatieve toetsing zijn er voor AfL verschillende definities in omloop. In deze special geven we twee veelgebruikte definities van AfL: 1. AfL is "het proces van zoeken naar en het interpreteren van bewijs om gebruikt te worden door lerenden en hun leerkrachten om te beslissen waar lerenden zijn in hun leerproces, waar zij heen moeten en hoe ze daar kunnen komen" (Broadfoot et al., 2002, p. 2-3). 2. "Assessment for learning is onderdeel van de alledaagse praktijk met leerlingen, leerkrachten en medeleerlingen waarin wordt gezocht naar, gereflecteerd op en gereageerd op informatie uit dialogen, demonstraties en observaties op manieren die continu leren bevorderen" (Klenowski, 2009, p. 264). In de volgende paragrafen zullen deze definities verder worden toegelicht. Vervolgens geven we op basis van deze verschillende definities en strategieën over AfL praktische handvaten. Wat is AfL? AfL kan het best worden gezien als een benadering naar toetsing in de klas, het is geen strikt geformuleerde theorie. In AfL is assessment geïntegreerd in de dagelijkse lespraktijk. Assessments hebben als doel bij te dragen aan het leerproces. De resultaten van assessments worden gebruikt om de positie van de leerling in het leerproces te bepalen ten opzichte van de te bereiken leerdoelen. Hierdoor kan het onderwijs beter worden afgestemd op de behoefte van de leerling(en). De nadruk ligt op wat er is geleerd en de kwaliteit van interacties en relaties in de klas. Het begrip assessment wordt heel breed geïnterpreteerd. Het bewijs over de leerprocessen van leerlingen dat wordt verzameld in AfL kan zowel kwalitatief als kwantitatief van aard zijn. De resultaten op een toets leveren bijvoorbeeld kwantitatieve informatie op (een score op de toets) maar ook kwalitatieve informatie, bijvoorbeeld welke soort vragen een leerling juist of onjuist heeft beantwoord. Andere bronnen uit de alledaagse praktijk leveren alleen kwalitatieve informatie op, zoals dialogen en observaties. AfL maakt het mogelijk om te anticiperen op zwakkere punten in het huidige leerproces en vervolgstappen te identificeren om de beoogde doelen te bereiken (Assessment Reform Group, 1999). Een cruciaal aspect van AfL is feedback, wat wordt gebruikt om leerlingen te sturen in hun toekomstig leergedrag (Stobart, 2008). Meerdere onderzoekers beweren dat AfL de leeropbrengsten van leerlingen kan verhogen. De redenen hiervoor zijn dat: 1. leerlingen weten wat ze moeten leren; 2. assessments worden gebruikt om voortgang te bepalen; 3. leerlingen feedback ontvangen. In AfL ligt er dan ook veel nadruk op het leerproces en niet alleen op het eindproduct (de leeropbrengsten).


8

ToetsSpecial | Leren van Toetsen De AfL-benadering omvat meer dan alleen een manier om assessment en resultaten op assessments te gebruiken. De Assessment Reform Group (1999) omschrijft AfL aan de hand van vijf kenmerken (p. 145): x x x x x

leerlingen zijn actief betrokken bij hun eigen leerproces; effectieve feedback wordt gegeven aan leerlingen; instructieactiviteiten worden aangepast naar aanleiding van assessment resultaten; leerlingen zijn in staat om self-assessment uit te voeren; de invloed van assessment op de motivatie en het zelfvertrouwen van leerlingen wordt erkend.

Stobart (2008) benadrukt dat AfL een sociale activiteit is die zowel de identiteit van de leerling en het soort leren dat plaatsvindt beïnvloed. De nadruk ligt op het begrijpen en het verbeteren van het leren. De kern van deze visie is dat leerlingen actief deelnemen aan hun leerproces en dit zelf reguleren. Ook zijn zij in staat om hun eigen werk en dat van anderen te beoordelen. De basis voor het leren vindt plaats in samenwerking, door gedeelde leerintenties en succescriteria. Peer- en self-assessment (waarbij leerlingen hun medeleerlingen en zichzelf beoordelen) spelen een belangrijke rol in AfL, evenals feedback. Strategieën voor AfL Uit de omschrijving van AfL door de Assessment Reform Group wordt duidelijk dat leerkrachten effectieve feedback moeten verschaffen aan leerlingen en dat zij hun instructieactiviteiten moeten afstemmen op de behoeften van leerlingen. Aan de andere kant wordt van leerlingen verwacht dat zij actief deelnemen aan hun eigen leerproces en gebruik maken van de feedback die zij ontvangen. Ook moeten zij in staat zijn om hun eigen leren te beoordelen. Black en Wiliam (2009) stellen op basis van de vijf kernfactoren van de Assessment Reform Group (1999) strategieën voor die gebruikt kunnen worden om AfL in de praktijk toe te passen: 1. Maak duidelijk wat de leerdoelen zijn en bediscussieer succescriteria De eerste strategie is bedoeld om leerlingen inzicht te geven in de te behalen leerdoelen. Op deze manier hebben zij een idee waar zij heengaan in hun leerproces en wat hun huidige positie is met betrekking tot de beoogde doelen (Harlen & Winter, 2004; Stobart 2008). Het gevaar is echter dat deze leeropbrengsten meer aangekondigd dan onderhandeld worden, dit is in het bijzonder het geval wanneer er voor elke les zeer specifieke en vaste doelen worden gehanteerd. Clarke (2001) gebruikt daarom de term 'leerintentie', deze term is zowel flexibel als breed. In AfL is het van belang dat wanneer dit nodig blijkt, kan worden afgeweken van een lesplan om de bredere doelen te kunnen bereiken. Door over leerintenties te onderhandelen en te discussiëren kan de autonomie van de leerling worden bevorderd. 2. Ontwerp effectieve discussies in de klas en andere leertaken waarmee informatie verzameld kan worden over de leervoortgang van leerlingen De tweede strategie maakt duidelijk dat niet alleen toetsen een middel zijn om informatie te verzamelen over leervoortgang, maar dat ook activiteiten in de klas zoals discussies een belangrijke informatiebron kunnen vormen (Stobart, 2008). De assessmentvormen die worden gebruikt binnen AfL zijn flexibel en interactief en maken het mogelijk om direct in te grijpen wanneer dit nodig is, door bijvoorbeeld feedback en begeleiding. 3. Geef feedback die leerlingen vooruit helpt De derde strategie houdt in dat er effectieve feedback moet worden gegeven aan leerlingen. Feedback wordt gezien als een kernmechanisme in AfL, omdat het mogelijk maakt om het gat te vullen tussen waar de leerling momenteel is in het leerproces en waar hij of zij naartoe moet (Stobart, 2008). Zie voor een classificatie van verschillende manieren om feedback te geven en de effectiviteit hiervan de Toetswijzer-special Feedback in computergestuurde toetsen. 4. Laat leerlingen functioneren als een instructiebron voor elkaar De vierde strategie verwijst naar peer-assessment, dit wil zeggen dat leerlingen elkaar en zichzelf beoordelen in plaats van dat de leerkracht dit doet. Dit vereist zowel inzicht in hoe een goede prestatie eruitziet (succescriteria) als inzicht in de eigen positie in het leerproces. Deze vaardigheden vormen de basis voor zelfregulatie, ook wel metacognitie genoemd. Wanneer


9

ToetsSpecial | Leren van Toetsen leerlingen in staat zijn hun eigen leren te reguleren zullen zij op een effectieve manier leren. 5. Maak leerlingen de eigenaar van hun leerproces De vijfde strategie houdt in dat leerlingen actief moeten deelnemen aan een eigen leerproces, ook hier speelt zelfregulatie een belangrijke rol (Black & Wiliam, p. 8). Leerlingen leren niet alleen bepaalde leerstof, zij leren ook hoe ze op een effectieve manier kunnen leren. Benaderingen van AfL De hierboven genoemde strategieën zijn een voorbeeld van hoe de vijf kernfactoren van de Assessment Reform Group in de praktijk gebruikt kunnen worden. Er zijn echter verschillende benaderingen met betrekking tot AfL. Op basis van een vragenlijst die is afgenomen bij leerkrachten en schoolhoofden in het Verenigd Koninkrijk heeft Hargreaves (2005) onderscheid gemaakt tussen een meetgerichte en een exploratieve benadering van AfL. Bij de meetgerichte benadering is het doel om inzicht te krijgen in het huidige niveau van de leerling met betrekking tot vooraf opgestelde leerdoelen door gebruik te maken van toetsen. Hierbij horen begrippen zoals monitoring en het aantonen van een niveaubeheersing. Binnen deze benadering worden zowel kwantitatieve als kwalitatieve gegevens verzameld en gebruikt. De exploratieve benadering is meer gericht op het proces dan op de uitkomsten van het proces (leeropbrengsten). In deze benadering heeft een leerkracht een reflectiegeoriënteerde en onderzoekende leerbenadering. De nadruk ligt hier hoofdzakelijk op kwalitatieve gegevens. In beide benaderingen wordt feedback, zoals hierboven beschreven, gebruikt voor sturing van het leerproces en/of de leeropbrengsten van leerlingen. In de praktijk ligt de uitvoering van AfL tussen een meetgerichte en exploratieve benadering in. Praktische voorwaarden bij AfL Ondanks dat de AfL-beweging al sinds ongeveer 1998 bestaat, is uit verschillende onderzoeken gebleken dat de praktische invoering van AfL-strategieën in de klas niet altijd realiseerbaar blijkt te zijn. Een van de beperkende factoren is bijvoorbeeld de grootte van de klassen. Klassen van 25 tot 30 leerlingen maken het voor leerkrachten moeilijk om het onderwijs vorm te geven op basis van resultaten uit formatieve evaluaties. Visscher en Ehren (2011) geven aan dat de implementatie van AfL jarenlange samenwerking van experts en practici blijkt te vereisen.

4 | Diagnostisch toetsen Diagnostisch toetsen is een systematische en cyclische benadering waarmee het leerproces en de leeropbrengsten van individuele leerlingen in kaart gebracht kunnen worden. Aangezien diagnostisch toetsen in verschillende vakgebieden verschillende definities kent en voor verschillende doeleinden wordt gebruikt, wordt in dit hoofdstuk toegelicht hoe diagnostisch toetsen, toegepast binnen het onderwijs, kan bijdragen aan het optimaliseren van het leerproces van lerenden. Definities van diagnostisch toetsen We noemen twee definities van diagnostisch toetsen (DT): 1. In algemene zin is het stellen van een diagnose met DT het kritisch analyseren en verklaren van de leeropbrengsten van leerlingen (Rupp, Templin, & Henson, 2010). 2. Keeley en Tobey (2010) stellen dat het bij DT gaat om het meten van voorkennis en verschillende manieren van redeneren. De voorkennis en manieren van redeneren van een leerling kunnen geïnterpreteerd worden als voorbeelden van verklaringen van de leerprestaties en daarmee informatie geven over de oorsprong van deze leerprestaties. Naast deze leerlingkenmerken kunnen ook taakkenmerken verklaren waarom een leerling iets wel of niet kan. In deze special hebben we de specifieke definitie van Keeley en Tobey en de globale definitie van Rupp et al. samengevoegd tot de onderstaande definitie: "Het verkrijgen van een gedetailleerde beschrijving van de prestaties van een leerling en de oorsprong van deze prestaties met als doel een advies te geven over hoe deze prestaties gemaximaliseerd kunnen worden."


10

ToetsSpecial | Leren van Toetsen Wat is DT? Diagnostiek in het onderwijs was oorspronkelijk bedoeld als middel om leerlingen te identificeren die niet mee konden komen in het reguliere onderwijs en dus behoefte hadden aan speciaal onderwijs (Stobart, 2008). Ook nu wordt diagnostiek in het onderwijs gebruikt voor het identificeren van leerlingen met speciale onderwijsbehoeften als gevolg van leer- en/of gedragsproblemen. Mede als gevolg van veranderingen in het onderwijsbeleid ligt echter niet langer de nadruk op het aansluiten op onderwijsbehoeften van leerlingen met leer- en/of gedragsproblemen, maar op alle leerlingen. Het gaat, met andere woorden, om het maximaliseren van leeropbrengsten in brede zin. Het gebruik van diagnostische toetsen binnen het onderwijs is waardevol voor alle leerlingen omdat naast data over wat leerlingen wel en niet kennen en kunnen ook informatie verzameld wordt over waarom een leerling bepaalde taken wel of niet kan. Zo kan een leerkracht bijvoorbeeld achterhalen waarom een leerling bepaalde vragen fout beantwoord heeft. Vervolgens kan de leerkracht deze informatie gebruiken om te zorgen dat de leerling dat type fout niet meer zal maken. Door op een andere manier te toetsen en daarmee gedetailleerdere informatie te verzamelen over de oorsprong van de leeropbrengsten van leerlingen wordt met DT meer diepgang bereikt dan bij andere benaderingen. Uit onderzoek blijkt dat leerkrachten van allerlei bronnen van informatie vinden dat deze diagnostische waarde hebben (Rupp et al., 2010). Echter, leerkrachten beschouwen niet alle bronnen van informatie als even nuttig voor het inrichten van hun onderwijs. Uit het onderzoek is gebleken dat leerkrachten behoefte hebben aan informatie waarmee ze hun strategieën voor remediëring kunnen bepalen. Dit betekent dat leerkrachten behoefte hebben aan gedetailleerde informatie over het leerproces en de ontwikkeling van leerlingen. In de volgende paragrafen is beschreven hoe je met diagnostische toetsen deze informatie kan verzamelen. Diagnostische cyclus en functies van diagnoses Het stellen van diagnoses binnen de hulpverlening aan jongeren en volwassenen is een cyclisch proces waarbij elke stap in een diagnose resulteert. Binnen het onderwijs geeft het volgen van de diagnostische cyclus informatie over het leerproces van leerlingen. Fasen in de diagnostische cyclus (De Bruyn, Ruijssenaars, Pameijer, van Aarle, 2007): 1. 2. 3. 4.

verhelderen onderkennen (verkennen) verklaren indiceren (adviseren)

De fasen in de diagnostische cyclus verschillen in de mate waarin ze gedetailleerde informatie geven over het leerproces. Verondersteld wordt dat fases 3 en 4 resulteren in diagnoses met meer praktische waarde omdat deze informatie leerkrachten beter kan ondersteunen bij het nemen van beslissingen over het inrichten van de leeromgeving dan de diagnoses van fases 1 en 2. 1. Verhelderen: Waar zit de leerling ten opzichte van het hoofddoel of de hoofddoelen? Binnen het onderwijs wordt doorgaans in doelen beschreven wat leerlingen aan het eind van een bepaalde onderwijsperiode moeten kennen en kunnen. Wanneer de doelen een groot deel van één of meerdere schooljaren beslaan, kan gesproken worden van hoofddoelen. In deze fase is DT gericht op het vaststellen in hoeverre de leerling hoofddoelen heeft bereikt en of bijsturing van het leerproces nodig is. Vanuit deze diagnose kan worden besloten of het nodig is om meer informatie over de oorsprong van de prestaties van de leerling te verzamelen. Omdat de informatie die deze fase oplevert geen informatie geeft over de onderliggende factoren die een rol spelen in de prestatie van de leerling, heeft deze informatie nog niet veel diagnostische waarde voor de leerling en de leerkracht. De resultaten van een dergelijke diagnose zijn te vergelijken met gebruikelijke gestandaardiseerde toetsen die meestal voor summatieve doeleinden gebruikt worden. 2. Verkennen: Hoe presteert de leerling op subdoelen? In deze fase wordt informatie gegeven over de prestaties van de leerling op subdoelen. De subdoelen worden geformuleerd aan de hand van de hoofddoelen en zijn voorwaardelijke deelvaardigheden en kennisaspecten voor het hoofddoel. Dit principe is gebaseerd op de Piagetiaanse


11

ToetsSpecial | Leren van Toetsen ontwikkelingspsychologie waarin wordt verondersteld dat leerlingen een aantal ontwikkelingsdrempels moeten nemen alvorens ze het hoofddoel kunnen bereiken (Verhofstadt-Denève, Van Geert, & Vyt, 2003). Een ontwikkelingsdrempel is een drempel die leerlingen moeten nemen om taken met een grotere complexiteit te kunnen uitvoeren. Het zijn met andere woorden essentiële kennis en/of vaardigheden om complexere taken te kunnen uitvoeren. Bijvoorbeeld bij het leren rekenen zal een leerling bij opgaven tot 10 voldoende hebben aan het één voor één tellen op de vingers, maar naar mate de taken complexer worden (grotere getallen) zullen leerlingen met grotere sprongen moeten gaan tellen. Deze fase resulteert in een diagnose waarin per subdoel een sterkte-/zwakteprofiel van de leerling wordt beschreven. In deze fase kan ook in kaart gebracht worden hoe de leerling op taken met bepaalde kenmerken presteert, op die manier wordt informatie gegeven over de leerdrempels die de leerling wel en niet genomen heeft. In het sterkte-/zwakteprofiel wordt dan gespecificeerd in welke taaksituaties de leerling een bepaalde taak wel of niet kan uitvoeren. 3. Verklaren: Hoe komt het dat de leerling sterk of zwak is binnen dit (sub)domein? Het doel van deze fase is om met de antwoorden van leerlingen te toetsen welke verklaringen voor de leerprestaties het meest waarschijnlijk zijn voor deze leerling. Er zijn twee hoofdbenaderingen van het verklaren van de leerprestaties van leerlingen. Op de eerste plaats kan gekeken worden naar wat de leerling met hulp, zonder hulp en nog niet (ongeacht de aangeboden hulp) kan. Wanneer met een diagnostische toets in kaart wordt gebracht wat een leerling nog niet zelfstandig, maar wel met hulp kan, kan de leerkracht hierop inspelen door de leeromgeving zo in te richten dat de leerling steeds meer zelfstandigheid verwerft. De tweede benadering is gericht op het diagnosticeren van strategieën en systematische fouten. x

x

Onderwijsbehoefte en zone van naaste ontwikkeling Vygotsky vond dat om een leerling vooruit te kunnen helpen in zijn ontwikkeling, het vooral van belang is om vast te stellen wat een kind kan leren in plaats van te meten wat een kind kan (Verhofstadt-Denève et al., 2003). Er moet met andere woorden vastgesteld worden wat de Zone van Naaste Ontwikkeling (ZNO) van de leerling is. Met de ZNO bedoelt Vygotsky datgene dat de leerling wel kan met hulp van volwassenen of leeftijdsgenoten die verder zijn in hun ontwikkeling, maar nog niet zelfstandig. Door het uitvoeren van taken met hulp van anderen krijgen leerlingen de gelegenheid om kennis en vaardigheden te ontwikkelen waardoor ze op den duur in staat zijn de taken zelfstandig uit te voeren. Naast hulp van anderen kunnen leerlingen sommige taken wel met een hulpmiddel uitvoeren, bijvoorbeeld een getallenlijn bij het maken van rekenopgaven. Oplossingsstrategieën en juistheid van antwoorden Bij DT ligt de focus niet alleen op de juistheid van de antwoorden die leerlingen geven maar ook op de oplossingsstrategieën die leerlingen gebruiken om taken te maken (Cito, 2011; Kraemer, 2011). Deze oplossingsstrategieën en het type fouten kunnen gedeeltelijk de prestaties van de leerling verklaren. Leerlingen gebruiken kennis bij het bepalen van de strategie om de taak te maken. Zo gebruiken ze kennis over de begrippen en de relaties tussen de begrippen bij het maken van een taak (Leighton & Gierl, 2007). Bij bijvoorbeeld het beantwoorden van vragen bij een tekst kan het behulpzaam zijn als een leerling kennis heeft van de verschillende doelen die teksten kunnen hebben, zoals informeren of amuseren. Door data te verzamelen over hoe leerlingen taken maken, krijgt de leerkracht inzicht in de kennis die de leerling gebruikt bij het oplossen van een taak. Met deze inzichten kan de leerkracht het onderwijs zo inrichten dat leerlingen de kans krijgen efficiëntere en effectievere oplosstrategieën te ontwikkelen. Wanneer diagnosticeren bestaat uit het vaststellen waardoor een leerling onjuiste antwoorden geeft, is het essentieel om voorafgaand aan de afname van de diagnostische toets te bepalen welke informatie over fouten leerkrachten waardevol vinden voor de inrichting van hun lespraktijk. In literatuur over assessment wordt onderscheid gemaakt tussen fouten en misstappen; leerlingen die een misstap zetten hebben zich vergist in de strategie en/of kennis die ze hebben gebruikt bij het maken van de taak (Bennett, 2011; Kraemer, 2011). Misstappen ontstaan voornamelijk doordat leerlingen minder geconcentreerd werken doordat ze ongemotiveerd zijn of worden afgeleid. Systematische fouten daarentegen zijn meestal het gevolg van onjuiste kennis (misconcepties) of van het ontbreken van kennis en/of vaardigheden die essentieel zijn voor het maken van de betreffende taak. Het diagnosticeren van fouten gaat dus voornamelijk om het


12

ToetsSpecial | Leren van Toetsen vaststellen welke typen systematische fouten resulteren in de onjuiste antwoorden die de leerling heeft gegeven. Deze informatie heeft diagnostische waarde omdat leerkrachten het kunnen gebruiken om de leerlingen feedback te geven over de fouten die ze maken. 4. Adviseren: Op welke doelen moet de interventie zich richten? Op basis van het integratieve beeld wordt een advies gegeven over de aanpassingen aan de leeromgeving met als doel het leerproces te optimaliseren. Om dit mogelijk te maken moet de diagnose zich richten op het identificeren van sterke en zwakke punten in de prestaties in leerlingen die een zo direct mogelijke relatie hebben met de inrichting van de leeromgeving. Ten eerste wordt, voor elke leerling apart, advies gegeven over de doelen van de interventie en de prioriteit van de doelen. Het tweede deel van de indicatie bestaat uit advies over de duur, frequentie en de vorm (individueel of in een groep) van de interventie. Strategieën voor DT Er zijn twee strategieën om met DT in te spelen op de onderwijsbehoeften van leerlingen (Stobart, 2008): 1. remediërend: verhelpen van een gesignaleerd probleem; 2. preventief: voorkomen van een probleem. De eerste strategie kan worden ingezet wanneer tijdens het leerproces problemen worden gesignaleerd of wanneer aan het einde van een leerproces wordt geconcludeerd dat leerdoelen niet zijn behaald. Het is zelf-evident dat de tweede strategie het meest effect is wanneer deze aan het begin van het leerproces wordt gebruikt om de voorkennis van de leerling te bepalen en problemen te voorkomen. Zo kan bijvoorbeeld uit de resultaten van een diagnostische toets blijken dat een leerling bepaalde fouten, die door de meeste leerlingen wel gemaakt worden, niet maakt. In dat geval wordt vastgesteld dat de leerling over eerder verworven kennis (voorkennis) beschikt. De leerkracht zou dan kunnen kiezen voor het verkorten, versnellen en/of verdiepen van het leerproces van de leerling. Praktische voorwaarden bij DT Een van de voordelen van gestandaardiseerde en computergestuurde diagnostische toetsen is dat deze betrouwbaardere en meer valide resultaten opleveren. Een ander voordeel is dat computergestuurde toetsen een lagere arbeidsintensiteit hebben dan niet-computergestuurde toetsen. Dergelijke toetsen zijn echter in Nederland nog niet veel ontwikkeld. Maar er zijn ook andere diagnostische assessmentmethoden mogelijk. Eén van de mogelijkheden is het diagnostische interview. In een diagnostisch interview worden verschillende technieken gezamenlijk gebruikt om een diagnose te stellen (Moyer & Milewicz, 2002). Deze technieken zijn: 1. interviewtechnieken (vragen stellen en luisteren); 2. hard op laten uitvoeren van een taak; 3. observatietechnieken. Uit onderzoek blijkt dat het bij diagnostisch onderzoek belangrijk is om deze technieken op de juiste momenten in te zetten. Zo is het bijvoorbeeld van belang dat de interviewer op het juiste moment doorvraagt, maar moet de leerling ook voldoende tijd krijgen om te kunnen antwoorden (Moyer & Milewicz, 2002). Even (2005) beschreef dat het zeer moeilijk is objectief naar de antwoorden van leerlingen te luisteren, omdat de interviewer geneigd is te interpreteren wat de leerling zegt op basis van eigen ervaringen en opvattingen. Het afnemen van een diagnostisch interview vergt, met andere woorden, behoorlijk wat vaardigheden en kennis. Om die reden is het handig om samen een diagnostisch onderzoek goed voor te bereiden door concreet te maken welke informatie je van de leerlingen wilt weten en door vooraf vragen op te stellen. Een gevaar van te veel structuur aanbrengen is echter dat de interviewer vergeet te luisteren. Een andere mogelijkheid is gebruik maken van een door een externe partij ontworpen diagnostisch interview. Een voorbeeld van een dergelijk gestructureerd diagnostisch interview is Diagnosticeren en Plannen in de Onderbouw (Cito, 2011). 'Diagnosticeren en Plannen in de Onderbouw' richt zich op het diagnosticeren van strategieën en fouten van leerlingen in het primair onderwijs binnen het vak rekenen-wiskunde. De inhoud (welke vragen) en de vorm (volgorde van de vragen) van het interview zijn volledig vastgelegd. In de uitgave ‘Diagnosticeren en Plannen in de Onderbouw’ zitten werkbladen


13

ToetsSpecial | Leren van Toetsen met de opgaven voor de leerling en observatieformulieren. Op de observatieformulieren staan de opgaven weergegeven inclusief de veel voorkomende oplosstrategieën die leerlingen bij die opgaven gebruiken. De leerkracht die het interview afneemt codeert welke strategieën de leerling gebruikt en welke fouten hij maakt. Hierdoor krijgt de leerkracht inzicht in de mogelijke verklaringen (zie fase 3 van de diagnostische cyclus) voor de reken-wiskunde prestaties van de leerling. Gegeven de hoge arbeidsintensiteit van niet geautomatiseerde diagnostische instrumenten is het belangrijk dat geïnvesteerd wordt in het ontwikkelen van geautomatiseerde diagnostische toetsen. Op die manier kan de brug die wordt geslagen tussen de theoretische principes van diagnostisch toetsen en in de implementatie van deze principes in de praktijk worden versterkt.

5 | Samenvatting van de belangrijkste kenmerken van OGW, AfL en DT In dit hoofdstuk geven we een samenvatting van de belangrijkste kenmerken van opbrengstgericht werken, assessment for learning en diagnostisch toetsen. Opbrengstgericht werken (OGW) OGW volgt een vaste cyclus van doelen bepalen, data verzamelen, resultaten registreren, resultaten interpreteren en het onderwijs aanpassen. Deze onderwijsaanpassingen kunnen gericht zijn op leerling-, klas- of schoolniveau. Voor de dataverzameling worden voornamelijk objectieve, betrouwbare en gestandaardiseerde instrumenten gebruikt, met name wanneer de consequenties van de beslissing grote gevolgen hebben voor degene over wie de beslissing wordt genomen. Beslissingen die op schoolniveau worden genomen hebben vaker grotere gevolgen dan bijvoorbeeld beslissingen die leerkrachten dagelijks in de klas maken. Ook zak-/slaagbeslissingen hebben verstrekkende gevolgen voor leerlingen en worden daarom ondersteund met objectieve en betrouwbare datafeedback. OGW is hoofdzakelijk gericht op het verhogen van de uitkomsten van het leerproces en wordt minder gebruikt voor het verbeteren van het leerproces zelf. Assessment for learning (AfL) Bij AfL gaat het om het continu verzamelen van bewijs over leervoortgang van leerlingen in de alledaagse klassituaties en het inspelen hierop. In AfL is assessment geïntegreerd in de dagelijkse lespraktijk. Het assessmentproces is een sociale activiteit waarbij de nadruk ligt op het begrijpen en het verbeteren van het leren binnen de klas. Leerlingen nemen actief deel aan hun leerproces en kunnen hun eigen leerproces reguleren. AfL heeft dus betrekking op het leerlingen klasniveau. Er zijn vele manieren waarop dit gedaan kan worden, hier worden dus niet noodzakelijk schriftelijke toetsen bij gebruikt. AfL vindt niet noodzakelijk plaats binnen een bepaalde activiteitencyclus, het is voornamelijk een flexibel en interactief proces. De nadruk ligt vooral op het veelvuldig verzamelen van informatie op allerlei manieren en hier direct op inspelen met aangepaste instructie en feedback. Omdat het in AfL gaat om het creëren van een optimaal leerproces speelt feedback die aansluit op de leerbehoefte van leerlingen een essentiële rol. Diagnostisch toetsen (DT) DT is niet alleen gericht op het meten van het leerproces en de leerprestaties van leerlingen, maar ook in de mogelijke verklaringen van deze leeropbrengsten. Deze verklaringen kunnen worden gezocht in de voorkennis die leerlingen hebben of de manier waarop leerlingen redeneren. De verklaringen zijn over het algemeen leerlingen taakkenmerken die beïnvloeden of een leerling bepaalde taken nog niet (zelfstandig) kan uitvoeren. Daarnaast kan een deel van de leerprestaties worden verklaard aan de hand van de oplossingsstrategieën en systematische fouten die leerlingen maken. DT is een cyclisch proces waarbij het leerproces en de leerprestaties van de leerling op een steeds gedetailleerder niveau beschreven worden. Hierbij gaat het om individuele leerlingen; de beslissingen die worden genomen over de inrichting van de leeromgeving gaan over individuele leerlingen. Wanneer gebruik gemaakt wordt van diagnostische toetsen is veelal sprake van objectieve en gestandaardiseerde toetsen die worden afgenomen op formele toetsmomenten. Er zijn in Nederland echter nog niet veel diagnostische toetsen ontwikkeld die geautomatiseerd het leerproces en de leerprestaties van leerlingen in kaartbrengen. Leerkrachten kunnen echter ook gebruikmaken van andere assessmentmethoden zoals diagnostische interviews.


14


6 | Overeenkomsten en verschillen De overeenkomsten en verschillen tussen de drie benaderingen - opbrengstgericht werken (OGW), assessment for learning (AfL) en diagnostisch toetsen (DT) - worden in dit hoofdstuk behandeld. Hierbij focussen wij ons op het niveau, de doelen, het tijdspad, de frequentie van beslissingen, de assessmentmethoden en het assessmentproces. Niveau OGW heeft betrekking op alle niveaus, wat betekent dat het zowel over assessment als over evaluatie gaat. AfL heeft betrekking op het klas- en leerlingniveau. DT heeft betrekking op het leerlingniveau. Doelen Het doel van OGW is om te toetsen of te evalueren of bepaalde doelen zijn behaald. Daarmee kan worden besloten of er veranderingen moeten worden doorgevoerd in de leeromgeving. Het doel van AfL is om de kwaliteit van het leerproces te verbeteren, hierbij ligt minder nadruk op de uitkomsten van het leerproces. DT heeft als doel het voorkomen of remediëren van problemen die zich kunnen voordoen tijdens het leerproces. Tijdspad Het tijdspad waarin beslissingen worden genomen verschilt ook. In OGW kan het variëren van onmiddellijk tot een aantal jaren na het verzamelen van de data. Feedback komt dan ook vaak niet direct. Dit is met name het geval wanneer feedback van een gestandaardiseerde toets wordt gegeven door een externe partij. In AfL worden beslissingen bijna altijd onmiddellijk tijdens het leerproces gemaakt. Feedback wordt continue gegeven op basis van behoeften van leerlingen. Het tijdspad van DT wordt bepaald door de behoefte aan bijsturing van het leerproces van de leerling, maar het is aan te raden om de tijd tussen de toets en de beslissing beperkt te houden. Feedback is het meest effectief wanneer deze zo snel mogelijk na de toets wordt gegeven. Frequentie van beslissingen Daarnaast verschillen de benaderingen in de frequentie waarmee beslissingen worden genomen. In OGW verschilt de frequentie van dagelijks tot eens in een paar jaar. De frequentie van beslissingen hangt samen met de zwaarte van de beslissing; zwaardere beslissingen worden minder vaak genomen. In AfL maken leerkrachten continu beslissingen op basis van de informatie die zij op dat moment beschikbaar hebben. Bij DT hangt de frequentie van de beslissing af van de behoefte aan bijsturing van het leerproces. Assessmentmethoden De assessmentmethoden die worden gebruikt in OGW zijn voornamelijk gestandaardiseerde toetsen, die resulteren in kwantitatieve datafeedback. Deze datafeedback moet worden geïnterpreteerd door de gebruiker. Assessmentmethoden in AfL zijn meestal niet gestandaardiseerd, maar juist interactief en flexibel. Deze resulteren voornamelijk in een kwalitatieve beschrijving van wat leerlingen kennen en kunnen. Instrumenten voor DT zijn meestal gestandaardiseerd, deze kunnen leiden tot kwantitatieve of kwalitatieve resultaten. Voor alle benaderingen geldt dat de kwaliteitseisen die worden gesteld aan de instrumenten afhangen van de consequenties van de te nemen beslissingen. Assessmentproces In OGW en DT wordt een vaste cyclus gevolgd. Kenmerkend voor deze cyclus is een systematische manier van toetsen op formele meetmomenten. In AfL wordt geen vaste cyclus gebruikt en er is geen sprake van een systematisch proces. Er zijn geen aparte meetmomenten; assessment is geïntegreerd in de instructie. Verder is in AfL de interactie tussen leerlingen belangrijk, bijvoorbeeld self assessment en peer assessment.


15


7 | Een aanzet tot een programma voor formatieve toetsing In dit hoofdstuk noemen we vijf elementen uit de drie benaderingen die gezamenlijk een programma voor formatieve toetsing kunnen vormen. Door de hier beschreven elementen van de drie benaderingen te combineren kan de formatieve functie van toetsen en evaluaties optimaal worden benut. Op deze manier kan worden bijgedragen aan de kwaliteit van het leerproces en het verhogen van de leeropbrengsten. 1. Gericht op alle aggregatieniveaus Door elementen van de drie benaderingen te combineren is de formatieve functie van toetsen en evaluaties gericht op alle niveaus binnen de school (zie figuur in hoofdstuk 1). 2. Gericht op optimalisatie van het leerproces en de leeropbrengsten Het voordeel van een programma voor formatieve toetsing is dat zowel het leerproces en de leeropbrengsten geoptimaliseerd kunnen worden. In een dergelijk programma is ruimte voor zowel remediëring als preventie van leerproblemen. Effectieve feedback geven tijdens het leerproces is hierbij essentieel. 3. Gericht op lange- en kortetermijnbeslissingen Door zowel korte als lange feedbackloops te doorlopen, kan zowel op korte termijn als op lange termijn de effectiviteit van gekozen strategieën geëvalueerd worden. Hierdoor kan continue afstemming op de onderwijsbehoeften van leerlingen worden bereikt. 4. Gericht op de benutting van verschillende databronnen Door het gebruik van verschillende assessmentbenaderingen kan een rijker beeld verkregen worden van het leren van leerlingen. Dit betekent dat kwalitatief hoogwaardige en objectieve data worden gecombineerd met kwalitatieve data die in alledaagse klassituaties worden verzameld. Door aanvullend gebruik te maken van gedetailleerde databronnen over de oorsprong van de leeropbrengsten kan het leerproces gericht gestuurd worden.

16 5. Gericht op het systematisch en flexibel data verzamelen Door gebruik te maken van systematische manieren van data verzamelen kan worden gewaarborgd dat alle stappen van een evaluatieve cyclus worden doorlopen. Door daarnaast ook flexibel data te verzamelen kan een rijker beeld van het leerproces en de leeropbrengsten worden gevormd. Hierdoor kan afstemming op de onderwijsbehoeften van leerlingen worden gewaarborgd.



8 | Literatuur Assessment Reform Group (1999). Assessment for learning: Beyond the black box. Cambridge University. Bennett, R.E. (2011). Formative assessment: a critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5-25. doi:10.1080/0969594X.2010.513678. Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment Evaluation and Accountability, 21(1), 5-31. doi:10.1007/s11092-008-9068-5. Broadfoot, P.M., Daugherty, R., Gardner, J., Harlen, W., James, M., Stobart, G. (2002). Assessment for learning: 10 principles. Cambridge, UK: University of Cambridge School of Education. Cito (2011). Diagnosticeren en plannen in de bovenbouw. Arnhem: Cito. Zie: productfolder. Clarke, S. (2001). Unlocking formative assessment. Londen: Hodder and Stoughton. De Bruyn, E.E.J., Ruijssenaars, A.J.J.M., Pameijer, N.K., & Van Aarle, E.J.M. (2003). De diagnostische cyclus. Een praktijkleer. Leuven, België: Acco. Even, R. (2005). Using assessment to inform instructional decisions: How hard can it be? Mathematics Education Research Journal, 17(3), 45-61. Fullan, M. (2007). The new meaning of educational change. New York and London: Teacher College Press. Hargreaves, E. (2005). Assessment for learning? Thinking outside the (black) box. Cambridge Journal of Education, 35(2), 213-224. ISSN Print: 0305-764X Harlen, W., & Winter, J. (2004). The development of assessment for learning: learning from the case of science and mathematics. Language testing, 21(3), 390-408. doi:10.1191/0265532204lt289oa. Inspectie van het Onderwijs (2010). De staat van het onderwijs. Onderwijsverslag 2008/2009. Utrecht: Inspectie van het Onderwijs. Keeyley, P., & Tobey, C.R. (2010). Mathematics formative assessment. Thousand Oaks, CA: Corwin. Klenowski, V. (2009). Assessment for learning revisited: An Asia-Pascific perspective. Assessment in Education: Principles, Policy & Practice, 16(3), editorial. Kraemer, J.M. (2011). Oplossingsmethoden voor aftrekken tot 100. Eindhoven: Technische Universiteit Eindhoven; Arnhem: Cito. Ledoux, G., Blok, H., Boogaard, M., & Krüger, M. (2009). Opbrengstgericht werken: over de waarde van meetgestuurd onderwijs. SCO-Rapport 812. Amsterdam: SCO-Kohnstamm Instituut. Leighton, J.P., & Gierl, M.J. (Eds.) (2007). Cognitive diagnostic assessment for education. Theory and applications. New York: Cambridge University Press. Light, D., Wexler, D., & Heinze, J. (2004). How practitioners interpret and link data to instruction: Research findings on New York City schools’ implementation of the grow network. Paper presented at the annual meeting of the American Educational Research Association, San Diego, CA.


17

ToetsSpecial | Leren van Toetsen Mandinach, E.B., Honey, M., & Light, D. (April, 2006). A theoretical framework for data-driven decision making. Paper presented at the meeting of the American Educational Research Association, San Francisco. Ministerie van OCW (2009). Derde voortgangsrapportage Passend Onderwijs. Den Haag: Ministerie van OCW. Ministerie van Onderwijs en Wetenschappen (1990). Weer samen naar school. Zoetermeer: Ministerie van Onderwijs en Wetenschappen. Morrison, G.R., Ross, S.M., & Kemp, J.E. (2007). Designing effective instruction. New York, NY: John Wiley & Sons. Moyer, P.S., & Milewicz, E. (2002). Learning to question: Categories of questioning used by preservice teachers during diagnostic mathematics interviews. Journal of Mathematics Teacher Education, 5, 293-315. Rupp, A.A., Templin, J., & Henson, R.A. (2010). Diagnostic measurement. Theory, methods, and applications. New York: The Guilford Press. Sanders, P. (2011). Het doel van toetsen. In: P. Sanders (Ed.), Toetsen op school (pp. 9-20). Arnhem: Cito. Schildkamp, K., & Kuiper, W. (2010). Data-informed curriculum reform: Which data, what purposes, and promoting and hindering factors. Teaching and Teacher Education, 26, 482-496. Scriven, M. (1967). The Methodology of Evaluation. Washington, DC: American Educational Research Association.

18 Shepard, L.A. (2005). Formative assessment: Caveat emptor. Paper presented at the ETS Invitational Conference, The Future of Assessment: Shaping Teaching and Learning, New York. Slavin, R.E. (2002). Evidence-based education policies: Transforming educational practice and research. Educational Researcher, 21(7), 15-21. Stobart, G. (2008). Testing times: The uses and abuses of assessment. London: Routledge. Van der Kleij, F.M., Vermeulen, J.A., Schildkamp, K., Eggen, T.J.H.M. (submitted). Data-based decision making, assessment for learning, and diagnostic testing in formative assessment. Manuscript submitted for publication. Verhofstadt-Denève, L., Van Geert, P., & Vyt, A. (2003). Handboek ontwikkelingspsychologie. Grondslagen en theorieën. Houten: Bohn Stafleu Van Loghum. Visscher, A. & Erhen, M. (2011). De eenvoud en complexiteit van opbrengstgericht werken. Analyse in opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschap. Enschede: University of Twente.



Colofon De toetsspecial 'Leren van toetsen; een cyclisch proces' is een uitgave van Cito, 2012/2013. De special geeft uitleg over het gebruik van toetsen voor formatieve doeleinden, vanuit de context van het primair onderwijs. Auteurs De special is geschreven door Fabienne van der Kleij (Cito), Jorine Vermeulen (Cito), Theo Eggen (Cito) en Bernard Veldkamp (Universiteit Twente). De auteurs zijn ook werkzaam voor het Research Center voor Examinering en Certificering (RCEC). De special is gebaseerd op het nog te verschijnen artikel 'Data-based decision making, assessment for learning, and diagnostic testing in formative assessment' van Van der Kleij, Vermeulen, Schildkamp en Eggen. Copyright © Stichting Cito Instituut voor Toetsontwikkeling Het auteursrecht op de toetsspecial 'Leren van toetsen; een cyclisch proces' berust bij Cito. Overname van de inhoud van de special is uitsluitend toegestaan na toestemming van de redactie van Toetswijzer. Verzoeken tot overname van de inhoud dienen te worden gericht aan de redactie van Toetswijzer, onder vermelding van het medium, de oplage en de doelgroep. Het is toegestaan om via de weblink http://toetswijzer.kennisnet.nl/html/leren_van_toetsen/default.shtm te verwijzen naar de toetsspecial 'Leren van toetsen; een cyclisch proces' op de website Toetswijzer. Contact Meer weten? Reageren? Neem via e-mail contact op met de redactie van Toetswijzer. Websites Cito | www.cito.nl RCEC | www.rcec.nl Universiteit Twente | www.utwente.nl


19

BIJEENKOMST 3

3

•OGW in de klas

Bijeenkomst 3

Differentiatie

OPDRACHT: In 2-tallen deze vragen beantwoorden. Op Post-it concreet beschrijven wat je gedaan hebt. Deze verzamelen we plenair.

VRAAG: Welke evaluatievormen heb je uitgeprobeerd? Welke informatie leverde de evaluatie je op? Wat heb je met de informatie die je uit de evaluatie kreeg, gedaan?

Opdracht aan je meegegeven in bijeenkomst 2: • Koppel de komende periode bewust diverse evaluatievormen aan jouw lesdoelen en neem van één les de opzet en resultaten mee naar bijeenkomst 3. Neem de evaluatie eventueel op op video.

Terugblik bijeenkomst 2

Beantwoord deze vraag in twee groepen en noteer de conclusies.

WARMING up: Gaan we om met verschillen of gaan we uit van verschillen?

De ins- en outs van differentiatie. “Wat betekent omgaan met verschillen voor mijn eigen handelen als professional?”

Thema van deze bijeenkomst

• Reflectie over de vraag wat je als leraar doet met de informatie die een (formatieve) evaluatie je geeft. • Reflectie over differentiëren in de eigen onderwijspraktijk. Kunnen benoemen waar de aandachts-/ontwikkelpunten liggen en deze met elkaar delen. • Verschillende vormen van differentiëren kunnen benoemen. • Weten welke (rand)voorwaarden belangrijk zijn om te kunnen differentiëren. Kunnen aangeven wat dat betekent voor het (eigen) handelen als leraar.

Doelen van bijeenkomst 3

OPDRACHT: • ABC2: schrijf alfabet op grote flap en schrijf bij iedere letter iets wat met differentiatie te maken heeft (AÆ aandacht, B Æ behoefte van het kind, C Æ clusteren, etc.

Wat weten we al? Wat doen we al?

Differentiatie verwijst naar het handelen van leraren met als doel tegemoet te komen aan verschillen tussen leerlingen.

Wat is differentiatie?

We organiseren dat in: • Programma’s • Leerroutes • Stromen • Groeperingsvormen

We differentiëren naar: • Inhoud • Niveau • Duur • Tempo • Methode • Leerstijl

Differentiatie

2. Convergente differentiatie: doelen zijn voor alle leerlingen hetzelfde; variatie in instructiewijze, instructietijd en verwerking

1. Divergente differentiatie: doelen verschillen per individu of subgroep

Twee hoofdvormen

Leerling • Zelfstandig kunnen werken (in groepen) • Zelfcorrectie • Voldoende tijdsinvestering door de leerling • Aantal basisvaardigheden moet in orde zijn Leraar • Inzicht in pedagogische en didactische onderwijsbehoeften van leerlingen en didactisch kunnen variëren • Systematisch evalueren (op basis van doelen) en reflecteren • Effectief klassenmanagement; gedeelde sturing School / team / sectie • Systematische opbouw ontwikkelingslijnen en leerlijnen

Basisvoorwaarden

OPDRACHT: Welke tips haal je uit de video? Noteer deze!

Opbrengstgericht differentiëren: http://www.youtube.com/watch?v=EHOwctgFeho&list=UUGI Y816AepAGO0MlDtpbusw&index=2&feature=plcp

Hoe kun je dat doen?

OPDRACHT 1. Beantwoord deze vraag eerst zelf 2. Wissel vervolgens uit met collega’s 3. Geef aan of er ook concrete schoolafspraken zijn over differentiatie (visie van de school) 4. Presenteer deze kort aan de andere collega’s

Geef aan op welke wijze je nu differentieert, en de verschillende vormen in de eigen schoolsituatie herkent. Illustreer dit met concrete voorbeelden.

Reflectie eigen situatie

Neem een groep in gedachte en probeer deze groep in 3 subgroepen te verdelen: - Groep blauw: kan zelfstandig aan de slag – weinig instructie nodig. - Groep groen: heeft enige instructie nodig, kan dan aan de slag. - Groep oranje: heeft extra instructie nodig en begeleiding tijdens de verwerking. 1. Waar baseer je de drie groepen op. Welke verschillen gaan er achter schuil? 2. Hoe zou je de les gaan inrichten? • Differentiëren in lesdoelen? • Differentiëren in instructie en hoe organiseer je dat? • Differentiëren in verwerking en hoe organiseer je dat? 3. Wat betekent dat voor het handelen van jou en waar heb je vragen over?

•

En in de praktijk?

•

•

Bij voorbereiding: Bepaal minimaal te realiseren lesdoelen en bijbehorende lesstof. Extra oefenstof (verwerkingstof) voor de snelle leerling. Extra opdrachten: meer van hetzelfde, of juist verdiepende lesstof. Bij de start van de les: Communiceer met de leerlingen: wat zijn de minimale doelen. Welke extra lesstof en/of opdrachten zijn er voor de snelle leerlingen. Welke activiteit doe je met de langzame leerlingen.

Tips

Tijdens de instructie meerdere niveaus hanteren bijvoorbeeld met behulp van de taxonomie van Bloom om tegemoet te komen aan verschillende niveaugroepen.

•

•

•

•

•

Na de instructie één of enkele oefenvragen door de leerlingen laten maken om hen zelf na te laten gaan of ze de stof van de instructie begrepen hebben. De ‘niet voldoende’ leerlingen krijgen een extra instructie aangeboden, de andere leerlingen gaan werken aan de verwerkingsstof. Per les kan het groepje variëren. Leerlingen mogen kiezen uit verschillende mogelijkheden om de lesstof te verwerken. Andere opdrachten, proefjes, activiteiten, etc. Leerlingen mogen kiezen uit verschillende groeperingsvormen om de lesstof te verwerken. Bij het uitdelen van gemaakt so of proefwerk, een extra instructie geven aan de leerlingen die voor het so of het proefwerk een cijfer lager dan een 6 hebben. Hierbij ingaan op de fouten die zijn gemaakt. De andere leerlingen werken zelfstandig aan lesstof die extra is, en waaraan zelfstandig gewerkt kan worden. Flipping the classroom http://flippingtheclassroom.kennisnet.nl/

Vervolg tips

OPDRACHT: Wat ga ik de komende periode doen? Formuleer je eigen opdracht (neem je POP als uitgangspunt)

• Evaluatie m.b.v. de gestelde doelen • Formuleren van concrete vervolgacties.

Afronding

Omgaan met verschillen nader bekeken. Wat werkt? Het omgaan met verschillen is duidelijk een complexe aangelegenheid, waarbij moet worden voorkomen, dat de keuze voor een aanpak van het omgaan met verschillen negatieve effecten voor risicoleerlingen heeft.Veel onderzoek de afgelopen decennia heeft uitgewezen dat instructie- en leertijd hierin een zeer belangrijke rol speelt.

OMGAAN MET VERSCHILLEN NADER BEKEKEN. WAT WERKT? Dr. Kees Vernooij 1. Een oud probleem Omgaan met verschillen is sinds het onderwijs bestaat een probleem. Vanaf de eerste schooldag verschillen leerlingen van elkaar in mogelijkheden, kennis, vaardigheden, attituden en motivatie over wat onderwezen gaat worden. Sommige kinderen kunnen in het begin van groep 3 al lezen, terwijl voor andere kinderen het leren lezen in groep 3 veel tijd en ondersteuning vraagt. In het algemeen geldt wanneer een leerkracht met een les begint verschillende leerlingen al veel over de inhoud weten, terwijl dat voor andere kinderen weer niet het geval is. Een school dient vooral rekening te houden met de verschillen die de leerlingresultaten beïnvloeden. Er zijn kinderen die het veel minder goed doen dan we verwachten, maar er zijn ook kinderen die het juist veel beter doen. Om effectief onderwijs voor alle kinderen te realiseren, moet met die verschillen rekening gehouden worden. In de praktijk is het omgaan met verschillen in aanleg en achtergrond van kinderen – ook wel interne differentiatie genoemd – één van de grootste knelpunten in het onderwijs. Ondanks dat er in de loop der tijd diverse oplossingen zijn gezocht om het onderwijs beter met de verschillen tussen leerlingen te laten omgaan, noemt de inspectie van onderwijs in haar Onderwijsverslag 2006/2007 (mei 2008) het omgaan met verschillen de Achilleshiel van het Nederlandse onderwijs. 2. Wat is met name het probleem? Meer en meer is door onderzoek duidelijk geworden, dat bijvoorbeeld de leesresultaten van de leerlingen niet alleen beïnvloed worden door een goede leesaanpak, maar met name ook door de wijze waarop er tijdens lezen met de verschillen in leerontwikkeling van de leerlingen wordt omgegaan. Zo hebben zwakke lezers geen andere methodiek nodig, maar moeten veel meer instructie- en leertijd krijgen om een goede lezer te worden. Krijgen risicoleerlingen meer tijd dan worden ze dikwijls een gemiddelde lezer; krijgen ze niet meer tijd dan lopen ze het risico om als functioneel analfabeet het onderwijs te verlaten, omdat ze in onvoldoende mate hebben leren lezen. Er is veel onderzoek over de positieve relatie tussen onderwijstijd Onderwijs Maak Je Samen

- 1 / 12 -

06.07.2012

en leerlingresultaten! Zo stellen Cox & Guthry (2001) dat één van de sterkste statistische verbanden de correlatie is tussen de hoeveelheid tijd die aan lezen besteed wordt en de leesresultaten. De essentie van het probleem van veel risicoleerlingen is, dat scholen er niet in slagen meer instructie- en leertijd voor hun leerlingen te realiseren. De onderste 10% van de kinderen heeft meestal 2,5 tot 6x zoveel tijd nodig om iets te leren, dan dat voor de bovenste 10% van de kinderen het geval is (Ward, 1987). In de praktijk blijkt volgens Van de Grift (2007), dat veel onderwijsgevenden problemen hebben met het afstemmen van het onderwijs op verschillen tussen de leerlingen en de zorg voor zwakke en achterblijvende leerlingen. Juist bij het in onvoldoende mate omgaan met die verschillen zijn deze leerlingen – door ons risicoleerlingen genoemd – daarvan de dupe. Bovendien signaleren veel leerkrachten zwakke leerlingen dikwijls te laat, waardoor de achterstanden van kinderen soms te groot zijn geworden om door gerichte activiteiten de kloof met de overige leerlingen te overbruggen. Het is voortschrijdend inzicht, dat ernstig achterblijven het sociaal-emotioneel functioneren van de leerling – in het bijzonder diens zelfvertrouwen - aantast, waardoor ze gedragsproblemen of vermijdingsgedrag gaan vertonen. Uit de Onderwijsverslagen van de Nederlandse Inspectie van Onderwijs (2006, 2007, 2008) blijkt, dat twee van de drie leerkrachten in groep 3 en 4 er niet in slagen te differentiëren in de zin van het geven van meer tijd aan risicolezers. Deze gegevens verklaren voor een belangrijk deel de leesuitval in die groepen, n.l. 15 – 25%. Onderzoek (Vernooy, 2005; Inspectie van Onderwijs 2007) laat zien, dat deze problematiek in belangrijke mate verklaart, waarom ongeveer 25% van de leerlingen op het einde van groep 8 als een niet goede lezer de basisschool verlaat en vervolgens niet in staat is om zelfstandig teksten in het voortgezet onderwijs te lezen. In wezen laat deze problematiek zien, dat de basisschool er niet in slaagt om met de verschillen tussen leerlingen in leesontwikkeling om te gaan. Een ander hardnekkig knelpunt in de basisschool is de problematiek van de kleuterschoolverlenging; kleuterschoolverlenging is eigenlijk een eufemisme voor het laten zitten van kinderen in groep 2. Ondanks dat onderzoek (zie Van de Grift 2005) laat zien, dat kleuterschoolverlening weinig effectief is, krijgt 10% van de oudste kleuters daarmee te maken. Eerder bleek uit de evaluatie van het Weer Samen Naar School-beleid (1997), dat het WSNS-proces, dat tot doel heeft risicoleerlingen zoveel mogelijk in het reguliere onderwijs op te vangen in plaats van hen naar het speciaal onderwijs te verwijzen, stagneert op het realiseren van het omgaan met verschillen. Kortom: In de praktijk van de basisschool is het omgaan met verschillen tussen leerlingen een groot probleem; veel scholen slagen er niet in om effectief met de verschillen tussen leerlingen om te gaan in de zin van meer tijd voor hen te creëren, hetgeen negatieve gevolgen voor die leerlingen heeft. 3. Wat heeft de wetenschap over het omgaan met verschillen te bieden? We kunnen stellen dat veel scholen niet effectief zijn op het gebied van het omgaan met verschillen, maar dat dit in wezen ook voor de wetenschap geldt. De wetenschap heeft scholen niet altijd effectief geholpen bij het zoeken van oplossingen voor die problematiek. Men heeft diverse oplossingen de wereld in gestuurd, waarvan later bleek dat die niet goed werkten en soms zelfs negatieve effecten voor de leerlingen hadden. Onderwijs Maak Je Samen

- 2 / 12 -

06.07.2012

Enkele van die oplossingen zijn: - homogeen groeperen van leerlingen Bij homogeen groeperen worden leerlingen met een vergelijkbaar prestatieniveau bij elkaar gezet. Dit kan zowel in speciale klassen als binnen klassen, maar ook bij bepaalde vakken zoals lezen en rekenen. Argumenten ten gunste van niveaugroepen zijn meestal gebaseerd op de vooronderstelling dat die manier van groeperen noodzakelijk is om tegemoet te komen aan de unieke behoeften van kinderen met een verschillend niveau. Volgens Gamoran (1992) kan er in het algemeen worden gesteld, dat homogene niveaugroe¬pen – behalve die voor hoogbegaafden – niet leiden tot betere leerlingresulta¬ten. Uit een review van Marzano e.a. (2001) blijkt ook, dat onderzoek het werken met niveaugroepen niet ondersteunt. Veel onderzoek laat zien, dat bij het werken met vaste niveaugroepen de verschillen tussen de groepen alleen maar groter worden. De groepen met zwakke leerlingen raken steeds meer achterop. Uit onderzoek blijkt , dat het onverstandig is zwakke leerders vanaf het begin van hun schoolloopbaan in vaste homogene groepen bij elkaar te plaatsen, in het bijzonder geldt dit voor vakken als taal/lezen en rekenen/wiskunde. Dit heeft negatieve effecten voor hun schoolvorde-ringen, omdat: - aparte groepen negatieve gevolgen hebben voor het zelfvertrouwen van zwakke leerlingen, o.a. omdat de overige leerlingen weten wie de leerlingen van de zwakke niveaugroepen zijn (Oaks, 1991; Page 1991); - bij de ‘lage’ homogene groepen gaat het bijna altijd om kinderen afkomstig uit risicogroepen; - het in groepen van zwakke leerlingen dikwijls ontbreekt aan de druk om te presteren, wat leidt tot slome, zelfvoldane groepen (geen stimulerende leeromgeving!); bovendien ontbreekt het deze groepen aan positieve rolmodellen; - homogene groepen voor zwakke leerlingen dikwijls stigmatiserende gevolgen voor de betreffende leerlingen hebben (zie Oaks & Guiton, 1995); - er voor deze leerlingen in het algemeen lagere doelen worden gesteld dan voor groepen met betere leerlingen, hetgeen komt omdat leerkrachten doorgaans lagere verwachtingen hebben over de vooruitgang en de mogelijkheden van deze leerlingen; - leerlingen uit een zwakke groep vrijwel nooit doorstromen naar een groep met een hoger niveau (ontbreken van mobiliteit tussen groepen); - leerkrachten niet graag les geven aan homogene groepen met zwakke leerlingen; bovendien geven ze dikwijls kwalitatief mindere instructie aan deze leerlingen; - homogene groepen in de praktijk meestal minder homogeen zijn dan men op het eerste gezicht denkt. Bijvoorbeeld een homogene groep “zwakke lezers” bestaat dikwijls uit leerlingen met een grote verscheidenheid aan problemen, zoals verschillen in leertempo, decodeervaardigheid, leesbegrip, het gebruik van leesstrategieën, enz.; - hoe meer groepen een leerkracht heeft, des te minder contact er tussen de leerkracht en de leerlingen is; - Leerlingen uit de laagste homogene groepen – en dat geldt in het bijzonder voor het voortgezet onderwijs – lopen een verhoogd risico drop out en/of delinquent te worden. In Nederland heeft Guldemond (1994) onderzoek gedaan naar de effecten van homogeen en heterogeen groeperen in de bovenbouw van de basisschool. Laagpresteerders in homogene groepen deden het slechter dan de laagpresteerders in heterogene groepen. Volgens Guldemond heeft homogeen groeperen nadelige gevolgen voor laagpresteerders. Alle zwakke lezers bij elkaar zetten is Onderwijs Maak Je Samen

- 3 / 12 -

06.07.2012

eenvoudig¬weg ‘dodelijk’ voor deze kinderen, omdat ze dan doorgaans langzamere en minder goede instructie krijgen dan de kinderen in de andere groepen. De gerapporteerde bevindingen illustreren de onjuistheid van de opvatting dat het werken met homogene niveaugroepen tot betere leerlingresultaten leidt! Homogene niveaugroepen hebben nadelige effecten voor zowel de leerresultaten als voor het sociaal-emotioneel functioneren van zwakke leerlingen. Onderzoek maakt duidelijk, dat de kinderen in dergelijke groepen niet de vooruitgang boeken die leerkrachten verwachten. - Geïndividualiseerd onderwijs Vanaf de jaren zeventig van de vorige eeuw is dikwijls sterk geïndividualiseerd onderwijs gepropageerd. Dat zou de ideale weg zijn voor het omgaan met verschillen. Zo’n aanpak zou met de mogelijkheden van elke leerling rekening kunnen houden. Uit onderzoek naar de leereffecten bij sterk individueel gericht onderwijs blijkt, dat deze groeperingsvorm geen betere leerlingresultaten geeft dan instructie aan groepen, zoals de hele klas of subgroepen binnen de klas. Er kan zelfs gesteld worden, dat onderzoek vrijwel zonder uitzondering de relevantie van groepsinstructie ondersteunt. Volgens Slavin (1997) moet geprogram¬meerde instructieachtig onderwijs als een van de grootste mislukkingen van de onderwijsresearch worden gezien. Op basis van een meta-analyse stelden Fraser et al. (1987), dat sterk geïndividualiseerd onderwijs een weinig krachtige onderwijsfactor is. In het algemeen neemt bij meer individueel onderwijs de instructie of hulp die leerlingen van de leerkracht ontvangen sterk af. In een klas van 25 à 30 leerlingen krijgen deze hooguit 2 à 3 minuten per uur instructie of hulp van de leerkracht. Hierdoor komen vooral zwakke leerlingen tekort. Deze hebben met name veel directe instructie van de leerkracht nodig voor het versnellen van hun leerontwikkeling. Bovendien heeft zwakke leerlingen lange perioden alleen laten werken, negatieve gevolgen voor hun leerprestaties. Ze gaan dan de voordelen missen van het samenwerken met andere leerlin¬gen. Vaak leidt sterke individualisering voor zwakke leerlingen ook tot een langzamer tempo. Het negatieve gevolg hiervan is volgens Allington (1995), dat er vanuit wordt gegaan, dat er kinderen zijn die altijd achter zullen blijven bij de kinderen die in een normaal tempo instructie krijgen. Dit betekent tevens dat hun resultaten bij die groep achter zullen blijven. Op basis van o.a. reviews van Slavin en Allington moet vastgesteld worden, dat sterk geïndividualiseerd onderwijs niet tot betere resultaten voor zwakke leerlingen leidt, omdat het de instructierol van de leerkracht sterk doet afnemen. Dit gegeven verklaart ook voor een deel waarom leerlingen in scholen voor speciaal onderwijs waar veel individueel onderwijs plaatsvindt het vrijwel nooit beter gaan doen. In Nederland werken verschillende scholen met het circuitmodel, een aanpak van sterk geïndividualiseerd onderwijs. Van de Broek (2000) heeft onderzoek gedaan naar de effecten ervan. Het beeld dat uit de resultaten van de studie van Van de Broek naar voren komt, stemt niet optimistisch. Vooral zwakke leerlingen ondervonden negatieve gevolgen bij een toenemend gebruik van het circuitmodel en dan in het bijzonder bij technisch en begrijpend lezen. Ook bij een goede institutionalisering van het model bleek dat het gebruiksniveau van het circuitmodel een negatief effect voor de scores van zwakke leerlingen had of ertoe leidde. Kortom: de gedachte dat geïndividualiseerd onderwijs betere resultaten zou geven, is onjuist. Onderwijs Maak Je Samen

- 4 / 12 -

06.07.2012

- Onderzoek naar de effecten van heterogeen groeperen Naar aanleiding van de negatieve effecten van vaste homogene groepen en sterk geïndividualiseerd onderwijs houden diverse wetenschappers pleidooien voor meer heterogeen samengestelde groepen. Heterogeen samengestelde groepen zouden in het algemeen minder nadelige effecten voor zwakke leerlingen hebben dan vaste homogene groepen. Dit is toe te schrijven aan zaken als: - heterogene groepen worden niet als langzaam en slecht gezien; - de relaties tussen zwakke en goede leerlingen in heterogene groepen zijn beter dan die tussen leerlingen van verschillende homogene groepen; - in heterogene groepen gelden zowel voor goede als minder goede leerlingen gezamenlijke leerdoelen en verwachtingen; bovendien is de kwaliteit van de instructie dikwijls beter. Individuele leerlingen profiteren volgens Terwel (1997) beter in een klas of leergroep met een hoog niveau dan in een klas of subgroep met een laag niveau, omdat in de eerste situatie het werkklimaat en de ‘hulpbronnen’ beter zijn. Ook Allington (1995) geeft aan, dat de meeste kinderen het beste leren in klassen met een uiteenlopend prestatie¬niveau. Kinderen die moeite hebben met het leren lezen, leren het beste lezen in een heterogene setting, waarin zowel goede als minder goede lezers zitten. In het bijzonder leerlingen met achterstan¬den en problemen lijken gebaat bij opvang in heterogene groepen (zie Meijer 1995). Barta & Allen (1995) stellen zelfs, dat onderzoek laat zien, dat in heterogeen samengestelde groepen de resultaten verbeteren van kinderen die eerst als slecht of gemiddeld werden getypeerd. Een verklaring daarvoor is, dat zwakke leerlingen in een heterogene groep mogelijk meer gemotiveerd met hun leertaken bezig zijn, wat hun taakgerichte leertijd positief beïnvloedt en bepalend is voor hun schoolvorderingen. Aan de andere kant is een negatieve factor bij veel heterogene groepen, dat zwakke leerlingen niet meer tijd krijgen, hetgeen dikwijls bij traditioneel klassikaal onderwijs het geval is. Een negatief effect daarvan is het zittenblijven. Juist risicoleerlingen hebben meer tijd nodig om de gewenste doelen te halen. Heterogene groepen daarentegen aanvullen met kleine op bepaalde behoeften gerichte tijdelijke subgroepen, ook wel verlengde instructie genoemd, kan aan betere leerprestaties bijdragen. In dat verband kan ook gedacht worden aan het inzetten van meer handen in de klas. De samenstelling van dergelijke groepen moet flexibel zijn en voor een beperkte tijd duren. Het is echter van belang, dat op basis van observaties en toetsgegevens dergelijke ‘homogene’ subgroepen regelmatig hergegroepeerd worden om te voorkomen dat het vaste homogene groepen worden.

Samenvattend Verschillende invullingen van het omgaan met verschillen blijken geen effectieve aanpak voor risicoleerlingen te zijn. Aanpakken als homogene groepen en geïndividualiseerd onderwijs – dikwijls divergente differentiatie genoemd – om beter met verschillen tussen de leerlingen om te gaan hebben voordelen, maar creëren ook eigen problemen; problemen die dikwijls de voordelen teniet doen. Divergente Onderwijs Maak Je Samen

- 5 / 12 -

06.07.2012

differentiatie is volgens Bosker (2005) problematisch omdat deze invulling van differentiatie alleen maar leidt tot grotere verschillen tussen leerlingen. Ook tempodifferentiatie kan als een vorm van divergente differentiatie worden gezien. In de praktijk betekent divergente differentiatie, dat goede leerlingen sneller door de leerstof heen gaan, dan zwakke leerlingen, waardoor de verschillen tussen leerlingen alleen maar groter worden. Volgens Dronkers (2007) bouwen bepaalde vormen van interne differentiatie de ongelijke aanvangsverschillen van leerlingen zelfs uit, waardoor ongelijke onderwijskansen worden vergroot. Kenmerken van een effectieve aanpak zijn juist de risicoleerlingen zoveel mogelijk bij de groep houden, waardoor ze met de goede leerlingen optrekken, en binnen de groep op te vangen en meer tijd te geven; de leerkracht kan na de groepsinstructie door verlengde instructie aandacht aan hun problemen besteden. 4. Wat vinden leerlingen ervan? Wat vinden leerlingen van de diverse vormen van omgaan met verschillen? Bij het omgaan met verschillen gaat het toch vooral om de leerling? In dat verband kan geconstateerd worden dat er weinig onderzoek op dat gebied is. In 1995 hebben Elbaum, Schumm en Vaugh aan 549 basisschoolleerlingen die in de leerjaren 3, 4 en zaten, inclusief 23 leerlingen met leesproblemen, gevraagd wat ze daarvan denken. Het onderzoek liet zien, dat alle leerlingen, zowel goede als zwakke lezers, de voorkeur gaven aan heterogeen samengestelde groepen. Op de tweede plaats gaven alle leerlingen de voorkeur aan klassikale instructie! Het minst populair waren bij de leerlingen homogene groepen en zelfstandig/ alleen werken. Het onderzoek liet ook zien, dat zwakke leerlingen in heterogene klassern meer hulp van klasgenoten kregen dan wanneer er met homogene groepen werd gewerkt. Vooral door zwakke lezers werden vaste homogene groepen als ongewenst gezien. 5. Convergente differentiatie als evidence based aanpak voor een beter omgaan met verschillen Convergente differentiatie wordt dikwijls geplaatst tegenover divergente differentiatie, maar ook staat convergente differentiatie tegenover star klassikaal onderwijs, waar geen differentiatie plaatsvindt. Convergente differentiatie betekent, dat er doelgericht onderwijs wordt gegeven om alle leerlingen in de groep minstens de gestelde minimumdoelen voor de basisvaardigheden te laten bereiken, waarbij het streven is dat alle leerlingen profiteren van de groepsinstructie, maar dat er tijdens de verwerking rekening wordt gehouden met de verschillen tussen leerlingen. Bijvoorbeeld goede en gemiddelde leerlingen gaan dan zelfstandig of in duo’s aan het werk met verdiepingsstof en zwakke lezers krijgen verlengde, meer intensieve instructie in een groepje van 3 – 5 kinderen, waar rekening wordt gehouden met hun leerbehoeften en waar goed feedback gegeven kan worden. Het model houdt in, dat met name tijdens de verwerking rekening gehouden wordt met de verschillen tussen leerlingen. Werken vanuit doelen is een belangrijk aspect van convergente differentiatie; doelen die door alle leerlingen – dus ook de zwakke – minimaal moeten worden behaald. Het omgaan met verschillen moet namelijk tot gevolg hebben dat risicoleerlingen beter gaan functioneren en ook de voor hen noodzakelijke doelen die voor alle leerlingen gelden, gaan halen. Bijvoorbeeld: alle kinderen verlaten minimaal met een AVI-9 leesniveau na groep 8 de basisschool; door dit niveau zijn ze functioneel geletterd. Het is van belang dat voortdurend de vooruitgang van leerlingen in verlengde Onderwijs Maak Je Samen

- 6 / 12 -

06.07.2012

instructiegroepen wordt gemonitoord en indien nodig de samenstelling van de ‘tijdelijke homogene ‘groep wordt gewijzigd. Cruciaal voor risicoleerlingen is, dat zowel de groeps- als intensieve instructie voor hen effectief moet zijn. Verlengde instructie moet na de groepsinstructie komen en niet in plaats daarvan. Bovendien laat onderzoek zien, dat wanneer zwakke lezers niet meedoen aan de groepsinstructie dit negatieve effecten heeft voor hun leesontwikkeling en zelfvertrouwen. Bij de aanwezigheid van zwakke leerlingen is het van belang naar effectieve groepsinstructie te streven die tot doel heeft juist die leerlingen daarbij actief te betrekken. Een sterke toename van intensieve instructie voor risicoleerlingen is duidelijk een effectieve interventie. Het is namelijk buiten twijfel dat risicolezers en zwakke lezers sneller leren bij meer intensieve instructie dan alleen bij doorsnee groepsinstructie. Meta-analyses laten voortdurend positieve effecten voor intensieve instructie in kleine groepjes zien (Elbaum, Vaugh, Hughes & Moody, 1999). Van belang is dat dergelijke intensieve instructie frequent plaatsvindt, n.l. 4 á 5 keer per week en dan met een lengte van 20 – 45 minuten (Torgesen, 2004). Dat op een kwalitatief verantwoorde wijze de instructietijd uitbreiden effect heeft, laat ook onderzoek van Wang e.a. (1997) zien. In 97% van de door hen bekeken onderzoeken had uitbreiding van de instructietijd positieve effecten voor het leren van de leerling! Meer onderwijstijd in de zin van instructie- en leertijd dan de gemiddelde leerlingen krijgen, is een must voor de leerontwikkeling van risicoleerlingen. Het is dan niet vreemd, dat the National Reading Panel (2000) in een overzichtstudie schrijft, dat expliciete, intensieve instructie een essentieel kenmerk van effectieve interventies voor zwakke lezers dient te zijn. Bij de verlengde instructie dient herhaling een belangrijke plaats in te nemen. Uit onderzoek blijkt, dat herhaling voor zwakke lezers een effectieve methodiek is die sterk door onderzoek ondersteund wordt (Lezotte en Cipriano Pepperl, 1999). Daarnaast is preteaching als methodiek effectief, omdat het leidt tot een verbeterde taakgerichte leertijd van risicolezers tijdens de komende groepsinstructie. De zwakke leerling weet dan al vast enigszins waar het in de komende les om zal gaan, zodat hij of zij beter, actiever, die les kan volgen. Kortom: convergente differentiatie betekent dat de leerkracht voor zwakke lezers na de groepsinstructie meer ‘intensieve’ instructietijd, minimaal één uur per week, moet organiseren. Zonder die extra inspanningen, zullen zoals eerder is aangegeven, zwakke lezers niet de gestelde minimumdoelen halen. Het leerlingvolgsysteem en protocolmatig werken zijn belangrijke hulpmiddelen om na te gaan of leerlingen zich in de richting van de gestelde doelen ontwikkelen. Het model van convergente differentiatie ziet er als volgt uit:

Onderwijs Maak Je Samen

- 7 / 12 -

06.07.2012

De convergente differentiatie kan worden versterkt door aanvullend op de intensieve instructie voor zwakke leerlingen tutoring of duoleren te laten plaatsvinden. Door deze activiteiten vindt er uitbreiding van de leertijd c.q. toename van de taakgerichte leertijd plaats, maar kan er ook met de specifieke problemen van een leerling worden rekening gehouden. Zo kunnen zwakkere lezers via interactie met sterkere lezers geholpen worden in het opbouwen van beter leesbegrip van schoolse teksten. De zwakkere lezers trekken zich op aan het voorbeeld, het taalaanbod, de motivatie en de uitleg van de meer vaardige leerlingen (Van den Branden (1997,2000) en Van Keer (2003)). Volgens Slavin (1997) kan het inzetten van een oudere leerling die met een jongere leerling werkt, zeer effectief zijn. Diverse onderzoeken laten dat zien. Ook ouders kunnen een rol spelen. Bijvoorbeeld door na schooltijd met hun kind bepaalde vaardigheden die op school aan de orde geweest zijn nog eens te oefenen met hun kind. Een belangrijke factor voor een beter omgaan met verschillen is het hebben van een goed inzicht in de verschillen tussen leerlingen en dan in het bijzonder bij risicoleerlingen. Het monitoren van hun resultaten is van groot belang, o.a. om bijvoorbeeld te zien dat een interventie als verlengde instructie effect voor hun leerontwikkeling heeft. Bij de monitoring kunnen observaties en leerlingvolgsysteemgegevens een belangrijke rol spelen; bij de leerlingvolgsysteemgegevens moet gekeken worden naar de zogenaamde D- en E-leerlingen. 6. De effectiviteit van convergente differentiatie In een aantal leesprojecten, n.l. het BOV- en HARD-project is gewerkt vanuit het model van de convergente differentiatie. De aanleiding van beide projecten was, dat Onderwijs Maak Je Samen

- 8 / 12 -

06.07.2012

de deelnemende scholen – vooral scholen met veel leerlingen uit risicogroepen – dikwijls met een leesuitval van 25% of hoger in de groepen 3 en 4 te maken hadden. Een dergelijk hoge leesuitval verklaart ook, waarom rond de 25% van de kinderen na groep 8 met een onvoldoende leesvaardigheid de basisschool verlaat. Beide projecten projecten, waarin het versterken van de groepsinstructie en het realiseren van verlengde instructie centraal stond om de gestelde leesdoelen, n.l. minimaal AVI-2 op het einde van groep 3 en minimaal AVI-5 op het einde van groep 4 te realiseren, wisten de leesuitval – concreet het aantal kinderen dat de gestelde doelen niet haalde - te reduceren tot 4 – 6%. Deze bevinding sluit aan bij die van Elbaum e.a. (1999), dat dergelijke kleine intensieve instructiegroepen betere resultaten voor zwakke leerlingen tot gevolg hebben. Er is ook onderzoek dat laat zien, dat dergelijke kleine instructiegroepen even effectief of zelfs effectiever zijn dan één-op-één aanpakken. 7. Samenvatting Het omgaan met verschillen is duidelijk een complexe aangelegenheid, waarbij moet worden voorkomen, dat de keuze voor een aanpak van het omgaan met verschillen negatieve effecten voor risicoleerlingen heeft. Onderzoek uit de afgelopen decennia heeft duidelijk gemaakt dat risicoleerlingen het beste in heterogeen samengestelde groepen leren en met name meer instructie- en leertijd nodig hebben om bijvoorbeeld een gemiddelde lezer te worden. De mate van effectiviteit van onderwijs is bovenal afhankelijk van de beschikbare tijd voor zowel het onderwijs geven als voor het leren van de stof (zie Dronkers, 2007). Aangezien tijd cruciaal is voor risicoleerlingen, is het juist zorgelijk dat het recente Onderwijsverslag van de inspectie van onderwijs (mei 20078) laat zien, dat het efficiënt gebruik van onderwijstijd geleidelijk afneemt, omdat leraren meert tijd nodig hebben voor het orde houden. Convergente differentiatie heeft de minst negatieve effecten voor risicoleerlingen, zowel op cognitief als sociaal-emotioneel gebied. Convergente differentiatie vraagt ook om gerichte implementatie. In de praktijk zullen leerkrachten vooral geprofessionaliseerd en ondersteund moeten worden bij het vormgeven van intensieve instructie c.q. het klassenmanagement dat dit vereist. Daarnaast is het van belang rekening te houden met het gegeven, dat intensieve instructie alleen bij effectief gegeven groepsinstructie effectief is. 8.Literatuur Allington, R.L. e.a. (1995). No Quick Fix. Rethinking Literacy Programs in America’s Elementary Schools. New York: Teacher College Press. Barta, J.J. & Allen, M.G. (1995). The Dilemma of Tracking and Grouping in Early Childhood and Middle Grades: Are We Speaking the Same Language. In: Pool, H. & Page, J.A. (ed.)(1995). Beyond Tracking. Finding Success in Inclusive Schools. Bloomington/Indiana: Phi Delta Kappa Educational Foundation. Bosker, R. (2005). De grenzen van gedifferentieerd onderwijs. Groningen: Universiteit van Groningen. Broek, A. (2000). Onderzoek naar de institutionalisering en effecten van het OVB-circuitmodel in het basisonderwijs. Leuven/Apeldoorn: Garant. Cox, K.E. & Guthrie, J.T. (2001). Motivational and cognitive contributions to students’amount of reading. Contemporary Educational Psychology, 26, 116-131. Davis, J. (2006). More time to learn: The Next Frontier of Educational Refom. Massachusetts: Center for American Progress. Dronkers, J. (2007). Ruggengraat van ongelijkheid. Amsterdam: Mets & Schilt en Onderwijs Maak Je Samen

- 9 / 12 -

06.07.2012

Wiardi Beckman Stichting. Elbaum, B., Vaughn, S., Hughes, M., & Watson-Moody, S. (1999). Grouping practices and reading outcomes for students with disabilities. Exceptional Children, 65(3), 399-415. Elbaum, B., Schumm, J. & Vaughn, S. (1995). Students’perceptions of grouping formats for reading instruction. Paper presented at the American Educational Research Association Conference, San Francisco. Fraser, B.J. et al (1987). Syntheses of educational productivity research. International Journal of Educational Research, v11 n2 p147-252 1987 Gamaron, A. (1992). Access to excellence: Assignment to honors classes in the transition from middle to high school. Educational Evaluation and Policy Analysis, 14(3), 185–204. Gamoran, A. (2003). Tracking and the literacy achievement gap. Retrieved 08/05/03 from cela.albany.edu/newslet/spring03/tracking.htm. Grift, W. van de (2005): ‘Verlenging en verkorting van de kleuterperiode in het basisonderwijs”. In Basisschoolmanagement, jrg. 18, nr. 5, (januari 2005) Grift, W. van de (2007). ‘Ontwikkelingen in de kwaliteit van het basisonderwijs’. In Basisschoolmanagement, jrg. 21, nr. 1, (september 2007). Gretchen Guiton and Jeannie Oakes (1995). Opportunity to Learn and Conceptions of Educational Equality. Educational Evaluation and Policy Analysis, Vol. 17, No. 3, The Leigh Burstein Legacy (Autumn, 1995), pp. 323-336 Guldemond, H. (1994). Van de kikker en de vijver. Groepseffecten op individuele leerprestaties. Leuven/Apeldoorn: Garant. Hallam, S. (1996). Grouping pupils by ability: selection, streaming, banding and setting. London: Institute of Education. Inspectie van het onderwijs (2006). De staat van het Onderwijs. Onderwijsverslag 2004/2005. Utrecht: inspectie van het onderwijs. Inspectie van het onderwijs (2007). De staat van het Onderwijs. Onderwijsverslag 2005/2006. Utrecht: inspectie van het onderwijs. Inspectie van het onderwijs (2008). De staat van het Onderwijs. Onderwijsverslag 2006/2007’. Utrecht: inspectie van het onderwijs. Lezotte, L.W. & Cipriano Pepperl, J.A. (1999). The Effective Schools Process: A Proven Path to Learning for All. Okemos, Michigan: Effective Schools Products, Ltd. Marzano, R. et al (2001). Classroom Instruction That Works: Research-Based Strategies for Increasing Student Achievement. Alexandria, VA: ASCD. Meijer, C. (1996). Integratiestreven is wereldwijd. Speciaal Onderwijs, jrg. 69, nr. 1, februari 1996. Pechar, J.L. & Meijer, C.J.W. (1997). WSNS op weg. De evaluatie van het WSNS-beleid. Groningen: Wolters-Noordhoff. Meijer, C.J.W. (1995). Halverwege. Van Startwet naar Streefbeeld. De Lier: Academisch Boeken Centrum. Guiton, G. and Oakes, J. (1995). Opportunity to Learn and Conceptions of Educational Equality. Educational Evaluation and Policy Analysis, Vol. 17, No. 3, 323-336 (1995) Page, J.A. (ed.)(1995). Beyond Tracking. Finding Success in Inclusive Schools. Bloomington/Indiana: Phi Delta Kappa Educational Foundation. Slavin, R.E. (1996). Neverstreaming. Preventing Learning Disabilities. Educational Leadership, Vol. 53, no. 5, 4-7. Slavin, R. E. (1997). Educational Psychology. Theory and Practice. Boston: Allyn and Onderwijs Maak Je Samen

- 10 / 12 -

06.07.2012

Bacon. Terwel, J. (1997). Grenzen aan de groep? Een onderwijspedagogisch perspectief op leren in contexten. Amsterdam: VU Uitgeverij. Torgesen, J. (2004). Preventing Early Reading Failure. Washington: AFT. Van den Branden, Kris (2003). Leesonderwijs in Vlaanderen: van hoera! Naar aha! In: VONK, 32e jaargang, nr. 3, jan.-feb. 2003. Van Keer, H. (2001). Een boek voor twee. Een onderzoek naar het verwerven van strategieën voor begrijpend lezen via peer tutoring in de lagere school. VONK 31/2 (nov.-dec. 2001), pp 4-16. Vernooy, K. (1995). Kanttekeningen bij conventionele wijsheden. Leesgoed, 22e jrg, nr. 6, 1995. Vernooy, K. (1997). De effectiviteit van groeperingswijzen. Willem Bartjens, jaargang 17, september 1997. Vernooy, K. (1998). Het hart van het WSNS-proces: omgaan met verschillen. JSW, jaargang 83, nr. 3, november 1998, pag. 28 – 33. Vernooy, K. (1998). De effecten van differentiatie op het cognitief en sociaal-emotioneel functioneren van leerlingen. In: P. Ghesquière en A. Ruijssenaars (red.). Ernstige leer- en gedragsproblemen op school. ACCO, Leuven 1998. Vernooy, K. (2005). Het BOV-interventieproject. Beginnend lezen en omgaan met verschillen. Mechelen: Wolters Plantyn, april 2005. Vernooy, K. (2005). Verlengde instructie en zwakke lezers. In: Zorgbreed, nr. 9, 2005. Vernooy, K (2006). Leesonderwijs basisonderwijs behoeft dringend verbetering. In: Christen Democratische Verkenningen special ‘De nieuwe schoolstrijd”, Herfst 2006. Vernooy, K. (2006). Effectief omgaan met risicolezers. Werken aan preventie en beter omgaan met leesproblemen. CPS: Amersfoort 2006. Wang, M. C.,G. D. Haertel, and H. J.Walberg. 1997. “Learning Influences.” Pp. 199–211 in Psychology and Educational Practice, eds. H. J. Walberg and G. D. Haertel. Berkeley, Calif.: McCutchan. Ward, Beatrice (1987). Instructional Grouping in the Classroom. School Improvement Research Series. NW Regional Educational Laboratory. Dr. Kees Vernooy was bij het CPS projectleider van diverse leesprojecten die effectief waren voor risicolezers; momenteel is hij als lector verbonden aan de hogeschool Edith Stein in Hengelo.

Dit artikel is gedownload van http://www.onderwijsmaakjesamen.nl


- 11 / 12 -

06.07.2012


- 12 / 12 -

06.07.2012

Didactiek /// Tekst Esther de Boer

s r e d r e e t s e r p Onder d n e k r e h t e i n l a meest Docent is verantwoordelijk Jasmijn (16) zit in 4 vwo. Ze haalt redelijk goede cijfers, voldoendes voor de talen en voor geschiedenis een 8. Halverwege vwo 4 switcht ze van profiel natuur en techniek naar economie en maatschappij. Economie heeft ze in de kerstvakantie ingehaald. Het lijkt nu verder goed te gaan met Jasmijn. Soms laat ze heel goed werk zien, zoals laatst bij Duits toen ze een boekbespreking moest maken. Buiten school speelt ze volleybal op tweede divisie niveau. Yannick (16) zit in 4 havo. Het afgelopen jaar ging het niet zo goed. Hij haalde veel onvoldoendes. In overleg met zijn ouders is besloten hem over te laten stappen van vwo 4 naar havo 4. Zijn cijfers zijn nog steeds niet geweldig. Het lijkt er op dat ook havo 4 niet gaat lukken. De meeste docenten geven aan dat Yannick het wél kan, maar niet laat zien. In de klas trekt hij veel negatieve aandacht, hij is brutaal en daagt docenten uit. Op het eerste gezicht lijkt er met Jasmijn niet zoveel aan de hand te zijn. Ze haalt redelijke cijfers, ongeveer op het gemiddelde niveau van de klas en steekt veel tijd en energie in haar passie, het volleyballen. Soms toont ze ineens heel goede resultaten. Ze geeft de indruk goed in haar vel te zitten en het naar haar zin te hebben op school. Bij Yannick ligt dat anders. Hij presteert duidelijk onder zijn niveau en riskeert een drop-out te worden.

24

-12-18

april 2010

Minimaal een op de tien leerlingen is een onderpresteerder. De meerderheid ontsnapt aan de aandacht van de docenten. Wie in staat is de signalen op te vangen, kan onderpresteerders veel beter vooruit helpen.

Onderpresteren is in feite ‘structureel minder presteren dan waartoe je in staat bent’. Bij onderpresteren wordt onderscheid gemaakt tussen relatief en absoluut onderpresteren. Een relatieve onderpresteerder is een leerling waarbij de schoolresultaten achter blijven bij datgene wat hij zou moeten kunnen gezien zijn capaciteiten. Dat zijn leerlingen die wel degelijk voldoendes kunnen halen en mee kunnen gaan met het gemiddelde van de klas. Deze leerling lijkt niet extreem gemotiveerd om hoge cijfers te halen en neemt genoegen met voldoendes. Jasmijn zou hiervan een voorbeeld kunnen zijn. Bij absoluut onderpresteren daarentegen is er sprake van presteren door leerlingen op het laag-

‘Directe aanpak van onderpresterende leerlingen ligt in de handen van hun docenten’ ste niveau van de klas of de leeftijdsgroep. Deze leerlingen halen lage cijfers en voldoen niet aan het gemiddelde niveau van de klas. Ze zijn vaak storend aanwezig en hoewel deze leerling wel hulp nodig heeft, vangt hij of zij eerder straf. Hoewel het lijkt of deze leerlingen niet te motiveren zijn, is het wel degelijk zo dat zij gemotiveerd zijn om te leren voor dingen die hen interesseren. Van deze leerlingen zou Yannick een voorbeeld kunnen zijn. Ieder kind Volgens de Onderwijsraad presteert minimaal een op de tien kinderen onder zijn of haar niveau of dat van de klas. Ieder kind kan dus onderpresteren. Daarbij zijn een aantal risicogroepen aan te wijzen. Zo blijkt dat de prestaties van ‘Nederlandse leerlingen met laagopgeleide ouders’ achter blijven ten opzichte van de verwachtingen. Maar ook kinderen met een Turkstalige achtergrond kunnen onderpresteren vanwege een taalachterstand. Naast deze twee groepen wordt door meisjes ondergepresteerd in de exacte vakken en door jongens op taalgebied. Onderpresteren komt relatief vaker voor bij hoogbegaafde leerlingen dan bij gemiddeld of laagbegaafde leerlingen. Dat komt onder andere doordat het verschil tussen wat een leerling zou kunnen en wat een leerling laat zien al snel groter is, dan bij een gemiddeld begaafde leerling. Het blijkt bijvoorbeeld dat in het voortgezet onderwijs rond de 18% van de hoogbegaafde leerlingen een lagere score haalt voor het vak Nederlands dan de gemiddelde score van begaafde leerlingen. Voor wiskunde is dat ongeveer 14%. Niet aanpassen Onderpresteren hoeft echter geen probleem te zijn. Een leerling die het op school naar de zin heeft, prima resultaten behaalt en de uitdaging buiten school zoekt, kiest ervoor om op school niet alles eruit te halen wat er in zit. Anders wordt het als het onderpresteren leidt tot problemen voor het kind zelf, voor de ouders en/of voor de school. Onderpresterende leerlingen kunnen gedrag vertonen waarbij zij zich ofwel aanpassen, ofwel niet aanpassen, om overeind te blijven op de middelbare school. Aanpassingsgedrag kan zich bijvoorbeeld uiten in ‘clownsgedrag’ of het gedrag van een dromer. De ‘artistieke’ of de ‘rebellerende’ leerling, zijn voorbeelden van onderpresterende leerlingen die er voor kiezen om zich niet aan te passen. Deze vormen van gedrag komt de schoolresultaten van deze leerlingen echter niet ten goede. Samen zoeken Het mag duidelijk zijn dat het gedrag van Yannick niet onopgemerkt is gebleven. De vraag is echter of de achterliggende reden van zijn gedrag ook daadwerkelijk naar voren komt. Bij Jasmijn is minder makkelijk van haar gedrag af te leiden of zij een onderpresteerder zou kunnen zijn en zo ja, of zij ook begeleiding nodig heeft. Immers zij lijkt het naar haar zin te hebben en genoeg uitdaging te hebben. Voor beiden geldt dat het belangrijk is dat de docent in een vroeg stadium vaststelt of ze onderpresteren, zodat hij op tijd kan inspelen op dit gedrag. Om het gedrag te herkennen kan dan ook gebruik gemaakt worden van kenmerken en profielen van onderpresterende leerlingen. Zie http://www.kpcgroep.nl/hoogbegaafdheid. Onderpresteren wordt beïnvloed door schoolfactoren (zoals een ontoereikend aanbod), thuisfactoren (zoals verwachtingspatronen) en door persoonlijkheidsfactoren van het kind (zoals perfectionisme). Het is dus zaak om het probleem van onderpresteren te herkennen en te erkennen. Dit is de eerste stap naar een oplossing. Ruimte geven en vertrouwen is in deze fase (en de volgende) van essentieel belang. Daarna kan men samen met de leerling en, wellicht ook de ouders, samen op zoek gaan naar strategieën om de leerling weer te laten presteren en mogelijk te excelleren.

Signalen Volgens de Onderwijsraad ligt de directe aanpak van onderpresterende leerlingen in de handen van hun docenten. Maar helaas ontsnappen veel leerlingen aan hun aandacht. Afgelopen jaar heeft KPC Groep daarom een onderzoek gedaan onder vierentwintig docenten. Daaruit blijkt dat die meestal wel op de hoogte waren van het fenomeen onderpresteren, maar slechts de helft van de bevraagde docenten zegt ooit een onderpresterende leerling in de klas te hebben gehad. Hoewel docenten aangeven onderpresteerders te kunnen signaleren op grond van een aantal kenmerken, geven zij ook aan dat zij meer kennis over het herkennen en begeleiden van onderpresteerders zouden willen verwerven. Bij de hoogbegaafde onderpresterende leerling is dit beeld enigszins afwijkend. Alle docenten op één na hebben een hoogbegaafde leerling in de klas gehad. Opvallend is een grote groep docenten die niet weten of zij deze leerlingen op grond van bepaalde kenmerken kunnen herkennen. Van de docenten voelt slechts 30% zich in staat om signalen van onderpresterende hoogbegaafde leerlingen te interpreteren.

Kenmerken onderpresteerder Er zijn zes soorten onderpresteerders: - de zelfstandige leerling - de succesvolle leerling - de uitdagende leerling - de onderduikende leerling - de leerling met leer- en/of gedragsproblemen - de drop-out. Iedere categorie heeft eigen kenmerken en vraagt een andere begeleiding.

(

Esther de Boer is werkzaam als adviseur bij KPC Groep en is gespecialiseerd in ‘hoogbegaafdheid’, [email protected]. Zij heeft een workshop rond onderpresteren ontwikkeld. Zie voor meer informatie over het onderwerp op: http://www.kpcgroep.nl/hoogbegaafdheid

april 2010

-12-18

25

Talenten ontwikkelen? Hoogbegaafde leerlingen stimuleren? Help ze bij het maken van goede keuzes! Tussenrapportage 2008 Project havo-vwo, Beroepsidentiteit en Persoonlijkheidsontwikkeling Programmalijn Doorlopende leerlijnen

1.

Inleiding

Een soepele overgang van primair naar voorgezet onderwijs én van havo/vwo naar het hoger beroepsonderwijs. Talenten benutten en hoogbegaafde leerlingen stimuleren, door ze allemaal te helpen bij het maken van de juiste keuzes. Dat is het doel van het project ‘havo-vwo, Beroepsidentiteit en Persoonlijkheidsontwikkeling’. Ook in de Lissabon-doelstellingen van maart 2000 wordt het belang van goede, doorlopende leerlijnen benadrukt. In de kwaliteitsagenda VO (doel 4) staat het eveneens verwoord: ‘Alle leerlingen een passende kwalificatie. Iedereen doet mee, we moeten voorkomen dat uitvallers zonder behoorlijk startbewijs aan de zijlijn van de samenleving komen te staan. Ook hier is de aandacht voor individuele situatie van het kind 1

essentieel. Zoals het maken van een goede beroepskeuze…’ . Een passende kwalificatie betekent automatisch dat de talenten van leerlingen beter worden ontwikkeld. Uitblinkers beter begeleiden Ook in de media is er aandacht voor het belang van talentontwikkeling en excellentie. Het artikel ‘Nederland verkwanselt talent’, in het blad Talent van ITS Nijmegen stelt: ‘Talent is onmisbaar, stellen politici en universiteiten. Toch is er weinig aandacht voor scholieren die bovengemiddeld 2

presteren. (…) Een oplossing zou vroegtijdige signalering van hoogbegaafdheid kunnen zijn’.

De nivelleringsgedachte die jarenlang leidend is geweest voor ons onderwijsbeleid, heeft ertoe geleid dat zwakke en gemiddelde leerlingen het internationaal gezien erg goed doen. Juist aan de bovenkant presteren we het zwakst! Zeker nu we hoger opgeleide mensen nodig hebben, en dat aantal stelselmatig afneemt, moeten we aandacht besteden aan het begeleiden van 3

uitblinkers.’

Onderbenutting van talent voorkomen Gedurende de leerloopbaan van een leerling neemt hij op diverse momenten beslissingen over zijn toekomst. Die afwegingen zijn essentieel! Een verkeerde keuze kan leiden tot onderbenutting van talent, maar zelfs een juiste keuze garandeert niet dat alle talenten volledig tot wasdom komen. Leerlingen, ouders én leerkrachten spelen daarin allemaal een rol. Zij moeten zich eensgezind richten op het ontwikkelen van talenten en het maken van de keuzes die daarbij passen. Deze rapportage richt zich op één facet in dat proces; het maken van de keuze voor het vervolgonderwijs. Verschillende bronnen ondersteunen onze focus op het onderzoeken van het keuzeproces. De commissie Dijsselbloem stelt: ‘Selectie vindt nog steeds in sterke mate plaats aan het begin van het voortgezet onderwijs en er is weinig mogelijkheid tot herstel van foutieve selectie. (…) Een versterking van het onderwijs moet tevens plaatsvinden door het aanbrengen van meer dwarsverbanden binnen het gedifferentieerde stelsel van voortgezet onderwijs. Herstel van een verkeerde studie- of beroepskeuze kan in verschillende fasen van de schoolcarrière nodig zijn. Versterking van de mogelijkheden tot opstroom, afstroom of doorstroom maken het mogelijk talenten beter te benutten en schooluitval te voorkomen.’ 1

4

In deze rapportage komen de volgende zaken aan de orde: •

de definitie van het begrip onderbenutting,

•

een model, dat duidelijk maakt wat de samenhang is tussen factoren die leiden tot bepaald gedrag (in dit geval de keuze voor vervolgonderwijs),

•

een analyse van de zaken die bepalend zijn voor de advisering en de keuze voor een vervolgtraject,

•

voorstellen voor mogelijke interventies, die helpen bij het maken van betere doorstroombeslissingen.

Wij willen komen tot een aanbeveling van interventies, die scholen kunnen toepassen om het keuzeproces te flexibiliseren en optimaliseren. Bijzonder aandacht gaat daarbij uit naar de hoogbegaafde leerling.

2

2.

Onderbenutting van talent, wat bedoelen we daarmee?

Als we het hebben over de onderbenutting van talent, rijst de vraag wat we daar precies onder verstaan. 2.1 Wat is onderbenutting? Een kleine greep uit de definities van onderbenutting levert het volgende op: •

Het begrip onderbenutting duidt op een aansluitingsprobleem tussen opleiding en arbeidsmarkt. Van onderbenutting is sprake wanneer het opleidingsniveau hoger is dan vereist voor de functie die iemand vervult.

•

Van ‘onbenut’ of ‘onderbenut’ talent spreken we bij groepen leerlingen, waarbinnen 5

(verborgen) cognitief talent aanwezig is, dat (nog) onvoldoende tot zijn recht komt. •

Onderbenutten is minder uitgeven dan begroot.

Halen we eruit wat erin zit? Mulder, Roeleveld en Vierke (2007) geven aan dat het er bij onderbenutting om gaat dat ‘er niet wordt uitgehaald wat erin zit’. Dat kan het geval zijn bij zeer talentvolle leerlingen, maar ook bij leerlingen met een lager prestatieniveau. Om onderbenutting te kunnen meten, gebruiken zij de discrepantie tussen potenties (intellectueel vermogen) en niveau van schoolprestaties. Dat doen ze door: •

in het primair onderwijs de non-verbale IQ-score en de prestaties voor taal en rekenen te vergelijken,

•

in het voortgezet onderwijs de score voor bepaalde vakken en het IQ te vergelijken,

•

de prestaties in het primair onderwijs te vergelijken met de prestaties in het voortgezet onderwijs,

•

de positie van een leerling qua taal- en/of rekenprestaties te vergelijken met het landelijk gemiddelde,

•

te kijken naar discrepanties tussen schooladvies of doorstroomkeuze en de prestaties van de leerlingen. Hierbij gaat het niet zozeer om onderpresteren, maar om onderadviseren. Onderadviseren kan leiden tot onderpresteren.

De aard en omvang van de onderbenutting is sterk afhankelijk van de probleemstelling, de gekozen definitie en de instrumenten waarmee de onderbenutting wordt vastgesteld. Vanuit de bèta-techniek wordt er bijvoorbeeld gesproken over de onderbenutting van bèta-talent bij meisjes. Een leerlinge met goede cijfers voor de exacte vakken en wiskunde, die niet kiest voor een exacte of technische studie, wordt daarmee gekwalificeerd als onderbenut bèta-talent. Vanuit het perspectief van de leerling zelf of de studie die zij wél kiest, hoeft dat echter helemaal niet zo te zijn. 2.2 Wat is talent? Een veel gebruikt synoniem voor talent is begaafdheid. Begaafdheid of talent wordt in Wikipedia omschreven als een bijzonder goed ontwikkelde eigenschap van een persoon. Iemand kan bijvoorbeeld talent hebben voor bepaalde schoolvakken of wetenschappen, werkzaamheden, creatieve uitingen (kunst), sociale interactie et cetera. Howard Gardner heeft die variatie omschreven als 'meervoudige intelligentie'. Bij begaafdheid spelen aangeboren eigenschappen een grote rol. Dit in tegenstelling tot een vaardigheid, waarbij vooral ervaring en handigheid een rol spelen.

3

De begaafde violiste Begaafdheid is gerelateerd aan intelligentie, maar er is meer nodig om ze in praktijk te brengen. Een begaafdheid moet je ontwikkelen, er moeten technieken worden aangeleerd. Zo ontstaat er een routine en kan er vaak méér of beter werk worden verricht. Zo is een violiste niet alleen begaafd als zij de noten goed kan lezen en interpreteren, maar moet zij tevens over voldoende doorzettingsvermogen beschikken om te leren spelen, moeten haar vingers flexibel zijn, haar gehoor goed functioneren, et cetera. Een begaafd musicus geeft bovendien vaak een 'eigen' stijl aan de uitgevoerde muziekwerken. Een getalenteerd (begaafd) kunstschilder wordt beroemd wegens zijn interpretaties, niet alleen vanwege zijn technische vaardigheden. Iets dergelijks 6

geldt ook voor auteurs of schrijvers . Een talent bestaat dus uit drie elementen: begaafdheid, oefening en houding. Het is een kwaliteit die in aanleg aanwezig is en deel uitmaakt van de persoonlijke kracht van een individu. Het talent is altijd aanwezig, maar is niet altijd zichtbaar. Als een talent onzichtbaar blijft, of niet tot ontwikkeling komt, dan spreken we van een latent talent. Het individu vormt de basis, maar de omgeving/context bepaalt of het zijn talenten kan inzetten en ontwikkelen. De omgeving kan uitnodigen of juist ontmoedigen. Als mensen hun talenten benutten, groeit hun motivatie.

7.

Het begrip talent slaat op de intrinsieke mogelijkheden die iemand heeft om iets makkelijker, sneller of beter te doen dan een vergelijkbare leeftijdsgenoot. Er bestaan verschillende opvattingen over de vraag of je ook een nog onontwikkelde begaafdheid al een talent mag noemen. 2.3 Onderbenutting van talent, wat bedoelen we daarmee? Er is geen eenduidig antwoord op de vraag wanneer er sprake is van onderbenutting van talent. Het is afhankelijk van de vraag over welk talent we het hebben, met welke bril we naar het vraagstuk kijken, welke doelstelling we hebben en op welke manier de onderbenutting wordt vastgesteld. Wat willen we bereiken? Het voorkomen van onderbenutting heeft een maatschappelijk belang. Het zo goed mogelijk ontwikkelen en benutten van talent is nodig om de Nederlandse kennissamenleving optimaal te laten functioneren. Dat vertaalt zich onder meer in de behoefte om: •

ervoor te zorgen dat meer leerlingen de weg naar het hoger onderwijs vinden;

•

alle leerlingen, die hun cognitieve talenten niet volledig benutten, te stimuleren dit wel te doen,

•

te voorkomen dat leerlingen hun schoolloopbaan voortijdig afbreken.

Onderbenutting voorkómen Op individueel niveau leidt het niet aanspreken van talent tot demotivatie en mogelijk tot schooluitval. Het benutten van talent is nodig om een optimale positie in de maatschappij te verwerven, maar óók om simpelweg lekker in je vel te zitten. Bij het voorkomen van onderbenutting speelt het funderend onderwijs een centrale rol. Het is de vraag of het onderwijssysteem in Nederland haar talenten voldoende identificeert en ze voldoende kansen biedt. Als het talent van leerlingen onvoldoende wordt herkend, kan dit leiden 4

tot een achterstand of onvolledige ontplooiing van de vermogens. Naderhand kan dit niet meer of slechts met grote moeite nog worden ingelopen. Onderbenutting doet zich vooral veel voor in het primair onderwijs, maar komt ook voor in het voortgezet onderwijs. Extra aandacht voor (cognitief) talent kan onderpresteren tegengaan en de basis leggen voor een betere benutting ervan in beide onderwijssectoren. Oorzaken van onderbenutting Mulder, Roeleveld en Vierke (2007) stellen in hun onderzoek onder meer vast, dat onderbenutting in het basisonderwijs vooral wordt veroorzaakt door: •

het lesaanbod, dat niet goed is afgestemd op de leerling

•

een laag ambitieniveau van de ouders/leerlingen, en/of

•

lage verwachtingen van leerkrachten.

Verwachtingspatronen, aanbod en begeleiding zijn uiteraard ook relevant in het voortgezet onderwijs. Daarnaast stimuleert het huidige gedifferentieerde onderwijsstelsel het optimaal benutten van talent niet. Autochtone kinderen van laagopgeleide ouders In hun onderzoek constateren Mulder, Roeleveld en Vierke dat onderpresteren relatief veel voorkomt bij autochtone kinderen van laagopgeleide ouders. Oorzaken daarvoor kunnen zijn: •

(gebrek aan) toegang tot bronnen als internet, sociale netwerken, boeken, etc,

•

het taalgebruik van de ouders; woordenschat, kennis taal en inzicht in de toepassing van taalmiddelen,

•

een negatieve selectie in deze groep, waardoor het achterblijven zich herhaalt. Kinderen van laagopgeleide ouders blijven zelf ook steken op een laag opleidingsniveau. Het begint vaak met lage verwachtingen van de leerkracht, waardoor deze kinderen lagere adviezen krijgen dan andere kinderen met vergelijkbare prestaties. Uiteindelijk kiezen zij (en hun ouders) zelf voor een lager schooltype dan ze gezien hun prestaties aan zouden kunnen.

Allochtone kinderen van laagopgeleide ouders Ook onder Turkse leerlingen komt onderpresteren op het gebied van taal(begrip) veel voor, vaker dan bij andere allochtone leerlingen. In het voortgezet onderwijs openbaart zich dit in een lagere deelname aan de hogere schooltypen en in lagere cijfers voor de vakken Nederlands en Engels. Onderpresteren en onderadvisering komt relatief vaak voor bij allochtone kinderen van laagopgeleide ouders. Deze groep leerlingen krijgt een lager advies dan autochtone leerlingen met hoogopgeleide ouders, die vergelijkbaar presteren. Lage verwachtingen van de leerkracht, lagere schooladviezen en tenslotte de keuze voor een te laag schooltype… In tegenstelling tot hun autochtone medeleerlingen lukt het allochtone kinderen niet om op hun werkelijke niveau te gaan presteren en deze cirkel te doorbreken. (Hoog)begaafde leerlingen Het onderzoek van Mulder, Roeleveld en Vierke wijst ook op een aantal problemen bij zeer begaafde leerlingen. Zo blijkt uit een onderzoek van ITS ( Mooij, prof.dr. T e.a. (2007), Succescondities voor hoogbegaafde leerlingen, ITS/CBO)) dat (vanuit intelligentieperspectief) hoogbegaafde en begaafde leerlingen: •

vaak een te laag advies (lager dan havo) krijgen

•

vaker disciplinaire maatregelen nodig hebben 5

• •

vaker onderpresteren. door leerkrachten in groep 4 worden ervaren als minder zelfverzekerd en minder gelukkig, als zij niet versneld leren. Ook hebben ze een minder goede relatie met de leerkracht.

Verschil tussen jongens en meisjes Jongens presteren in het algemeen beter in wiskunde en de exacte vakken dan meisjes. Ook kiezen ze vaker voor een vervolgstudie in deze richting. Men neemt echter aan dat dit verschil niet te maken heeft met verschil in aanleg, maar het gevolg is van sexespecifieke socialisatie. Conclusie Er is een scala aan facetten te benoemen, dat invloed heeft op de onderbenutting van talent in de schoolloopbaan van leerlingen. De keuze voor de vervolgopleiding in de leerloopbaan is hierin cruciaal. In de volgende paragrafen willen wij ons richten op dit keuzeproces. We kijken 1

daarbij naar het tot stand komen van de keuze zelf. Aspecten als timing laten we vooralsnog buiten beschouwing.

1

In de afgelopen jaren zijn er diverse publicaties verschenen over de ontwikkeling van hersenen. Gezien de

variabiliteit in de ontwikkeling, moeten we ons afvragen op welk moment cruciale keuzes in de leerloopbaan het beste gemaakt kunnen worden.

6

3.

Het keuzeproces

3.1 Wat onderzoeken we? Deze rapportage richt zich op het verbeteren van het keuzeproces richting het beroepsonderwijs bij havo- en vwo-leerlingen. Daarmee bedoelen wij het proces dat een leerling doorloopt bij het maken van (al dan niet bewuste) keuzes voor een leerloopbaan. Een aantal keuzemomenten daarin is vastgelegd: •

de overgang van Basisonderwijs naar Voortgezet Onderwijs,

•

het kiezen voor de profielen in havo/vwo 3

•

het kiezen voor een vervolgopleiding in havo5/vwo6.

In dit stuk beperken wij ons tot twee keuzemomenten: de doorstroomkeuze bij de overgang van primair onderwijs naar voortgezet onderwijs en de keuze voor een profiel in de bovenbouw van havo-vwo. We zoeken antwoord op de volgende vragen: •

Welke factoren zijn van invloed op het keuzeproces van een leerling en hoe hangen die samen met talentontwikkeling?

•

Welke mogelijkheden zijn er voor interventies, die leiden tot keuzeprocessen die beter zijn voor de leerling, de docent, de school en de maatschappij?

We onderzoeken de volgende veronderstellingen: •

Het keuzeproces van leerlingen wordt bepaald door een aantal expliciete keuzemomenten in de leerloopbaan. Deze keuzemomenten komen niet altijd overeen met de ontwikkeling van de leerling. De kwaliteit van de keuze wordt beïnvloed door het tijdstip waarop zij wordt genomen.

•

Leerlingen worden beïnvloed door hun omgeving (vrienden en familie) bij het maken van keuzes.

•

Een deel van de hoogbegaafde leerlingen wordt niet snel genoeg gesignaleerd. Daardoor maken zij mogelijk andere keuzes, dan wanneer hun hoogbegaafdheid wel was opgemerkt.

•

Goede interventies zijn gericht op het verkleinen van het spanningsveld tussen de omgeving en het individu. We moeten dus aandacht besteden aan: •

de ontwikkeling en rijping van de hersenen;

•

beelden van beroepen en beroepsperspectieven;

•

transitieproblemen;

•

sociaal-economische factoren;

•

gebrek aan deskundigheid bij onderwijsinstellingen;

•

determinatie-en adviescriteria;

Verkeerde keuzes zijn vanuit bedrijfskundig oogpunt inefficiënt; ze hebben een nadelig effect op de leerling én op de maatschappij. Reden genoeg dus om het keuzeproces te optimaliseren. 3.2. Een theoretisch kader voor het keuzeproces Een verkeerde keuze tijdens je leerloopbaan kan leiden tot demotivatie en uitval, maar ook tot andere vormen van onderbenutting van talent. Omgekeerd heeft het tijdig (h)erkennen van potentieel door leraren, ouders en de leerling een positief effect op de vervolgkeuze en de ontwikkeling van de leerling.

7

Theory of reasoned action In de schoolloopbaan van leerlingen komt een aantal belangrijke keuzemomenten voor: de stap van primair onderwijs naar voorgezet onderwijs, de profielkeuze, het vakkenpakket en de keuze voor een vervolgopleiding. We nemen aan dat dergelijke beslissingen min of meer bewust worden genomen. Het belang ervan is de beslissers duidelijk. Voor beslissingen waaraan een min of meer bewust proces ten grondslag ligt, hebben Martin Fishbein en Icek Ajzen (1975,1980) een model ontwikkeld. Het model beschrijft hoe beslissingen tot stand komen en waarom bepaald gedrag wel of niet wordt uitgevoerd. Het is toepasbaar op allerlei beslissingen. De theorie van Fishbein en Ajzen staat bekend als de Theory of Reasoned Action (TRA). De theorie is opgebouwd uit drie centrale onderdelen: •

Gedragsintentie – dit is de sterkte van de bedoeling die iemand heeft, om een bepaald gedrag ook te vertonen.

•

Attitude – dit is het resultaat van de consequenties die iemand verwacht van het gedrag, maal de waarde die iemand daaraan hecht.

•

Subjectieve norm – dit is de inschatting die iemand maakt van de verwachtingen van relevante anderen, gecombineerd met de neiging om daaraan te voldoen. Met andere woorden: denkt een leerling dat (voor hem belangrijke) anderen vinden dat hij bepaald gedrag moet vertonen?

De attitude en de subjectieve norm bepalen de sterkte van de gedragsintentie. Dit model is schematisch in figuur 1 weergegeven:

Verwachte gevolgen van het gedrag Attitude Waarde die je hecht aan de verwachte gevolgen

Gedrags-

Gedrag

intentie Perceptie over wat anderen vinden van het gedrag

Subjectieve norm

Neiging om aan verwachtingen van anderen te voldoen

Fig 1. Theory of reasoned action, Fishbein en Ajzen.

Volgens Fishbein en Ajzen tellen niet alle attitudes en subjectieve normen even zwaar mee bij het voorspellen van gedrag. Afhankelijk van de persoon en de omstandigheden kunnen deze factoren heel verschillende bijdragen. Als je iemand bent die de mening van anderen erg belangrijk vindt, is de invloed van de subjectieve norm veel groter dan bij iemand die het niet kan schelen wat anderen denken. 8

Theory of Planned Behavior In de jaren ’80 is de TRA uitgebreid met een additionele voorspeller, de zogenaamde veronderstelde controle. Deze aangepaste Theory of Planned Behavior (TPB) is weergegeven in figuur 2.

Attitude

Kennis

Subjectieve

Gedrags-

norm

intentie

Gedrag

Veronderstelde controle

Fig 2.Theory of planned behavior, Ajzen.

Veronderstelde controle Het komt voor dat iemand wél de intentie heeft om een bepaald gedrag uit te voeren, maar beïnvloed wordt door de verwachting die hij heeft van zijn controle over de uitvoering. Die component noemen we ‘veronderstelde controle’. Dit concept komt uit de Self Efficacy Theory (SET), zoals ontwikkeld door Bandura in 1977. Volgens Bandura bepalen ook iemands verwachtingen van de resultaten zijn gedrag. Hij maakt daarbij onderscheid in ‘self efficacy’ en ‘outcome expectancy’: •

Self efficacy: de overtuiging dat men in staat is om het gedrag succesvol uit te voeren.

•

Outcome expectancy: de inschatting dat het gedrag ook de gewenste gevolgen heeft.

Samenvattend komt de theorie hierop neer: Hoe positiever de houding ten opzichte van het gedrag… … en hoe positiever de mening van relevante anderen… … en hoe groter de veronderstelde controle op het gedrag… … des te groter de intentie om het gedrag ook te vertonen. Verondersteld wordt dat schoolloopbaanbeslissingen in hoofdlijnen op deze manier tot stand komen.

In ons model nemen we nog twee variabelen op; de achtergrondvariabelen en feedback. Daarmee bedoelen we het volgende: •

Achtergrondvariabelen: Zij hebben niet direct invloed op iemands gedrag, maar wél op de drie gedragsdeterminanten. Voorbeelden hiervan zijn intelligentie, sociaaleconomische status en demografische factoren.

•

Feedback: Ervaringen en opgedane kennis kunnen verschuivingen teweeg brengen in de drie gedragsdeterminanten. Met andere woorden: de feedback die iemand krijgt op basis van zijn gedrag, heeft invloed op zijn intenties voor de volgende keer.

9

Attitude Achtergrondvariabelen

Kennis en

Subjectieve

Gedrags-

norm

intentie

Gedrag

Veronderstelde

vaardigheden

controle Feedback

Fig 3. Model voor tot stand komen keuzegedrag 3.3 Factoren die de doorstoombeslissingen beïnvloeden Voordat we, op basis van het model in figuur 3, een overzicht maken van de factoren die voor de doorstoombeslissing relevant zijn, moeten we nagaan voor wie we dit doen. Tot nu toe hebben we het gehad over een individu dat weloverwogen beslissingen neemt over zijn doorstroom naar en binnen havo/vwo. Maar eigenlijk hebben we te maken met drie mogelijke beslissers: de leerling, de ouders van de leerling én de docent(en) van de leerling (uitzonderingen laten we buiten beschouwing). Afhankelijk van het doorstroommoment en de attitude van de andere twee betrokkenen, is één van deze drie de feitelijke beslisser. Als we de hiervoor beschreven theorie vertalen, rolt daar de volgende praktijksituatie uit. We kijken naar alle componenten uit het gedragsmodel, bij het besluit om te kiezen voor een vervolgstap in de schoolloopbaan. De verschillende componenten zijn ingevuld met als voorbeeld de overgang van basisschool naar Voortgezet Onderwijs Attitude Wat zijn de consequenties van dit besluit? En wat vinden de mensen die voor mij belangrijk zijn, ervan? Bij de keuze voor voortgezet onderwijs maken de drie beslissers ieder hun eigen afwegingen. De houding van de ouders hangt samen met vragen als: •

Wat is het toekomstperspectief van mijn kind als hij deze school kiest?

•

Past het beeld dat ik heb van deze opleiding bij de specifieke (excellentie)vraag van mijn kind?

•

Wat is de status van deze opleiding als het gaat om de ontwikkeling van talent?

De attitude van de leerlingen wordt bepaald door vragen als: •

Is de opleiding ver van huis?.

•

Kan ik hiermee worden wat ik wil?

•

Is het een leuke school?

•

Gaan er ook kinderen die ik ken naar die school?

De attitude van de docent wordt bepaald door: 10

•

Denk ik dat de leerling succesvol kan zijn in deze opleiding?

•

Heeft de leerling voldoende (academische) vaardigheden?

•

Is de leerling sociaal-emotioneel geschikt voor deze opleiding?

Subjectieve norm Iemands subjectieve norm geeft aan wat zijn perceptie is van het oordeel dat anderen over de beslissing hebben. Bij de keuze voor een school maken de drie beslissers wederom ieder hun eigen afwegingen. De subjectieve norm van de ouders wordt bepaald door de volgende vragen: •

Zal mijn kind dit een passende opleiding vinden?

•

Wat vinden de deskundigen op school van deze opleiding?

•

Wat vinden de mensen in mijn omgeving (past dit bij ons soort mensen)?

De subjectieve norm van de leerling wordt bepaald door andere vragen: •

Wat vinden mijn ouders en familie van deze opleiding?

•

Is mijn leerkracht van mening dat ik deze opleiding aankan?

•

Wat denken mijn klasgenoten en vrienden van mijn keuze?

De docent stelt zichzelf weer andere vragen: •

Past mijn advies binnen de verwachtingen van mijn team?

•

Past mijn advies binnen de verwachtingen van de ouders?

•

Past mijn advies binnen de verwachtingen van de leerling?

•

Past mijn advies binnen de verwachtingen van de vervolgopleiding?

Veronderstelde controle: Kan ik deze beslissing zelf maken? Heb ik daadwerkelijk controle over deze beslissing? Vragen over de veronderstelde controle leiden bij de drie beslissers tot verschillende afwegingen. Ouders houden zich bezig met vragen als: •

Mag ik wel zelf kiezen, of bepaalt de school?

•

Heb ik nog wel invloed op wat mijn kind wil?

De leerling vraagt zich andere dingen af: •

Ben ik wel slim genoeg voor deze opleiding?

•

Mag ik zelf kiezen of bepalen mijn ouders?

•

Heb ik wel de goede vooropleiding om toegelaten te worden?

•

Kan ik er wel komen, is het niet te ver weg?

De veronderstelde controle van de docent wordt bepaald door deze vragen: •

Weegt mijn advies op tegen de mening van andere professionals?

•

Bepaal ik, of de ouders?

•

Neemt de vervolgopleiding mijn advies over?

11

Het belang van verschillende factoren bij de profielkeuze. Als we de theorie naast de praktijk leggen, kunnen we het keuzeproces dat leerlingen doorlopen, als volgt invullen. Achtergrondvariabelen die een rol spelen, zijn: •

sexe

•

etniciteit

•

het opleidingsniveau van de ouders.

Factoren die de attitude van leerlingen bepalen: •

Is dit vak ook nog leuk/interessant in de bovenbouw?

•

Gaat dit vak mij veel tijd en moeite kosten? Heb ik dat er voor over, rekening houdend met mijn andere tijdsbestedingen?

•

Welke opties houd ik (al dan niet) open door een bepaalde profiel- of vakkenkeuze? Wat is het belang van deze keuze voor mijn eventuele vervolgopleiding?

•

Welke vervolgopleiding wil ik gaan doen en wat zijn de kansen op de arbeidsmarkt?

•

Wat is het imago van deze studierichting, bijvoorbeeld bij vrienden en in de media?

Anderen die van invloed zijn op de subjectieve norm van leerlingen: •

ouders

•

familie

•

docenten/decaan

•

vrienden.

De invloed van ouders is groot en veel belangrijker dan zij zelf vaak vermoeden. Diverse bronnen bevestigen dit. De invloed van docenten is relatief klein. Leraren (vooral decanen) spelen wel een rol, maar meer in het aanreiken van informatie. De controle die leerlingen veronderstellen te hebben op de keuze, uit zich in de volgende vragen: •

Kan ik deze keuze zelf maken en kan ik de gevolgen aan? Hoe moeilijk is het voor mij? (Het zelfbeeld speelt hier een belangrijke rol.)

•

Hoeveel keuzeruimte is er, binnen de bestaande regels?

•

Wat is het beleid van mijn school bij dit soort keuzes?

In gesprekken met leerlingen die kozen voor N-profielen, valt op dat veel van hen hiervoor kiezen omdat ze denken dat ze het aankunnen én omdat ze hun opties zoveel mogelijk open willen houden. Het geeft ze dus een gevoel van maximaal haalbare controle op latere keuzes. Kennis en vaardigheden spelen als volgt mee bij de keuze van leerlingen: •

Wat is hun beeld bij vakken in de bovenbouw?

•

Wat is hun beeld bij toekomstige beroepen en studies?

•

Over hoeveel zelfkennis en zelfreflectie beschikken ze?

•

Kunnen ze kiezen? Kunnen ze de ruimte nemen voor het maken van goede afwegingen? Kunnen ze hun keuzes verantwoorden?

•

Surfen ze veel op internet en wat komen ze daar tegen?

12

De doorgenomen literatuur is vooral van toepassing op het keuzeproces bij leerlingen. Het is lastig het model in te vullen voor ouders en docenten, dit is wellicht iets voor nader onderzoek. ȕ-techniek Uit onderzoek naar de keuze van leerlingen voor ȕ-techniek blijkt, dat zowel ouders als docenten niet altijd een goed beeld hebben van de beroepspraktijk en de vervolgopleidingen. Er heersen vaak stereotype beelden, die vooral meisjes beïnvloeden om niet voor technische studierichtingen te kiezen. Daarnaast constateren wij dat er veel gesproken wordt over een keuzeproces, maar niet echt over talentherkenning. Het keuzeproces is te beïnvloeden, maar doet die keuze dan ook automatisch recht aan het talent van de leerling? 3.4 Het keuzeproces beïnvloeden Er is een groot aantal factoren dat een rol speelt in het keuzeproces. We zetten de belangrijkste onderzoeksfeiten op dit gebied op een rij. De invloed van ouders De opvoedingsstijl van de ouders en de cultuur waarin kinderen opgroeien, is bepalend voor de keuzes die zij maken. De mate waarin ouders hun kinderen de ruimte geven om zich te ontwikkelen en de mate waarin zij zich betrokken voelen bij hun kinderen, speelt hierbij een grote rol. Ouders kunnen hun kinderen óók zodanig sturen, dat ze gedemotiveerd raken en juist gaan onderpresteren. Zo kan ook de relatie tussen ouders en leerkracht onder druk komen te staan. Met name bij de overgangsmomenten kan de druk op de school en de leerkracht van groep 8 onevenredig groot worden. Ouders zijn de belangrijkste kennisbron tijdens het keuzeproces, deze rol gaat langzaam over naar de school als de leerling ouder wordt. In lagere sociaal economische klassen is de rol van de thuissituatie minder groot dan in hogere klassen. De invloed van scholen Veel basisscholen baseren hun advies allereerst op de (ontwikkeling van de prestaties) van de leerling. Maar ook gedrag en houding, zoals motivatie, werkhouding, doorzettingsvermogen, zelfstandigheid en zelfvertrouwen, wegen mee. Het gemiddelde prestatieniveau van de schoolbevolking is eveneens van invloed. Scholen met een laag prestatieniveau geven relatief hoge adviezen (Mulder & Tesser, 1992). Zolang de Onderwijsinspectie de prestaties van scholen in de vorm van kwaliteitskaarten op internet, in dagbladen en schoolgidsen publiceert, is het voor het voortbestaan van een school van levensbelang te laten zien dat er (zo)veel (mogelijk) leerlingen naar havo of vwo doorstromen.(Dijkstra e.a., 2001). Dit kan meespelen. Het beeld dat leerkrachten hebben van hun leerlingen, wordt mede bepaald door de sociale en etnische achtergrond (Jungbluth, 2003) van de kinderen. Leerkrachten wegen de thuissituatie mee in hun oordeel, bijvoorbeeld door te letten op de mate waarin het kind thuis ondersteund wordt bij zaken die met school en onderwijs te maken hebben. Een dergelijke ondersteuning wordt vaak opgevat als een vorm van sociaal en cultureel kapitaal.

13

Leerlingen Bepalend voor een leerling zijn de verwachte opbrengsten van een opleiding. Garandeert de opleiding een goed inkomen? Kan een leerling zichzelf onderscheiden door deze opleiding te volgen? Past hij binnen zijn beroepswens? Al op jonge leeftijd rekenen leerlingen bepaalde toekomstbeelden niet meer tot hun mogelijkheden ( Hemsley Brown & Foskett 1997). Toch kan een leerling pas een goede studiekeuze pas maken als hij over voldoende zelfkennis beschikt. De invloed van hoogbegaafdheid Hoogbegaafdheid heeft invloed op de leerloopbaankeuzes die kinderen maken. Buitengewone capaciteiten, bovengemiddelde intelligentie, maar ook motivatie en creativiteit zijn bepalend. Onder motivatie verstaan we het doorzettingsvermogen om een bepaalde taak tot een goed einde te brengen, zowel gevoelsmatig als cognitief, en het kunnen meewegen van risico's en onzekerheden. Creativiteit uit zich in een hoge mate van zelfstandig, productief kunnen denken, originele oplossingen kunnen vinden én problemen kunnen voorzien. Belemmerende factoren in iemands persoonlijkheid of sociale omgeving kunnen ertoe leiden dat een hoogintelligent kind niet tot hoogbegaafde prestaties komt. Als in het gezin, op school of in de vriendenkring geen gelegenheid bestaat om de aanwezige capaciteiten te ontwikkelen, dan zal dit onmiddellijk invloed hebben op het functioneren van het kind. De procedure voor (vervroegde ) doorstroming voor hoogbegaafden is op orde. Er vinden gesprekken plaats tussen primair en voorgezet onderwijs, speciaal voor de overgang van hoogbegaafde leerlingen. De zorg voor hoogbegaafden is gedocumenteerd. Welke interventies helpen het keuzeproces van het kind? Met de reeds gepresenteerde kennis in het achterhoofd bevelen wij een aantal relevante interventies aan, die de keuzeprocessen voor leerlingen optimaliseren. Het model van Fishbein Azjen staat daarin centraal. Een belangrijke rol is weggelegd voor de docent. In het vervolg van dit project gaat het erom dat de docent zich realiseert dat hij de voorwaarden kan scheppen, die ervoor zorgen dat het werkelijk potentieel van de leerling tot wasdom komt. Bom en Geerts stellen een aantal interventies voor, die passen bij het model voor het keuzeproces in figuur 3 en de analyse van het belang van een aantal factoren. 1.

Als de ouders voor de leerlingen belangrijk zijn bij het maken van een profielkeuze, is het verstandig deze ouders nadrukkelijker te betrekken in het keuzeproces. Zij kunnen dan een reflecterende rol aannemen, op basis van voldoende kennis en inzicht. Zo leveren ouders op een indirecte manier een bijdrage aan de doelen van de school.

2.

De adviezen van vakdocenten lijken niet meer dan een procedureel noodzakelijke stap in het keuzeproces. Leerlingen nemen het advies voor kennisgeving aan, omdat het nu eenmaal wordt uitgebracht. Het advies van de vakdocent moet meer ruimte krijgen, waarbij er meer aandacht moet zijn voor vakvoorlichting. Het komt te vaak voor, dat een vak in de bovenbouw toch anders blijkt dan verwacht.

3.

Vanaf het eerste moment moet er meer aandacht zijn voor de manier waarop een leerling in het keuzeproces staat. Er is een verschil tussen jongens en meisjes. Ook de leeftijd waarop leerlingen een keuze moeten maken, is bepalend. Docenten moeten zich bewust worden van de manier waarop het keuzeproces bij leerlingen tot stand 14

komt (zie model). Tevens moeten ze zich realiseren hoe hun eigen proces bij advisering verloopt (wat is je eigen attitude, subjectieve norm et cetera). Werken aan zelfkennis en zelfreflectie bij leerlingen is belangrijk. Er moet ook meer aandacht zijn voor communicatie tussen leerlingen onderling, over te maken en gemaakte keuzes. Het werkt verhelderend om verantwoording aan elkaar af te leggen op het niveau van de peergroep; men leert van elkaar. 4.

De leerlingen van 4 havo maken duidelijk dat de rol van de mentor als eerste gesprekspartner kan worden aangescherpt.

5.

De school moet duidelijk maken dat, ofschoon er in principe sprake is van een keuzevrijheid, bepaalde keuzes niet zonder meer worden geaccepteerd. De school moet haar leerlingen tijdig de juiste reflectievragen aanreiken, om te voorkomen dat zij onverstandige keuzes maken.

15

4. Conclusies, vervolgstappen Inleiding Er is een groot scala aan facetten te benoemen, dat invloed heeft op de onderbenutting van talent in de schoolloopbaan van leerlingen. De keuze voor de vervolgopleiding in de leerloopbaan is hierin cruciaal. Deze keuze wordt beïnvloed door een aantal factoren. Deze factoren hebben wij in dit stuk uiteengezet en benoemd. De houding en rol van leerkrachten, docenten en ouders in het keuzeproces is direct gerelateerd aan mogelijk onderpresteren van leerlingen. Wij hebben er daarom voor gekozen om een apart kopje conclusies op te nemen m.b.t. onderpresteren van leerlingen. 4.1 Conclusies Keuzeproces - De factoren die een doorstroombeslissing beïnvloeden zijn: attitude (van leerlingen, ouders en docenten), de subjectieve norm en veronderstelde controle; - De factoren attitude, subjectieve norm en veronderstelde controle spelen een rol bij de keuze voor VO, profielkeuze en bij de keuze voor een vervolgopleiding; - De invloed van ouders op de subjectieve norm (perceptie van leerlingen over het oordeel van anderen over de beslissing) is groot en veel belangrijker dan zij zelf vaak vermoeden; - Zowel ouders als leerlingen, maar ook docenten hebben niet altijd een goed beeld van de beroepspraktijk en vervolgopleiding. Dit is mede oorzaak van het feit dat meisjes minder vaak technische studierichtingen kiezen; - De invloed van ouders is groot; ouders zijn de belangrijkste kennisbron tijdens het keuzeproces, deze rol gaat langzaam over naar de school als de leerling ouder wordt. In lager economische situaties is de rol van de thuissituatie minder groot dan in hogere klassen; - Leerkrachten van basisscholen baseren hun advies allereerst op de (ontwikkeling en prestaties) van leerlingen, maar ook op gedrag en houding zoals motivatie, werkhouding, doorzettingsvermogen, zelfstandigheid en zelfvertrouwen. Het beeld dat leerkrachten hebben van hun leerlingen wordt bovendien beïnvloed door de sociale en etnische achtergrond; - Bepalend voor de keuze van een leerling zijn de verwachte opbrengsten van een opleiding. Hiervoor is voldoende zelfkennis nodig; - Hoogbegaafdheid heeft invloed op de leerloopbaankeuzes die kinderen maken. Belemmerende factoren in iemands persoonlijkheid of sociale omgeving kunnen ertoe leiden dat een hoogintelligent kind niet tot hoogbegaafde prestaties komt; - De leerkracht of docent kan voorwaarden scheppen die ervoor zorgen dat het werkelijk potentieel van leerlingen tot wasdom komt. Onderpresteren - Het niet tijdig herkennen van talenten van leerlingen kan leiden tot onderbenutting van talent. Leerlingen gaan onderpresteren en kunnen een achterstand oplopen of ontplooien hun vermogen niet optimaal. - Onderbenutting wordt in het basisonderwijs vooral veroorzaakt door: slechte afstemming van het lesaanbod op de leerling, een laag ambitieniveau van de ouders/ leerlingen en/of lage verwachtingen van leerkrachten;

16

- Bij het voorkomen van onderbenutting en onderpresteren speelt het funderend onderwijs een centrale rol. Al in het basisonderwijs (en in de VVE-periode) zouden talenten van leerlingen gesignaleerd kunnen worden; - Leerkrachten en docenten spelen een cruciale rol bij het signaleren van onderpresteren en bij het signaleren van talentvolle leerlingen; - Onderpresteren en onderadvisering komt relatief vaak voor bij allochtone kinderen van laagopgeleide ouders; - (Hoog)begaafde leerlingen krijgen vaak een te laag advies en presteren vaker onder hun niveau dan normaal begaafde leerlingen. 4.2 Welke interventies helpen het tegengaan van onderbenutting en onderpresteren? Wat kunnen we op schoolniveau? Deze publicatie is het resultaat van een literatuuronderzoek naar keuzegedrag van leerlingen en de relatie met onderpresteren van leerlingen. Duidelijk is geworden dat in het keuzeproces van de leerling, de docent, de ouders en vrienden een belangrijke rol spelen, naast een aantal achtergrondfactoren en omgevingsfactoren. Omdat leerkrachten en docenten echter op meerdere fronten een cruciale rol spelen (het signaleren van leerlingen, in de gesprekken met ouders en in de advisering van de studiekeuze) zal de rol van de docent in het VO sterker onder de loupe worden genomen. Om dit te kunnen doen wordt in 2009 een onderzoek gedaan naar ‘onderpresteren door leerlingen. Dit gebeurt aan de hand van vragenlijsten die door docenten worden ingevuld. Vervolgens zullen er op schoolniveau interventies worden uitgevoerd. Interventies De interventies (2009) die op schoolniveau zullen worden uitgevoerd en ontwikkeld hebben betrekking op het vroegtijdig signaleren van onderpresteren, werkelijke capaciteiten en ontwikkelingspotentieel, waaronder (top)talent. Dit werkelijk herkennen leidt onder andere tot een betere relatie tussen docent en leerling en tot een betere advisering. -

Bewustwording bij de docent met betrekking tot het effect van zijn handelen bij het erkennen van talent.

-

Het toerusten van docenten met kennis en vaardigheden om onderpresteren te herkennen en om met leerlingen hierover in gesprek te gaan (bewustwording van hun rol). Praktische interventies, individuele gesprekken en begeleiding van docenten, training teams, professionaliseringsaanbod ontwikkelen.

-

Het toerusten van docenten met kennis en vaardigheden om talenten te herkennen, erkennen en om deze tot bloei te laten komen. Praktische interventies, individuele gesprekken en begeleiding van docenten, training teams, professionaliseringsaanbod ontwikkelen.

-

Het adviseren van scholen voor een schoolbrede aanpak om onderprestatie, onderadvisering en onderbenutting tegen te gaan. Praktische interventies: opnemen in de professionalisering van docenten (POP’s), instellen van een projectteam onderpresteren met deelname van directie, docenten en wellicht leerlingen.

17

Literatuur Ajzen, I., & Fishbein, M. (1980). Understanding attitudes and predicting social behavior. Englewood Cliffs, NJ: Prentice-Hall. Bandura, A. (1986). Social foundations of thought and action: a social cognitive theory. Englewood Cliffs, New Jersey: Prentice-Hall. Biermans, M. ,Jaap Anne Korteweg, Marko van Leeuwen (2003). De keuze voor Bèta/Techniek,Kwantitatieve analyse van de keuze voor bèta/techniek op basis van TKMSTdata. Amsterdam: SEO. Bom, J. en C. Geerts. Profielkeuze in het voortgezet onderwijs. Redax magazine Dijkstra, A.B, S. Karsten. R. Veenstra, A.J. Visschers, Redactie (2001) Scholen op rapport, standaarden voor de publicatie van schoolprestaties. Koninklijke van Gorcum bv,Assen Fishbein, M., & Ajzen, I. (1975). Belief, attitude, intention, and behavior: An introduction to theory and research. Reading, MA: Addison-Wesley.[1] Florijn, M.E. en A. Blume, C. Terlouw (2005). De rol van een studieoriëntatie in het studiekeuzeproces van vwo-leerlingen . Enschede: TU-Twente ELAN. Felsö, F., M. van Leeuwen, M. Zijl. (2000)Verkenning van stimulansen voor het keuzegedrag van leerlingen en studenten. Amsterdam: SEO Foskett, N. H. en J. Hemsley-Brown (1997) Career perceptions and Decision-Making among Young People in schools and colleges. Jungbluth, P. (2003). De ongelijke basisschool. Nijmegen: ITS. Kuijpers, M., Meijers F., Bakker, J. (2006). Krachtige loopbaangerichte leeromgevingen in het (v)mbo: hoe werkt het? Driebergen, Platform Beroepsonderwijs Lokman, A. H. (1995). Dag...onderwijs. Een onderzoek naar uitstroombeslissingen van meaoleerlingen, Wageningen: STOAS Miller, K. (2005). Communications theories: perspectives, processes, and contexts. New York: McGraw-Hill Mooij, prof.dr. T e.a. (2007), Succescondities voor hoogbegaafde leerlingen, ITS/CBO Mulder, L., Roeleveld, J., Vierke, H. (2007). Onderbenutting van capaciteiten in basis – en voortgezet onderwijs. Den Haag: Onderwijsraad Mulder, L., & Tesser, P. (1992). De schoolkeuzen van allochtone leerlingen. Nijmegen: ITS. Posthuma, T. J. Peters en S. Brinkman (2006).Keuzegedrag leerlingen bij de profielkeuze in havo 3 en vwo 3-4,Wat motiveert leerlingen Wiskunde D te kiezen? (Winkler Prins, Veendam) (Lauwers College, Buitenpost)

18

Steglich. C.E.G. (2003).The framing of dicision situations. Automatic Goal Selection and Rational Goal Persuit. Groningen: Rijksuniversiteit Groningen. Vermaas, J., Linden, van der, R. (2007). Beter inspelen op havo- leerlingen. Tilburg: IVA

1

(bron: Kwaliteitsagenda VO doel 4) (bron: Talent, februari 2008) 3 (bron: Kwaliteitsagenda VO: doel 3). 4 (bron: Samenvatting eindrapport Commissie Parlementair Onderzoek Onderwijsvernieuwingen, 20072008). 2

5

Mulder, L., Roeleveld, J., Vierke, H. (2007). Onderbenutting van capaciteiten in basis – en voortgezet onderwijs. Den Haag: Onderwijsraad. 6 Wikipedia 12 jan 2009 7 Latente Talenten Werkdocument van de projectgroep Henri-Fréderíc Amiel Amersfoort, juni 2006 Lide van Bemmel, Liesbet Dreeuws-Robbers, Simone Kessels, Inge Krul, Zwanie van Rij, Marion Slijpen, Marian van Stekelenburg en Linda van Tuyl, CPS Amersfoort

19

BIJEENKOMST 4

4

• OGW in de klas

bijeenkomst 4

Feedback geven

OPDRACHT: in 3-tallen ervaringen delen. • Wat heb je gedaan? • Wat zijn je ervaringen? • Waar was je tevreden over? • Hoe hebben leerlingen het ervaren? • Wat is nodig volgens jou, in de randvoorwaarden om goed te kunnen differentiëren? • Wat wil je in de toekomst gerichter inzetten bij differentiatie? • Welke ambitie heb je hierin? • Welke steun en hulp heb ik hierbij nodig van mijn collega’s en teamleider?

• Oefen de komende periode bewust met diverse differentiatievormen. VRAAG: Wat heb je gedaan en wat zijn je ervaringen?

Opdracht bijeenkomst 3:

Terugblik bijeenkomst 3

Waarin onderscheidt feedback zich van evaluatie? Wat is de waarde van goede feedback? Waar geeft feedback antwoord op? Hoe helpt feedback bij het leren? Wanneer kun je feedback inzetten in het leerproces?

Wat zijn jullie gedachten hierover? In tweetallen – duo 1 vraag 1 – duo 2 vraag 2 etc. Na antwoord geven – antwoordvel doorgeven aan ander duo en die vult aan/stelt vragen over antwoorden eerder duo

• • • • •

Thema deze bijeenkomst

• • • • • • • • • • •

Huiswerk Schoolleider Metacognitieve vaardigheden aanleren Hoge verwachtingen leraar Directe instructie Klassengrootte Doelstellingen expliciteren Samenwerkend leren Strategieën aanleren Feedback geven Sociaal economische status kind

Zet in volgorde (meeste invloed op leerprestaties; Hattie)

Effect op taal/rekenprestaties • Feedback geven • Metacognitieve vaardigheden aanleren • Strategieën aanleren • Directe instructie • Sociaal economische status kind • Doelstellingen expliciteren • Hoge verwachtingen leraar • Samenwerkend leren • Schoolleider • Huiswerk • Klassengrootte .73 .69 .60 .59 .57 .56 .43 .41 .36 .29 .21

Hattie: Effecten op leerprestaties

• Welke feedback in deze training deed ertoe en waarom?

• Welke feedback gerelateerd aan je werk weet je nog en waarom?

Terugblik

• Na deze bijeenkomst kan ik de waarde van feedback voor het leren van de leerling benoemen • Na deze bijeenkomst kan ik 3 verschillende vormen van feedback benoemen • Na deze bijeenkomst kan ik drie vormen van feedback herkennen in mijn eigen lespraktijk • Na deze bijeenkomst kan ik mijn manier van feedback geven analyseren en beoordelen • Na deze bijeenkomst weet ik wat goede en effectieve feedback is • Na deze bijeenkomst kan ik een keuze maken in welke vorm feedback ik kan gebruiken

Doelen bijeenkomst 4

1 Eerste vraag gaat over: wat gaat de leerling doen? Waar gaat de leerling naartoe? - Op zoek naar betekenisvolle leerdoelen FEED UP - begin fase 2 Tweede vraag gaat over: hoe doet de leerling het? - Op zoek naar de kwaliteit van de huidige kennis FEED BACK – voortdurend en tijdens 3 Derde vraag gaat over: hoe moet de leerling verder? Wat moet de leerling doen om vooruitgang te maken? Hoe moet de leerling verder? - Op zoek naar vervolgstappen om leerdoelen te halen FEED FORWARD - evaluatie voor volgende stap

Drie vormen van feedback

Goede feedback geeft antwoord op : 1Waar staat de leerling nu? 2Hoe ver is de leerling van het leerdoel verwijderd? 3Welke stappen zijn nodig voor de leerling om het leerdoel te behalen?

Feedback en de kwaliteit van feedback is een belangrijke voorspeller van leerprestaties van leerlingen

De waarde van goede feedback bij OGW

• Welke feedback heb je gegeven in deze lessen? • Waarom? Wat was je doel ermee?

De laatste drie lessen

• de leraar sluit met feedback aan de op de doelen die hij en de leerling wil bereiken • de leraar sluit met zijn feedback aan op de inhoud van de taak • de leraar sluit met zijn feedback aan op de manier hoe de leerling de taak oppakt • de leraar sluit met zijn feedback aan op hoe de leerling de eigen aanpak en werkwijze monitort

Wanneer is feedback goed?

• bevestigt of de leerling op de goede weg zit of juist niet • de leraar weet wat hij beoogt met de inhoud van de taak • de leraar kan de activiteiten van de leerling plaatsen in de leerlijn en aan de leerdoelen • de leraar kan tips geven om de taak anders op te pakken • de leraar kan tips geven om tot het goede antwoord te komen • de leraar heeft oog voor verkeerde interpretaties of strategieën om tot het goede antwoord te komen

Feedback op de inhoud van de taak

• de leraar kan tips geven op de aanpak van de leerling • de leraar ondersteunt de leerling in het plannen en monitoren van eigen leerproces • de leraar ondersteunt de leerling in het eigen maken van vaardigheden met betrekking op: - activiteiten plannen - onderzoeksplan opzetten en uitwerken - inzicht in en behouden van eigen motivatie - zicht hebben op goed uitvoeren - het evalueren van eigen resultaten

Feedback op het proces

• Analyseer je eigen voorbeelden uit jouw praktijk - Op welk aspect gaf je feedback en in hoeverre kwam dat overeen met je doel? - Hoe constructief was je feedback en hoe weet je dat? - Welk effect wilde je bereiken met je feedback en was je tevreden met het effect van je feedback?

Terug naar je drie lessen….

Valkuil is het focussen op vooruit kunnen met het werk in plaats van het uitoefenen van de leertaak zelf Vanwege groepsgrootte en klassenmanagement is dit ook heel begrijpelijk maar …. doel schiet wel voorbij!

Aanwijzingen om op de inhoud feedback te geven: • Dagen de leerlingen uit • Bevorderen zelfsturing ten aanzien van leerproces • Leiden tot soepeler toepassen van vaardigheden en meer automatisme • Bieden strategieën om verder te werken • Leiden tot dieper begrip

•

Feedback op de uitvoering van de leeractiviteiten

Leerdoel behalen is de eindstandaard

met de bedoeling de leerling-prestatie te verbeteren

Feedback gaat hier over de vergelijking tussen de waargenomen prestatie van de leerling en een standaard (daar zou de leerling nu moeten zijn/hij zou dit nu moeten kunnen)

Feedback op de uitvoering van de leeractiviteiten

• sluit aan bij de leerling; individuele behoefte van de leerling bepaalt of de feedback aansluit of …niet • bevestigt goed werk en bevat ook opbouwende kritiek voor verbetering van zwakke onderdelen in het werk • feedback vertelt wat moet gebeuren en hoe dit moet gebeuren • feedback faciliteert als opmerkingen en suggesties worden gegeven en leerlingen een leidraad biedt in het herzien van eigen werk (van belang bij kennis bouwen en gericht op ondersteunen van leerproces)

Feedback voor iedere leerling gelijk?

Feedback 1 is gerelateerd aan bij leerlingen bekende standaarden 2 is gerelateerd aan eerdere prestaties 3 is specifiek en concreet; wat is goed en wat niet? 4 is just in time 5 is constructief en aanmoedigend

Checklist

Wat ga ik de komende periode doen? Formuleer je eigen opdracht Welke groep? Welke vorm van feedback wil ik oefenen? ….

Wat ga ik doen met feedback de komende periode?

'U/LQGD.HXYHODDULQSURHIVFKULIWJRHGHIHHGEDFNLQGHNODVLVVFKDDUV

SDJLQDYDQ

2QGHUZLMV%UDEDQW

3XEOLVKHGRQ2QGHUZLMV%UDEDQW KWWSZZZRQGHUZLMVEUDEDQWQO +RPH !'U/LQGD.HXYHODDULQSURHIVFKULIWJRHGHIHHGEDFNLQGHNODVLVVFKDDUV

'U/LQGD.HXYHODDULQSURHIVFKULIW JRHGHIHHGEDFNLQGHNODVLVVFKDDUV *HVFKUHYHQGRRUZHEUHGDFWLH +RJHUEHURHSVRQGHUZLMV OLQGDBNHXYHODDUBIRQW\VMSJ >@ (,1'+29(1_1,(8:6_+HWJHYHQYDQIHHGEDFNLVHHQNUDFKWLJLQVWUXPHQWRPGH SUHVWDWLHVYDQOHHUOLQJHQWHYHUEHWHUHQ7RFKPDNHQOHHUNUDFKWHQRSGHEDVLVVFKRRO ]HOIVDOV]HYHHOHUYDULQJKHEEHQKLHUPDDUVSDDU]DDPJHEUXLNYDQLQGHOHV'DWLV HHQYDQGHFRQFOXVLHVYDQGU/LQGD.HXYHODDULQKDDUSURHIVFKULIWZDDURS]H SURPRYHHUGHDDQGH7HFKQLVFKH8QLYHUVLWHLW(LQGKRYHQ78H .HXYHODDULVDOVRQGHU]RHNVGRFHQWHYHUERQGHQDDQGH)RQW\VSDERLQ'HQ%RVFKHQ KHWOHFWRUDDW/HUHQHQ,QQRYHUHQ+HWRQGHUZHUSYDQKDDUGLVVHUWDWLHLV)HHGEDFNYDQ GH/HHUNUDFKWWLMGHQV$FWLHI/HUHQ'H2QWZLNNHOLQJHQ(YDOXDWLHYDQHHQ 3URIHVVLRQDOLVHULQJVSURJUDPPD'HSURPRWRUHQZDUHQSURIGU'RXZH%HLMDDUG78H HQGU$QMH5RV)RQW\V )HHGEDFNLVKHWPHHVWNUDFKWLJHPLGGHOGDWOHHUNUDFKWHQNXQQHQJHEUXLNHQRP OHHUSURFHVVHQELMKXQOHHUOLQJHQWHEHYRUGHUHQ+HWEOLMNWHFKWHUGDWOHHUNUDFKWHQKHW HUJPRHLOLMNYLQGHQRPKXQOHHUOLQJHQJRHGHIHHGEDFNWHJHYHQ7LMGHQVDFWLHIOHUHQ ZDDUELMJURHSMHVOHHUOLQJHQWHJHOLMNHUWLMGDDQYHUVFKLOOHQGHWDNHQZHUNHQLVGLWQRJ PRHLOLMNHU 9HUEHWHUSXQWHQ ,QKDDUSURHIVFKULIWEHVFKULMIW/LQGDZDWGHKXLGLJHVLWXDWLHLVYDQKHWIHHGEDFNJHGUDJ YDQOHHUNUDFKWHQLQGHERYHQERXZYDQGHEDVLVVFKRRO=LMKHHIWOHVVHQJHILOPGHQ JHDQDO\VHHUGWLMGHQVDFWLHIOHUHQELMZHUHOGRULsQWDWLH'DDUQDDVWKHHIW]LMLQNDDUW JHEUDFKWZHONHRSYDWWLQJHQOHHUNUDFKWHQKHEEHQHQZHONHSUREOHPHQ]LMHUYDUHQPHW KHWJHYHQYDQIHHGEDFNRPGDWGH]HRSYDWWLQJHQHQSUREOHPHQKHWJHGUDJ EHwQYORHGHQ .HXYHODDUNRPWRSEDVLVYDQKDDURQGHU]RHNWRWGHYROJHQGHDDQEHYHOLQJHQ *HHIPHHUDDQGDFKWDDQIHHGEDFN)HHGEDFNNDQGHPHHVWNUDFKWLJHLQYORHG]LMQ RSKHWOHUHQGRRUGHOHHUOLQJ)HHGEDFNYDQJRHGHNZDOLWHLWEOLMNWVFKDDUVLQGHNODVHQ ]HOIV]HHUHUYDUHQOHHUNUDFKWHQKDGGHQPLQGHUDGHTXDWHRSYDWWLQJHQRYHUZDW EHODQJULMNLVELMKHWJHYHQYDQIHHGEDFN2SGHSDER¶VPDDU]HNHURRNWLMGHQVGH SURIHVVLRQHOHRQWZLNNHOLQJYDQHUYDUHQOHHUNUDFKWHQYHUGLHQWGLWEHODQJULMNH RQGHUZHUSYHHOPHHUDDQGDFKW *HHIPHHUDDQGDFKWDDQKHWVWHOOHQYDQGRHOHQ7DOOR]HVWXGLHVKHEEHQODWHQ]LHQ GDWKHWVWHOOHQYDQFRQFUHWHHQKHOGHUHOHHUGRHOHQGHSUHVWDWLHVYDQOHUHQGHQHIIHFWLHI HQVLJQLILFDQWYHUEHWHUHQ,QYHHOOHVVHQGLHWLMGHQVGLWRQGHU]RHNJHREVHUYHHUG]LMQ

KWWSZZZRQGHUZLMVEUDEDQWQOSULQW

'U/LQGD.HXYHODDULQSURHIVFKULIWJRHGHIHHGEDFNLQGHNODVLVVFKDDUV

SDJLQDYDQ

RQWEUDNHQKHOGHUH OHHUGRHOHQ(LJHQOLMNLVKHWJHYHQYDQJRHGHIHHGEDFNRQPRJHOLMN ]RQGHUKHOGHUOHHUGRHO *HHIPHHUDDQGDFKWDDQGHRQWZLNNHOLQJYDQGH]HOIUHJXOHULQJYDQOHHUOLQJHQ 2QGDQNVKHWIHLWGDWGHRQWZLNNHOLQJYDQ]HOIUHJXOHULQJHHQEHODQJULMNHUHGHQLVYRRU KHWNLH]HQYRRUDFWLHIOHUHQZHUGHUPDDULQYDQGHOHHUNUDFKWOHHUOLQJLQWHUDFWLHV DDQGDFKWDDQEHVWHHG(HQJRHGRQWZLNNHOGH]HOIUHJXOHULQJGRRUGHOHHUOLQJGUDDJWELM DDQGHOHHUPRJHOLMNKHGHQHQDDQKHWVFKRROVXFFHVYDQOHHUOLQJHQ+HWLVGXVHUJ EHODQJULMNRPSDERVWXGHQWHQHQOHHUNUDFKWHQGHNHQQLVHQYDDUGLJKHGHQDDQWHOHUHQ GLHQRGLJ]LMQRPGHRQWZLNNHOLQJYDQ]HOIUHJXOHULQJELMKXQOHHUOLQJHQWHVWLPXOHUHQ >%URQSHUVEHULFKW@

7DJV SURPRWLHGLGDFWLHNIHHGEDFN >@

>@

6RXUFH85/ KWWSZZZRQGHUZLMVEUDEDQWQOFRQWHQWGUOLQGDNHXYHODDUSURHIVFKULIWJRHGHIHHGEDFNGH NODVVFKDDUV /LQNV >@KWWSZZZRQGHUZLMVEUDEDQWQOVLWHVGHIDXOWILOHVOLQGDBNHXYHODDUBIRQW\VBMSJ >@KWWSZZZRQGHUZLMVEUDEDQWQOVLWHSULQWPDLO >@KWWSZZZRQGHUZLMVEUDEDQWQOVLWHSULQW

KWWSZZZRQGHUZLMVEUDEDQWQOSULQW

^ Correctie

Team

1

E d ^ R ^ y 0^^ Q" Q. ^^Q ( _

R^ ^ Q &^^ ?0^ ^ ^^?3 ^ ^ ? $ ^ R^ ?" ^ feedbackQ]a 5S ǔ ^ >

FEED n

i

In onze klas is feedback heel normaal

de

BACK

klas

Van leerlingen kunt u echter niet verwachten, dat ze meteen weten wat ze met feedback moeten doen. En feedback geven aan een ander is al helemaal moeilijk. U bent als leerkracht een rolmodel voor ^ Q van feedback voor het leren! Feedback is niet weg te denken uit de dagelijkse les: ^ ^^ van wat een goede prestatie is. ^ en waarom leerlingen fouten hebben gemaakt én geeft informatie, waarmee leerlingen zich kunnen verbeteren.

%a

Marléone Goudswaard, Linda Jonkman & Vera Vergunst Over de auteurs &ǒ ^^R%^# F Vera Vergunst werken als onderzoeker/ ontwikkelaar of organisatie-/ innovatieadviseur bij de CED-Groep in Rotterdam.

Feedback ontvangen én geven, in de samenwerking met collega’s... We vinden het misschien wel belangrijk, maar vanzelfsprekend is het daarmee nog lang niet altijd. Er is meestal een leerproces aan Q"^^ aren een competentie, waar veel aandacht aan wordt besteed. En in het team staat de professionele leergemeenschap als thema op de agenda. Waarom? Omdat het de sleutel is tot leren. Feedback geeft ^ Raren op onszelf en op wat we doen.

)c 74'<6457

% ^ eigen leraar Als leerlingen alleen de aanwijzingen van de leerkracht opvolgen, zonder dat ze weten wat de bedoeling ervan is, dan QWb F0R 5==
5

^Se] ^64 R^ Q! ^ Q Voor grote getallen gaan we dat op een andere manier doen.’ % ^ wat feedback betekent, hoe je die feedback krijgt, wat je ermee kunt doen en hoe je die benut om je werk te verbeteren. Wanneer een leerling weet wat hij* moet ^ Wǒ XR R^ heeft over zijn leren. Feedback, die gerelateerd is aan de te behalen doelen, kan de leerling laten zien dat: ^ ^ ^ oefenen; ^ ^ te verhogen; ^^ @ QW! R5==7RSShuteR644;QX

Gemotiveerd om je in te spannen Motivatie is een belangrijk principe in leQ R^^ slagen over zijn vorige prestaties, doelen, beloningen én over zichzelf beïnvloedt de inspanning, die de leerling doet om te leren. Een leerling kan pas gemotiveerd zijn om te leren, als de beloning in het leren Q R^

nadruk niet eenduidig op ‘presteren’ te leggen, maar op ‘het leren zelf’: ^ ^R ^W ^XQ ^^^ aan, dat de leerlingen gedurende een langere periode gaan oefenen, om het doel te bereiken. b^ ^ ze door inspanning iets kunnen bereiken, door hen te laten ervaren, dat ze iets beheersen. %^ zien, ook al beheersen ze iets nog niet volledig. U kunt leerlingen bijvoorbeeld

telkens een stukje van een balk laten kleuren, als ze weer een stap verder zijn gekomen. Of u laat ze voor iedere vooruitgang een briefje vastmaken aan de staart van een vlieger.

Praktijkvoorbeeld )

'R < b,De Oranjehof in Alkmaar maakt voor de evaluatie gebruik van een inspanningsQW&R644
Inspanning

4

Ik heb aan de opdracht gewerkt, totdat die klaar was. Ik ben er aan blijven werken, zelfs als het moeilijk was of ik niet direct het antwoord wist. Ik heb geleerd zelf problemen op te lossen.

3

Ik heb aan de opdracht gewerkt, totdat die klaar was. Ik ben er aan blijven werken, zelfs als het moeilijk was of ik niet direct het antwoord wist.

2

Ik heb aan de opdracht gewerkt, maar ben gestopt toen het moeilijk werd.

1

Ik heb bijna niet aan de opdracht gewerkt.

Prestatie * Waar hij staat, moet uiteraard steeds hij/zij

^Q! R^ anders de tekst nodeloos ingewikkeld en onleesbaar wordt.

Figuur 1 – Inspannings- en prestatietabel b,De OranjehofQW&R644
6

4

Ik heb meer bereikt dan de doelen van de opdracht.

3

Ik heb alle doelen van de opdracht bereikt.

2

Ik heb een paar doelen van de opdracht bereikt.

1

Ik heb de doelen van de opdracht niet bereikt.

In onze klas is feedback heel normaal ^

^Qb ^S54^56 woorden goed. Peggy evalueert die doe^^^ Q! ^ ^9@54Qb ^ evaluatie stelt Peggy de volgende vragen: 0^ _R^ ervoor gedaan hebt? ! ^ ?W] QX 0^_? Aan het eind van het gesprek zegt Peggy wat haar aan sterke punten is opgevallen, wat de leerlingen de volgende keer Q3^ W X^_ dat haar is opgevallen.

Tips voor een feedbackvriendelijke klas ɚ5Betrek de leerlingen bij de instructie, lok reacties uit en laat ze input geven Feedback volgt de instructie: pas nadat de leerstof is uitgelegd, besproken en ingeoefend, krijgt u bij het verwerken van de leerstof zicht op wat er goed gaat en wat verbeterd kan worden. Een goede instructie is dus basaal. Er zijn handige technieken, waarmee u de leerlingen actief bij de instructie betrekt, W ^XSe ^ ^dQb deze techniek legt u de lat hoog bij het beoordelen van de juistheid van een antwoord en handhaaft die hoge standaard. Pas als het antwoord écht goed is, bent u tevreden. Andere voorbeelden van technieken zijn: ‘de bliksembeurt’, ‘de formulering telt’ en ‘weet niet geldt niet’. W%R6456XQ

ɚ6Laat leerlingen op hun taak vooruitkijken en geef daarover feedback U kunt leerlingen vooraf hun taak laten nQ% ^ wat er komt, wat ze verwachten. Als ze daar van u feedback op krijgen, leren ze beter hun eigen mogelijkheden in te nQb^ ^ tie over de beginsituatie. U kunt dit praktisch organiseren, door op de weektaak naast de taken ook de doelen te zetten. Of door bijvoorbeeld op de ‘datamuur’ de doelen zichtbaar te maken.

Stappenplan Nieuwsrekenen (CED-Groep)

1

Voor je begint b ^ Q Controleer of je de juiste stappen hebt genomen.

2

Model, tekening, som?

&^S

ɚ7Laat het zien en doe het voor! % W^^X^ heden, door het goede voorbeeld te zien ^^W^XQ ^ ook voor feedback. Geef zelf kwalitatief goede feedback, die betrekking heeft op de gestelde leerdoelen. % ^ eigen werk nog eens bekijkt en verbetert. ^^ R^ leerlingen mee in de denkstappen die Qb ^Se R het doel van deze opdracht is om de hoofdletters op de juiste plek te y! ^ ^? Ik ga elke zin lezen en kijk dan waar een hoofdletter moet staan. Maaike, ja, dat is goed, een naam, ja, die moet met een ^ny!ǒR U^^VQ U'^^VR^^ ^ny" streepje onder, want ik zie dat de letter r Q&^ y Ik let nu alleen maar op de hoofdletters.’

0

1

2

3

theeglazen schepjes suiker

2

4

4

5

6

2 4 6 4 8

6

( S

( S

+ – x : Controleer of je het goed hebt begrepen.

3

Reken uit ^ begrepen en uitgerekend.

6A,Nieuwsrekenen (CEDGroep).

)c 74'<6457

7

ɚ8Geef de leerlingen een actieve rol in het nakijken en controleren van hun eigen werk

, 3 ^ ^^Qb ^S^Spellingwijzer , voor toegepaste spellingQ ! penplan, waarmee leerlingen hun eigen woordenboek van de methode voor werk kunnen nakijken op spellingfougebruiken. Ook vindt u in het methodeQW3S 7QX materiaal verweven controlemomenten % ^ Q3 ^^ wustzijn op, als u ze traint om kritisch Nieuwsrekenen, waarbij ‘je eigen werk te kijken naar hun werk. U moet ze hier nakijken en verbeteren’ deel uitmaakt ^^ ^ Q% QW3S 6R erop, dat u per keer maar één of twee ;QX aanwijzingen geeft, om het werk op na te kijken. U kunt ‘groepsaandachtspunten’ geven, maar u kunt Toegepaste spelling ook – in overleg met Groep: Periode: de leerling – een ‘individuele wijzer’ maken. ^ Ik lees mijn verhaal goed door, van het begin Spellingwijzers kunnen tot het einde. ook goed worden ingezet bij andere vakken. ! ^ ? Als leerlingen klaar Ik kijk of ik alle hoofdletters en punten op de zijn met hun werk, goede plaats heb staan. dan kijken ze zélf met hun spellingwijzer of ze spelfouten hebben 3 net als-woorden met de fopletter r? gemaakt. ^n ^ ^Q U hebt hierdoor de 0 ^?W] QX mogelijkheid te focusveer: sen op het leerdoel, in #i, maar je schrijft ee. plaats van voortdurend spelfouten te moeten deur: verbeteren. Een les #u, maar je schrijft eu. topografie kan hierdoor een les topografie oor: blijven. U focust op #o, maar je schrijft oo. het leerdoel/lesdoel: leerlingen kennen ! ^^ ^ ? de hoofdsteden van Europa.

1

2

7ASpellingcheckerW'R. ^ XQ

8

In onze klas is feedback heel normaal ^

ɚ9Oefen samen in stappen het nakijken van andermans werk 0^ nakijken en bespreken? Geef ze dan voldoende gelegenheid om dit te leren. b ǒ

R u leerlingen elkaars werk laat nakijken! b ^ ? ^Q3 ^^ voorbeeld van Miguel. Miguel Miguel is overstuur thuisgekomen, want een klasgenootje heeft zijn geschiedeniswerk nagekeken. En Miguel is nu bang dat hij een onvoldoende krijgt, omdat zijn klasgenoot alle antwoorden als fout heeft gemarkeerd. Terwijl hij ervan overtuigd is, dat zijn antwoorden goed zijn. Wat ?! ^ antwoorden op de geschiedenisvragen W^ ^XR alle schrijffouten onderstreept en geteld. Eva, de juf van Miguel, besluit om direct vanmiddag het werk én het nakijken met ^ Q3^ ^ keer de opdracht rond het nakijken beter verwoorden. ( R ^ stappenplan. Oefen de stappen van het Qb ^ als volgt: @%^ n op het positieve, door een algemeen compliment te laten geven over het werk van een ander. @%^ ^ schriftelijk positief te beoordelen op het doel. - En leer de leerlingen tot slot om correcties te noteren, daar waar het doel van de taak niet is bereikt.

& > &

>

Feedback werkt! ^ is meer dan alleen maar een cijfer of een beoordeling. Je kunt er je werk mee verbeteren! ^ is bedoeld om jou na te laten denken. Je leert zelf te bedenken hoe het beter kan! ^ gaat niet over dat ene werk, maar kan gaan over ál je werk. Wat je verbetert, kun je ook bij een ander vak gebruiken!

ɚ:Maak met de leerlingen afspraken over wat belangrijk is

Meer lezen

Voordat leerlingen elkaars werk nakijken én bespreken, is het nodig om samen met de klas afspraken te maken. Als u de leerlingen erbij betrekt, zullen ze ook meer geneigd zijn zich aan de afspraken te houden.

Alles is dataQW ^^F/ R6455QX] u de data van uw leerlingen goed op orde hebt, dan hebt u de juiste informatie in handen om zo effectief mogelijk feedback te geven. En dat is van het grootste belang. Want effectieve feedback is een van de beste voorspellers van hoge leeropbrengsten! Veel succes!

Feedbackposter Met een feedbackposter kunt u benadrukken, dat feedback er helemaal bij hoort in de klas! W3S 8QX )c 74'<6457

8A^ R ^ op de studentenbrochure Feedback, make it work for you. Advice for students. W],$R(c ^b .QX

Literatuur )Qb FQ0RAssessment and classroom learning, opgenomen in: Assessment in Education 5 (1), ;@;8R5==
Volgende keer In het volgende nummer van het PraxisbulletinW=R6457X zal de rubriek Feedback in de klas weer ^ Q!^ a 6SNakijkwerk in uitvoering.

9

^

Nakijkwerk in uitvoering

2 FEED

Team

BACK

Een grote stapel schriften ligt te wachten op uw rode pen. Elke dag weer.

i

n

de /^ R klas van leerlingen niet van commentaar hebt ? R^ nu eenmaal bij het vak hoort. Staat u er daardoor nog wel eens bij stil waarom ? ^ ^^ ?" ^ feedback. Aflevering 2: het nakijken van leerlingenwerk nader belicht.

Ik kan niet alles nakijken. & ^ǒ? Herkenbaar?

Vera Vergunst & Linda Jonkman Over de auteurs // %^# werken als onderzoeker/ontwikkelaar of organisatie-/innovatieadviseur bij de CED-Groep in Rotterdam.

)c 74Nummer 96457

De volgende uitspraken zullen voor velen van u herkenbaar zijn: / R dat de kwaliteit van de feedback die ze geven, afhangt van de hoeveelheid commentaar, die ze bij het werk van een leerling hebben geschreven. 3^^ ^ belangrijk, maar vinden dat die feedback niet dezelfde waarde heeft als geschreven feedback.

5

3 R^ kinderen, die nog niet kunnen lezen, schriftelijke feedback moeten krijgen op hun werk, om zo te kunnen verantwoorden dat er feedback is gegeven. 3^ R werk van voldoende commentaar is QW R6447QX ^R^ het werk van leerlingen moeten zien. Al deze opvattingen maken, dat er druk komt te staan op het nakijken!

Wél doen & Q Schriftelijk nakijken kan zinvol zijn bij toetsen, nieuwe stof en projecten (of werkstukken), waar leerlingen gedurende een langere periode aan werken. % ǒ Q Of laat ze elkaars werk nakijken. . komen, door op een veel effectievere manier feedback te geven tijdens het geleide inoefenen.

Niet doen . ^ Nakijken is meer dan alleen maar aangeven wat goed of fout is. Het moet handreikingen bieden. De functie van feedback is tweeledig: - Enerzijds geeft het nakijken van werk de leerling informatie over hoe hij* het doet ten opzichte van een doel en een ^^Q. bepaalde prestatie van de leerling op een taak. - Anderzijds geeft het nakijken van werk u als leerkracht informatie over hoe u effectief feedback kunt geven. Feedback, die de kloof overbrugt tussen wat een leerling begrijpt en wat hij zou moeten begrijpen. ] De kans is groot, dat de leerling achteraf niet meer precies weet hoe hij zijn werk heeft aangepakt en wat er beoordeeld is. Hij is zich niet meer bewust van de fouten, die hij in zijn werk maakte. En de feedback zal hem daarom frustreren, terwijl die hem juist zou moeten stimuleren.

Effectieve feedback geeft leerlingen

veel informatie

ɚ ^ , ^Q & ^ langer dan wat de leerling heeft geQW$^ ^ ^ belangrijkste leerdoelen.) ^beterpunten aan. , ^ ^ ontwikkelingsleeftijd van de leerling. W, ?X "^ W XR maar corrigeer ze niet allemaal. Er blijft dan voor de leerling niets over om te verbeteren.

Nakijken tijdens de fase van begeleid inoefenen " De fase van begeleid inoefenen en verwerken biedt veel ruimte voor het

^ Qe' d leerlingen aan het werk zijn, kan voorkomen, dat kinderen zich nieuwe kennis of ^ ^ ^ Q. kunt direct feedback geven op de manier waarop leerlingen een taak aanpakken. % ^^ proces, dat ze doorlopen bij het maken Q3^gen kennen. En ze kunnen hun aanpak nog wijzigen.

"^^^

* Waar hij staat, moet uiteraard steeds hij/zij gelezen worden. Hier is voor gekozen, omdat anders de tekst nodeloos ingewikkeld en onleesbaar wordt.

6

Nakijkwerk in uitvoering ^

De fase van het begeleid inoefenen is een uitstekend moment, om uw leerlingen individuele (mondelinge) feedback te geven. Tijdens het rondlopen kunt u leerlingen direct van feedback voorzien, precies op het moment, dat leerlingen midden in hun denkproces zitten. Eigenlijk wordt

het achteraf nakijken op deze manier vervangen door het veel functionelere rondlopen en direct mondelinge feedback

QW// R6447QX

+^ Geef leerlingen feedback over hun handelen, over de manier waarop ze te werk gaan. Als u hierin investeert, kunnen leerlingen aan het eind van de les vaak zélf hun werk corrigeren. Dat ze daarbij de gelegenheid hebben om hun fouten te verbeteren, is juist goed. Het gaat er niet om hoeveel opgaven ze goed maakten, maar om hoe ze die opgaven maakten. Als dat het uitgangspunt is, zullen leerlingen gaan nadenken waarom ze een fout maakten in plaats van gericht te zijn op het verbeteren van fouten. Richt u alleen op inhoud. De verleiding is groot, om tijdens het rondlopen even iets op te merken over bijvoorbeeld het wel of niet netjes schrijven. Daarmee leidt u de leerlingen af van hun leerdoel.

Wat maakt feedback u ? Feedback wordt effectief, als die de juiste informatie bevat én voldoende afgestemd is op de behoeften, vaardigheden en ^ Q.^ veel informatie nodig. Door middel van feedback wilt u het gat tussen de huidige kennis en vaardigheden en het leerdoel verkleinen. Effectieve feedback geeft de leerling veel informatie. .^ ^ nen begrijpen in hoeverre het leerdoel is bereikt, wat het volgende doel is, hoe hij verder moet en hoe hij zijn leren kan vergroten. (Hattie, 2007.)

)c 74Nummer 96457

Effectieve feedback: juiste informatie Om de leerling de juiste informatie te kunnen geven, hebt u zélf ook veel informatie nodig. Namelijk: 0^R^^ ? "^ ^^ ? !^ ^?

0^R^^ bereiken? Wat moet de leerling kunnen, weten, ? ^ R om een leerdoel te behalen. Een van de belangrijkste voorbereidingen voor effectieve feedback is het omschrijven van heel duidelijke doelen, vooral ook richting

de leerlingen. (Hattie, 2007.) Als het doel niet duidelijk is voor de leerlingen, dan zullen ze ook niet goed snappen waarom ze de taak maken. Als leerlingen zich betrokken voelen/tonen bij een doel, zijn ze eerder geneigd om te ^ QW% F%R 1990/Hattie, 2007.)

"^ ^ leerdoel bereikt? &^ ^ ^ leerling in hoeverre hij het leerdoel heeft behaald. Hoe is zijn prestatie in relatie tot ^^^?! opzichte van zijn vorige prestatie op een ?$ ^ ^? Het is belangrijk, dat u als leerkracht succescriteria voor de taak hebt bepaald.

7

^ Wilt u de leerling helpen om de taak te ?0^ ^ taak beter en/of met behulp van andere ǔ?^ ?

ed

6?7? Volgende keer De volgende aflevering van Feedback in de klas – in Praxisbulletin, jaargang 31, nummer 1 (september 2013) – zal gaan over het geven van cijfers als beoordeling van werk. Het betreft dan aflevering 3: Verdient Joost nu een zes of een zeven?

8

Wat maakt, dat een leerling de taak, in re^R ^ ? Wees heel kritisch bij het vaststellen van deze criteria en houd uzelf eraan. Een leerling heeft er niets aan, als hij wordt gecorrigeerd op onderdelen van een taak, die niet tot het lesdoel behoren. In welke situaties is het passend, om de leerling ^ ?! kunt u in teamverband afspraken maken.

Hoe moet de leerling verder? & ^ van leren bereiken. Dit volgende stapje kan op twee niveaus plaatsvinden: op het niveau van het begrip van de taak én op het niveau van zelfregulatie. Aan het eerste niveau werkt u bijvoorbeeld, door meer uitdaging in de taken te bieden of door in te gaan op de denkprocessen en oplossingsstrategieën. Het tweede niveau geeft antwoord op de vraag: hoe wordt de e d?

] ê^d in handen. Dat product geeft informatie edQ]^ ^ goed is, is de leerling dus al verder in zijn proces en heeft hij meer aanbod nodig. In plaats van meer van hetzelfde te geven (meer informatie, meer taken, meer verwachtingen), is feedback dan effectiever. Feedback is gericht op het vergroten edQS^ ^ taken, meer zelfregulatie, meer automatiseren, meer strategieën (of processen), dieper begrip (of meer informatie over wat wel of niet is begrepen). Dit kan een heel grote impact hebben op het leren! (Hattie, 2007.) Arina Rook, adjunctdirecteur van OBS De CatamaranSe% tijdens de les continu feedback van de leerkracht, waardoor fouten direct gecorrigeerd worden en daardoor niet inslijten. Wij hebben gezien, dat deze vorm van feedback direct grote invloed heeft op de leeropbrengsten. Die zijn enorm vooruit >d

, ^ ^ de leerling % ^^wijsbehoeften en dus ook verschillende feedbackbehoeften. Een goede manier om erachter te komen wat uw leerling nodig heeft, is hem te vragen naar zijn denkproces. Stel bijvoorbeeld de vraag: e! ^^ ?d

Nakijkwerk in uitvoering ^

De leerling moet op dat moment met de taak bezig zijn, want achteraf zal hij dat niet meer kunnen reproduceren. Deze vraag is daarom vooral geschikt om te stellen tijdens de ronde door de klas, tijdens het inoefenen. Het antwoord van de leerling kan u helpen bij het bepalen van de meest geschikte feedback, voor díe leerling, op dát moment.

Effectieve feedback: afstemming op behoeften, vaardigheden en capaciteiten ɚ Om uw feedback goed af te kunnen stemmen op de behoefte van leerlingen, is het belangrijk goed naar het type leerling te kijken. We onderscheiden hier drie typen leerlingen en geven passende feedbacktips per feedbackbehoefte.

Drie typen leerlingen R^ ^ . W^ X^ len: ‘Heeft deze leerling de opdracht wel

^ ?d] ^^ ^ heeft begrepen, dan heeft de leerling waar Q/ hem is het van belang, dat hij weet welke opdrachten hij fout en welke hij goed heeft

Q.^ ^c uitleg over de stof kunnen geven. Bijvoorbeeld door nog eens stapsgewijs uit te leggen hoe hij de taak zou kunnen aanpakken. R^ ^ ǔ ǔ Het kan heel goed helpen, om de zogeê ^dQ Dat wil zeggen, dat u een punt zet bij een )c 74Nummer 96457

verkeerd antwoord, zodat de leerling aan het denken wordt gezet over deze fout. Als hij hier niet uitkomt, kunt u deze leerling Q. ^ ^Se/ ^ ^Qd.^ ^ snel te weten waar het misgaat in het proces of welke strategie de leerling toepast. R^ ^ ^ .^ edQ^boven beschreven techniek (de ‘puntjes^dX Q deze leerling doorgaans geen hulp meer ^ Q.ǒ te gaan naar oplossingen en hem zo meer e d^ leerproces. Ook het bieden van een ander type uitdaging is voor deze leerling heel

Q. ^ǒ opdracht kunnen laten bedenken. Daarmee stimuleert u de leerling, om op een andere manier over de stof na te denken.

Geef feedback,

afgestemd op de individuele behoefte van elke leerling

& Dit artikel (Nakijkwerk in uitvoering) is de tweede aflevering van de vijfdelige reeks Feedback in de klas, die in het Praxisbulletin zal verschijnen. Eerder verscheen al: In onze klas is feedback heel normaal (aflevering 1, opgenomen in nummer 8, april 2013). Het volgende (derde) artikel in de reeks zal gaan over het gebruik van beoordelingen, uitgedrukt in cijfers. Hoe beoordeelt u het ^ ?( ^ ? En wat zijn mogelijke alternatieven voor het geven van een cijfer tussen 1 en 10 als ^ ? />

Literatuur ,Q REnriching feedback in the classroomR!^^^R%^R6447Q &Q RQb FQ #RProtocol Ernstige RekenWiskunde Problemen en DyscalculieR$ / Gorcum, Assen, 2011. #Q!nF!QɚRThe Power of Feedback, in: Review of Educational Research, 77 (1), 81-112, 2007. #&QQ Q/ RNagekeken en dan...? Over het nut van corrigeren, in: Zorg Primair (onderwijsblad voor het primair ^ XR88R6:Q48Q6447W88@8:XR6447Q

9

0RQGHOLQJHIHHGEDFNHQOHHUOLQJPRWLYDWLHLQGHNODV HHQYHUNHQQLQJPHWKHWRRJRS'LGDFWLVFK&RDFKHQ 1LHOV*DGHOODD ,YRYDQ+HHVZLMN

6LHWVNH+HQGULNV

$QRXN6FKDDSYHOG

$UQROG6HSSHQZRROGH

0LORX9HUPHXOHQ

HQ$ULHNH9UHXJGHQKLO

In dit onderzoek wordt gekeken naar de mondelinge feedback van docenten in klassensituaties en de mogelijke relatie tussen deze feedback en de motivatie van leerlingen. Vanuit de theorie van Didactisch Coachen wordt een positieve relatie tussen deze twee concepten verondersteld, welke in dit onderzoek wordt getoetst. Het onderzoek is uitgevoerd op een middelbare school voor havo/vwo in Midden-Nederland. Om de huidige praktijk rondom het mondelinge feedback gegeven in de klas in kaart te brengen is een vragenlijst uitgezet onder 15 docenten (op basis van vrijwillige aanmelding) en zijn deze docenten allen een lesuur geobserveerd. Om de relatie met motivatie te onderzoeken hebben 346 leerlingen (grotendeels havo 4) ook een vragenlijst ingevuld. Uit de resultaten bleek dat de verschillende aspecten van mondelinge feedback niet door elke docent even belangrijk gevonden worden. Ook bleken er grote verschillen te zijn qua hoeveelheid en variatie in feedback die door docenten wordt gegeven. Tot slot liet een regressieanalyse zien dat er geen sterke directe relatie bestaat tussen de mondelinge feedback van de docent en de motivatie van de leerling. Vooral de gevonden verschillen zijn interessant om in de praktijk dan wel in vervolgonderzoek verder uit te diepen.

YHUERQGHQDDQ+RJHVFKRRO8WUHFKW

YHUERQGHQDDQ8QLYHUVLWHLW8WUHFKW

,QOHLGLQJHQSUREOHHPVWHOOLQJ 'HFRQWH[WYDQKHWRQGHU]RHN 'LW DUWLNHO EHVFKULMIW GH XLWJDQJVSXQWHQ HQ UHVXOWDWHQ YDQ KHW HHUVWH JHGHHOWH YDQ HHQ GULH MDULJRQGHUZLMVRQGHU]RHN'LWHHUVWHGHHOLVYDQ MDQXDUL WRW HQ PHW MXQL XLWJHYRHUG RS HHQ PLGGHOEDUH VFKRRO LQ KHW PLGGHQ YDQ KHW ODQG +$929:2 'H]H VFKRRO KHHIW LQ GH DIJHORSHQ MDUHQ WLMG JHwQYHVWHHUG HQ OHHURSEUHQJVWHQ JHIRUPXOHHUG YDQXLWKHW)OH[SURMHFWZDDUELMGHOHHUOLQJHQPHW DQGHUH RJHQ QDDU KXQ HLJHQ OHHU SUHVWDWLHV OHHUGHQ NLMNHQ KLHURS OHHUGHQ UHIOHFWHUHQ HQ DDQVOXLWHQGDQGHUVKDQGHOHQ.RUWRPKHWJHYHQ YDQIHHGEDFNDDQOHHUOLQJHQ,QYHUEDQGPHWKHW SUDNWLMNJHULFKWH RQGHU]RHN LQ KHW NDGHU YDQ KHW 6222SURMHFW KHHIW GH VFKRRO HUYRRU JHNR]HQ RP GLW SURMHFW ZHWHQVFKDSSHOLMN WH JDDQ RQGHU ERXZHQ RP RS GLH PDQLHU WH NRPHQ WRW KHW SURIHVVLRQDOLVHUHQ YDQ GRFHQWHQ PHW EHWUHNNLQJ WRWKHWJHYHQYDQIHHGEDFNDDQOHHUOLQJHQ

+HW GRHO LV GDW QD GULH MDDU HHQ VXEVWDQWLHHO GHHO YDQ KHW GRFHQWHQWHDP HHQ SURIHVVLRQDOLVH ULQJVWUDMHFWKHHIWGRRUORSHQGDWJHULFKWLVRSKHW JHYHQYDQIHHGEDFNDDQOHHUOLQJHQ'LWLVRPGDW HULQKHWKXLGLJHRQGHUZLMVQLHWDOOHHQLQKRXGH OLMNHNHQQLVYDQGRFHQWHQZRUGWYHUZDFKWPDDU GRFHQWHQ RRN JHDFKW ZRUGHQ RP EHJHOHLGHU HQ FRDFK YDQ KHW OHHUSURFHV YDQ OHHUOLQJHQ WH ]LMQ HQ KHQ WH EHJHOHLGHQ ELM GH RQWZLNNHOLQJ YDQ EHSDDOGHYDDUGLJKHGHQ6RO 6WRNNLQJ (HQ EHODQJULMN RQGHUGHHO YDQ GLW FRDFKHQ LV KHW JHYHQ YDQ IHHGEDFN 9ROJHQV RQGHU]RHN YRUPW JRHGH IHHGEDFN HHQ NUDFKWLJ PLGGHO RP OHHUSURFHVVHQWHVWLPXOHUHQ7HJHOLMNHUWLMGEOLMNW XLW RQGHU]RHN RRN GDW KHW JHYHQ HQ RQWYDQJHQ YDQIHHGEDFNHHQJHYRHOLJSURFHVLVHQGDWIHHG EDFN RRN QHJDWLHYH HIIHFWHQ NDQ JHQHUHUHQ 6RO 6WRNNLQJ +RRIGVWXN]DO LQJDDQ RSGH DFKWHUJURQGHQ HQ YRUPHQ YDQ IHHGEDFN 'H VFKRRO ZLO KHW SURIHVVLRQDOLVHUHQ YRRUDO WRHVSLWVHQ RS KHW JHYHQYDQJRHGHIHHGEDFN+LHUYRRU]DOGDQJH

6DPHQ2SOHLGHQ2QWZLNNHOHQHQ2QGHU]RHNHQ 'H GLUHFWH DDQOHLGLQJ WRW KHW RQGHU]RHN YRUPW KHW DFWLHSODQ µOHUDDU¶ GDW EHGRHOG LV RP GH NZDOLWHLW YDQ GH GRFHQWWHYHUKRJHQZDDUELMKHWRQGHUDQGHUHRRNJDDWRPKHWJHYHQYDQMXLVWHIHHGEDFNDDQOHHUOLQJHQ

2 Mondelinge feedback en leerling motivatie in de klas

JHEUXLN JHPDDNW ZRUGHQ YDQ KHW PRGHO YDQ 'LGDFWLVFK &RDFKHQ ]LH YRRU XLWOHJ SDUDJUDDI HHQ FXUVXV RQWZLNNHOG GRRU 9RHUPDQ HQ )DEHU %LM GH]H FXUVXV ]LMQ WZHH LQYDOV KRHNHQYDQEHODQJKHWRQWZLNNHOHQLQWHDPVHQ RQOLQH FRDFKLQJRSGHZHUNSOHN ,QGLWDUWLNHO ZRUGW QLHWXLWYRHULJLQJHJDDQRSGHGHWDLOV YDQ GH FXUVXV PDDU GH WKHRULH HUDFKWHU LV VWHUN YHUZHYHQPHWKHWKXLGLJHRQGHU]RHN =RDOV JH]HJG ]DO KHW RQGHUZLMVRQGHU]RHN LQ WRWDDO GULH MDDU ORSHQ ZDDUYDQ KHW HHUVWH JHGHHOWHXLWJHYRHUGLVGRRU]HVPDVWHUVWXGHQWHQ GLH KXQ RSOHLGLQJ YROJHQ DDQ GH 8QLYHUVLWHLW 8WUHFKW6222 HQHHQVWXGHQWGLH ]LMQRSOHLGLQJYROJWDDQGH+RJHVFKRRO8WUHFKW 6SHFLILHNHIRFXVELQQHQGLWRQGHU]RHN ,QRYHUOHJPHWGHVFKRROLVHHQVSHFLILHNHIRFXV JHNR]HQ QDPHOLMN KHW JHYHQ YDQ PRQGHOLQJH IHHGEDFN YDQ HHQ GRFHQW DDQ OHHUOLQJHQ LQGLYLGXHHORINODVVLNDDO LQHHQNODVVHQVLWXDWLH +HW JDDW KLHUELM RP GH PDQLHU ZDDURS PRQGH OLQJHIHHGEDFNJHJHYHQZRUGWHQZDWKHWHIIHFW YDQGH]HPRQGHOLQJHIHHGEDFNLVRSGHPRWLYD WLHYDQOHHUOLQJHQ ,QGLWRQGHU]RHNZRUGWV\VWHPDWLVFKDDQGDFKW EHVWHHG DDQ IDFWRUHQ YDQ 'LGDFWLVFK &RDFKHQ GLH YDQ EHODQJ NXQQHQ ]LMQ ELM KHW JHYHQ YDQ JRHGH IHHGEDFN +LHURYHU ZRUGW LQ KHW WKHRUHWLVFK NDGHU KRRIGVWXN YHUGHU XLWJH ZHLG ,Q KHW WKHRUHWLVFK NDGHU NRPW RRN KHW FRQFHSWµIHHGEDFN¶XLWJHEUHLGDDQGHRUGHLQGLW RQGHU]RHNWRHJHVSLWVWRSPRQGHOLQJHIHHGEDFN 'DDUQDDVW NRPW RRN QDDU YRUHQ ZHON HIIHFW PRQGHOLQJHIHHGEDFNRSOHHUOLQJHQNDQKHEEHQ ZDDUELM LV JHNHNHQQDDU GHHIIHFWHQGDDUYDQRS PRWLYDWLH +RRIGVWXN JHHIW YHUYROJHQV HHQ RYHU]LFKW YDQ GH PHWKRGH HQ GH LQVWUXPHQWHQ GLH]LMQJHEUXLNW'LWLVHHQGULHGHOLQJRPGDWELM KHW RQGHU]RHN GULH DI]RQGHUOLMNH PDQLHUHQ YDQ GDWDYHU]DPHOLQJ ]LMQ JHEUXLNW ,Q KRRIGVWXN VWDDQ GH UHVXOWDWHQ YDQ KHW RQGHU]RHN RSQLHXZ LQ GULH GHOHQ LQJHGHHOG +RRIGVWXN JHHIW HHQ RYHU]LFKW YDQ GH FRQFOXVLHV GLH ]LMQ JHWURNNHQ HQLQKRRIGVWXNZRUGWHHQDDQ]HWJHJHYHQWRW GLVFXVVLH HQ QDDU DDQOHLGLQJ GDDUYDQ DDQEHYH OLQJHQYRRUYHUYROJRQGHU]RHNRSGHVFKRRO

7KHRUHWLVFKNDGHU )HHGEDFN %LQQHQ GH KXLGLJH RQGHUZLMVVHWWLQJ GLHQW HHQ GRFHQWQLHWDOOHHQLQKRXGHOLMNHNHQQLVWHKHEEHQ PDDUZRUGWGH]HRRNJHDFKWEHJHOHLGHUHQFRDFK WH]LMQYDQOHHUOLQJHQLQKXQOHHUSURFHVHQKHQWH EHJHOHLGHQ ELM GH RQWZLNNHOLQJ YDQ YDDUGLJ KHGHQ(HQEHODQJULMNRQGHUGHHOYDQFRDFKHQLV IHHGEDFN9ROJHQVRQGHU]RHNYRUPWJRHGHIHHG EDFN HHQ NUDFKWLJ PLGGHO RP OHHUSURFHVVHQ WH VWLPXOHUHQ 7HJHOLMNHUWLMG EOLMNW XLW RQGHU]RHN RRN GDW KHW JHYHQ HQ RQWYDQJHQ YDQ IHHGEDFN HHQ JHYRHOLJ SURFHV LV HQ GDW IHHGEDFN RRN QHJDWLHYH HIIHFWHQ NDQ JHQHUHUHQ 6RO 6WRNNLQJ 'HILQLWLHYDQIHHGEDFN )HHGEDFNZRUGWLQGHOLWHUDWXXURSYHUVFKLOOHQGH PDQLHUHQ JHGHILQLHHUG ZDDUELMYHUZH]HQZRUGW QDDU ELMYRRUEHHOG GH LQKRXG YDQ GH LQIRUPDWLH KHW GRHO HQ GH IHHGEDFNJHYHU 9DQ GH 5LGGHU 6WRNNLQJ 0F*DJKLH 7HQ &DWH %LQQHQ GH YHUVFKLOOHQGH GHILQLWLHV VWDDW GDDUELM DOWLMG KHW DDQELHGHQ YDQ LQIRUPDWLH DDQ HHQ OHUHQGH FHQWUDDO 'HILQLWLHV YHUVFKLOOHQ YHUYRO JHQVZHHUZDWEHWUHIWKHWZHORIQLHWEHWUHNNHQ YDQ GH UHDFWLH YDQ GH OHUHQGH QDDU DDQOHLGLQJ YDQ GH LQIRUPDWLH HQ GH ZLM]H YDQ JHEUXLN YDQ GH LQIRUPDWLH 'XLMQKRXZHU .OXJHU HQ 'H1LVL EHSHUNHQ]LFKLQKXQGHILQLWLHWRW µDFWLRQV WDNHQ E\ DQ H[WHUQDO DJHQWV WR SURYLGHLQIRUPDWLRQUHJDUGLQJVRPHDVSHFWV RI RQH¶VWDVNSHUIRUPDQFH¶ S HQ]LMEHQRH PHQ GXV QLHW GH UHDFWLH YDQ GH OHUHQGH 'LW WHUZLMO 6KXWH¶V GLW MXLVW ]LHW DOV GH HVVHQWLH YDQ IHHGEDFN HQ KHW FRQFHSW GHILQLHHUW DOVµLQIRUPDWLRQFRPPXQLFDWHGWRDOHDUQHUWKDW LV LQWHQGHG WR PRGLI\ KLV RU KHU WKLQNLQJ RU EHKDYLRUIRUWKHSXUSRVHRILPSURYLQJOHDUQLQJ¶ S ,Q KHW RQGHUZLMV LV IHHGEDFN HU VSHFLILHN RS JHULFKW LHWV WH GRHQ WRHQHPHQ QDPHOLMN GDW ZDW OHHUOLQJHQ OHUHQ HQRI KXQ PRWLYDWLH GDDUYRRU 6RO 6WRNNLQJ ,Q GLW RQGHU]RHN ]DO GDDURP GH UHDFWLH YDQ GH OHUHQGHPHHJHQRPHQZRUGHQLQGHGHILQLWLHYDQ IHHGEDFN 'XLMQKRXZHU NRPW LQ KDDU


RQGHU]RHNWRWHHQQLHXZHGHILQLWLHYDQIHHGEDFN GRRUGHGHILQLWLHVYDQ.OXJHUHQ'H1LVL HQ 6KXWH WH FRPELQHUHQ 'H]H GHILQLWLH ]DO RRN LQ GLW RQGHU]RHN ZRUGHQ JHKDQWHHUG HQ OXLGW DOV YROJW µ,QIRUPDWLH RYHU ppQ RI PHHU DVSHFWHQ YDQ GH SUHVWDWLH YDQ HHQ OHUHQGH JHJHYHQGRRUHHQDQGHUHSHUVRRQPHWDOVGRHO GH FRJQLWLH PRWLYDWLH HQRI KHW JHGUDJ YDQ GH OHUHQGH WH EHwQYORHGHQ WHQHLQGH ]LMQ RI KDDU SUHVWDWLHWHYHUEHWHUHQ¶ 9RUPHQYDQIHHGEDFN (UNDQHHQRQGHUVFKHLGJHPDDNWZRUGHQWXVVHQ YHUVFKLOOHQGHYRUPHQYDQIHHGEDFNRSEDVLVYDQ HHQ YLHUWDO DVSHFWHQ KHW NDQDDO GH LQLWLDWLHI QHPHUGHRQWYDQJHUHQGHEURQ+HWNDQDDOYDQ IHHGEDFN NDQ RQGHUYHUGHHOG ZRUGHQ LQ WZHH YRUPHQ PRQGHOLQJRIVFKULIWHOLMNRSSDSLHURI GLJLWDDO +HW NDQ ]LMQ GDW IHHGEDFN JHJHYHQ ZRUGW RS LQLWLDWLHI YDQ GH IHHGEDFNJHYHU yI DOV UHDFWLHRSYUDJHQRISUREOHPHQ YDQGHOHUHQGH )HHGEDFN NDQ GDDUELM JHJHYHQ ZRUGHQ DDQ HHQ LQGLYLGXHOH RQWYDQJHU RI DDQ HHQ JURHS OHUHQ GHQ'HEURQYDQIHHGEDFNNDQIHHGEDFNYDQXLW GH WDDN ]LMQ ]HOIJHQHUHUHQGH IHHGEDFN RI IHHGEDFNYDQHHQDQGHU6RO 6WRNNLQJ ,Q GLW RQGHU]RHN ]DO ]RDOV RRN XLW GH JHKDQWHHUGHGHILQLWLHDIWHOHLGHQLVDOVEURQYDQ IHHGEDFN HHQ DQGHUH SHUVRRQ FHQWUDDO VWDDQ QDPHOLMNGHGRFHQW+LHUYRRULVJHNR]HQRPGDW GLW RQGHU]RHN VSHFLILHN JHwQWHUHVVHHUG LV LQ KHW HIIHFW YDQ IHHGEDFN GLH GRRU GRFHQWHQ DDQ OHHUOLQJHQZRUGWJHJHYHQ9HUGHU]DOGLWRQGHU ]RHN]LFKYHUGHUVSHFLILFHUHQGRRU]LFKDOOHHQWH ULFKWHQRSPRQGHOLQJJHJHYHQIHHGEDFNLQHHQ NODVVHQVLWXDWLH DDQ LQGLYLGXHOH OHHUOLQJHQ 'DDUELM ]DO ]RZHO IHHGEDFN RS LQLWLDWLHI YDQ GH GRFHQWDOVRRNIHHGEDFNLQUHDFWLHRSHHQYUDDJ SUREOHHPYDQHHQOHHUOLQJZRUGHQPHHJHQRPHQ )HHGEDFN LQ GH YRUP YDQ 'LGDFWLVFK &RDFKHQ %LQQHQ GLW RQGHU]RHN VWDDW 'LGDFWLVFK &RDFKHQ DOV YRUP YDQ IHHGEDFN FHQWUDDO 'LGDFWLVFK &RDFKHQ LV HHQ YRUP YDQ LQWHUDFWLH WXVVHQ GH OHHUOLQJ HQ GH GRFHQW ZDDUELM GH GRFHQW IHHG EDFNDDQGHOHHUOLQJJHHIWpQYUDJHQVWHOWDDQGH

OHHUOLQJ RP KHW UHIOHFWLHSURFHV WH EHYRUGHUHQ 'HZHUNZLM]HLVHURSJHULFKWRPIHHGEDFNOHHU EHYRUGHUHQGWHPDNHQHQZHORSWZHHQLYHDXV KHWOHHUUHVXOWDDWHQGHPRWLYDWLHYDQGHOHHUOLQJ 'H YLHU GLPHQVLHV ZDDURS YROJHQV KHW FRQFHSW YDQ 'LGDFWLVFK &RDFKHQ 9RHUPDQ )DEHU IHHGEDFN NDQ HQ PRHW ZRUGHQ JHJHYHQ GRRUHHQGRFHQW]LMQ GHWDDNZDWGHOHHUOLQJGRHW GHDDQSDNOHHUVWUDWHJLHRSZHONHPDQLHU GHOHHUOLQJGLWGRHW GH OHHUVWDQGPRGXV YDQ GH OHHUOLQJ JHYRHOHQVJHGDFKWHV GLH GH OHHUOLQJ HU ELMKHHIW HQ GH NZDOLWHLWHQ YDQ GH OHHUOLQJ SHUVRRQ OLMNHNZDOLWHLWHQGLHOHHUOLQJODDW]LHQ 'DDUQDDVW JDDW KHW FRQFHSW 'LGDFWLVFK&RDFKHQ HUYROJHQV9RHUPDQHQ)DEHU YDQXLWGDW IHHGEDFN KHW PHHVW OHHUEHYRUGHUHQG ZHUNW ZDQQHHU GH IHHGEDFN ]R SUHFLHV PRJHOLMN PDDU QLHWWHODQJLV HUSRVLWLHYHIHHGEDFNZRUGWJHJHYHQJH ULFKWRSZDWGHOHHUOLQJDOJRHGGRHWHQ GH IHHGEDFN JHUHODWHHUG LV DDQ ZDW GH OHHUOLQJDOHHUGHUOLHW]LHQYHUOHGHQ KHW QX EHQRHPW RQGHUVWHXQLQJ YRRU KHW KHGHQ HQRRNHHQYHUELQGLQJPDDNWPHW KHW GRHO GDW GLHQW WH ZRUGHQ EHUHLNW XLWGDJLQJYRRULQGHWRHNRPVW 7RW VORW GLHQW HU YROJHQV %RV HQ 9RHUPDQ YROJHQV KHW FRQFHSW YDQ 'LGDFWLVFK &RDFKHQ WLMGHQV KHW IHHGEDFN JHYHQ JHZHUNW WH ZRUGHQDDQGHUHODWLHWXVVHQGRFHQWHQOHHUOLQJ 'DDUELMVWDDQWZHHDDQGDFKWVSXQWHQFHQWUDDO HU ZRUGW JHERXZG DDQ HHQ UHODWLH YDQ ZHGHU]LMGVYHUWURXZHQHQRSHQKHLGHQ GH GRFHQW FKHFNW DOWLMG KRH GH JHJHYHQ IHHGEDFN GRRU GH OHHUOLQJ ZRUGW RQWYDQJHQ GXV RI GH IHHGEDFN RRN HFKW RS GH EHGRHOGH PDQLHU ELQQHQNRPW GLW LV JHUHODWHHUG DDQ GH OHHUVWDQGPRGXV YDQGHOHHUOLQJ (IIHFWLHYHIHHGEDFN (U LV DO YHHO RQGHU]RHN JHGDDQ QDDU KHW HIIHFW YDQ IHHGEDFN 3HU RQGHU]RHN LV GH FRQWH[W YHU


VFKLOOHQGHQRQGHU]RHNVYDULDEHOHQYDULsUHQYDQ KHW PRPHQW YDQ GH IHHGEDFN YDQ GH GRFHQW WRW KHWLQ]HWWHQYDQEHORQLQJHQWRWFRJQLWLHYHFDSD FLWHLWHQ YDQ GH OHHUOLQJHQ +DWWLH 7LPSHUOH\ .OXJHU HQ 'H1LVL KHEEHQ XLW GH YHHOKHLG DDQ RQGHU]RHNHQ HHQ HHUVWH WKHRULH RSJH]HW EHWUHIIHQGH KHW HIIHFW YDQ IHHGEDFN RS SUHVWDWLH'DDUELMKHEEHQ]LMGH)HHGEDFN,QWHU YHQWLH 7KHRULH ),7 RQWZLNNHOG 'H]H WKHRULH VWHOW GDW KHW HIIHFW YDQ IHHGEDFN RS SUHVWDWLH DIKDQNHOLMNLVYDQGHSURFHVVHQZDDURSGHIHHG EDFN GH DDQGDFKW ULFKW ),7 RQGHUVFKHLGW GULH SURFHVVHQ GLH YHUJHOLMNEDDU ]LMQ PHW GH HHUVWH GULH GLPHQVLHV YDQ 'LGDFWLVFK &RDFKHQ 'H SURFHVVHQYDQ),7]LMQPHWDWDDNSURFHVVHQGH OHHUVWDQGPRGXV YDQ GH OHHUOLQJ WDDNPRWLYD WLHSURFHVVHQGHWDDN HQWDDNOHHUSURFHVVHQGH DDQSDNOHHUVWUDWHJLH 'H]H SURFHVVHQ ZRUGHQ KLsUDUFKLVFK ZHHUJHJHYHQ 0HWDWDDNSURFHVVHQ KHEEHQ GH KRRJVWH SRVLWLH ELQQHQ GH KLsUDUFKLH HQ JDDQ NRUWJH]HJG RYHU KHW LQGLYLGX GH OHHUOLQJ ]HOI 7DDNPRWLYDWLHSURFHVVHQ EHVODDQ GH PLGGHQSRVLWLH ELQQHQ GH KLsUDUFKLH HQ EHWUHIIHQ GH WDDN ZDDUDDQ ZRUGW JHZHUNW 7RW VORW ZRUGW HU HHQ GHUGH W\SH SURFHV RQGHU VFKHLGHQ WDDNOHHUSURFHVVHQ GH]H EHYLQGHQ ]LFK RQGHUDDQ GH KLsUDUFKLH HQ EHWUHIIHQ WDDN GHWDLOV ZDDUPHH FRPSRQHQWHQ YDQ GH WDDNXLW YRHULQJ ZRUGHQ EHGRHOG 0HWDWDDNSURFHVVHQ NXQQHQ GRHOHQ YDQ KRJHUH RUGH ELMYRRUEHHOG KHW LQYHVWHUHQ LQ GH HLJHQ RQWZLNNHOLQJ YHUELQGHQDDQGHWDDN7DDNPRWLYDWLHSURFHVVHQ DFWLYHUHQ GH WDDNOHHUSURFHVVHQ 'LW NDQ ]LMQ ZDQQHHUGHSUHVWDWLHRQYROGRHQGHLVH[WUDLQ]HW QLHWV RSOHYHUW HQRI GH JHZHQVWH VWUDWHJLH EHWHNHQW GDW YRRU HHQ DQGHUH DDQSDN GLHQW WH ZRUGHQ JHNR]HQ 9ROJHQV ),7 ]DO ELM HHQ RQYROGRHQGH SUHVWDWLH LQ HHUVWH LQVWDQWLH GH DDQGDFKW RS KHW WDDNPRWLYDWLHQLYHDX ZRUGHQ JHULFKW ZDW HUWRH OHLGW GDW GH OHUHQGH PHHU LQVSDQQLQJJDDWOHYHUHQ,QGLHQGDWQLHWOHLGWWRW YHUEHWHULQJ ]DO GH DDQGDFKW ]LFK YHUSODDWVHQ QDDUWDDNOHHUSURFHVVHQZDDUGRRUHHQDOWHUQDWLH YH DDQSDN ]DO ZRUGHQ JHNR]HQ 2RN NDQ GH DDQGDFKW YDQ GH OHUHQGH ]LFK RS GDW PRPHQW YHUSODDWVHQ QDDUKHW PHWDWDDNQLYHDXZDDUGRRU ELMYRRUEHHOG KHW ]HOIYHUWURXZHQ DI ]RX NXQQHQ

QHPHQ2YHUKHWDOJHPHHQYHURQGHUVWHOW),7GDW IHHGEDFNNHQPHUNHQ GLH GH DDQGDFKW ULFKWHQ RS WDDNPRWLYDWLHSURFHVVHQ RI WDDNOHHUSURFHVVHQ ELMGUDJHQ DDQ GH SUHVWDWLH WHUZLMO IHHGEDFN NHQPHUNHQ GLH GH DDQGDFKW ULFKWHQ RS PHWD WDDNSURFHVVHQ DIEUHXN GRHQ DDQ GH SUHVWDWLH RPGDW]HGHDDQGDFKWYDQGHWDDNZHJOHLGHQ 'H PHWDDQDO\VH YDQ .OXJHU HQ 'H1LVL KHHIW QDYROJLQJ JHNUHJHQ LQ KHW RQGHU ]RHN YDQ +DWWLH HQ 7LPSHUOH\ 2RN ]LM ZLOGHQ GH HIIHFWHQ YDQ IHHGEDFN LQ NDDUW EUHQJHQ PDDU ]LM ULFKWWHQ ]LFK GDDUELM SXXU RS NODVVHQVLWXDWLHV]RDOVRRNLQRQVRQGHU]RHNKHW JHYDO LV +XQ VWUHYHQ ZDV RP WH EHSDOHQ KRH IHHGEDFNKHWPHHVWHIIHFWLHILQJH]HWNDQZRUGHQ WLMGHQVGHOHV2SEDVLVYDQGHFRUUHODWLHVWXVVHQ YHUVFKLOOHQGH YDULDEHOHQ GLH JHYRQGHQ ]LMQ LQ GLYHUVH HHUGHUH RQGHU]RHNHQ NRPHQ +DWWLH HQ 7LPSHUOH\ WRWHHQPRGHOYRRUIHHGEDFN GDW KHW OHUHQ ]RX PRHWHQ EHYRUGHUHQ (HQ EHODQJULMN XLWJDQJVSXQW YDQ KXQ PRGHO LV GDW HIIHFWLHYH IHHGEDFN GH EUXJ VODDW WXVVHQ KHW EHJULSHQGHSUHVWDWLHYDQHHQOHHUOLQJHQHU]LMGV HQ KHW GRHO GDW GH OHHUOLQJ ZLO EHUHLNHQ DQGHU]LMGV +HW EHODQJ YDQ HHQ VSHFLILHN HQ UHDOLVWLVFK GRHO ZHUG RRN DO EHQDGUXNW GRRU .OXJHUHQ'H1LVL :DW PDDNW IHHGEDFN GDQ FRQFUHHW HIIHFWLHI" 7HQHHUVWHPRHWGHIHHGEDFNGHOHHUOLQJKHOSHQ RPQDWHJDDQZDDUKLMRI]LMKHHQZLOZDWLVKHW GRHO"2PGLWKHOGHUWHNULMJHQPRHWGHOHHUOLQJ WHJHOLMNZHWHQZDWKLMRI]LMQXDOKHHIWEHUHLNW HQ ZHONH VWDS HU GDQ RS GLW PRPHQW JHQRPHQ PRHW ZRUGHQ 'H]H GULHVODJ OLMNW VWHUN RS GH GULHVODJ GLH 9RHUPDQ HQ )DEHU DDQGUD JHQ LQ KHW PRGHO YDQ KHW 'LGDFWLVFK &RDFKHQ =LMEHQDGUXNNHQGDWIHHGEDFNSDVHIIHFWLHILVDOV GLWHHQKHGHQYHUOHGHQHQWRHNRPVWKHHIW'XV ELM KHW JHYHQ YDQ IHHGEDFN PRHW GH GRFHQW GH OHHUOLQJIHHGEDFNJHYHQGLHGHOHHUOLQJKHOSWRP WH]LHQZDWKLMRI]LMDOKHHIWEHUHLNWZDW HUQX JRHGJDDWPDDURRNZDWGHXLWGDJLQJLVGLHQRJ ZDFKW =RDOV JH]HJG LV KHW DDQ GH GRFHQW RP GH OHHUOLQJWHKHOSHQRPKHWGRHOKHOGHUWHNULMJHQ GLWNDQRSPHHUGHUHGLPHQVLHVYDQEHODQJ]LMQ 'LW LV KHW WZHHGH EHODQJULMNH DVSHFW GDW +DWWLH


HQ 7LPSHUOH\ LQ KXQ PRGHO YHUZHUNW KHEEHQZDQWIHHGEDFNLVYROJHQVKHQSDVHIIHF WLHI DOV KHW RS GH MXLVWH GLPHQVLH LQVSHHOW 'LW NRPW HYHQHHQV WHUXJ LQ KHW PRGHO YDQ 'LGDF WLVFK &RDFKHQ YDQ 9RHUPDQ HQ )DEHU =LM PDNHQ GDDUELM ]RDOV HHUGHU EHQRHPG HHQ RQGHUVFKHLGWXVVHQIHHGEDFNGLHJHJHYHQZRUGW WHQ DDQ]LHQ YDQ GH WDDN GH OHHUVWUDWHJLH GH HPRWLRQHOH ZHUNKRXGLQJYDQGHOHHUOLQJHQRI GH NZDOLWHLW GLH HHQ OHHUOLQJ YDQ ]LFK ]HOI DO LQ KXLVKHHIWGLHKHPRIKDDUKHOSWELMKHWXLWYRHUHQ YDQGHWDDN 2RNLVKHWELMIHHGEDFNJHYHQYDQEHODQJGDW GHGRFHQWQLHWVOHFKWVGHIHHGEDFNELMGHOHHUOLQJ QHHUOHJW+DWWLH 7LPSHUOH\ PDDUVWHHGV QDJDDW RI GH IHHGEDFN DDQVOXLW ELM GH OHHUOLQJ 9RHUPDQ HQ )DEHU GUDJHQ KLHUYRRU HHQ µIRUPXOH¶ DDQ RP IHHGEDFN PHH RS WH ERXZHQ GH GRFHQW PRHW DDQGDFKW KHEEHQ YRRU GH OHHUOLQJ YHUYROJHQV EHYUDJHQ ZDDU GH OHHUOLQJ VWDDWHQGLWPHWHHQWHUXJNRSSHOHQGRRUGHNHUQ SXQWHQ WH EHQRHPHQ 8LWHLQGHOLMN YROJW HU HHQ FKHFN ULFKWLQJ GH OHHUOLQJ RI KLM RI ]LM ZHHU YHUGHUNDQPHWGHJHNUHJHQIHHGEDFN'HUHODWLH GLHHHQGRFHQWKHHIWPHWHHQOHHUOLQJLVGDDURP EHODQJULMN.RUWRPGHNHQPHUNHQYDQIHHGEDFN GLHYROJHQVGHOLWHUDWXXUHIIHFWLHIEOLMNHQNRPHQ LQ KRJH PDWH RYHUHHQ PHW GH NHQPHUNHQ YDQ IHHGEDFN GLH ELQQHQ KHW FRQFHSW 'LGDFWLVFK &RDFKHQFHQWUDDOVWDDQ'H]HNHQPHUNHQ]XOOHQ GDDURP PHHJHQRPHQ ZRUGHQ ELM GH HPSLULVFKH GDWDYHU]DPHOLQJ ELQQHQ GLW RQGHU]RHN %LM GH RSHUDWLRQDOLVHULQJ YDQ KHW FRQFHSW IHHGEDFN ELQQHQ GLW RQGHU]RHN ]LH GH PHWKRGHEHVFKULM YLQJLQKRRIGVWXN ]DOYHUGHUZRUGHQLQJHJDDQ RS GH YUDDJ KRH GH]H DVSHFWHQ PHHJHQRPHQ ]XOOHQZRUGHQLQRQVRQGHU]RHN )HHGEDFN WHU EHYRUGHULQJ YDQ GH PRWLYDWLH 'LW RQGHU]RHN ULFKW ]LFK RS GH YUDDJ KRH IHHGEDFNGHPRWLYDWLHYDQOHHUOLQJHQEHwQYORHGW 9DQXLW GH OLWHUDWXXU ZRUGW HU HHQ SRVLWLHYH FRUUHODWLHWXVVHQGHFRQFHSWHQIHHGEDFNHQPRWL YDWLH YHURQGHUVWHOG =R VWHOOHQ 9RHUPDQ )DEHU GDW IHHGEDFN JHJHYHQYROJHQVGH ULFKWOLMQHQ YDQ 'LGDFWLVFK &RDFKHQ HHQ OHHU

EHYRUGHUHQGH ZHUNLQJ KHHIW ]RZHO WHQ DDQ]LHQ YDQGHSUHVWDWLHDOVGHPRWLYDWLHYDQOHHUOLQJHQ 2RN KHW ),7PRGHO YDQ .OXJHU HQ 'H1LVL VWHOW ]RDOV KLHUYRRU EHVFKUHYHQ GDW IHHGEDFN HHQ JXQVWLJH LQYORHG XLWRHIHQW RS GH SUHVWDWLHV YDQ OHHUOLQJHQ YLD RQGHU DQGHUH WDDN PRWLYDWLHSURFHVVHQ0RWLYDWLHZRUGW KLHUELMXLW JHOHJG DOV GDWJHQH ZDW OHHUOLQJHQ HUWRH EUHQJW QDDUHHQYRRURSJH]HWGRHORIWDDNWRHWHZHUNHQ 8LWHUDDUG]LMQHUYHUVFKLOOHQGHIDFWRUHQDDQWH ZLM]HQ GLH GH PRWLYDWLH YDQ OHHUOLQJHQ NXQQHQ EHwQYORHGHQ,PPHUVHONHOHHUOLQJLVHHQLQGLYL GXPHWHLJHQNZDOLWHLWHQLQWHUHVVHVHPRWLHVHQ GXV RRN HHQ HLJHQ DJHQGD =R NDQ HU YROJHQV 'XLMHQKRXZHU RQGHUVFKHLG ZRUGHQ JHPDDNW WXVVHQ WZHH PRWLYDWLHWKHRULHsQ DFKLH YHPHQWJRDOWKHRU\HQVHOIGHWHUPLQDWLRQWKHRU\ 'H HHUVWH WKHRULH KRXGW YHUEDQG PHW PRWLYDWLH GLHJHYRQGHQNDQZRUGHQLQKHWRQWZLNNHOHQHQ ODWHQ ]LHQ YDQ FRPSHWHQWLHV 'H WZHHGH WKHRULH KRXGW ]LFK EH]LJ PHW GH HLJHQ ZLO YDQ OHHU OLQJHQ 'DDUELM ZRUGHQ OHHUOLQJHQ JHPRWLYHHUG GRRUHLJHQLQWHUHVVHVHQGHFRQVHTXHQWLHVGLH]H DQGHUV ]XOOHQ RQGHUYLQGHQ +HW JDDW KLHUELM YRRUDO RP GH YHUVFKLOOHQGH UHGHQHQ GLH OHHU OLQJHQ KHEEHQ RP WDNHQ WH YHUULFKWHQ $O GH]H ]RMXLVW JHQRHPGH UHGHQHQ ELM GH VHOIGHWHU PLQDWLRQ WKHRU\ KHEEHQ YROJHQV 'XLMHQKRXZHU WHPDNHQPHWGHLQWULQVLHNHZHQVYDQGH PHQVRPHHQJRHGJHYRHOWHNULMJHQ+HWLVGDQ RRN WH EHJULMSHQ GDW 'XLMHQKRXZHU FRQFOXGHHUWGDWGH]HODDWVWHWKHRULHQLHWJHVFKLNW LVYRRUHHQJHGHJHQRQGHU]RHNQDDUIHHGEDFNRS GHPRWLYDWLHMXLVWYDQZHJHGH]HSV\FKRORJLVFKH XLWJDQJVZDDUGH 'H DFKLHYHPHQW JRDO WKHRU\ FRQFHQWUHHUW ]LFK GDDUHQWHJHQ DOOHHQ RS GH SUHVWDWLHVYDQGHOHHUOLQJHQHQLVGDDUGRRULQGH EDVLVHHQVWXNREMHFWLHYHUHQFRQFUHWHU (FKWHU YRRUGDW GH DFKLHYHPHQW JRDO WKHRU\ XLWYRHULJHUEHVSURNHQNDQZRUGHQPRHWHHUVWGH OLQNZRUGHQJHOHJGPHWKHWEHJULSVHOIHIILFDF\ 'H]H]HOIZHUN]DDPKHLGKHHIWQDPHOLMNWHPDNHQ PHW GH PDWH ZDDULQ OHHUOLQJHQ HLJHQ FRQWUROH NXQQHQ KRXGHQ RYHU KHW XLWRHIHQHQ YDQ KXQ WDNHQGRHOHQ +HW JDDW GXV RP KHW YHUWURXZHQ GDWLHPDQGKHHIWLQ]LMQRIKDDUHLJHQPRJHOLMN


KHGHQ RP DFWLHV XLW WH YRHUHQ GLH WRW HHQ EHSDDOGHSUHVWDWLHOHLGHQ%DQGXUD 'LW LV YROJHQV 3DMDUHV 9DOLDQWH EHODQJULMN LQ KHW ]HOI RSOHJJHQ YDQ WDNHQ ELM OHHUOLQJHQHQKHW]RXGHRQWZLNNHOLQJYDQFRP SHWHQWLHV ELM OHHUOLQJHQ DOOHHQ PDDU WHQ JRHGH NRPHQ'HJHGDFKWHKLHUDFKWHULVGDWOHHUOLQJHQ DOOHHQ LQ DFWLH ]XOOHQ NRPHQ ZDQQHHU ]LM KHW JHYRHO KHEEHQ GDW ]LM GDDUWRH LQ VWDDW ]LMQ 'LW JHYRHO LV JHEDVHHUG RS YRRUJDDQGH HUYDULQJHQ YHUEDOHRYHUWXLJLQJYDQDQGHUHQREVHUYDWLHVELM DQGHUHQHQGHPHQWDOHVWDDWZDDULQHHQOHHUOLQJ ]LFK EHYLQGW 'XLMQKRXZHU 8LW RQGHU ]RHN EOLMNW GDW GLW LQGHUGDDG ]R ZHUNW KHW VWLPXOHUHQ YDQ ]HOIZHUN]DDPKHLG ELM VWXGHQWHQ KHHIWHHQJXQVWLJHIIHFW RSGHUHVXOWDWHQYDQGH VWXGHQWHQ0F&DUWK\0HLHU 5LQGHUHU 0HLHU 0F&DUWK\ 6FKPHFN 6KHOO 0XUSK\ %UXQLQJ =LPPHUPDQ %DQGXUD 2SEDVLVYDQGLHJHJHYHQVNDQ GXV ZRUGHQ YHUZDFKW GDW KHW JHYHQ YDQ IHHG EDFN HHQ SRVLWLHYH LQYORHG KHHIW RS KHW JHYRHO YDQ ]HOIZHUN]DDPKHLG ELM OHHUOLQJHQ )HHGEDFN VWLPXOHHUWGDDUELMGHSUHVWDWLHVGRRUGDW]LMHIIHFW KHHIWRSGHWDDNPRWLYDWLH 'H SUHVWDWLHGRHOHQ XLW GH DFKLHYHPHQW JRDO WKHRU\ EHKHO]HQ GH FRJQLWLHYH KHUNHQQLQJ HQ LGHQWLILFDWLHYDQLQGLYLGXHQELMZDW]LMSUREHUHQ WHRIZLOOHQEHUHLNHQ0DDUZDW EHWHNHQW GLWQX FRQFUHHW" 3UHVWDWLHGRHOHQ IRFXVVHQ ]LFK RS KHW EHUHLNHQ YDQ HHQ SRVLWLHI UHVXOWDDW HQRI KHW YHUPLMGHQ YDQ QHJDWLHYH UHVXOWDWHQ 2PGDW HU QRJ WH ZHLQLJ EUXLNEDUH VWXGLHV ]LMQ GLH RQGHU ]RHN KHEEHQ JHGDDQ QDDU KHW YHUPLMGHQ YDQ QHJDWLHYHUHVXOWDWHQ(OOLRW 0F*UHJRU PRHWHQZHRQVEHSHUNHQWRWVWXGLHUHVXOWDWHQGLH ]LFKFRQFHQWUHUHQRSSRVLWLHYHUHVXOWDWHQRRNDO ]LMQRRNGDDUQRJZHLQLJEUXLNEDUHVWXGLHVRYHU YHUVFKHQHQ'HLQYORHGYDQIHHGEDFNRSSRVLWLH YHUHVXOWDWHQLVHFKWHUZHOGXLGHOLMNDDQJHWRRQG =REOHHNSRVLWLHYHIHHGEDFNHUYRRUWH]RUJHQGDW GH SUHVWDWLHVYDQZLVNXQGHVWXGHQWHQHURSYRRU XLWJLQJHQWHUZLMOQHJDWLHYHIHHGEDFNKHWWHJHQ RYHUJHVWHOGHHIIHFWKDG6HQNR +DUDFNLHZLF]

2SHUDWLRQDOLVHULQJ PRQGHOLQJH IHHGEDFN WHUEHYRUGHULQJYDQPRWLYDWLHLQGHSUDNWLMN :DW EHWHNHQW KHW YRRUJDDQGH YRRU KHW JHYHQ YDQ IHHGEDFN WHU EHYRUGHULQJ YDQ PRWLYDWLH LQ GH SUDNWLMN" 'XLMQKRXZHU KDQWHHUW GULH FDWHJRULHsQYDQIHHGEDFNGLHYROJHQVEHVWDDQGH OLWHUDWXXU SRVLWLHYH LQYORHG NXQQHQ KHEEHQ RS GHPRWLYDWLHYDQOHHUOLQJHQ D SURJUHVVLHIHHGEDFN GDW LV IHHGEDFN GLH VWXGHQWHQLQIRUPHHUWRYHUGHYRRUXLWJDQJLQ KHWVFKULMYHQVLQGVGHYRULJHRSGUDFKW E IHHGEDFN GLH YHUEHWHUVWUDWHJLHsQ DDQ UHLNW GDW LV IHHGEDFN GLH DFWLHV VXJJHUHHUW WHUYHUKRJLQJYDQGHWHNVWNZDOLWHLW HQ F IHHGEDFN GLH YUDJHQ VWHOW IHHGEDFN GLH LQYUDJHQGHYRUPLVJHIRUPXOHHUG 'H LPSOLFDWLHV YDQ GH]H GULH PRWLYDWLHIDFWRUHQ ZDUHQ YROJHQV GH VWXGLH YDQ 'XLMQKRXZHU GDWSURJUHVVLHIHHGEDFNNDQZRUGHQLQJH ]HW YRRU KHW YHUJURWHQ YDQ GH VHOIHIILFDF\ YDQ VWXGHQWHQ DOV GH VWXGHQWHQ KHW QXW YDQ GH IHHG EDFN LQ]LHQ RPGDW ]LM GDQ HHQ DDQ]LHQOLMNH YRRUXLWJDQJ LQ KXQ ZHUN NXQQHQ PDNHQ 9HUEHWHUVWUDWHJLHsQ NXQQHQ YHUYROJHQV ZRUGHQ JHEUXLNW YRRU KHW YHUJURWHQ YDQ GH HLJHQ SODQQLQJ(HQIHHGEDFNGLDORRJWXVVHQVWXGHQWHQ GRFHQW ZDDULQGHVWUDWHJLHsQZRUGHQDIJHVWHPG RS GH EHWUHIIHQGH VWXGHQW RSWLPDOLVHHUW ZDDU VFKLMQOLMN KHW HIIHFW YDQ YHUEHWHUVWUDWHJLHsQ RS GHHLJHQSODQQLQJHQNDQ]RHHQQHJDWLHIHIIHFW RS GH VHOIHIILFDF\ YRRUNRPHQ 2RN LV HU QRJ IHHGEDFN LQ GH YRUP YDQ YUDJHQ )HHGEDFN YUDJHQ NXQQHQ QDPHOLMN VOHFKW XLWSDNNHQ YRRU VWXGHQWHQ PHW EHWUHNNLQJ WRW KHW KDOHQ YDQ HHQ YRRURSJH]HW OHHUGRHO YDQ VWXGHQWHQ +HW LV PRJHOLMN GDW YUDJHQ GH VWXGHQWHQ DIOHLGHQ YDQ KXQ GDDGZHUNHOLMNH GRHO 7HQVORWWH PRHW HU YROJHQV 'XLMQKRXZHU QDDVW GH]H GULH VRRUWHQ PRWLYDWLHIHHGEDFN UHNHQLQJ ZRUGHQ JHKRXGHQPHWKHWIHLWGDWVWXGHQWHQYDQWHYRUHQ HHQ JHGHJHQ LQVWUXFWLH PRHWHQ NULMJHQ ZDDUELM GH VWXGHQWHQ PRHWHQ ZRUGHQ RYHUWXLJG LQ KHW KDQWHUHQ YDQ KHW MXLVWH QLYHDX HQ GH PRJHOLMNH QRRG]DDN RP IHHGEDFN WH JHEUXLNHQ RP RSGUDFKWHQWHKHU]LHQHQYHUEHWHUHQ&RQFUHHW


KRXGW GLWYRRUGRFHQWHQ LQ GDW ]LMHHQGXLGHOLMN EHHOGPRHWHQYRUPHQRYHUKHWWHPDNHQSURGXFW HQ KHW OHHUSURFHV YDQ GH OHHUOLQJ 6RO 6WRN NLQJ 9UDJHQ GLH GH GRFHQW ]LFK GDDUELM PRHW VWHOOHQ ]LMQ :DW KHHIW GH OHHUOLQJ WRW QX WRH SUHFLHVJHGDDQ":DDUORRSWKLMRI]LMWHJHQ DDQ" +RH GXLGHOLMN ZHHW GH OHHUOLQJ ZDW GH EHGRHOLQJLVYDQGHWDDNDDQSDNHQVWDQGDDUG " 2YHU ZHONH EHQRGLJGH YRRUNHQQLV EHVFKLNW GH OHHUOLQJ" 'H YHUZDFKWLQJ GLH GH OHHUOLQJ ]HOI KHHIW YDQ GH RSJHOHJGH WDDN RI RSGUDFKW LV KLHUELMYDQRQVFKDWEDUHZDDUGHHQPRHWGRRUGH GRFHQW ZRUGHQ GRRUJURQG 2P KLHUDFKWHU WH NRPHQLVKHWYDQEHODQJRPKHWJHVSUHNPHWGH OHHUOLQJDDQWHJDDQZDDUELMGHOHHUOLQJ]RYHHO PRJHOLMN ]HOI DDQ KHW ZRRUG LV KRH ]LHW KLM GH WDDN HQ KRH HUYDDUW KLM GH XLWYRHULQJ HQ KHW UHVXOWDDWHUYDQ6RO 6WRNNLQJ " (HQ JRHG YRRUEHHOG YDQ DGHTXDWH PRQGH OLQJH IHHGEDFN GLH HHQ SRVLWLHYH VWLPXODQV NDQ KHEEHQ RS GH PRWLYDWLH YDQ OHHUOLQJHQ LV ZHHU JHJHYHQ LQ KHW RQGHUVWDDQGH NDGHU 'LW LV HHQ YRRUEHHOG YDQ HHQ GRFHQW GLH DGHTXDWH HQ VSHFLILHNH IHHGEDFN JHHIW DDQ HHQ OHHUOLQJ ELM HHQ VOHFKW XLWJHYRHUGH WDDN 0HYURXZ -DQVHQ EHJLQW KDDU IHHGEDFN PHW KHW JHYHQ YDQ HHQ FRPSOLPHQWMH DDQ :HVOH\ YRRU ]LMQ LQ]HW =H JHHIW KHP HFKWHU RRN VSHFLILHNH IHHGEDFN RYHU HHQ EHSDDOG HOHPHQW YDQ ]LMQ KDQGHOHQ GDW QLHW JRHGZDV'LWGRHW]HRSHHQGXVGDQLJSDVVHQGH QLHWYHURRUGHOHQGH ZLM]H GDW :HVOH\ ZHOOLFKW PHHU JHPRWLYHHUG LV RSQLHXZ HHQ SRJLQJ WH ZDJHQGHVRPRSWHORVVHQ 0HYURXZ-DQVHQORRSWURQGLQKHWORNDDO WHUZLMOKDDU OHHUOLQJHQ EH]LJ ]LMQ PHW HQNHOH ZLVNXQGHVRPPHQ 7HUZLMO ]H URQGORRSW JHHIW ]H DDQZLM]LQJHQ DDQ YHUVFKLOOHQGHOHHUOLQJHQZDW]HKHQ]LHWGRHQ=RVWDDW OHHUOLQJ :HVOH\ QLHW JRHG YRRU ZLVNXQGH HQ ZHHW ]H GDW KLM LQ KHW YHUOHGHQ YDNHU PRHLWH KHHIW JHKDG PHW ZLVNXQGH 0HYURXZ -DQVHQ ]LHW GDW KLM YDQGDDJ PHHU LQ]HWWRRQWGDQQRUPDDOPDDUGDW]LMQSUHVWDWLHVHUQLHW RS YRRUXLW JDDQ $OV :HVOH\ HYHQ DFKWHURYHU OHXQW ORRSW PHYURXZ -DQVHQ QDDU KHP WRH HQ ]HJW ³-H EHQW JRHGEH]LJYDQGDDJ:HVOH\´1DGDW]H]LMQLQ]HWKHHIW HUNHQGJHHIW]HKHPHHQDDQWDODDQZLM]LQJHQ ³$OVMH PHWGH]HVRPEH]LJEHQWSUREHHUGDQHHQV«]RZHHW MHJHOLMNZDWMHLQYHUYROJPRHWGRHQ´

6ROHQ6WRNNLQJ EDVHHUGHQKXQVWXGLH RD RS JHJHYHQV XLW GH 6LWXDWLRQDO 0RWLYDWLRQ 6FDOH 6,06 *XD\ 9DOODUDQG %ODQFKDUG 'H]H PHHW GH PRWLYDWLH YDQ OHHUOLQJHQ YRRU HHQ WDDN DDQ GH KDQG YDQ YLHU IDFWRUHQ LQWULQVLHNH PRWLYDWLH JHwGHQWLILFHHUGH UHJXODWLH H[WHUQHUHJXODWLHHQDPRWLYDWLH'H]HYLHUIDFWR UHQ YRUPHQ HHQ VDPHQKDQJHQG JHKHHO GRRUGDW HHQ OHHUOLQJ KHW EHVHI KHHIW KHW YHUORRS YDQ GH DFWLHRIGHWDDN]HOIWHNXQQHQEHwQYORHGHQVHOI GHWHUPLQDWLRQ 'H IDFWRU ³LQWULQVLHNH PRWLYD WLH´ YRUPW KLHUYDQ KHW KRRJVWH QLYHDX HQ ³D PRWLYDWLH´ KHW ODDJVWH 6RO 6WRNNLQJ 'H]HYLHUPRWLYDWLHIDFWRUHQZRUGHQGRRU6ROHQ 6WRNNLQJ DOV YROJW XLWJHOHJG ³/HHUOLQJHQ GLH LQWULQVLHN JHPRWLYHHUG ]LMQ YRHUHQ GH WDDN XLW YRRU KHW SOH]LHU HQ GH YROGRHQLQJ GLH RQWVWDDQ XLWKHWXLWYRHUHQYDQGHWDDN]HOI/HHUOLQJHQGLH OHUHQRSJURQG YDQH[WHUQHUHJXODWLH]LMQDFWLHI RPGDW GDW YDQ KHQ ZRUGW YHUZDFKW /HHUOLQJHQ GLHGHOHHUGRHOHQHQGHH[WHUQHUHJXODWLHKHEEHQ JHwQWHUQDOLVHHUG GRHQ GLQJHQ RPGDW ]LM GDDU YRRU NLH]HQ RPGDW ]LM ]HOI GHQNHQ GDW KHW EH ODQJULMNLV /HHUOLQJHQGLHWDNHQXLWYRHUHQYRRU HHQ EHORQLQJ RI RP QHJDWLHYH FRQVHTXHQWLHV WH YHUPLMGHQ ]LMQ PHHU H[WHUQ JHUHJXOHHUG =RZHO GH JHwGHQWLILFHHUGH UHJXODWLH DOV GH H[WHUQH UH JXODWLH ]LMQ WH EHVFKRXZHQ DOV YRUPHQ YDQ H[ WULQVLHNHPRWLYDWLHPDDURSKHW FRQWLQXP YDQ WRHQHPHQGH LQWHUHVVH DXWRQRPLH HQ ]HOIUHJXOD WLH LV GH JHwGHQWLILFHHUGH UHJXODWLH HHQ KRJHUH YRUP+HWEHJULS³DPRWLYDWLH´ZRUGWLQGLWYHU EDQG JHKDQWHHUG DOV ELM OHHUOLQJHQ GH UHODWLH WXVVHQ KHW HLJHQ JHGUDJ HQ GH XLWNRPVWHQ RQW EUHHNW (U LV GDQ JHHQ EHVHI YDQ KHW GRHO GH YHUZDFKWLQJ YDQ HHQ EHORQLQJ RI GH JHYRHOGH PRJHOLMNKHLG GH XLWYRHULQJ YDQ GH WDDN WH EHwQYORHGHQ´ 'HYLHUPRWLYDWLHIDFWRUHQSDVVHQYROJHQV6RO HQ6WRNNLQJ JRHGELMHHQSURFHVJHRULsQ WHHUGH EHQDGHULQJ YDQ IHHGEDFN ZDDUELM DDQ GDFKWZRUGWEHVWHHGDDQ]RZHOGHPDQLHUZDDU RSGH]HQGHURIEURQGHERRGVFKDSEUHQJWDOVGH PDQLHU ZDDURS GH RQWYDQJHU GH ERRGVFKDS ZDDUQHHPW ,OJHQ )LVKHU 7D\ORU 6KXWH 'LW LV JHEDVHHUG RS YHUVFKLOOHQGH WH RQGHUVFKHLGHQ HOHPHQWHQ LQ KHW IHHGEDFN


SURFHVGHSHUFHSWLHDFFHSWDWLHHQEUXLNEDDUKHLG YDQ GH IHHGEDFN 'DDUQDDVW LV KHW EHODQJULMN ZDDURSGHIHHGEDFN]LFKWULFKWKHWREMHFW 2QGHU]RHNVYUDDJHQK\SRWKHVHV +HW GRHO YDQ KHW KXLGLJH RQGHU]RHN YDQXLW GH VFKRRO LV RP LQ NDDUW WH EUHQJHQ RS ZHONH PDQLHU HU IHHGEDFN ZRUGW JHJHYHQ =RDOV DO JH]HJGZRUGWGDDUELMGHWKHRULHYRRU'LGDFWLVFK &RDFKHQDOVUHIHUHQWLHNDGHUJHEUXLNW'LWRQGHU ]RHN ]DO LQ]HWWHQ RS GH UHODWLH WXVVHQ GH IHHG EDFNGLHGRRUGHGRFHQWHQZRUGWJHJHYHQHQGH PRWLYDWLHYDQGHOHHUOLQJHQ'LGDFWLVFK&RDFKHQ LVHFKWHUHHQFXUVXVHQJHHQRQGHU]RHNVPHWKR GH 9RRU KHW LQ NDDUW EUHQJHQ YDQ GH UHODWLH WXVVHQGHIHHGEDFNYDQGRFHQWHQHQGHPRWLYDWLH YDQ OHHUOLQJHQ ]DO HU JHEUXLN ZRUGHQ JHPDDNW YDQGHGRRU6ROHQ6WRNNLQJ JHKDQWHHUGH RQGHU]RHNVPHWKRGH 0RWLYDWLH ZRUGW GDDUELM RQGHUYHUGHHOGLQGHYLHUPRWLYDWLHIDFWRUHQ]RDOV GLH]LMQEHVFKUHYHQLQSDUDJUDDILQWULQVLHNH PRWLYDWLH JHwGHQWLILFHHUGH UHJXODWLH H[WHUQH UHJXODWLHHQDPRWLYDWLH 'H RQGHU]RHNVYUDDJ GLH KLHU QX XLW YRRUW YORHLW LV ³+HHIW GH PRQGHOLQJH IHHGEDFN YDQ GRFHQWHQ DDQ OHHUOLQJHQ LQ HHQ NODVVHQVLWXDWLH HHQ SRVLWLHI HIIHFW RS GH PRWLYDWLH YDQ OHHU OLQJHQ"´'HGDDUELMEHKRUHQGHGHHOYUDJHQ]LMQ D :DW YHUVWDDQ GRFHQWHQ RQGHU IHHGEDFN JHYHQ" E :DW LV GH URO YDQ IHHGEDFN JHYHQ YRRU GRFHQWHQLQHHQNODVVHQVLWXDWLH" F ,QKRHYHUUH]LMQLQGHDQWZRRUGHQDVSHF WHQYDQ'LGDFWLVFK&RDFKHQWHYLQGHQ" :HONH PRQGHOLQJH IHHGEDFN JHYHQ GRFHQWHQ KXQ OHHUOLQJHQ LQ HHQ NODVVHQ VLWXDWLH" +HHIWGHJHREVHUYHHUGHPRQGHOLQJHIHHG EDFN HHQ SRVLWLHI HIIHFW RS GH PRWLYDWLH YDQOHHUOLQJHQ"

+HW RQGHU]RHN OHLGW WRW HHQ DDQWDO K\SRWKHVHV 7HQ HHUVWH ZRUGW HU YDQXLW JHJDDQ GDW HU RS GH VFKRROIHHGEDFNZRUGWJHJHYHQHQGDWGRFHQWHQ KLHU RRN HHQ EHSDDOG EHHOG ELM KHEEHQ 'LW RPGDW IHHGEDFN HHQ YHHOEHVSURNHQ EHJULS LV ]RZHO LQ GH OLWHUDWXXU DOV LQ GH VFKRROSUDNWLMN 'H YHUZDFKWLQJ LV HFKWHU GDW LGHHsQ RPWUHQW IHHGEDFN QLHW HHQGXLGLJ ]XOOHQ ]LMQ 'LW RPGDW LQGHOLWHUDWXXURRNYHOHYHUVFKLOOHQGHGHILQLWLHV YDQ IHHGEDFN ZRUGHQ JHKDQWHHUG +LHUXLW YROJHQG ZRUGW GDDURP RRN YHUZDFKW GDW GH SUDNWLMN YDQ IHHGEDFN JHYHQ SHU GRFHQW YHUVFKLOOHQG]DO]LMQ 7RW VORW ZRUGW HU HHQ SRVLWLHYH UHODWLH YHU ZDFKW WXVVHQ GH IHHGEDFN GLH GRRU GRFHQWHQ ZRUGW JHJHYHQ HQ GH PRWLYDWLH GLH OHHUOLQJHQ KHEEHQ YRRU HHQ YDN 'LW VOXLW DDQ ELM ZDW GH OLWHUDWXXU RPWUHQW 'LGDFWLVFK &RDFKHQ KLHURYHU ]HJW

0HWKRGH 2QGHU]RHNVJURHS HQ GHVLJQ YDQ KHW RQGHU]RHN $DQ GLW RQGHU]RHN KHEEHQ GRFHQWHQ PHHJHGDDQ3HUGHHOQHPHQGHGRFHQWLVppQNODV JHsQTXrWHHUGZDDUELMGHNHX]HYDQGH]HNODVLV JHEDVHHUGRSKHWOHHUMDDUHQOHHUQLYHDX(ULVJH NHNHQ QDDU RYHUHHQNRPVWHQ WXVVHQ GH GRFHQWHQ ZDWEHWUHIWKHWW\SHNODVVHQGLH]LMOHVJHYHQRP ]RGHKRPRJHQLWHLWYDQGHVWHHNSURHIWHYHUJUR WHQ 8LWHLQGHOLMN ]LMQ LQ GLW RQGHU]RHN YRRUQD PHOLMN +$92 NODVVHQ PHHJHQRPHQ NODV VHQ (HQ DDQWDO YDQ GH GRFHQWHQ KDG JHHQ +$92NODVVHQ ZDDUGRRUHURRNDQGHUHOHHU MDUHQ JHREVHUYHHUG ]LMQ 9RRU KHW YROOHGLJH RYHU]LFKW]LHWDEHOKLHURQGHU'HGRFHQWQXP PHULQJZRUGWGRRUJHYRHUGLQKHWKHOHDUWLNHO


GHHORQGHU]RHNYUDJHQOLMVWOHHUOLQJHQRYHU GH EHJLQVLWXDWLH DDQ KHW EHJLQ YDQ GH OHV HQ HLQGVLWXDWLH DDQ KHW HLQGH YDQ GH OHV YDQ GH OHHUOLQJHQ 7LMGHQV GH EHJLQVLWXDWLH ZHUG GH PRWLYDWLH YRRU KHW YDN ELM GH GHV EHWUHIIHQGH GRFHQW EHYUDDJG WLMGHQV GH HLQGVLWXDWLH ZHUGHQ YUDJHQ JHVWHOG RYHU GH IHHGEDFNGLHGHGRFHQWWLMGHQVGHVSHFLILHNH OHVJHJHYHQKHHIWHQZDWGHHUYDULQJLVYDQ GHOHHUOLQJPHWEHWUHNNLQJWRWGLHIHHGEDFN $DQ GLW GHHO KHEEHQ GH OHHUOLQJHQ YDQ DOOH NODVVHQPHHJHGDDQPHWXLW]RQGHULQJYDQGH EUXJNODV 'H]H GULH GHHORQGHU]RHNHQ ]LMQ LQ HHQ SUHWHVW YRRUDIJDDQGH DDQ GH QXOPHWLQJ JHWHVW RS NZDOLWHLWHQXLWYRHUEDDUKHLG 2QGHU]RHNVDFWLYLWHLWHQ 3UHWHVW 9RRUDIJDDQG DDQ KHW RQGHU]RHN LV HU HHQ SUH WHVWXLWJHYRHUGRP]RHYHQWXHOHSUREOHPHQZDDU WH QHPHQ HQ WH YHUKHOSHQ 9RRU GH SUHWHVW LV HHQ ZLVNXQGHGRFHQW EHQDGHUG GLH OHVJHHIW LQ +$92GHJURHSZDDUPHHLQGLWRQGHU]RHNKHW PHHVWLVJHZHUNW %HODQJULMNH SXQWHQ GLH WLMGHQV GH SUHWHVW QDDU YRUHQ NZDPHQ EHWURIIHQ DOOHUHHUVW KHW PDWHULDDO9RRUEUXLNEDUHYLGHRRSQDPHVLVKHW EHODQJULMNRPHHQVWDWLHIWHKHEEHQHHQRSODGHU HQHHQPLFURIRRQGLHGHGRFHQWELM]LFKGUDDJW .ODVVLNDOH PRPHQWHQ EOLMNHQ KHW EHVWH JHILOPG WHNXQQHQZRUGHQYDQXLWHHQYDVWSXQWDFKWHULQ KHWORNDDOWHUZLMOKHWELMLQGLYLGXHOHXLWOHJJRHG PRJHOLMNLVRPPHWGHFDPHUDLQGHKDQGPHHWH ORSHQ =HNHU DOV GH GRFHQW JHHQ PLFURIRRQ ELM ]LFKGUDDJWLVGLWQRRG]DNHOLMNDDQJH]LHQDQGHUV GHGRFHQWHQGHUHDFWLHYDQGHOHHUOLQJHQQLHWWH YHUVWDDQ]LMQRSGHRSQDPH ,QKRXGHOLMN ZHUG GXLGHOLMN GDW KHW EHJULS IHHGEDFNZHOHQLJV]LQVXLWJHOHJGGLHQGHWHZRU GHQ ELM GH OHHUOLQJHQ XLW +$92 (HQ NRUWH GHILQLWLH YDQ IHHGEDFN PRHVW ELM GH NRPHQGH REVHUYDWLHV GXV LQJHSDVW ZRUGHQ +HW LQYXOOHQ YDQ GH YUDJHQOLMVWHQ GRRU GH OHHUOLQJHQ GXXUGH YHHODO HQNHOHPLQXWHQODQJHU]RGDW KHW JHHQ PDDUELMQDPLQXWHQLQEHVODJQDP

7DEHO2YHU]LFKWRQGHU]RHNVJURHS 'RFHQW

/HHI WLMG

(UYDULQJ LQMDUHQ

.ODV

!

%UXJNODV

(UYDULQJ%HNHQGKHLG PHWPHWKRGH 'LGDFWLVFK&RDFKHQ -DZRUNVKRS

+$92

1HH

!

+$92

1HH

!

9:2

1HH

!

+$92

-DOLWHUDWXXU

!

9:2

1HH

!

9:2

-DOLWHUDWXXU

!

+$92

1HH

+$92

1HH

!

+$92

-DZRUNVKRS

+$92

1HH

+$92

1HH

+$92

1HH

9:2

-DOLWHUDWXXU

+$92

1HH

+HWWRWDDODDQWDOOHHUOLQJHQNZDPXLWRSHQ GH OHHUOLQJHQ YDULHHUGHQ LQ GH OHHIWLMG YDQ MDDU WP MDDU PHW HHQ JHPLGGHOGH YDQ MDDU 6' 'H JHVODFKWVYDULDWLH ZDV MRQJHQHQPHLVMH +HW RQGHU]RHNVWHDP EHVWRQG XLW ]HYHQ GR FHQWHQ LQ RSOHLGLQJ ',2¶V HQ LV ]R YHUGHHOG RYHU GH WH RQGHU]RHNHQ NODVVHQ GDW HU ELM HONH REVHUYDWLHWZHH',2¶VDDQZH]LJZDUHQGLHJHHQ UHODWLHKDGGHQPHWGHWHRQGHU]RHNHQGRFHQW 'H QXOPHWLQJ EHVWRQG XLW GULH YHUVFKLOOHQGH GHHORQGHU]RHNHQQDPHOLMN GHHORQGHU]RHN GH YLVLH RS IHHGEDFN YDQ GH GRFHQWHQ GLH ZHUG JHWHVW DDQ GH KDQG YDQ HHQ YUDJHQOLMVW GLH EHVWRQG XLW GULH GHOHQ KLHUDDQ KHEEHQ YDQ GH GRFHQWHQPHHJHZHUNW GHHORQGHU]RHN REVHUYDWLHV YDQ GRFHQWHQ ZDDUELM GH PDQLHU YDQ IHHGEDFN JHYHQ YDQ GH GRFHQWHQ WLMGHQV GH OHV ZHUG JHWXUIG RS HHQVFRULQJVIRUPXOLHU]LHELMODJH 'DDU ELM ZHUG JHNHNHQ QDDU UHVXOWDDWJHULFKWH IHHGEDFN SURFHVJHULFKWH IHHGEDFN IHHG EDFN RS GH LQVWUXFWLH HQ RYHULJH IHHGEDFN HHQ LQGHOLQJ GLH RQWZLNNHOG LV GRRU 6RO HQ 6WRNNLQJ GH]H REVHUYDWLHV ]LMQ WHYHQVYDVWJHOHJGRSYLGHR


(QHU]LMGVYRQGHQOHHUOLQJHQGHYUDJHQODVWLJ HQHHQHQNHOHOHHUOLQJOHHNPHWRS]HWWHWUHX]H OHQ +HW ZDV GXV ]DDN RP ELM GH REVHUYDWLHV GXLGHOLMNDDQWH JHYHQGDW GHOHHUOLQJHQPDDU PLQXWHQ NULMJHQ HQ GDW ]H ELM KHW LQYXOOHQ YDQ GH YUDJHQ XLW PRHWHQ JDDQ YDQ KXQ HHUVWH JHYRHO 2RN DOV GH ODDWVWH OHHUOLQJHQ QD PLQXWHQ QRJ QLHW KHOHPDDO NODDU ]LMQ NDQ GH GRFHQWJHZRRQDOYDVWVWDUWHQPHWGHOHV 'HHORQGHU]RHN9LVLHRSIHHGEDFNGRFHQWHQ 9RRUDIJDDQGDDQGHREVHUYDWLHOHVLVHUHHQYUD JHQOLMVW RQGHU GH GHHOQHPHQGH GRFHQWHQ YHU VSUHLG 'LW LV JHGDDQ RP HHQ LQGUXN WH NULMJHQ YDQKHWEHHOGGDWGRFHQWHQKHEEHQELMKHWEHJULS IHHGEDFN 'H YUDJHQOLMVW EHYDWWH GH YROJHQGH GULHRQGHUGHOHQ , EUDLQVWRUPHQ RYHU GH EHWHNHQLV YDQ KHW JHYHQYDQIHHGEDFN ,, YUDJHQOLMVW RYHU GH YLVLH HQ RSYDWWLQJHQ RYHUKHWJHYHQYDQIHHGEDFNHQ ,,, YUDJHQOLMVW QDDU FRQFUHWH IHHGEDFN YDQ GR FHQWHQDDQOHHUOLQJHQZDDUELMHHQ]HOIEHHOG HQ HHQ LGHDDOEHHOG ZHUG JHJHYHQ ,Q GLW GHHO NRQGHQ GH GRFHQWHQ KXQ PHQLQJ DDQ JHYHQRS HHQVFKDDO YDQKHOHPDDO QLHW PHHVWDOQLHWGHHOVQLHWGHHOVZHOPHHVWDO ZHOKHOHPDDOZHO 'HFRPSOHWHYUDJHQOLMVWLVWHYLQGHQLQELMODJH +HW ZDV EHODQJULMN GDW GH]H YUDJHQOLMVW YRRUDI DDQ GH REVHUYDWLHOHV ZHUG LQJHYXOG DDQJH]LHQ HURSGLHPDQLHUNDQZRUGHQYDVWJHVWHOGZDWGH RSYDWWLQJHQYDQGRFHQWHQWHQDDQ]LHQYDQIHHG EDFN ]LMQ ]RQGHU GDW GLH YLVLH GRRU EHSDDOGH IDFWRUHQ EHwQYORHG ]RX NXQQHQ ZRUGHQ 2YHULJHQV ]LMQ HU YLMI GRFHQWHQ GLH EHNHQG ]LMQ PHWGHFXUVXV'LGDFWLVFK&RDFKHQ]LHWDEHO 'H EHWURXZEDDUKHLG YDQ GH]H PHWKRGH LV JHWHVW LQ KHW RQGHU]RHN YDQ 6RO HQ 6WRNNLQJ =LMKHEEHQLQHHQHHUGHURQGHU]RHNHHQ GHHOYDQGHYUDJHQOLMVWHQELMGRFHQWHQDIJH QRPHQ HQ GH XLWJHEUHLGHUH YUDJHQOLMVWHQ RS QLHXZELMGRFHQWHQZDDUELMGHEHWURXZEDDU KHLGKHW]HOIGHEOHHNWH]LMQ

'HHORQGHU]RHN2EVHUYDWLHVGRFHQWHQ 7LMGHQV GH OHVREVHUYDWLHV ]LMQ HU WZHH LQVWUX PHQWHQ JHKDQWHHUG HQHU]LMGV KHW VFRULQJVIRU PXOLHU YDQ 6RO HQ 6WRNNLQJ ]LH ELMODJH ZDDURYHUPHHUZRUGWEHVFKUHYHQLQSDUDJUDDI HQ DQGHU]LMGV HHQ FDPHUD RP GH OHV WH ILO PHQLQFOXVLHIHHQPLFURIRRQWMH]RGDWGHIHHG EDFN GLH JHJHYHQ ZHUG JRHG ZDV WH YHUVWDDQ +LHUELM LV JHIRFXVW RS GH IHHGEDFN GLH JHJHYHQ LVGRRUGHGRFHQW 7LMGHQV GH OHVVHQ GLH PHW DIWUHN YDQ KHW LQYXOOHQ YDQ GH HQTXrWHV WRW PLQXWHQ GXXUGHQ KHHIW HU ppQ REVHUYDQW JHILOPG HQ GH DQGHUH REVHUYDQW KHHIW HHQ VFRULQJVIRUPXOLHU LQJHYXOGQDDUDDQOHLGLQJYDQGHIHHGEDFNGLHLV JHJHYHQ%LMGHRSQDPHVVWRQGYRRUDOGHGRFHQW FHQWUDDO 'H FRPELQDWLH YDQ GH]H EHLGH RQGHU]RHNV PHWKRGHQ ]RUJW HUYRRU GDW GH IUDJPHQWHQ ODWHU HYHQWXHHO QRJ WHUXJJHNHNHQ NXQQHQ ZRUGHQ ELMYRRUEHHOG ZDQQHHU HU WZLMIHO RQWVWDDW RYHU EHSDDOGH IHHGEDFN GLH LV JHJHYHQ RI RP KHW LQJHYXOGHVFRULQJVIRUPXOLHUDFKWHUDIQRJHHQVWH FKHFNHQ 'HHORQGHU]RHN 9UDJHQOLMVWHQ OHHUOLQJHQ RYHU IHHGEDFN 7LMGHQV GH OHVREVHUYDWLH ZHUG KHW YROJHQGH LQVWUXPHQW JHKDQWHHUG YRRU GH OHHUOLQJHQ HHQ YUDJHQOLMVW DDQ KHW EHJLQ YDQ GH OHV EHJLQ VLWXDWLH HQ DDQ KHW HLQGH YDQ GH OHV HLQG VLWXDWLH 'H WRWDOH YUDJHQOLMVW EHJLQ HQ HLQGVLWXDWLH RPYDWWHJHVORWHQYUDJHQHQLVWH YLQGHQLQELMODJH 'H YUDJHQOLMVW RYHU GH EHJLQVLWXDWLH YURHJ QDDU GH PRWLYDWLH 0YUDJHQ GLH OHHUOLQJHQ HUYDUHQ ELM GHGHVEHWUHIIHQGHGRFHQWWLMGHQVKHW YDN YDQ GDW OHVXXU 9RRUGDW GH OHHUOLQJHQ GH YUDJHQOLMVWPRFKWHQLQYXOOHQZHUG HU HHQNRUWH XLWOHJ JHJHYHQ RYHU KHW EHJULS µIHHGEDFN¶ 'DDUQDDVW LV HU EHQDGUXNW GDW GH DQWZRRUGHQ LQJHYXOGPRHVWHQZRUGHQYRRUGHGRFHQWGLH]H RS GDW PRPHQW KDGGHQ 'DDUQD ZHUG GH OHV JHJHYHQ PHW GH ELMEHKRUHQGH NODVVLNDOH RI LQGLYLGXHOH IHHGEDFN]LHGHHORQGHU]RHN $DQ KHW HLQGH YDQ KHW OHVXXU RQJHYHHU GH ODDWVWH PLQXWHQ YDQ GH OHV PRHVWHQ GH


OHHUOLQJHQ KHW WZHHGH JHGHHOWH YDQ GH HQTXrWH LQYXOOHQ )YUDJHQ 'H YUDJHQOLMVW RYHU GH HLQGVLWXDWLH YUDDJW QDDU KRH GH IHHGEDFN LQGLYLGXHHO RI NODVVLNDDO GLH WLMGHQV GH VSHFLILHNHOHVHUYDUHQLV (U LV JHNR]HQ YRRU YUDJHQOLMVWHQ RPGDW PHW EHKXOSYDQGH]HPHWKRGHUHODWLHIYHHOOHHUOLQJHQ LQ KHW RQGHU]RHN PHHJHQRPHQ NRQGHQ ZRUGHQ 'HYUDJHQOLMVWHQ]LMQGRRUGHRQGHU]RHNHUVLQGH NODV XLWJHGHHOG HQ ZHHU RSJHKDDOG 9RRU GH]H DDQSDNLV JHNR]HQRPGDW HUHHQNOHLQHNDQVLV RSQLHWYROOHGLJLQJHYXOGHYUDJHQOLMVWHQHQQRQ UHVSRQV(HQQDGHHOYDQGLWW\SHGDWDFROOHFWLHLV ZHO GDW HU HHQ JURWHUH NDQV LV RS VRFLDDO ZHQVHOLMNH DQWZRRUGHQ 'RRU LQ GH LQVWUXFWLH ERYHQDDQ GH YUDJHQOLMVW WH EHQDGUXNNHQ GDW GH YUDJHQOLMVWHQ DQRQLHP YHUZHUNW ZRUGHQ HQ GLW RRN QRJ PRQGHOLQJ WH KHUKDOHQ LV JHWUDFKW GLW QDGHHOWHRQGHUYDQJHQ 0HHWLQVWUXPHQWHQ 'HHORQGHU]RHN9LVLHRSIHHGEDFNGRFHQWHQ 'HYUDJHQOLMVW QDDUGHYLVLHRSIHHGEDFNGLHGH GHHOQHPHQGH GRFHQWHQ YRRUDI KHEEHQ LQJHYXOG EHVWRQG XLW GULH RQGHUGHOHQ ZDDUELM GH HHUVWH WZHH RQGHUGHOHQ ]R RSHQ WH EHDQWZRRUGHQ ZDUHQ GDW KLHU JHHQ VWDWLVWLVFKH DQDO\VH RS JHGDDQZRUGW +HWGHUGHGHHOYDQGHYUDJHQOLMVWPDDNWH JHEUXLNYDQHHQSXQWVFKDDOHQLVGRRU6ROHQ 6WRNNLQJ DO EHWURXZEDDU EHYRQ GHQ 'LW GHHO YDQ GH YUDJHQOLMVW EHVWRQG XLW YUDJHQGLHEHWUHNNLQJKDGGHQRSKHWJHYHQYDQ IHHGEDFNHQGLHLQJLQJHQRSZDWGRFHQWHQQXDO GRHQLQGHNODVHQZDW]LMEHODQJULMNYLQGHQRP WH GRHQ LQ GH NODV 'RFHQWHQ JDYHQ DDQ RI GLW ZHO RI QLHW YRRU KHQ JHOGW RS HHQ VFKDDO YDQ WRW 'H DQWZRRUGHQ RS DOOH YUDJHQ ELM HONDDU KHEEHQ HHQ KRJH PDWH YDQ EHWURXZEDDUKHLG &URQEDFK¶V Į $OV ZH GH YUDJHQ VSOLWVHQ QDDUKDQGHOHQQXHQKDQGHOHQLGHDDOGDQ]LMQGH UHVXOWDWHQ YRRU KDQGHOHQ QX RS GH JUHQV YDQ EHWURXZEDDUKHLG &URQEDFK¶V Į 'LW LV YHUJHOLMNEDDU PHW ZDW 6RO HQ 6WRNNLQJ DFFHSWHUHQ &URQEDFK¶V Į 'H UHVXOWDWHQ YRRU KDQGHOHQ LGHDDO ]LMQ EHWURXZEDDU &URQEDFK¶VĮ

'HHORQGHU]RHN2EVHUYDWLHVGRFHQWHQ +HW VFRULQJVIRUPXOLHU GDW JHEUXLNW LV ELM GH OHVREVHUYDWLHV YDQ GH GRFHQWHQ LV WH YLQGHQ LQ ELMODJH (U ZHUG JHNHNHQ QDDU KHW JHYHQ YDQ UHVXOWDDWJHULFKWH IHHGEDFN SURFHVJHULFKWH IHHG EDFNIHHGEDFNRSGHLQVWUXFWLHHQRYHULJHIHHG EDFNELMYRRUEHHOGIHHGEDFNRSJHGUDJ 6ROHQ 6WRNNLQJ JHEUXLNHQGLWYRRUKHWDQDO\VH UHQYDQYLGHRIUDJPHQWHQYDQNODVVHQVLWXDWLHV,Q GLW RQGHU]RHN LV HUYRRU JHNR]HQ RP KHW]HOIGH VFRULQJVIRUPXOLHU WH JHEUXLNHQ YRRU HHQ KHOH OHV%LMGHYHUVFKLOOHQGHYRUPHQYDQIHHGEDFNLV HU RRN RQGHUVFKHLG JHPDDNW WXVVHQ NODVVLNDOH IHHGEDFNHQLQGLYLGXHOHIHHGEDFN 'HHORQGHU]RHN 9UDJHQOLMVWHQ OHHUOLQJHQ RYHU IHHGEDFN 'H DIKDQNHOLMNH YDULDEHOH PRWLYDWLH ZRUGW JHPHWHQ DDQ GH KDQG YDQ GH VFKDDO ]RDOV RQW ZLNNHOGGRRU6ROHQ6WRNNLQJ +LHUYRRU LV PRWLYDWLH RSJHGHHOG LQ YLHU GLPHQVLHV LQWULQVLHNH PRWLYDWLH JHwGHQWLILFHHUGH UHJXODWLH H[WHUQHUHJXODWLHHQDPRWLYDWLH,HGHUHGLPHQVLH ZHUG EHYUDDJG DDQ GH KDQG YDQ YLHU LWHPV ]LH ELMODJH PRWLYDWLH 'H XLWNRPVWHQ KLHUYDQ VWDDQLQHHQYHUNRUWHZHHUJDYHLQWDEHO 7DEHO0RWLYDWLH

0RWLYDWLH ,QWULQVLHNHPRWLYDWLH *HwGHQWLILFHHUGHUHJXODWLH ([WHUQHUHJXODWLH $PRWLYDWLH

&URQEDFK¶V DOSKD

'HXLWNRPVWHQRSGHYLHUGLPHQVLHVYDQPRWLYD WLH ]XOOHQ DI]RQGHUOLMN ZRUGHQ PHHJHQRPHQ LQ GLW RQGHU]RHN (U ]DO GXV YDQ HON YDQ GH YLHU PRWLYDWLHYRUPHQ ZRUGHQ RQGHU]RFKW RI HU HHQ UHODWLH JHYRQGHQ NDQ ZRUGHQ PHW KHW FRQFHSW IHHGEDFN 'H RQDIKDQNHOLMNH YDULDEHOH IHHGEDFN ZRUGW RQGHU]RFKW DDQ GH KDQG GH VFKDDO YDQ 6RO HQ 6WRNNLQJ 'H]H VFKDDO EHVWDDW XLW LWHPV ]LH ELMODJH YUDJHQOLMVW HLQGVLWXDWLH RP GH GLPHQVLH PRQGHOLQJH IHHGEDFN LQ NODV VHQVLWXDWLHV WH PHWHQ 6RO HQ 6WRNNLQJ


EHVOXLWHQ GH VFKDDO WH VSOLWVHQ LQ WZHH YDULD EHOHQ µDFFHSWDWLH HQ EUXLNEDDUKHLG YDQ IHHG EDFN¶ LWHP HQ HQ µDDQZLM]LQJHQJHULFKWRSKHWSURFHV¶LWHP HQ ]LHELMODJH,QGLWRQGHU]RHN LV GH]H ZHUNZLM]H RYHUJHQRPHQ HU ZRUGW GXV JHEUXLN JHPDDNW YDQ WZHH YDULDEHOHQ GLH IHHGEDFNPHWHQ'HXLWNRPVWHQKLHUYDQVWDDQLQ HHQYHUNRUWHZHHUJDYHLQWDEHO

ORSHQG YHUKDDO%LM GH DQDO\VH LV DOWLMG VSUDNH YDQHHQEHSDDOGHPDWH YDQLQWHUSUHWDWLHYRRUDO LQ GH HLQGIDVH YDQ RSHQ QDDU VHOHFWLHI FRGHUHQ ¶W +DUW HW DO (U ZRUGW VWHHGV PLQGHU LQIRUPDWLH PHHJHQRPHQ WHUZLMO GH UHOHYDQWLH QLHWDOWLMGYRRU]LFKVSUHHNW ,Q GH DQDO\VH LV JH]RFKW QDDU RYHUHHQNRP VWHQ :DQQHHU LQ JURWH PDWH RYHUHHQVWHPPLQJ EHVWRQGLVGLWDOVUHVXOWDDWRSJHQRPHQ'HSDUD IUDVHV]LMQGDDUELMWHULOOXVWUDWLHJHEUXLNWYRRUGH DOJHPHQHWHQGHQVGLHGRRUPHHUGHUHUHVSRQGHQ WHQEHVFKUHYHQZRUGWJHREVHUYHHUGLV 'HDQWZRRUGHQRSGH JHVORWHQYUDJHQXLWGH YUDJHQOLMVW]LMQJHDQDO\VHHUGPHWKHWSURJUDPPD 6366 YHUVLH 0HW EHKXOS YDQ HHQ WWHVW ]LMQGHJHPLGGHOGHQWXVVHQKHWKXLGLJHKDQGHOHQ YDQGRFHQWHQYHUJHOHNHQPHWKXQLGHDDO 'HHORQGHU]RHN2EVHUYDWLHVGRFHQWHQ $OOHWXUIOLMVWHQ]LMQJHDQDO\VHHUG'HFXPXODWLH YH VFRUHV SHU W\SH IHHGEDFN SURFHV WDDN LQVWUXFWLH HQ RYHULJH IHHGEDFN ]LMQ JHEUXLNW RPHHQLQGLFDWLHWHNULMJHQYDQGHZLM]HZDDURS IHHGEDFNZRUGWJHJHYHQGRRUGRFHQWHQ 'HHORQGHU]RHN 9UDJHQOLMVWHQ OHHUOLQJHQ RYHU IHHGEDFN 'HDQDO\VHV]LMQXLWJHYRHUGPHWKHWSURJUDPPD 6366 YHUVLH (U LV ELM GH FRUUHODWLH DQDO\VHV JHNR]HQ YRRU KHWSDLUZLVHXLWVOXLWHQ YDQPLVVHQGHZDDUGHQ'H1DDQWDOUHVSRQGHQ WHQ NDQ KLHUGRRU YHUVFKLOOHQ SHU DQDO\VH ZDW KHW RQGHU]RHN EHSHUNW ,Q GLW RQGHU]RHN ]LMQ HU HFKWHU UHODWLHI ZHLQLJ YUDJHQOLMVWHQ ZDDUELM HHQ OHHUOLQJ ppQ RI PHHUGHUH YUDJHQ QLHW KHHIW EHDQWZRRUGZDDUGRRUGLWPHHYDOW 0HWEHKXOSYDQHHQWWHVWLVRQGHU]RFKWRIHU HHQ UHODWLH LV WXVVHQ GH FRQWUROHYDULDEHOH JHVODFKW HQ GH YLHU PRWLYDWLHYRUPHQ HQRI GH WZHHIHHGEDFNYRUPHQ2RNLVJHNHNHQQDDUHHQ PRJHOLMNHFRUUHODWLHWXVVHQGHFRQWUROHYDULDEHOH OHHIWLMGHQHU]LMGVHQGHYLHUPRWLYDWLHYRUPHQHQ WZHHIHHGEDFNYRUPHQDQGHU]LMGV 2PGHLQYORHGYDQIHHGEDFNRSPRWLYDWLHWH PHWHQ PRHW HU JHNHNHQ ZRUGHQ RI HU HHQ VLJQLILFDQWHUHODWLHJHYRQGHQNDQZRUGHQWXVVHQ µDFFHSWLH HQ EUXLNEDDUKHLG YDQ IHHGEDFN¶ HQRI

7DEHO)HHGEDFN

)HHGEDFN $FFHSWDWLHHQEUXLNEDDUKHLG YDQIHHGEDFN $DQZLM]LQJHQJHULFKWRSKHW SURFHV

&URQEDFK¶V DOSKD

=RZHOGHYLHUPRWLYDWLHYRUPHQDOVGHIHHGEDFN YDULDEHOHQ µDFFHSWDWLH HQ EUXLNEDDUKHLG YDQ IHHGEDFN¶ HQ µDDQZLM]LQJHQ JHULFKW RS KHW SURFHV¶]LMQ/LNHUWW\SHVFKDOHQ %LMPRWLYDWLHDQWZRRUGHQGHUHVSRQGHQWHQRS HHQ SXQW VFKDDO YDULsUHQG YDQ µ KHOHPDDO QLHWZDDUYRRUPLM¶WRWµ KHOHPDDOZDDUYRRU PLM¶%LMGHIHHGEDFNYDULDEHOHQDQWZRRUGHQGH UHVSRQGHQWHQ RS HHQ SXQW VFKDDO YDULsUHQG YDQ µ KHOHPDDO QLHW ZDDU YRRU PLM¶ WRW µ KHOHPDDOZDDUYRRUPLM¶ 8LW GH EHWURXZEDDUKHLGVDQDO\VHV GLH ]LMQ XLWJHYRHUG EOLMNW GDW DOOH VFKDOHQ HHQ &URQEDFK¶V DOSKD KHEEHQ YDQ Į ! ]LH WDEHO 'HVFKDOHQ]LMQERYHQGLHQDOYDOLGHJHEOHNHQ LQHHUGHURQGHU]RHN6RO 6WRNNLQJ $QDO\VHPHWKRGH 'HHORQGHU]RHN9LVLHRSIHHGEDFNGRFHQWHQ $OOH RSHQ YUDJHQ XLW GH YUDJHQOLMVW ]LMQ JHVWUXFWXUHHUG JHFRGHHUG HQ JHDQDO\VHHUG 'H RSHQ YUDJHQ EHYDWWHQ ORVVH IUDJPHQWHQ GLH JHFRGHHUG ]LMQ +LHUELM ]LMQ GH EHJULSSHQ YDQ 'LGDFWLVFK&RDFKHQDOVULFKWLQJJHYHQGJHEUXLNW YRRUGHFRGHV9HUYROJHQVLVJHSUREHHUGVDPHQ KDQJWHYLQGHQWXVVHQGH]HYHUVFKLOOHQGHFRGHV ZDDUPHHDOHHQDDQWDOJOREDOHEHYLQGLQJHQQDDU YRUHQ NZDP 8LWHLQGHOLMN ]LMQ GH UHOHYDQWH IUDJPHQWHQ JHFOXVWHUG HQ XLWJHERXZG WRW HHQ


µDDQZLM]LQJHQ JHULFKW RS KHW SURFHV¶ HQHU]LMGV HQppQYDQGHYRUPHQYDQPRWLYDWLHDQGHU]LMGV 2P GLW WH RQGHU]RHNHQ ]LMQ UHJUHVVLHDQDO\VHV XLWJHYRHUG

,Q ERYHQVWDDQG OLMVWMH PHW GH YLHU PHHVW YRRUNRPHQGH ZRRUGHQ LV QLHW RSJHQRPHQ GDW IHHGEDFN NDQ VSHOHQ WXVVHQ YHUVFKLOOHQGH SDUWLMHQ LQ GH NODV ,Q ELMODJH LV GLW JHJURH SHHUGZDDUGRRUGLWLWHPRRNKRRJVFRRUWLQGH IUHTXHQWLH PDDU KLHU ZDV JHHQ HHQGXLGLJH DVVRFLDWLH PHH 0HHUGHUH GRFHQWHQ EHQRHPGHQ KLHUELM YHUVFKLOOHQGH DVSHFWHQ GLH JHJURHSHHUG ]LMQLQKHWRYHU]LFKW :DW YHUGHU RRN GRRU PHHUGHUH GRFHQWHQ LV EHQRHPGLVGDWIHHGEDFN]RZHOYHUEDDODOVQRQ YHUEDDONDQ]LMQ0DDUHU]LMQRRNGRFHQWHQGLH MXLVW DDQJHYHQ GDW ]LM IHHGEDFN DVVRFLsUHQ PHW µPRQGHOLQJH¶RIYHUEDOHIHHGEDFN (HQEHODQJULMNDVSHFWYDQGLWRQGHU]RHNZDVRP HHQSHLOLQJWHGRHQQDDUIHHGEDFNLQGHNODVWHU YRRUEHUHLGLQJ RS GH]H FXUVXV ]RGDW PHW GH FXUVXVLQJHVSHHOGNDQZRUGHQRSZDWHUQXOHHIW RQGHU GRFHQWHQ 'H UHVXOWDWHQ LQ ELMODJH ]LMQ RRN JHUHODWHHUG DDQ EHJULSSHQ XLW GH FXUVXV 'LGDFWLVFK &RDFKHQ 'H JHEUXLNWH EHJULSSHQ ]LMQLQWDEHOJHVSHFLILFHHUG

5HVXOWDWHQ 'HHORQGHU]RHN 9LVLH RS IHHGEDFN GRFHQWHQ 'H YUDJHQOLMVW GRFHQWHQ EHVWRQG XLW GULH GHOHQ ]RDOV EHVFKUHYHQ LQ KHW PHWKRGHKRRIGVWXN 'H UHVXOWDWHQ XLW GH GULH RQGHUGHOHQ ]LMQ KLHU SHU RQGHUGHHOZHHUJHJHYHQ , %UDLQVWRUPHQ RYHU GH EHWHNHQLV YDQ KHW JHYHQYDQIHHGEDFN 'H HHUVWH YUDDJ ZDV HHQ RSHQ YUDDJ ZDDUGRRU GH DQWZRRUGHQ HUJ XLWHHQORSHQ 'H EHGRHOLQJ YDQ GH YUDDJ ZDV RP HHUVWH LQJHYLQJHQ HQ DVVRFLDWLHVRSWHVFKULMYHQPDDUGLWVWRQGHUQLHW H[SOLFLHW ELM +HW LV GXLGHOLMN GDW VRPPLJH GRFHQWHQ KHW LQGHUGDDG ELM GH HHUVWH JHGDFKWHQ KHEEHQJHKRXGHQWHUZLMODQGHUHQPHWWRW ZRRUGHQ]LQVGHOHQJHVWUHHIGKHEEHQQDDUHHQ]R YROOHGLJPRJHOLMNHRPVFKULMYLQJYDQµIHHGEDFN¶ (pQ GRFHQW VFKUHHI KHHO WUHIIHQG ³%LMQD DOOHV ZDWMH]HJW>«@LVIHHGEDFN´ 2PRYHU]LFKWHOLMNWHPDNHQZHONHWHUPHQHU ]RDO RSNRPHQ LV HHQ OLMVW JHPDDNW ZDDUELM WHUPHQGLHRSHONDDUOLMNHQRIVWHUNYHUZDQW]LMQ JHJURHSHHUG ]LMQ 3HU JURHSMH WHUPHQ LV DDQ JHJHYHQ KRHYHHO GRFHQWHQ GLW ZRRUG RI GLH DVVRFLDWLHPHWIHHGEDFNKDGGHQ'LWRYHU]LFKWLV ZHHUJHJHYHQ LQ ELMODJH 7HUPHQ GLH YLHU RI YLMINHHUWHUXJNRPHQ]LMQGHYROJHQGH &RPSOLPHQW 6WXUHQ 7HUXJNRSSHOLQJ 3RVLWLHI 'HWHUPHQµSRVLWLHI¶HQµFRPSOLPHQW¶JULMSHQRS HONDDU LQ HQ ]LMQ UHGHOLMN FRQFUHHW 'H WHUPHQ µWHUXJNRSSHOLQJ¶ HQ µVWXUHQ¶ NXQQHQ RRN YHUZDQWVFKDS YHUWRQHQ PDDU YRRU VRPPLJH GRFHQWHQ ]LMQ KHW YHUVFKLOOHQGH DVSHFWHQ GLH EHLGHJHQRHPGZRUGHQ

7DEHO%HJULSSHQ'LGDFWLVFK&RDFKHQ

'LPHQVLHV

,QKRXGWDDN $DQSDNVWUDWHJLH /HHUPRGXVVWDQG .ZDOLWHLW

.HQPHUNHQ 3RVLWLHI 3RVLWLHIIRUPXOHUHQ 6SHFLILHN 6SHFLILHNIRUPXOHUHQ 9+7 9HUOHGHQ+HGHQ7RHNRPVW )RUPXOHYDQDDQSDN$%& $ $DQGDFKW %% %HYUDJHQ%HQRHPHQ & &KHFN

'H PHHVWH GRFHQWHQ EHQRHPHQ HHQ DDQWDO DVSHFWHQ YDQ 'LGDFWLVFK &RDFKHQ PDDU ]H KHEEHQ JHHQ YDQ DOOHQ HHQ FRPSOHHW EHHOG YDQ IHHGEDFNJHYHQ]RDOVGHPDNHUVYDQ'LGDFWLVFK &RDFKHQGDWEHRJHQ (QNHOH ZRRUGHQ GLH GH GRFHQWHQ JHYHQ LQ KXQDVVRFLDWLHELMIHHGEDFNSDVVHQELMPHHUGHUH DVSHFWHQ YDQ 'LGDFWLVFK &RDFKHQ ]LH KLHUYRRU ELMODJHHQHU]LMQRRNHHQDDQWDOEHJULSSHQGLH


QLHW YROGRHQGH DDQVOXLWHQ ELM HHQ YDQ GH DVSHFWHQ XLW 'LGDFWLVFK &RDFKHQ :DW XLW GH UHDFWLHV YDQ GH GRFHQWHQ LQ]LFKWHOLMN ZRUGW LV GDW GH GLPHQVLHV ZHO WHUXJNRPHQ LQ GLW RQGHUGHHO YDQ GH YUDJHQOLMVW PDDU KHW LV QRJ QLHW KHHO FRQFUHHW 'LW WHUZLMO GH GLPHQVLHV LQ 'LGDFWLVFK &RDFKHQ MXLVW EHGRHOG ]LMQ RP GH VLWXDWLHFRQFUHHWWHPDNHQ 8LW GH OLMVW PHW NHQPHUNHQ LV KHW NHQPHUN µSRVLWLHI¶ GXLGHOLMN DDQZH]LJ (FKWHU GH NHQ PHUNHQ µVSHFLILHN¶ HQ µYHUOHGHQ KHGHQ WRH NRPVW¶ ]LMQ QDXZHOLMNV WHUXJ WH YLQGHQ (HQ DDQWDO ZRRUGHQ ]LMQ RQGHU GLH NHQPHUNHQ JHVFKDDUG PDDU GDW LV GRRUGDW KLHU HHQ ZDW UXLPHLQWHUSUHWDWLHLVDDQJHKRXGHQ 'H IRUPXOH YDQ DDQSDN GLH 'LGDFWLVFK &RDFKHQKDQGKDDIWLV$%&'H]HDVSHFWHQ]LMQ HQLJV]LQV WHUXJ WH YLQGHQ LQ GH ZRRUGHQ GLH GH GRFHQWHQ DVVRFLsUHQ PHW IHHGEDFN µ$DQGDFKW¶ LV QDWXXUOLMN HHQ UXLP EHJULS GDW RRN RYHUODS KHHIW PHW HHQ DDQWDO SRVLWLHYH NHQPHUNHQ 0HW QDPH µEHYUDJHQ HQ EHQRHPHQ¶ ]LMQ WHUXJ WH YLQGHQ LQ V\QRQLHPHQ ]RDOV µYUDJHQ¶ µGRRUYUDJHQ¶ HQ µEHZXVWZRUGLQJ¶ +HW DVSHFW µFKHFN¶ NRPW QLHW GXLGHOLMN WHUXJ DOOHHQ µGRRUYUDJHQ¶ ]RX RRN RQGHU µFKHFN¶ NXQQHQ YDOOHQ PDDU GDW LV RSQLHXZ HHQ PRJHOLMNH LQWHUSUHWDWLH 2P WH ]LHQ RI GH YHUVFKLOOHQGH GRFHQWHQ PHHUGHUH DVSHFWHQ YDQ 'LGDFWLVFK &RDFKHQ JDYHQ LV RRN JHWHOG KRHYHHO GRFHQWHQ WZHH RI PHHU YDQ GH YHUVFKLOOHQGH DVSHFWHQ KHEEHQ JH JHYHQLQKXQDVVRFLDWLHPHWKHWEHJULSIHHGEDFN 'LWRYHU]LFKWLVZHHUJHJHYHQLQWDEHO

YUDJHQYDQGHGRFHQWHQ]LMQZHHUJHJHYHQLQ ELMODJH+LHUVWDDQGHEHODQJULMNVWHSXQWHQSHU YUDDJ VDPHQJHYDW (HQ HQNHOH YUDDJ LV VDPHQJHYRHJG PHW HHQ DQGHUH YUDDJ RPGDW GH DQWZRRUGHQ VWHUN RYHUHHQ NZDPHQ 6RPPLJH YUDJHQ ZHUGHQ DOV ODVWLJ RI RQGXLGHOLMN HUYDUHQ ZDDUGRRU HU VRPV JHHQ DQWZRRUG LV LQJHYXOG 9UDDJZDDUELMJHYUDDJGZRUGWQDDUGHUROYDQ GH VFKRRO LQ KHW JHGUDJ ZDW EHWUHIW IHHGEDFN JHYHQ LV PDDU GRRU ]HV GRFHQWHQ ]RQGHU YUDDJWHNHQV LQJHYXOG HQ ZRUGW RP GH]H UHGHQ YHUGHUQLHWPHHJHQRPHQLQGHVDPHQYDWWLQJYDQ GH DQWZRRUGHQ RS GH YUDJHQ +HW OLJW YRRU GH KDQGGDWYHHOGRFHQWHQQLHWEHNHQG]LMQPHWGH YLVLH YDQ GH VFKRRO RPWUHQW IHHGEDFN JHYHQ HQ GXVYLQGHQGDWGHVFKRROJHHQLQYORHGKHHIWRS KXQ PDQLHU YDQ IHHGEDFN JHYHQ LQ GH NODV 2PGDW GH FXUVXV 'LGDFWLVFK &RDFKHQ ZHO GRRU GH VFKRRO DDQJHERGHQ JDDW ZRUGHQ LV GH YHUZDFKWLQJ GDW GH]H YUDDJ LQ GH WRHNRPVW ZHOOLFKW DQGHUV EHDQWZRRUG ]DO ZRUGHQ RPGDW GRFHQWHQ HUYDUHQ GDW GH]H VFKRRO ZHOGHJHOLMN VWHUNHDDQGDFKWKHHIWYRRUJRHGHIHHGEDFN %LM YUDDJ ZHUG HU JHYUDDJG QDDU GH LQLWLDWLHIQHPHU YRRU IHHGEDFN 'LW OHYHUW ZDDU VFKLMQOLMNYUDDJWHNHQVRSELMGRFHQWHQRPGDW]H ]LFKQLHWEHZXVW]LMQZLHGHLQLWLDWLHIQHPHULVRI RPGDW ]H HU ZHOOLFKW QLHW DDQ GHQNHQ GDW OHHUOLQJHQ RRN LQLWLDWLHIQHPHUV NXQQHQ ]LMQ ELM HHQPRPHQWYDQIHHGEDFNLQGHNODV 'H IXQFWLH YDQ IHHGEDFN HQ ZDW GH GRFHQW ZLO EHUHLNHQPHWIHHGEDFNYUDDJHQ 'RFHQWHQ ]LMQ JHYUDDJG QDDU GH IXQFWLH YDQ IHHGEDFN LQ KHW RQGHUZLMV (U LV LQ GH EHDQW ZRRUGLQJYDQGH]HYUDDJHHQWZHHGHOLQJWH]LHQ 'RFHQWHQ QRHPHQ ]RZHO IHHGEDFN WHQ EHKRHYH YDQ GH OHHURSEUHQJVW 1 HQ IHHGEDFN GLH OHHUOLQJHQ RRN LQ KXQ DOJHPHQH RQWZLNNHOLQJ WHQ JRHGH NRPW 1 'ULH YDQ GH GRFHQWHQ EHQRHPHQEHLGHDVSHFWHQWHUZLMOWZHHGRFHQWHQ EHQDGUXNNHQ GDW YRRU KHQ GH RQWZLNNHOLQJ YDQ GHPHQVHQKHWJURHLHQYDQ]HOIUHG]DDPKHLGHQ ]HOIYHUWURXZHQ ELM OHHUOLQJHQ EHODQJULMNHU ]LMQ GDQGHWHOHUHQVWRI9UDDJVSLWVWHGHIHHGEDFN WRHRSZDWGRFHQWHQGDQZLOOHQEHUHLNHQELMKXQ OHHUOLQJHQ+LHUZRUGHQYHHODOGH]HOIGHDVSHFWHQ

7DEHO $DQWDO GRFHQWHQ GLH RI PHHU W\SH DVSHFWHQ YDQ 'LGDFWLVFK&RDFKHQQRHPHQ

'LGDFWLVFK&RDFKHQ 'LPHQVLHV .HQPHUNHQ )RUPXOHYDQDDQSDN

$DQWDOGRFHQWHQ

,, 9UDJHQRYHUGHYLVLHHQRSYDWWLQJHQRYHUKHW JHYHQYDQIHHGEDFN 2S GLW RQGHUGHHO YDQ GH YUDJHQOLMVW LV YHHO YDULDWLH RPGDW GH YUDJHQ YULM RSHQ ZDUHQ 'H YROOHGLJH DQWZRRUGHQ RS GH YHUVFKLOOHQGH


EHQRHPG DOV ELM YUDDJ 'ULH GRFHQWHQ JDYHQ KLHU DDQ GDW ]H KHW RRN EHODQJULMN YLQGHQ GDW OHHUOLQJHQ JHPRWLYHHUG RI JHVWLPXOHHUG ZRUGHQ GRRUGHIHHGEDFN $VSHFWHQ ELM KHW JHYHQ YDQ IHHGEDFN HQ ZDDU GRFHQWHQ UHNHQLQJ PHH KRXGHQ ELM KHW JHYHQ YDQIHHGEDFNYUDDJHQ (U ]LMQ WZHH SXQWHQ GLH HU ELM GH]H YUDJHQ XLWVSULQJHQ'HHHUVWHLVGDWGRFHQWHQDDQJHYHQ GDW ]H KXQ IHHGEDFN DIVWHPPHQ RS GH OHHUOLQJ ]HOI=HSUREHUHQLQGHIHHGEDFNGXVUHNHQLQJWH KRXGHQPHWGHSHUVRRQHQGDQPHWQDPHZDWGH OHHUOLQJZHHWHQKRHGHOHHUOLQJOHHUW'LWNDQLQ WHUPHQ YDQ 'LGDFWLVFK &RDFKHQ ZRUGHQ RPVFKUHYHQ DOV UHNHQLQJ KRXGHQ PHW GH GLPHQVLHV VWUDWHJLH HQ PRGXV +HW WZHHGH SXQW GDWGRRUYLHUGRFHQWHQZRUGWJHQRHPGLVGDW]H ]RUJHQ GDW KHW SRVLWLHI HQ RSERXZHQG ZRUGW JHIRUPXOHHUG 7HQVORWWH ZDV HU ppQ GRFHQW GLH ELM YUDDJ QRHPGH GDW ]LM FRQWUROHHUW RI KHW DDQNRPW'LWDVSHFWXLW'LGDFWLVFK&RDFKHQZDV WRW QRJ WRH HUJ RQGHUEHOLFKW PDDU LV ELM GH]H YUDDJGRRUHHQYDQGHGRFHQWHQJHQRHPG :DDUGRFHQWHQQDDUYHUZLM]HQELMKHWJHYHQYDQ IHHGEDFNYUDDJ 'H]H YUDDJ ZDV YULM DOJHPHHQ JHIRUPXOHHUG HQ GHGRFHQWHQYHUZLM]HQGDQRRNQDDUYHUVFKLOOHQ GH EURQQHQ RI UHIHUHQWLH NDGHUV *HQRHPG ZRUGHQ RQGHU DQGHUH ERHNHQ WKHRULH JHGUDJ JRHGH DQWZRRUGHQ HHUGHU YHUZRUYHQ NHQQLV HQ SRVLWLHYHHUYDULQJHQ 'HWLPLQJYDQIHHGEDFNYUDDJ 'H]H YUDDJ LQYHQWDULVHHUW RI GRFHQWHQ RRN HHQ EHSDDOGH WLPLQJ KDQGKDYHQ PHW EHWUHNNLQJ WRW KHW JHYHQ YDQ IHHGEDFN %LM YUDDJ ZHUG GLW DVSHFW GRRU WZHH GRFHQWHQ DO EHQRHPG DOV HHQ IDFWRU GLH ]LM PHH ODWHQ ZHJHQ ZDW EHWUHIW KHW JHYHQ YDQ IHHGEDFN 6RPV PRHW HHQ GRFHQW JHZRRQ HYHQ VQHO UHDJHUHQ GXV LV HU JHHQ JHOHJHQKHLG YRRU JHGHJHQ IHHGEDFN 'H YRRUNHXU YDQ HHQ DDQWDO GRFHQWHQ JDDW ZHO XLW QDDU KHW GLUHFW JHYHQ YDQ IHHGEDFN GXV RP IHHGEDFN QLHW XLW WH VWHOOHQ 1 2RN VSHHOW PHH RI GH OHVVLWXDWLH RS GDW PRPHQW NODVVLNDDO

LVRILQGLYLGXHHORRNDOYHUVFKLOOHQGHGRFHQWHQ KLHULQYDQPHQLQJ :DWYLHUGRFHQWHQRRNODWHQPHHZHJHQLVKHW JHGUDJ YDQ GH OHHUOLQJOHHUOLQJHQ ]HOI $IKDQNHOLMNGDDUYDQZRUGWVRPVRRNEHSDDOGRI KHWJHYHQYDQIHHGEDFNRSGDWPRPHQWMXLVWLV /HHUOLQJHQPRHWHQZHORQWYDQNHOLMN]LMQYRRUGH IHHGEDFN ZDQW DQGHUV KHHIW KHW QLHW KHW JHZHQVWHHIIHFW %HZRRUGLQJHQYDQIHHGEDFNYUDDJ 2YHU GH SUHFLH]H IRUPXOHULQJHQ YDQ IHHGEDFN ]HJW HHQ JURRW DDQWDO GRFHQWHQ 1 GDW KHW EHODQJULMN LV RP GH IHHGEDFN SRVLWLHI WH IRUPXOHUHQ'LWJDDWQLHWDOOHHQRPGHOHWWHUOLMNH EHZRRUGLQJPDDURRNRP WRRQ HQVWHPYROXPH +XPRU ZRUGW WZHH PDDO JHQRHPG RPGDW GH GRFHQWHQ GHQNHQ GDW GLW SRVLWLHI NDQ ELMGUDJHQ DDQ KHW HIIHFW YDQ GH IHHGEDFN 9HUGHU KRXGHQ GRFHQWHQ HU LQ KXQ IHHGEDFN UHNHQLQJ PHH GDW ]H QLHW DO WH YHHO ZHJJHYHQ PDDU OHHUOLQJHQ VWLPXOHUHQ]HOIQDWHGHQNHQ :DW GRFHQWHQ EHODQJULMN YLQGHQ ELM KHW JHYHQ YDQIHHGEDFNYUDDJ 0RWLYDWLHHQVWLPXODWLH]LMQELMYUDDJDODDQGH RUGH JHNRPHQ PDDU ZRUGHQ RRN JHQRHPG ELM GHYUDDJQDDUZDWEHODQJULMNLVELMKHWJHYHQYDQ IHHGEDFN1DDVWGH]HWZHHDVSHFWHQZRUGHQRRN JURHL YDQ ]HOIYHUWURXZHQ HQ RQWZLNNHOLQJ DOV EHODQJULMNJHW\SHHUG'H]HZRRUGHQJHYHQDOOH PDDO DDQ GDW GRFHQWHQ GXV HHQ ODQJHWHUPLMQ HIIHFW YDQ IHHGEDFN EHODQJULMN YLQGHQ ZDDUELM QLHWDOOHHQGHOHHUUHVXOWDWHQRPKRRJJDDQPDDU RRN GH SHUVRRQOLMNH RQWZLNNHOLQJ YDQ HHQ OHHUOLQJ ZRUGW EHYRUGHUG %HODQJULMN YLQGHQ GRFHQWHQRRNRIGHOHHUOLQJGHIHHGEDFNEHJULMSW HQ KHUNHQW 'H OHHUOLQJ PRHW GH IHHGEDFN NXQQHQUHODWHUHQDDQZDDUKLM]LMRSGDWPRPHQW PHH EH]LJ LV 'H]H RPVFKULMYLQJHQ YDOOHQ RRN ZHHURQGHUµFKHFN¶XLW'LGDFWLVFK&RDFKHQ 'H PDQLHUHQ ZDDURS HQ GH VLWXDWLHV ZDDULQ GRFHQWHQIHHGEDFNJHYHQYUDDJHQ 'H GRFHQWHQ YLQGHQ KHW PRHLOLMN RP LQ KXQ EHDQWZRRUGLQJ YDQ GH]H YUDJHQ RQGHUVFKHLG WH PDNHQ WXVVHQ GH PDQLHUHQ YDQ IHHGEDFN JHYHQ


YUDDJ HQ GH VLWXDWLHV ZDDULQ GH IHHGEDFN ZRUGW JHJHYHQ YUDDJ $QWZRRUGHQ RS GH EHLGHYUDJHQOLMNHQQDPHOLMNHUJRSHONDDURIHU ZRUGW WHUXJ YHUZH]HQ (HQ GXLGHOLMN YRRUEHHOG GDW GH GRFHQWHQ JHYHQ ELM PDQLHUHQ YDQ IHHG EDFN LV µHHQ FRPSOLPHQW¶ JHYHQ RI DQGHUH SRVLWLHYH RSPHUNLQJ PDNHQ 1 (pQ YDQ GH GRFHQWHQEHQRHPWLQGHYRRUEHHOGHQGDWKLMRRN OHW RS GH GLPHQVLH µVWUDWHJLH¶ $OV ZH NLMNHQ QDDUGHVLWXDWLHVZDDULQIHHGEDFNZRUGWJHJHYHQ GDQJHHIWHHQJURRWGHHOYDQGHGRFHQWHQDDQGDW ]LM IHHGEDFN JHYHQ LQ ]RZHO NODVVLNDOH OHVVLWXDWLHV DOV LQGLYLGXHHO ULFKWLQJ OHHUOLQJHQ 1 ZDDUELMLQGLYLGXHHOELMYRRUEHHOGNDQ]LMQ LQGHNODVPDDURRNLQHHQPHQWRUJHVSUHNMH(HQ GRFHQWJHHIWDDQGDW]LMDOOHHQIHHGEDFNJHHIWDOV OHHUOLQJHQ]HOIVWDQGLJDDQKHWZHUN]LMQ 'HLQLWLDWLHIQHPHUYRRUIHHGEDFNYUDDJ 'H ODDWVWH YUDDJ JDDW LQ RS ZLH HU KHW LQLWLDWLHI QHHPWYRRUGHIHHGEDFN2RNGLWZDVHHQYUDDJ GLHHHQDDQWDOGRFHQWHQQLHWEHDQWZRRUGKHHIWRI EHDQWZRRUG PHW HHQ YUDDJWHNHQ 'H WZHH EHODQJULMNVWH LQLWLDWLHIQHPHUV ]LMQ XLWHUDDUG GH GRFHQW ]HOI HQ GH OHHUOLQJHQ PDDU ppQ GRFHQW QRHPW RRN QRJ RXGHUV DOV LQLWLDWLHIQHPHUV (HQ RYHU]LFKWYDQGHIUHTXHQWLHVVWDDWLQWDEHO

,Q WDEHO LV WH ]LHQ GDW KHW LGHDDO YDQ GRFHQWHQ RS DOOH DVSHFWHQ KRJHU OLJW GDQ KXQ KXLGLJHKDQGHOHQ'H]HYHUVFKLOOHQ]LMQEHNHNHQ PHW HHQ WWHVW ZDDUELM GXLGHOLMN ZRUGW GDW KHW YHUVFKLO QLHW ELM DOOH YUDJHQ VLJQLILFDQW LV 'H ZDDUGHYDQWSHUSDDUVWDDWLQGHODDWVWHNRORP 'H YHUVFKLOOHQ WXVVHQ KHW KXLGLJH KDQGHOHQ HQ KHWLGHDDO]LMQVLJQLILFDQWRSSYRRUYUDDJ HQ 7DEHO*HPLGGHOGHUHVXOWDWHQELMKHWJHYHQYDQIHHGEDFN DDQOHHUOLQJHQ

9UDDJ

*HP *HP 1X ,GHDDO 9UDDJ )% JHYHQ RS UHVXOWDWHQRSGUDFKWHQ 9UDDJ)%]RGDWOHHUOLQJHQ OHUHQ KRH ZHUN ]HOI DDQ WH SDNNHQ 9UDDJ)%]RGDWOHHUOLQJHQ OHUHQ]LFK]HOIEHRRUGHOHQ 9UDDJ)%]RGDWOHHUOLQJHQ ZHWHQ KRH YROGRHQGH WH KDOHQ 9UDDJ GRFHQW YUDDJW ZDDURSOHHUOLQJHQ)%ZLOOHQ 9UDDJ GRFHQW OHJW XLW ZDDURP OHHUOLQJH LHWV JRHG RIQLHWJRHGGRHW 9UDDJ GRFHQW JHHIW DDQ ZDWJDDWEHWHUJDDW 9UDDJ GRFHQW JHHIW YRRU EHHOGHQKRHKHWEHWHUNDQ 9UDDJ GRFHQW FKHFNW RI OHHUOLQJHQ)%EHJULMSHQ 9UDDJ GRFHQW ODDW OHHU OLQJHQGLVFXVVLsUHQRYHU)% 9UDDJ GRFHQW FKHFNW RI OHHUOLQJHQ)%JHEUXLNHQ

7DEHO,QLWLDWLHIQHPHUYRRUIHHGEDFN

,QLWLDWLHIQHPHU $DQWDO GRFHQWHQ GDW GLW DDQJHHIW 'RFHQW]HOI /HHUOLQJHQ %HLGH

%LMGH]HYUDDJLV HURRNQRJppQGRFHQW GLHELM GH]H YUDDJ DDQJHHIW GDW HHQ WUDLQLQJ KDDU KHHIW JHKROSHQ RP EHZXVWHU RP WH JDDQ PHW KHW JHYHQYDQIHHGEDFN ,,, 9UDJHQ RYHU FRQFUHWH IHHGEDFN YDQ GRFHQW DDQOHHUOLQJHQ 'HJHPLGGHOGHVFRUHVRSGHYUDJHQ]LHELMODJH YUDDJ,,, ]LMQZHHUJHJHYHQLQWDEHOZDDUELM IHHGEDFN LV DIJHNRUW WRW )% 'H YROOHGLJH WDEHO LVWHYLQGHQLQELMODJH

6LJQ

'HHORQGHU]RHN 5HVXOWDWHQ REVHUYDWLHV GRFHQWHQ 'H REVHUYDWLHV YDQ GH VFRULQJVIRUPXOLHUHQ ELMODJH ]LMQYHUZHUNWLQWDEHOOHQDHQE

7DEHOD5HVXOWDWHQREVHUYDWLHVGRFHQWHQVLWXDWLHIHHGEDFN

6LWXDWLHIHHGEDFN ,QGLYLGXHOHIHHGEDFN .ODVVLNDOHIHHGEDFN 7RWDDO

7RWDDO


PHHUGHUH NHUHQ ]HOI RSORVWHQ HQ GXV KHOHPDDO JHHQIHHGEDFNJDYHQRSGDWPRPHQW 'HHORQGHU]RHN5HVXOWDWHQYUDJHQOLMVWHQ OHHUOLQJHQRYHUIHHGEDFN 'HUHVXOWDWHQXLWKHWRQGHU]RHNRQGHUOHHUOLQJHQ ]XOOHQ NRUW ZRUGHQ EHVSURNHQ GRRU HHUVW HHQ DOJHPHQH LQGUXN YDQ GH GDWD ZHHU WH JHYHQ RS EDVLV YDQHHQDDQWDO WDEHOOHQPHWEHVFKULMYHQGH VWDWLVWLHNHQ HQ HHQ WZHHWDO DQDO\VHV JHULFKW RS GH FRQWUROHYDULDEHOHQ 9HUYROJHQV ZRUGHQ GH UHJUHVVLHDQDO\VHVPHWEHWUHNNLQJWRWGHJHVWHOGH K\SRWKHVHQXLWJHYRHUG $OJHPHQHLQGUXNGDWD +HW JHPLGGHOGH HQ GH ELMEHKRUHQGH VWDQGDDUG GHYLDWLHYDQGH]HVYDULDEHOHQGLH]LMQPHHJHQR PHQLQGLWRQGHU]RHN]LMQZHHUJHJHYHQLQWDEHO 'H YLHU PRWLYDWLHYRUPHQ ]LMQ JHPHWHQ PHW HHQSXQWVVFKDDO'HUDQJHYDQVFRUHVLQJHYXOG GRRUGHOHHUOLQJHQLVHHQPD[LPXPFRUHYDQHQ HHQPLQLPXPVFRUHYDQ$OOHPRJHOLMNHVFRUHV NRPHQGXVYRRULQGLWRQGHU]RHN'HWZHHIHHG EDFNYRUPHQ ]LMQ JHPHWHQ PHW HHQ SXQWV VFKDDO'HUDQJHYDQVFRUHVLQJHYXOGGRRUOHHU OLQJHQ LV KLHUELM HHQ PD[LPXPVFRUH YDQ HQ HHQPLQLPXPVFRUHYDQ2RNELMGH]HWZHHYD ULDEHOHQNRPHQDOOHPRJHOLMNHVFRUHVGXVYRRU 'H YDULDEHOH µDFFHSWDWLHEUXLNEDDUKHLG IHHG EDFN¶ KHHIW HHQ LHWV KRJHUH JHPLGGHOGH GDQ µDDQZLM]LQJHQJHULFKWRSSURFHV¶%HLGHKHEEHQ ]H HHQ UHODWLHI KRRJ JHPLGGHOGH JH]LHQ GH VFKDDOYDQWRW%LMGHYLHUPRWLYDWLHYRUPHQ YDOWRSGDWDPRWLYDWLHKHWODDJVWVFRRUWJHYROJG GRRU LQWULQVLHNH PRWLYDWLH *HwQWHUQDOLVHHUGH UHJXODWLHHQH[WHUQHUHJXODWLHKHEEHQHHQUHODWLHI KRRJJHPLGGHOGHJH]LHQGHVFKDDOYDQWRW

7DEHOE5HVXOWDWHQREVHUYDWLHVGRFHQWHQW\SHIHHGEDFN

7\SHIHHGEDFN *HHQIHHGEDFN 5HVXOWDDWJHULFKWHIHHGEDFN 3URFHVJHULFKWHIHHGEDFN ,QVWUXFWLH 2YHULJHIHHGEDFNLQFOJHGUDJNHHU 7RWDDO

7RWDDO

,Q GH WDEHO D KLHUERYHQ LV WH]LHQ GDW HU PHHU IHHGEDFN JHJHYHQ ZRUGW RS HHQ LQGLYLGXHOH OHHUOLQJGDQRSGHJHKHOHNODV 7DEHOEJHHIWDDQGDWGHGRFHQWHQRYHUKHW DOJHPHHQ RRN YHHO IHHGEDFN JHYHQ RS KHW JHGUDJYDQGHOHHUOLQJHQ2RNGLWLVRYHUZHJHQG LQGLYLGXHOH IHHGEDFN 9DQ GH NHHU GDW HU IHHGEDFNZRUGW JHJHYHQRSJHGUDJLV GLWLQ JHYDOOHQ WHQ DDQ]LHQ YDQ HHQ LQGLYLGXHOH OHHUOLQJ 'LW VWDDW WHJHQRYHU GH NHHU GDW GH KHOHNODVIHHGEDFNNULMJW]LHELMODJH 'XLGHOLMN LV WH ]LHQ GDW GH PHHVWH IHHGEDFN GLH JHJHYHQ ZRUGW SURFHVJHULFKW LV 'H PHHVW JHEUXLNWH YRUPHQ GDDUELM ]LMQ KHW VWLPXOHUHQ RP SUREOHPHQ SUHFLH]HU WH RPVFKULMYHQ KHW VWHOOHQYDQRSHQYUDJHQRPKHWGHQNSURFHVYDQ GH OHHUOLQJHQ RS JDQJ WH KHOSHQ KHW JHYHQ YDQ KLQWV HQ YRRUEHHOGHQ KHW JHYHQ YDQ VXJJHVWLHV KRH KHW EHWHU NDQ HQ YUDJHQ RI KHW DOOHPDDO GXLGHOLMN LV ]LH YRRU GH FRPSOHWH OLMVW PHW IUHTXHQWLHVELMODJH 'RRUGHGRFHQWHQZRUGWYHUGHUYHHOIHHGEDFN JHJHYHQRPKXQLQVWUXFWLHWHYHUGXLGHOLMNHQ'LW GRHW GH GRFHQW YRRUDO GRRU KHW SUREOHHP WH YHUKHOGHUHQ HQKHW RSWHGHOHQLQ VWDSSHQGRRU HHQ EHJULS XLW WH OHJJHQ RI GRRU KHW YHUGXLGHOLMNHQ RI DDQYXOOHQ YDQ GH LQVWUXFWLH ]LHELMODJH :DQQHHU KHW WRW VORW JDDW RP KHW JHYHQ YDQ IHHGEDFN RS HHQ GRRU HHQ OHHUOLQJ JHJHYHQ DQWZRRUG GDQ JHHIW GH GRFHQW QDXZHOLMNV IHHGEDFN 'RFHQWHQ JHYHQ YRRUDO ELM HHQ DQWZRRUG GDW FRUUHFW LV IHHGEDFN ZDDURP KHW JRHG LV GLW LQ WHJHQVWHOOLQJ WRW HHQ IRXW DQWZRRUG ZDDU HHQ OHHUOLQJ JHPLGGHOG PLQGHU IHHGEDFN NULMJW ELMODJH 9DQ GH WZDDOI GRFHQWHQ GLH JHREVHUYHHUG ]LMQ ]LMQ HU YLMI GRFHQWHQ JHZHHVW GLH SUREOHPHQ RRN ppQ RI

7DEHO%HVFKULMYHQGHVWDWLVWLHNHQDOOHYDULDEHOHQ

9DULDEHOHQ $FFHSWDWLHEUXLNEDDUKHLGIE $DQZLM]LQJHQSURFHVJHULFKW ,QWULQVLHNHPRWLYDWLH *HwQWHUQDOLVHHUGHUHJXODWLH ([WHUQHUHJXODWLH $PRWLYDWLH

0

6'


$OV FRQWUROHYDULDEHOHQ ]LMQ OHHIWLMG HQ JHVODFKW PHHJHQRPHQ LQ KHW RQGHU]RHN +LHURQGHU ]DO ZRUGHQZHHUJHJHYHQRIHUVLJQLILFDQWHYHUVFKLO OHQ]LMQRSEDVLVYDQ]RZHO JHVODFKWDOVOHHIWLMG WHQ DDQ]LHQ YDQ GH VFRUHV RS GH WZHH IHHG EDFNYRUPHQHQGHYLHUPRWLYDWLHYRUPHQ 2PWHWRHWVHQRIGHJHPLGGHOGHYDQPDQQHQ HQ YURXZHQ WHQ DDQ]LHQ YDQ ERYHQVWDDQGH ]HV YDULDEHOHQ VLJQLILFDQW YDQ HONDDU YHUVFKLOOHQ LV HHQ 7WRHWV XLWJHYRHUG QRPLQDOH VSOLWVLQJV YDULDEHOHQUDWLRWHVWYDULDEHOH 'DDUXLWEOHHNGDW HU PDDU YRRU ppQ YDULDEHOH HHQ VLJQLILFDQW YHUVFKLO JHYRQGHQ NRQ ZRUGHQ QDPHOLMN GH PRWLYDWLHYRUPDPRWLYDWLH]LHWDEHO (FKWHU GLW YHUVFKLO LV RRN PDDU NOHLQ *HPLGGHOG JHQRPHQ VFRUHQ GH MRQJHQV JHPLGGHOGH VFRUH VSUHLGLQJ LHWV KRJHU RS $PRWLYDWLH GDQ GH PHLVMHV JHPLGGHOGH VFRUH VSUHLGLQJ 'LW YHUVFKLO LV VLJQLILFDQW W GI S ELM WZHH]LMGLJH WRHWVLQJ+HWJHVODFKWNDQYDQGHYHUVFKLOOHQ LQ$PRWLYDWLHVFRUHYHUNODUHQG

]LMQWXVVHQGHOHHIWLMGYDQHHQOHHUOLQJHQ]LMQRI KDDURRUGHHORYHUGHDFFHSWDWLHHQEUXLNEDDUKHLG YDQGHJHJHYHQIHHGEDFN*HPLGGHOGJHOGWKRH MRQJHU GH OHHUOLQJ KRH SRVLWLHYHU KLM RI ]LM RRUGHHOWRYHUGHDFFHSWDWLHHQEUXLNEDDUKHLGYDQ GH JHJHYHQ IHHGEDFN 7HQ WZHHGH EOLMNW HU RRN HHQ UHODWLHI ]ZDNNH QHJDWLHYH VDPHQKDQJ U S WH]LMQWXVVHQGHOHHIWLMGYDQHHQ OHHUOLQJ HQ GH PDWH ZDDULQ GH]H LQWULQVLHN JHPRWLYHHUGLV'DDUXLWEOLMNWGDWYRRUGH]HGDWD JHPLGGHOG JHOGW KRH MRQJHU GH OHHUOLQJ KRH KRJHUGHVFRUHRSLQWULQVLHNHPRWLYDWLHLV 7DEHO&RUUHODWLHWDEHOOHHIWLMG

9DULDEHOHQ /HHIWLMG $FFHSWDWLHEUXLNEDDUKHLGIHHGEDFN $DQZLM]LQJHQJHULFKWRSSURFHV ,QWULQVLHNHPRWLYDWLH *HwQWHUQDOLVHHUGHUHJXOHULQJ ([WHUQHUHJXODWLH $PRWLYDWLH

S

7DEHO%HVFKULMYHQGHVWDWLVWLHNHQDOOHYDULDEHOHQJHVSOLWVW QDDUJHVODFKW

9DULDEHOHQ $FFHSWDWLHEUXLN EDDUKHLGIHHGEDFN $DQZLM]LQJHQ JHULFKWRSSURFHV ,QWULQVLHNH PRWLYDWLH *HwQWHUQDOLVHHUGH UHJXOHULQJ ([WHUQHUHJXODWLH $PRWLYDWLH

5HJUHVVLHDQDO\VHV 2PGHK\SRWKHVHQWHWRHWVHQ]LMQYLHUUHJUHVVLH DQDO\VHVXLWJHYRHUG'DDUELMLVGHUHODWLHRQGHU ]RFKW WXVVHQ GH RQDIKDQNHOLMNH YDULDEHOHQ µDFFHSWDWLH HQEUXLNEDDUKHLG IHHGEDFN¶HQ µDDQ ZLM]LQJHQJHULFKWRSSURFHV¶HQWHONHQVppQYDQ GHYLHUDI]RQGHUOLMNHDIKDQNHOLMNHYDULDEHOHQGH YLHUPRWLYDWLHYRUPHQ +LHUELM ]LMQ JHHQ VLJQLILFDQWH YHUEDQGHQ JHYRQGHQ WXVVHQ GH YDULDEHOH µDDQZLM]LQJHQ JHULFKW RS SURFHV¶ HQ GH YLHU PRWLYDWLHYRUPHQ :HO ]LMQ WZHH SRVLWLHI VLJQLILFDQWH YHUEDQGHQ JHYRQGHQ WXVVHQ HQHU]LMGV µDFFHSWDWLH HQ EUXLNEDDUKHLG IHHGEDFN¶ HQ DQGHU]LMGV µLQWULQ VLHNH PRWLYDWLH HQ JHwGHQWLILFHHUGH UHJXODWLH¶ 9HUGHU LV HU HHQ VLJQLILFDQW QHJDWLHI YHUEDQG JHYRQGHQ WXVVHQ µDFFHSWDWLH HQ EUXLNEDDUKHLG IHHGEDFN¶HQ$PRWLYDWLH'HLQWHUSUHWDWLHNUDFKW YDQ GH GULH JHYRQGHQ YHUEDQGHQ LV HFKWHU UHODWLHI ]ZDN DDQJH]LHQ KHW IHLW GDW GH YHUNODDUGH YDULDQWLH YDQ DOOH GULH GH PRGHOOHQ PLQGHUGDQLV]LHWDEHO

0 6' 0 6' -RQJHQ -RQJHQ 0HLVMH 0HLVMH

/HHIWLMG

2P WH WRHWVHQ RI OHHIWLMG UDWLR PHHWQLYHDX VDPHQKDQJW PHWGHVFRUHVRSGH]HVYDULDEHOHQ XLW KHW RQGHU]RHN LQWHUYDO PHHWQLYHDX LV RQGHU]RFKW RI HU HHQ FRUUHODWLH JHYRQGHQ NRQ ZRUGHQ WXVVHQ OHHIWLMG HQ ppQ RI PHHUGHUH YDQ GH DQGHUH YDULDEHOHQ (U ]LMQ GDDUELM WZHH VLJQLILFDQWH YHUEDQGHQ JHYRQGHQ ]LH WDEHO 7HQ HHUVWH EOLMNW HU HHQ UHODWLHI ]ZDNNH QHJDWLHYH VDPHQKDQJ U S WH


WXVVHQ GH YHUVFKLOOHQGH GLPHQVLHV HQ NHQ PHUNHQ YDQ IHHGEDFN +HW EHHOG GDW GRFHQWHQ KHEEHQYDQIHHGEDFNLV GXVLQGHUGDDGQLHWHHQ GXLGLJ 2RN KHW YHUVFKLO WXVVHQ GH PDQLHU YDQ IHHGEDFNJHYHQHQVLWXDWLHVZDDULQIHHGEDFNJH JHYHQZRUGWYLQGHQGRFHQWHQODVWLJWHVFKHLGHQ 9HUGHU NDQ JH]HJG ZRUGHQ GDW GH GRFHQWHQ XLW GLW RQGHU]RHN YRRUDO SRVLWLHI JHIRUPXOHHUGH IHHGEDFN]LHQDOVZDDUGHYROOHIHHGEDFN +HW LQLWLDWLHI YRRU IHHGEDFN NRPW YROJHQV GRFHQWHQ QLHW DOWLMG YDQ GH GRFHQW 9LHU GRFHQWHQ JHYHQ DDQ GDW OHHUOLQJHQ RRN LQLWLDWLHINXQQHQ QHPHQ 8LW GHHO ,,, YDQ GH YUDJHQOLMVW NDQ ZRUGHQ JHFRQFOXGHHUG GDW GRFHQWHQ RS YDQ GH YUDJHQ DDQJHYHQ GDW KXQ KXLGLJH KDQGHOHQ YHUVFKLOWPHWKXQLGHDDOZDDULQKHWLGHDDODOWLMG KRJHUOLJWGDQKHWKDQGHOHQ E :DW LV GH URO YDQ IHHGEDFN JHYHQ YRRU GRFHQWHQLQHHQNODVVHQVLWXDWLH" (U ZHUG YHUZDFKW GDW GH SUDNWLMN YDQ IHHGEDFN JHYHQ SHU GRFHQW YHUVFKLOOHQG ]RX ]LMQ 8LW GH RQGHU]RHNVUHVXOWDWHQ LV JHEOHNHQ GDW GLW LQGHU GDDG KHW JHYDO LV KRHZHO HU RRN RYHUHHQNRP VWHQWH]LHQ]LMQ=RLVGHUROYDQIHHGEDFNJHYHQ YRRUGHPHHVWHGRFHQWHQGDW]HPHWGHIHHGEDFN ZLOOHQVWXUHQHQKHOSHQYUDJHQOLMVWGHHO,HQ,, +LHUELMKRXGHQ]LMUHNHQLQJPHWGHOHHUOLQJGDW ZLO]HJJHQGDWGHGRFHQWHQVRPVDIVWHPPHQRS KHW NDUDNWHU HQ VRPV RS KHW JHGUDJ YDQ HHQ OHHUOLQJ +HW YHUVFKLO WXVVHQ GH GRFHQWHQ ]LW YRRUDO LQ KHW IHLW GDW VRPPLJH GRFHQWHQ EHQRHPHQ GDW ]LM PHW KXQ IHHGEDFN OHHUOLQJHQ ZLOOHQ PRWLYHUHQ HQ DQGHUH GRFHQWHQ GH SHUVRRQOLMNHRQWZLNNHOLQJYDQKXQOHHUOLQJHQRS KHWRRJKHEEHQ F ,Q KRHYHUUH ]LMQ LQ GH DQWZRRUGHQ DVSHFWHQ YDQ'LGDFWLVFK&RDFKHQWHYLQGHQ" +HW ODJLQ GHOLMQ GHUYHUZDFKWLQJGDW GRFHQWHQ GLH QRJ QRRLW YDQ 'LGDFWLVFK &RDFKHQ JHKRRUG KDGGHQ RRN JHHQ H[SOLFLHWH NHQPHUNHQ ]RXGHQ NXQQHQ QRHPHQ GLH EHWUHNNLQJ KHEEHQ RS KHW FRQFHSW YDQ 'LGDFWLVFK &RDFKHQ LQ WHJHQVWHO OLQJWRWGRFHQWHQGLHDDQJDYHQZHORSGHKRRJWH WH]LMQYDQKHWFRQFHSW

7DEHO 5HJUHVVLHDQDO\VHV UHODWLH IHHGEDFN HQ PRWLYDWLH YRUPHQ

&RQFOXVLHV +RRIGFRQFOXVLH 'H KRRIGYUDDJ YDQ GLW RQGHU]RHN OXLGW ³+HHIW GH PRQGHOLQJH IHHGEDFN YDQ GRFHQWHQ DDQ OHHUOLQJHQ LQ HHQ NODVVHQVLWXDWLH HHQ SRVLWLHI HIIHFW RS GH PRWLYDWLH YDQ OHHUOLQJHQ"´ 'DDUELM ZHUGLQGHK\SRWKHVHRSEDVLVYDQGHOLWHUDWXXU HHQ SRVLWLHYH UHODWLH YHUZDFKW WXVVHQ GH IHHGEDFN GLH GRRU GRFHQWHQ ZRUGW JHJHYHQ HQ GH PRWLYDWLH GLH GH OHHUOLQJHQ KHEEHQ YRRU HHQ YDN 2SEDVLVYDQGHGDWDGLHLQ KHW RQGHU]RHN QDDU YRUHQ ]LMQ JHNRPHQ HQ GLH LQ KHW YRULJH KRRIGVWXN ]LMQ JHDQDO\VHHUG PRHWHQ ZH LQ KHW DOJHPHHQ HFKWHU FRQFOXGHUHQ GDW HU LQ WHJHQ VWHOOLQJ WRW GH K\SRWKHVH JHHQ VWHUNH GLUHFWH UHODWLH EHVWDDW WXVVHQ GH PRQGHOLQJH IHHGEDFN YDQGHGRFHQWHQGHPRWLYDWLHYDQGHOHHUOLQJ 'H]H FRQFOXVLH ]DO KLHUQD YHUGHU ZRUGHQ XLWJHZHUNW DDQ GH KDQG YDQ FRQFOXVLHV GLH JHWURNNHQ NXQQHQ ZRUGHQ XLW GH YHUVFKLOOHQGH GHHOYUDJHQ &RQFOXVLHGHHOYUDDJ D:DWYHUVWDDQGRFHQWHQRQGHUIHHGEDFN" 9ROJHQV GH K\SRWKHVH ]RXGHQ GRFHQWHQ ZHOLV ZDDU HHQ EHHOG KHEEHQ YDQ IHHGEDFN PDDU GLW EHHOG ]RX QLHW HHQGXLGLJ ]LMQ DDQJH]LHQ IHHG EDFN HHQ YHHOEHVSURNHQ EHJULS LV ]RZHO LQ GH OLWHUDWXXUDOVLQGHVFKRROSUDNWLMN8LWKHWHHUVWH GHHO YDQ GH YUDJHQOLMVW NDQ ZRUGHQ RSJHPDDNW GDWGHGRFHQWHQLQGHUGDDGHHQEHHOGKHEEHQELM IHHGEDFN+HWZRUGWGRRUGHDQWZRRUGHQLQGHHO ,HQ,,HFKWHURRNGXLGHOLMNGDWHUGRRUGRFHQWHQ QRJ JHHQ KHOGHU RQGHUVFKHLG JHPDDNW ZRUGW


8LWGHSHLOLQJGLHZHKHEEHQJHGDDQQDDUGH YLVLH YDQ GRFHQWHQ WHQ DDQ]LHQ YDQ IHHGEDFN PHW QDPH GHHO , NZDP HFKWHU QDDU YRUHQ GDW GH PHHVWH GRFHQWHQ ZHOLVZDDU HHQ DDQWDO DVSHFWHQ YDQ 'LGDFWLVFK &RDFKHQ EHQRHPHQ PDDU]HJHHQYDQDOOHQHHQFRPSOHHWEHHOGYDQ IHHGEDFN JHYHQ ]RDOV LQ KHW FRQFHSW YDQ 'LGDFWLVFK&RDFKHQEHRRJGZRUGWGDWJHOGWGXV RRNYRRUGHGRFHQWHQGLHDDQJDYHQDOZHORSGH KRRJWH WH ]LMQ YDQ KHW FRQFHSW =R NRPHQ GH GLPHQVLHVYDQ'LGDFWLVFK&RDFKHQZHOWHUXJLQ GH DQWZRRUGHQ PDDU LV GLW QRJ QLHW KHHO FRQFUHHW &RQFOXVLHGHHOYUDDJ :HONHPRQGHOLQJHIHHGEDFNJHYHQGRFHQWHQKXQ OHHUOLQJHQLQHHQNODVVHQVLWXDWLH" ,QGHK\SRWKHVHZHUGJHVWHOGGDWGHSUDNWLMNYDQ KHWJHYHQYDQIHHGEDFNSHUGRFHQWYHUVFKLOOHQG ]RX ]LMQ 'DW JHOGW QLHW DOOHHQ YRRU GH URO GLH GRFHQWHQ YRRU ]LFK]HOI ]LHQ ZHJJHOHJG DOV KHW JDDW RP KHW JHYHQ YDQ IHHGEDFN HQ GH PDQLHU ZDDURS]H]HOILQVFKDWWHQGDW]HIHHGEDFNJHYHQ PDDU RRN YRRU GH SUDNWLMN GLH WLMGHQV GH OHVVHQ LVJHREVHUYHHUG $OOHUHHUVW ZDV HU HFKWHU RRN HHQ DDQWDO RYHUHHQNRPVWHQWH]LHQ,QWDEHODEKRRIGVWXN LV WH ]LHQ GDW HU RYHU KHW DOJHPHHQ PHHU IHHGEDFN JHJHYHQ ZRUGW RS HHQ LQGLYLGXHOH OHHUOLQJ GDQ RS GH JHKHOH NODV %RYHQGLHQ EOLMYHQ GRFHQWHQ YHHO IHHGEDFN JHYHQ RS KHW JHGUDJ YDQ GH OHHUOLQJHQ =RDOV XLW ELMODJH EOLMNW ZRUGW HU QDPHOLMN ELM YDQ GH NHHU IHHGEDFN JHJHYHQ RS GH LQGLYLGXHOH OHHUOLQJ JHJHYHQPHWEHWUHNNLQJRS]LMQRIKDDUJHGUDJ +LHUWHJHQRYHU VWDDW GDW GH NODV ]HOI PDDU NHHUIHHGEDFNNULMJW 'XLGHOLMN LV WH ]LHQ GDW HU YRRUDO SURFHV JHULFKWH IHHGEDFN ZRUGW JHJHYHQ IHHGEDFN GLH GH OHHUOLQJHQ PRHW VWLPXOHUHQ 'H]H YRUP YDQ IHHGEDFN YLQGW RQGHU DQGHUH SODDWV ZDQQHHU GH GRFHQW SUREOHPHQ SUHFLH]HU RPVFKULMIW RSHQ YUDJHQ VWHOW RP KHW GHQNSURFHV YDQ GH OHHUOLQJHQ RS JDQJ WH KHOSHQ KLQWV VXJJHVWLHV HQ YRRUEHHOGHQ JHHIW KRH KHW EHWHU NDQ HQ YUDJHQVWHOWRIKHWDOOHPDDOGXLGHOLMNLV]LHYRRU

GH FRPSOHWH OLMVW PHW IUHTXHQWLHV ELMODJH 'RRU GH GRFHQWHQ ZRUGW HU RRN PRQGHOLQJH IHHGEDFN JHJHYHQ RP GH LQVWUXFWLH EHWHU WH EHJULMSHQ 'LW GRHW GH GRFHQW YRRUDO GRRU KHW SUREOHHP WH YHUKHOGHUHQ HQ KHW RS WH GHOHQ LQ VWDSSHQ GRRU HHQ EHJULS XLW WH OHJJHQ RI GRRU KHW WH YHUGXLGHOLMNHQ RI DDQ WH YXOOHQ PHW GH LQVWUXFWLH ]LH ELMODJH :DQQHHU KHW JDDW RP KHWJHYHQYDQIHHGEDFNRSHHQGRRUHHQOHHUOLQJ JHJHYHQ DQWZRRUG GDQ JHHIW GH GRFHQW QDXZHOLMNVIHHGEDFN'RFHQWHQJHYHQYRRUDOELM HHQ DQWZRRUG GDW FRUUHFW LV IHHGEDFN ZDDURP KHW JRHG LV GLW LQ WHJHQVWHOOLQJ WRW HHQ IRXW DQWZRRUG ZDDU HHQ OHHUOLQJ JHPLGGHOG PLQGHU IHHGEDFN NULMJW ELMODJH 9DQ GH WZDDOI GRFHQWHQ GLH JHREVHUYHHUG ]LMQ ]LMQ HU YLMI GRFHQWHQJHZHHVWGLHSUREOHPHQ]HOIRSORVWHQ 2SYDOOHQGRPWH]LHQZDVGDWHUYRRUDOYHHO RYHUHHQNRPVWHQWHYLQGHQZDUHQHQGDWHUJHHQ JURWHYHUVFKLOOHQRSJHPHUNWNRQGHQZRUGHQ &RQFOXVLHVGHHOYUDDJ +HHIW GH JHREVHUYHHUGH PRQGHOLQJH IHHGEDFN HHQ SRVLWLHI HIIHFW RS GH PRWLYDWLH YDQ OHHUOLQJHQ" ,Q KHW GHUGH GHHORQGHU]RHN VWRQG GH YROJHQGH GHHOYUDDJ FHQWUDDO +HHIW GH JHREVHUYHHUGH PRQGHOLQJH IHHGEDFN HHQ SRVLWLHI HIIHFW RS GH PRWLYDWLH YDQ OHHUOLQJHQ" 'DDUELM ZDV RRN HHQ YHUZDFKWLQJYRRUDIK\SRWKHVH RSJHVWHOG'H]H OXLGGH (U ZRUGW HHQ SRVLWLHYH UHODWLH YHUZDFKW WXVVHQ GH IHHGEDFN GLH GRRU GRFHQWHQ ZRUGW JHJHYHQ HQ GH PRWLYDWLH GLH OHHUOLQJHQ KHEEHQ YRRU KHW YDN YDQ GH GHVEHWUHIIHQGH GRFHQW 8LW GH UHVXOWDWHQ NDQ JHFRQFOXGHHUG ZRUGHQ GDW WXVVHQ GH IHHGEDFN YDQXLW GH GRFHQW HQ GH YLHU JHWRHWVWH PRWLYDWLHYRUPHQ YRRU GH]H GDWDVHW JHHQVWHUNHVLJQLILFDQWLHUHODWLHV]LMQJHYRQGHQ 8LW GH UHJUHVVLHDQDO\VH NZDPHQ ZHO WZHH ]ZDNNH SRVLWLHI VLJQLILFDQWH UHODWLHV HQ ppQ ]ZDNNH QHJDWLHI VLJQLILFDQWH UHODWLH QDDU YRUHQ 'LW JLQJ RP GH UHODWLHV WXVVHQ µDFFHSWDWLH HQ EUXLNEDDUKHLGIHHGEDFN¶HQ LQWULQVLHNHPRWLYDWLHȕ S JHwGHQWLILFHHUGHUHJXODWLHȕ S $PRWLYDWLHȕ S


'H YHUNODULQJVNUDFKW YDQ GH ELMEHKRUHQGH UHJUHVVLHPRGHOOHQLVGDDUELMDGMXVWHG5ð 'H YRRUDI JHIRUPXOHHUGH YHUZDFKWLQJ ZRUGW GXV RQGHUVWHXQG GRRU GH UHVXOWDWHQ XLW GLW RQGHU]RHN +HW IHLW GDW HU WHQ DDQ]LHQ YDQ GH PRWLYDWLHYRUPµDPRWLYDWLH¶HHQQHJDWLHYHUHODWLH LV JHYRQGHQ OLMNW JHKHHO WHJHQVWULMGLJ PHW GH YHUZDFKWLQJ 0DDU GLW LV QLHW ]R ZDQW DPRWLYDWLH VWDDW MXLVW YRRU JHHQ PRWLYDWLH ]LH SDUDJUDDI (HQ QHJDWLHYH UHODWLH LV LQ GLW JHYDO GXV YROJHQV YHUZDFKWLQJ HFKWHU RRN GLW LV HHQ ]HHU ]ZDN YHUEDQG +HW IHLW GDW HU WHQ DDQ]LHQ YDQ GH DQGHUH PRWLYDWLHYRUPHQ QLHW RI QDXZHOLMNV HHQ ZH]HQOLMN YHUEDQG LV JHYRQGHQ NDQPRJHOLMNYHUNODDUGZRUGHQGRRUKHWIHLWGDW HU ELM GH JHEUXLNWH PHHWVFKDOHQ SHU RQJHOXN ]RZHOHHQSXQWVVFKDDODOVHHQSXQWVVFKDDOLV JHEUXLNW'HLQYORHGKLHUYDQ]DOLQGHGLVFXVVLH YHUGHUXLWJHZHUNWZRUGHQ 'LVFXVVLHHQDDQEHYHOLQJHQ ,Q GLW KRRIGVWXN ]XOOHQ NDQWWHNHQLQJHQ HQ RSPHUNLQJHQWHQDDQ]LHQYDQGLWRQGHU]RHN SHU GHHORQGHU]RHN ZRUGHQ EHVFKUHYHQ 'DDUELM ZRUGHQ ZDDU PRJHOLMN DDQEHYHOLQJHQ YRRU YHUYROJRQGHU]RHN ZHHUJHJHYHQ 9HUYROJHQV ]XOOHQ RRN DDQEHYHOLQJHQ WHQ DDQ]LHQ YDQ GH SUDNWLMN ZRUGHQ JHGDDQ 7RW VORW ]DO KHW RQGHU]RHN NRUW SURFHVPDWLJ ZRUGHQ JHsYDOXHHUG 'HHORQGHU]RHN 9LVLH RS IHHGEDFN GRFHQWHQ ,Q YHUYROJRQGHU]RHN LV KHW LQWHUHVVDQW RP WH NLMNHQ RI GRFHQWHQ GLH GH FXUVXV 'LGDFWLVFK &RDFKHQ JHYROJG KHEEHQ HHQ DQGHUH RI XLW JHEUHLGHUHYLVLHNULMJHQRSKHWEHJULSIHHGEDFN 'LW NDQ JHWRHWVW ZRUGHQ GRRU GH YUDJHQOLMVWHQ RYHU GH 9LVLH RS IHHGEDFN YDQ GH GRFHQWHQ RSQLHXZ DI WH QHPHQ ,Q GLW RQGHU]RHN LV GH YUDDJ RI GH GHHOQHPHQGH GRFHQWHQ DO GDQ QLHW EHNHQG ]LMQ PHW KHW IHQRPHHQ 'LGDFWLVFK &RDFKHQQLHWYHUGHUPHHJHQRPHQDDQJH]LHQXLW GH UHVXOWDWHQ EOHHN GDW JHHQ HQNHOH GRFHQW KHW YROOHGLJHSODDWMHYDQDOOHNHQPHUNHQYDQ'LGDF

WLVFK&RDFKHQZLVWWHQRHPHQZDDUXLWEOLMNWGDW QRJ JHHQ HQNHOH GRFHQW YROOHGLJ RS GH KRRJWH ZDV YDQ DOOH NHQPHUNHQ YDQ KHW FRQFHSW 'LW ]RX GXV ZHO NXQQHQ JHEHXUHQ ZDQQHHU GH WUDLQLQJ LV JHJHYHQ HQ GH GHHOQHPHQGH GRFHQ WHQYROOHGLJYDQKHWFRQFHSWRSGHKRRJWH]LMQ 9HUGHULVKHWRRNLQWHUHVVDQWRPQLHWDOOHHQWH IRFXVVHQRSGHRYHUHHQNRPVWHQWXVVHQGHYLVLHV YDQ GH GHHOQHPHQGH GRFHQWHQ RS IHHGEDFN PDDU RRN WH NLMNHQ QDDU GH YHUVFKLOOHQ KLHU WXVVHQHQRIGLWYHUEDQGKRXGWPHWGHNHQQLVGLH GRFHQWHQ DO GDQ QLHW DO KHEEHQ ELMYRRUEHHOG GRRU GH FXUVXV 'LGDFWLVFK &RDFKHQ ,Q KHW YHUOHQJGHKLHUYDQNDQGHDQDO\VHYDQKHWGHUGH GHHO YDQ GH 9LVLH RS IHHGEDFN RRN XLWJHEUHLG ZRUGHQ 'RFHQWHQ ]HWWHQ KLHULQ KXQ KXLGLJ KDQGHOHQDIWHJHQKXQLGHDDOEHHOG(HQYHUVFKLO WXVVHQGH]HWZHHLVQLHWYHUZRQGHUOLMNPDDUKHW LV ZHO ZDDUGHYRO RP LQ YHUYROJRQGHU]RHN WH NLMNHQ RI EHSDDOGH DVSHFWHQ LQ KHW KDQGHOHQ VWHUNHUFRUUHOHUHQPHWEHSDDOGHDVSHFWHQXLWKHW LGHDDOHQRIGLWYHUNODDUGNDQZRUGHQXLWKHWIHLW GDW GRFHQWHQ KXQ OHHUOLQJHQ SUREHUHQ WH PRWLYHUHQ 7RW VORW ]RXGHQ HU RRN QRJ PHHU GRFHQW NHQPHUNHQ LQ KHW RQGHU]RHN EHWURNNHQ NXQQHQ ZRUGHQ]RDOVJHVODFKWOHVHUYDULQJDDQWDOMDUHQ ZHUN]DDPRSGHVFKRROHWF HQNDQHUJHNHNHQ ZRUGHQRIGH]HNHQPHUNHQVDPHQKDQJHQPHWGH PDQLHU ZDDURS GRFHQWHQ WHJHQ IHHGEDFN DDQ NLMNHQHQGHPDQLHUZDDURS]HIHHGEDFNJHYHQ 'HHORQGHU]RHN2EVHUYDWLHVGRFHQWHQ ,Q GLW RQGHU]RHN NRQGHQ GH GRFHQWHQ ]LFK]HOI DDQPHOGHQRP PHHWHGRHQPHWKHW RQGHU]RHN RS YULMZLOOLJH EDVLV 'DW ]RUJW HFKWHU QLHW YRRU HHQ UHSUHVHQWDWLHYH DIVSLHJHOLQJ YDQ KHW JHKHOH GRFHQWHQWHDP RS RQ]H VFKRRO +HW OLJW YRRU GH KDQGGDWDOOHHQGHGRFHQWHQGLHYRRUKHW WKHPD RSHQ VWDDQ ]LFK RRN GDDGZHUNHOLMN DDQPHOGHQ HQGHFRQIURQWDWLHYDQHHQOHVREVHUYDWLHGXUYHQ DDQ WH JDDQ +HW YHUGLHQW DDQEHYHOLQJ YRRU YHUYROJRQGHU]RHN RP GHHOQDPH PLQGHU YULMEOLMYHQG WH PDNHQ ]RGDW HU HHQ UHSUHVHQWDWLHYHJURHSYDQGRFHQWHQRQWVWDDWGLH GHEHWURXZEDDUKHLGYDQKHWRQGHU]RHNYHUJURRW


KHEEHQ JHYROJG HQ GRFHQWHQ GLH GH]H FXUVXV QRJ QLHW KHEEHQ JHYROJG HQ GH]H YHUVFKLOOHQ WHDQDO\VHUHQ 'HHORQGHU]RHN9UDJHQOLMVWHQOHHUOLQJHQ RYHUIHHGEDFN (HQ EHODQJULMN YHUEHWHUSXQW GDW XLW KHW KXLGLJH RQGHU]RHNQDDUYRUHQLVJHNRPHQLVGDWHULQGH YUDJHQOLMVWHQ HHQ GHILQLWLH PRHW NRPHQ WH VWDDQ YDQ KHW EHJULS IHHGEDFN 1X ZHUG KHW GRRU KHW RQGHU]RHNVWHDPPRQGHOLQJWRHJHOLFKWPDDUKHW LVEHWHUHHQVWDQGDDUGGHILQLWLHWHJHEUXLNHQ2S GLH PDQLHU LV KHW YRRU GH OHHUOLQJ LQ ppQ NHHU GXLGHOLMN ZDDU KHW RYHU JDDW HQ NXQQHQ ]H GH HQTXrWHLQYXOOHQ 2S EDVLV YDQ ZDW GH OHHUOLQJHQ ]HJJHQ ]RX LQ YHUGHU RQGHU]RHN RRN QRJ PHHU DDQ GH RUGH NXQQHQNRPHQZDWGHYHUVFKLOOHQ]LMQWXVVHQKHW RRUGHHOYDQGHOHHUOLQJHQRYHUGHIHHGEDFNYDQ GH GRFHQWHQ HQ KHW RRUGHHO YDQ GH GRFHQW ]HOI KLHURYHU +LHU JHOGW HYHQHHQV GDW GLW YRRU GRFHQWHQ ]RZHO YyyU GHHOQDPH DDQ GH FXUVXV 'LGDFWLVFK &RDFKHQ DOV QD GH FXUVXV EHNHNHQ NDQ ZRUGHQ :DDUELM GDQ JHNHNHQ NDQ ZRUGHQ ZDW GH LQYORHG LV YDQ GH FXUVXV RS KRH OHHUOLQJHQ GH IHHGEDFN HUYDUHQ HQ ZDW GLW GRHW PHWKXQPRWLYDWLH 9HUGHU]RXHUWLMGHQVGHYROJHQGHPHWLQJRRN EHWHUQDJHGDFKWNXQQHQZRUGHQRYHUGHYUDDJLQ ZHONHNODVVHQYDQGHGRFHQWHQHU JHREVHUYHHUG ZRUGW 'RRU HHQ]RKRPRJHHQPRJHOLMNH JURHS VDPHQWHVWHOOHQRYHUZHJHQGKHWYLHUGHOHHUMDDU +$92 ZHUG HU YDQ HHQ DDQWDO OHHUOLQJHQ YHUZDFKW GDW ]LM ELM YHUVFKLOOHQGH GRFHQWHQ GH YUDJHQOLMVWHQ HONH NHHU ZHHU RSQLHXZ LQYXOGHQ 1D GH H RI H NHHU LQYXOOHQ ZHUG HU HQLJH WHJHQZHUNLQJYDQGHOHHUOLQJHQRSJHPHUNW+HW YROJHQGH RQGHU]RHNVWHDP ]RX GDDURP JHEUXLN NXQQHQ PDNHQ YDQ PHHUGHUH OHHUMDUHQ ELMY ERYHQ ERXZNODVVHQ KDYR HQ YZR ZDDUGRRU OHHUOLQJHQQLHWPHHUGDQppQNHHUGHYUDJHQOLMVW LQYXOOHQ'LW]RXGHEHWURXZEDDUKHLGYHUKRJHQ +HW LV YDQXLW GH WKHRULH GXLGHOLMN GDW PRWLYDWLH DIKDQJW YDQ GLYHUVH IDFWRUHQ HQ GDW HHQ JURRW SHUFHQWDJH EXLWHQ GH PDFKW YDQ GH GRFHQW OLJW +HW ]RX LQ KHW YHUYROJRQGHU]RHN ]LQYRO NXQQHQ ]LMQ GDDURP PHHU FRQWUROH

(HQ DQGHUH IDFWRU GLH GH EHWURXZEDDUKHLG YDQ KHW RQGHU]RHN DDQ]LHQOLMN ]RX NXQQHQ YHU JURWHQ LV KHW XLWEUHLGHQ YDQ GH JURHS GHHOQHPHQGH GRFHQWHQ 1X KHEEHQ HU UHODWLHI ZHLQLJ GRFHQWHQ PHHJHGDDQ HQ KHW ]RX JRHG ]LMQYRRUGHEHWURXZEDDUKHLGYDQKHWRQGHU]RHN RPGH]HJURHSGRFHQWHQJURWHUWHPDNHQ 'DDUQDDVW ]RX DOOHHQ HHQ JHOXLGVRSQDPH YROGRHQGHNXQQHQ]LMQRPGDWOHHUOLQJHQLQHHQ NODVVHQVLWXDWLH WRFK DQGHUV UHDJHUHQ PHW GH DDQZH]LJKHLG YDQ HHQ FDPHUD GDQ ZDQQHHU GH]H FDPHUD HU QLHW ]RX ]LMQ 'LW NDQ GH RQGHU]RHNVUHVXOWDWHQ GXV EHwQYORHGHQ WHUZLMO GDW LQ SULQFLSH QLHW QRGLJ LV DDQJH]LHQ HHQ JHOXLGVRSQDPH DOOHHQ RRN DO ]RX YROVWDDQ (FKWHUKHWYHUGLHQWGDQZHOGHYRRUNHXUGDWHHQ YDQGHRQGHU]RHNHUVWLMGHQVGHOHVYDVWOHJW PHW ZHONHHQKRHYHHOOHHUOLQJHQGHGRFHQWLQWHUDFWLH KHHIWRPGDWGLWLQHHQJHOXLGVIUDJPHQWQLHWWHUXJ WHYLQGHQLV 'DW]HOIGH SXQW GH DDQZH]LJKHLG YDQ GH FDPHUDJHOGWHLJHQOLMNRRNYRRUKHWJHGUDJYDQ GHGRFHQWHQ]LM]LMQ]LFKHUWLMGHQVGHREVHUYD WLHV YDQ EHZXVW GDW ]H ZRUGHQ JHILOPG HQ KHW NDQ GXV JRHG ]LMQ GDW ]H KXQ JHGUDJ GDDURS DDQSDVVHQ HQ QLHW KHW JHGUDJ ODWHQ ]LHQ GDW ]H QRUPDOLWHU YHUWRQHQ =H ZLOOHQ LPPHUV ]R JRHG PRJHOLMN YRRU GH GDJ NRPHQ DOV KXQ OHV ZRUGW YDVWJHOHJG RS YLGHR 2RN GLW SUREOHHP ]RX JHGHHOWHOLMN RSJHORVW NXQQHQ ZRUGHQ ZDQQHHU HU DOOHHQ JHEUXLN ZRUGW JHPDDNW YDQ JHOXLGV RSQDPHV HQ YHUGHU NDQ HU RRN QRJ HHQV EHNOHPWRRQG ZRUGHQ GDW HU PHW GH RSQDPHV YHUGHU QLHWV JHEHXUW EHKDOYH HHQ DQDO\VH YRRU RQV RQGHU]RHN =H ZRUGHQ HU GXV QLHW RS EHRRUGHHOG$DQYXOOHQGLVKHWRRNPRJHOLMNRP HHQ DDQWDO OHVVHQ YDQ GH]HOIGH NODV HQ GH]HOIGH GRFHQWWHREVHUYHUHQ%HLGHSDUWLMHQZHQQHQGDQ DDQ GH YLGHR HQ HU ]DO LQ WRWDDO PHHU IHHGEDFN JHJHYHQ NXQQHQ ZRUGHQ 'H YUDJHQOLMVW GLH GH OHHUOLQJHQLQYXOOHQNDQGDQELMYRRUEHHOGSDVQD GULHOHVVHQLQJHYXOGZRUGHQ =RDOVDOHHUGHUJHQRHPG]DOHHQGHHOYDQGH REVHUYHHUGH GRFHQWHQ GHHOQHPHQ DDQ GH FXUVXV 'LGDFWLVFK &RDFKHQ +HW LV RRN ELM GLW GHHO RQGHU]RHN YDQ EHODQJ RP WH NLMNHQ QDDU YHUVFKLOOHQWXVVHQGHGRFHQWHQGLHGH]HWUDLQLQJ


YDULDEHOHQ PHHWHQHPHQ+HW ]RXELMYRRUEHHOG LQWHUHVVDQW NXQQHQ ]LMQ RP LQ GH JHPLGGHOGH FLMIHUVYDQOHHUOLQJHQYRRUKHWYDNPHHWHQHPHQ LQGHDQDO\VH ,QRQVRQGHU]RHNKHEEHQZHGHYUDJHQOLMVWHQ JHEUXLNW GLH RRN 6RO HQ 6WRNNLQJ LQ KXQ RQGHU]RHN KDQWHHUGHQ 6RO 6WRNNLQJ =LM KHEEHQ GDDUELM ]RZHO YDQ HHQ 3XQWV DOV HHQ 3XQWV /LNHUWVFKDDO JHEUXLN JHPDDNW :LM KHEEHQ GLW RYHUJHQRPHQ HQ NZDPHQ GDDUQD LQ GH SUREOHPHQ RPGDW GH UHODWLH WXVVHQ GH JHYRQGHQ GDWD KLHUGRRU QLHW JRHG RQGHU]RFKW NRQ ZRUGHQ 'H UHVXOWDWHQ NXQ MH GDQ LPPHUV PLQGHUJRHGYHUJHOLMNHQHQKHWJLQJHURQVMXLVW RP RP PRHLOLMN WH NZDQWLILFHUHQ JHJHYHQV WH RQGHUYUDJHQHQYDQHHQGXVGDQLJPHHWQLYHDXWH YRRU]LHQ GDW GH NZDOLWDWLHYH YDULDEHOHQ HUYDQ JRHGQDDUYRUHQ]RXGHQNRPHQ+HWLVGDQRRN DDQ WH UDGHQ RP LQ HHQ YHUYROJRQGHU]RHN YRRU DOOH YUDJHQ HHQ ]HOIGH DQWZRRUGVFKDDO WH KDQWHUHQ (HQ YRRUGHHO YDQ HHQ SXQWV VFKDDO WHQ RS]LFKWH YDQ HHQ SXQWV VFKDDO LV GDW HHQ SXQWV VFKDDO YRRU GH UHVSRQGHQWHQ OHHV OHHU OLQJHQ EHWHUWHEHJULMSHQLV'RRUGDWHUPLQGHU YDULDEHOHQ ZRUGHQ JHJHYHQ LV HHQ SXQWV VFKDDO RYHU]LFKWHOLMNHU HQ PLQGHU YHUZDUUHQG YRRUOHHUOLQJHQ=HZHWHQEHWHUZDDU]HDDQWRH ]LMQ0DDUZHONH" +HWJURWHYRRUGHHOYDQHHQSXQWVVFKDDOLV GDW MH HHQ JURWHUH VSUHLGLQJ LQ MH GDWD NULMJW +LHUGRRU NULMJ MH HHQ PHHU JHQXDQFHHUG HQ XLWYRHULJ EHHOG YDQ MH UHVXOWDWHQ 'H]H VFKDDO NXQ MH RRN EHWHU JHEUXLNHQ RP QHXWUDOH DQWZRRUGHQ WH YRRUNRPHQ RPGDW ]H PHHU UHN JHHIWLQGHDQWZRRUGPRJHOLMNKHGHQ +HW LV GXV QLHW JHPDNNHOLMN RP WH ]HJJHQ ZHONH VFKDDO KHW PHHVW EHWURXZEDDU LV 9RRU DOOHEHLLVZDWWH]HJJHQ9DQXLWGHSV\FKRPHWULH HQ PHHWWKHRULH ]LMQ HU HFKWHU DDQZLM]LQJHQ JHYRQGHQ GDW YHHO UHVSRQGHQWHQ ERYHQ GH YLMI DQWZRRUGFDWHJRULHsQ JHHQ ]LQQLJ RQGHUVFKHLG PHHU NXQQHQ PDNHQ %U\PDQ (Q DDQJH]LHQ HU RQGHU GH UHVSRQGHQWHQ YDQ RQV RQGHU]RHN RRN OHHUOLQJHQ XLW GH RQGHUERXZ ]DWHQ HQ GLH LQ HHQ YHUYROJRQGHU]RHN RRN YHUWHJHQZRRUGLJG NXQQHQ ]LMQ LV KHW

ZDDUVFKLMQOLMN YHUVWDQGLJHU RP YDQ HHQ SXQWV VFKDDO JHEUXLN WHPDNHQ:DQW GDW RQGHUERXZ OHHUOLQJHQHHQ JRHGRQGHUVFKHLG NXQQHQPDNHQ WXVVHQ ]HYHQ YHUVFKLOOHQGH DQWZRRUGPRJHOLMN KHGHQOLMNWRQVKRRJVWRQZDDUVFKLMQOLMN ,PSOLFDWLHV YRRU GH SUDNWLMN DDQGDFKWV SXQWHQYRRUGHFXUVXV'LGDFWLVFK&RDFKHQ %LM KHW DQDO\VHUHQ YDQ GH YUDJHQOLMVW 9LVLH RS IHHGEDFN ZHUG GXLGHOLMN GDW KHW DO EHKRRUOLMN ODVWLJ LV RP GH DQWZRRUGHQ YDQ GRFHQWHQ WH UHODWHUHQ DDQ EHJULSSHQ YDQ 'LGDFWLVFK &RDFKHQ +HW ZHUG RRN GXLGHOLMN GDW YHHO GRFHQWHQ HHQ EHSHUNW EHHOG KHEEHQ ZDW EHWUHIW IHHGEDFN ,Q GH FXUVXV PRHW GDDURP HHUVW DDQGDFKWZRUGHQEHVWHHGDDQZDWIHHGEDFNLVHQ ZDDURP KHW EHODQJULMN LV 'DDUELM YLQGHQ GRFHQWHQ KHW PRHLOLMN RP ELMYRRUEHHOG GH PDQLHUHQGHVLWXDWLHYDQIHHGEDFNXLWHONDDUWH KDOHQ 'H FXUVXV 'LGDFWLVFK &RDFKHQ NDQ KLHU JRHG RS LQKDNHQ RPGDW GH ZHUNIRUPXOH LQFOXVLHI GH GLPHQVLHV HQ NHQPHUNHQ IHHGEDFN JHYHQFRQFUHHWNXQQHQPDNHQ +HW EOHHN WLMGHQV KHW REVHUYHUHQ YDQ OHVVHQ QRJ VWHUNHU GDW GH EHJULSSHQ YDQ 'LGDFWLVFK &RDFKHQ QLHW YROGRHQGH DDQVOXLWHQ RP KHW JHGUDJ YDQ GRFHQWHQ ZHHU WH JHYHQ 'DDUELM EOLMYHQYHHOGRFHQWHQWRFKKDQJHQLQLQVWUXFWLHV RIGHFRUUHFWLHYDQJHGUDJ'LGDFWLVFK&RDFKHQ ]HW KLHU ZHO RS LQ PHW YLGHRLQWHUYHQWLH HQ RQOLQH FRDFKLQJ GRRU PLGGHO YDQ HHQ ]RJH QDDPG RRUWMH $IJDDQGH RS KHW YHUVFKLO GDW GRFHQWHQDDQJHYHQWXVVHQKXQKXLGLJHKDQGHOHQ HHQ KXQ LGHDDO NDQ DDQJHQRPHQ ZRUGHQ GDW GRFHQWHQ ]LFK ZHO EHZXVW ]XOOHQ ]LMQ YDQ KXQ OHHUZHQVHQ HQ KLHUGRRU ZHOOLFKW HUJ RSHQ VWDDQ GRRUGHFXUVXV 7HQVORWWH JHHIW 'LGDFWLVFK &RDFKHQ DDQ GDW GH PRWLYDWLH YDQ OHHUOLQJHQ ]HNHU YHUJURRW ]DO ZRUGHQGRRUHIIHFWLHYH IHHGEDFNPDDUGLWPDJ RRN YHUGHU WKHRUHWLVFK RQGHUERXZG HQ ZHOOLFKW JHUHODWLYHHUG ZRUGHQ RPGDW PRWLYDWLH YDQ PHHUGHUHIDFWRUHQDIKDQNHOLMNLV $OJHPHQHHYDOXDWLH 7HUXJNLMNHQG RS KHW KXLGLJH RQGHU]RHN LV KHW EHODQJULMNRPWHYHUPHOGHQGDWKHWODVWLJLVZDW


EHWUHIW RUJDQLVDWLH RP HHQ GHUJHOLMN RQGHU]RHN JRHGXLWWHYRHUHQ'HRQGHU]RHNVJURHSZDVYULM JURRW ZDW ]RZHO KHW SODQQHQYDQGHXLWYRHULQJ DOVHHQJRHGHFRPPXQLFDWLHEHOHPPHUW7HUZLMO JRHGH DIVSUDNHQ HQ HIILFLsQW RYHUOHJ MXLVW ELM ]R¶Q JURRW HQ RPYDQJULMN SURMHFW XLWHUPDWH EHODQJULMN]LMQ (HQ WZHHGH EHODQJULMN SXQW LV GDW GLW RQGHU]RHN HLJHQOLMN WH ODDW LV RSJHVWDUW 'LW NZDPRQGHUDQGHUHGRRURQGXLGHOLMNKHLGDDQGH NDQW YDQ GH XQLYHUVLWHLW HQ DDQ GH NDQW YDQ GH RSGUDFKWJHYHUV YDQXLW VFKRRO 9RRUGDW ]R¶Q RQGHU]RHN GDQ VWDUWNODDU VWDDW LV HHQ VFKRROMDDU ]R YRRUELM +HW YHUGLHQW HHQ KHOH VWHUNH YRRUNHXU RP OHVREVHUYDWLHV HQ YUDJHQOLMVWHQ

XLWHUOLMNLQPDDUWWHNXQQHQGRHQRPGDWKHWGDQ HHQ EHWUHNNHOLMN UXVWLJH SHULRGH LV RS HHQ YRRUWJH]HW RQGHUZLMV HQ HU PLQGHU UHNHQLQJ JHKRXGHQ KRHIW WH ZRUGHQ PHW H[FXUVLH DFWLYLWHLWHQWRHWVHQHQYULMHYDNDQWLHGDJHQ


/LWHUDWXXU

%DQGXUD$ 6RFLDO)RXQGDWLRQVRI7KRXJKWDQG$FWLRQ$6RFLDO&RJQLWLYH7KHRU$QJOHZRRG&OLIIV1-3UHQWLFH +DOO %RV: 9RHUPDQ/ *RHG]RLVRQYROGRHQGH«:DWZHO"9DQWRW %U\PDQ$ 6RFLDO5HVHDUFK0HWKRGV2[IRUG8QLYHUVLW\3UHVV7KH8QLWHG.LQJGRP 'XLMQKRXZHU+ )HHGEDFNHIIHFWVRQVWXGHQWV¶ZULWLQJPRWLYDWLRQSURFHVVDQGSHUIRUPDQFH8QSXEOLVKHGGRFWRUDO WKHVLV8WUHFKW8QLYHUVLW\7KH1HWKHUODQGV (OOLRW$- 0F*UHJRU+$ $îDFKLHYHPHQWJRDOIUDPHZRUN-RXUQDORI3HUVRQDOLW\DQG6RFLDO3V\FKRORJ\ ± *XD$9DOOHUDQG5-HQ%ODQFKDUG& 2QWKH$VVHVVPHQWRI6LWXDWLRQDO,QWULQVLFDQG([WULQVLF0RWLYDWLRQ7KH 6LWXDWLRQDO0RWLYDWLRQ6FDOH6,06 0RWLYDWLRQDQG(PRWLRQ

+DUW+µW%RHLMH+ +R[-UHG 2QGHU]RHNVPHWKRGHQ$PVWHUGDP%RRP +DWWLH- 7LPSHUOH\+ 7KHSRZHURIIHHGEDFN5HYLHZRIHGXFDWLRQDO UHVHDUFK ,OJHQ'5)LVKHU&' 7D\ORU06 &RQVHTXHQFHVRILQGLYLGXDOIHHGEDFN RQEHKDYLRULQRUJDQL]DWLRQV-RXUQDORI$SSOLHG3V\FKRORJ\ .OXJHU$1'H1LVL$ 7KHHIIHFWVRIIHHGEDFNLQWHUYHQWLRQVRQSHUIRUPDQFHDKLVWRULFDOUHYLHZDPHWDDQDO\VLVDQGD SUHOLPLQDU\IHHGEDFNLQWHUYHQWLRQWKHRU\3V\FKRO%XOO 0F&DUWK\30HLHU6 5LQGHUHU5 6HOIHIILFDF\DQGZULWLQJ&ROOHJH&RPSRVLWLRQDQG&RPPXQLFDWLRQ 3DMDUHV) 9DOLDQWH* 6HOIHIILFDF\EHOLHIVDQGPRWLYDWLRQLQZULWLQJGHYHORSPHQW,Q&0DF$UWKXU6*UDKDP -)LW]JHUDOG(GV +DQGERRNRIZULWLQJUHVHDUFKSS± 1HZ
6RO<% 6WRNNLQJ.0 0RQGHOLQJHIHHGEDFNELM]HOIVWDQGLJZHUNHQ,QWHUDFWLHWXVVHQGRFHQWHQHQOHHUOLQJHQLQKHW 928WUHFKW8QLYHUVLWHLW8WUHFKW 9DQGH5LGGHU-000F*DJKLH:&6WRNNLQJ.07HQ&DWH7K- :KDWLVIHHGEDFNLQFOLQLFDOHGXFDWLRQ" 0HGLFDO(GXFDWLRQ 9RHUPDQ/ )DEHU) *RHG]RLVRQYROGRHQGH9DQWRW =LPPHUPDQ% %DQGXUD$ ,PSDFWRIVHOIUHJXODWRU\LQIOXHQFHVRQZULWLQJFRXUVHDWWDLQPHQW$PHULFDQ(GXFDWLRQ 5HVHDUFK-RXUQDO


%LMODJH9UDJHQOLMVWYLVLHRSIHHGEDFNGRFHQWHQ

9UDJHQOLMVWGRFHQWHQ 9UDDJ,%UDLQVWRUPHQRYHUGHEHWHNHQLVYDQKHWJHYHQYDQIHHGEDFN 6FKULMIDOOHZRRUGHQHQEHJULSSHQRSGLHWHELQQHQVFKLHWHQDOVXGHQNWDDQKHWJHYHQYDQ IHHGEDFN0DDNJURHSMHVYDQZRRUGHQRIEHJULSSHQGLHQDDUXLGHHELMHONDDUKRUHQ 9UDDJ,,9UDJHQOLMVWRYHUGHYLVLHHQRSYDWWLQJHQRYHUKHWJHYHQYDQIHHGEDFN 'HYROJHQGHYUDJHQKHEEHQEHWUHNNLQJRSGHYLVLHHQRSYDWWLQJHQRYHUKHWJHYHQYDQ IHHGEDFN%HDQWZRRUGWGHYROJHQGHYUDJHQLQPD[LPDDO]LQQHQ 'HIXQFWLHYDQKHWJHYHQYDQIHHGEDFNDDQOHHUOLQJHQLQKHWRQGHUZLMVLVYROJHQVPLM $OVLNIHHGEDFNJHHIZLOLNEHUHLNHQGDWGHOHHUOLQJJHHIGRHOHQ DDQ $OVLNIHHGEDFNJHHIULFKWLNPHRSGHYROJHQGHDVSHFWHQ $OVLNIHHGEDFNJHHIYHUZLMVLNQDDU $OVLNIHHGEDFNJHHIDDQHHQOHHUOLQJKRXGLNUHNHQLQJPHW %LMGHWLPLQJLQKHWJHYHQYDQGHIHHGEDFNOHWLNRS ,QPLMQEHZRRUGLQJHQELMKHWJHYHQYDQIHHGEDFNOHWLNRS $OVLNIHHGEDFNDDQHHQOHHUOLQJKHEJHJHYHQGDQYLQGLNKHWEHODQJULMNGDW 6SHFLILHNRSGH]HVFKRROLVKHWEHODQJULMNGDWLNELMKHWJHYHQYDQIHHGEDFNDDQGDFKW EHVWHHGDDQ )HHGEDFNJHHILNELMYRRUEHHOGRSGHYROJHQGHPDQLHUHQJUDDJYRRUEHHOGHQJHYHQ )HHGEDFNJHHILNELMYRRUEHHOGLQGHYROJHQGHVLWXDWLHVJUDDJYRRUEHHOGHQJHYHQ )HHGEDFNJHYHQGRHLNRSLQLWLDWLHIYDQHYHQWXHHOWRHOLFKWHQRSEDVLVYDQ YRRUEHHOGHQ


9UDDJ,,,*HYHQYDQIHHGEDFNDDQOHHUOLQJHQ ,QGH]HODDWVWHYUDDJ]LHWXHHQWDEHORYHUKHWJHYHQYDQIHHGEDFN$OOHUHHUVWYXOWXGH NRORPµ'LWGRHLNQX¶LQZDDUELMKHWJDDWRPKHWKXLGLJHKDQGHOHQ'HWZHHGHNRORPµ'LW YLQGLNEHODQJULMNRPWHGRHQ¶YXOWXGDDUQDLQZDDUELMKHWJDDWRPKRHX]RXZLOOHQ KDQGHOHQ 'LWGRHLNQX'LWYLQGLNEHODQJULMNRPWHGRHQ +HOHPDDO :HO 0HHVWDO :HO 'HHOVQLHW GHHOVZHO 0HHVWDO 1LHW +HOHPDDO QLHW

+HOHPDDO :HO 0HHVWDO :HO 'HHOVQLHW GHHOVZHO 0HHVWDO 1LHW +HOHPDDO QLHW

*HHIELMHONHXLWVSUDDN DQWZRRUGRSGHWZHHYUDJHQ

,NJHHIIHHGEDFNRSGH UHVXOWDWHQJHPDDNWH 22222 22222 RSGUDFKWHQSURGXFWHQ 'RRUPLMQIHHGEDFNOHUHQ OHHUOLQJHQKRH]HRSGUDFKWHQ 22222 22222 NXQQHQDDQSDNNHQ 'RRUPLMQIHHGEDFNOHUHQ OHHUOLQJHQKRH]HKXQZHUN]HOI 22222 22222 NXQQHQEHRRUGHOHQ 'RRUPLMQIHHGEDFNOHUHQ OHHUOLQJHQZDW]HPRHWHQGRHQ 22222 22222 RPHHQYROGRHQGHWHKDOHQ ,NYUDDJOHHUOLQJHQZDDURS]H 22222 22222 ]HOIJUDDJIHHGEDFNZLOOHQ KHEEHQ ,NOHJXLWZDDURPGHOHHUOLQJ LHWVJRHGRIQLHWJRHGGRHW 22222 22222 ,N]HJWHJHQGHOHHUOLQJHQZDW DOGXLGHOLMNEHWHUJDDWGDQ 22222 22222 HHUGHU 0LMQIHHGEDFNEHVWDDWXLW YRRUEHHOGHQYDQKRHKHWEHWHU 22222 22222 NDQ ,NJDQDRIOHHUOLQJHQGH 22222 22222 IHHGEDFNEHJULMSHQ ,NODDWOHHUOLQJHQPHWHONDDU GLVFXVVLsUHQRYHUIHHGEDFN 22222 22222 ,NJDQDRIOHHUOLQJHQGH IHHGEDFNJHEUXLNHQ 22222 22222 %HGDQNWYRRUKHWLQYXOOHQYDQGH]HYUDJHQHQZLM]LHQXJUDDJELMKHWOHVEH]RHN


%LMODJH6FRUHIRUPXOLHUREVHUYDWLHV

+HW VFRULQJVIRUPXOLHU LV JHEDVHHUG RS GDW YDQ 6RO HQ 6WRNNLQJ PDDU LV LQ ]RYHUUH DQGHUV GDW ZH GH NRORP µIUDJPHQW¶KHEEHQJHZLM]LJGLQµDDQWDONHHUZDDUJHQRPHQLQGLYLGXHHOHQRINODVVLNDDO¶'LWLVJHGDDQRPGDWEHKDOYHGH VSHFLILHNHYRUPYDQIHHGEDFNRRNGHIUHTXHQWLHYDQGHIHHGEDFNPHWHQPRHVWZRUGHQ+RHYDDNKDQWHHUWHHQGRFHQWHHQ EHSDDOGHYRUPYDQIHHGEDFNLQ]LMQOHV"+LHURQGHUVWDDWGHXLWOHJRYHUKHWREVHUYDWLHIRUPXOLHU6RO 6WRNNLQJ 6FRULQJYDQIHHGEDFNDFWLYLWHLWHQ 2S EDVLV YDQ GH OLWHUDWXXU XLW KRRIGVWXN 6RO HQ 6WRNNLQJ LV JHNHNHQ ZHONH YHUVFKLOOHQGH GRFHQWDFWLYLWHLWHQ RQGHUVFKHLGHQ NXQQHQ ZRUGHQ WLMGHQV VLWXDWLHV ZDDUELM OHHUOLQJHQ ]HOIVWDQGLJ DDQ KHW ZHUN ]LMQ HQ GH GRFHQW GH OHHUOLQJHQ IHHGEDFNJHHIW +LHUELM LV XLWJHJDDQ YDQ HHQ EUHGH UDQJH DDQ GRFHQWDFWLYLWHLWHQ ZDDUELM GH IHHGEDFN LQ HQJHUH ]LQ LV XLWJHEUHLG QDDU FRDFKLQJHQWXWRULQJ'LWVOXLWDDQELMGHUHDOLWHLWLQGHNODVRIRSKHWOHHUSOHLQZDDUELMHHQVLWXDWLHZDDULQIHHGEDFNZRUGW JHJHYHQRQGHUGHHOYRUPWYDQHHQGLDORRJWXVVHQGRFHQWHQOHHUOLQJHQ 'HGLUHFWHIHHGEDFNVWDDWYDDNQLHWRS]LFK]HOI PDDUYRUPWRQGHUGHHOYDQRIJDDWQDDGORRVRYHULQHHQJHVSUHN 'HGRFHQWDFWLYLWHLWHQGLHKLHURQGHUZRUGHQEHVFKUHYHQ]LMQGDDURPJHEDVHHUGRSOLWHUDWXXURYHUIHHGEDFN6KXWH FRDFKHQ 9HHQKRYHQ WXWRULQJ &KL &KL 6LOHU -HRQJ


,QGLYLGXHHO.ODVVLNDDO


%LMODJH9UDJHQOLMVWOHHUOLQJHQRYHUIHHGEDFN

9UDJHQOLMVW/HHUOLQJHQ 9RRUMHOLJWHHQYUDJHQOLMVWRYHUKHWRQGHUZHUSIHHGEDFNLQGHNODV'HYUDJHQOLMVWPDDNW GHHOXLWYDQHHQRQGHU]RHNYDQGHVFKRROGDWLQVDPHQZHUNLQJPHWGH8QLYHUVLWHLW8WUHFKW ZRUGWXLWJHYRHUG+HWLVGHEHGRHOLQJGDWZHGRRUMXOOLHDQWZRRUGHQHHQEHWHUHLQGUXN NULMJHQYDQGHPDQLHUZDDURSHUQXLQGHNODVIHHGEDFNGRRUGRFHQWHQZRUGWJHJHYHQHQ YDQGHIHHGEDFNGLHMXOOLHQRJJUDDJ]RXGHQZLOOHQ]LHQ 'HYUDJHQOLMVWLVDQRQLHPHU]XOOHQJHHQSHUVRRQOLMNHJHJHYHQVYDQMHJHYUDDJGZRUGHQHQ MHKRHIWMHQDDPHUGXVRRNQLHWRSWH]HWWHQ3UREHHUGHYUDJHQOLMVWGDQRRN]RVHULHXV PRJHOLMNLQYXOOHQGDQNDQGHVFKRROYDQMXOOLHUHVXOWDWHQJHEUXLNPDNHQ 'HYUDJHQOLMVWEHVWDDWXLWYLHUNDQWMHVGLHMHPRHWLQNOHXUHQPHWHHQ]ZDUWHRIEODXZHSHQ $OVMHHHQIRXWPDDNWRIELMQDGHULQ]LHQWRFKHHQDQGHUDQWZRRUGZLOWNLH]HQ]HWMHHHQ NUXLVMHGRRUKHWIRXWHDQWZRRUGHQNOHXUMHJHZRRQKHWDQGHUHYLHUNDQWMHLQ'XV]R $OYDVWEHGDQNWYRRUKHWLQYXOOHQ +HWRQGHU]RHNVWHDP

$OJHPHQHYUDJHQ ,NEHQHHQ« -RQJHQ 0HLVMH ,N]LWLQNODV« /HHIWLMGLQMDUHQ«MDDU 'RHMHGLWMDDUYRRUGHWZHHGHNHHU" -D 1HH


=±YUDJHQ *HHIDDQLQZHONHPDWHGHRQGHUVWDDQGHXLWVSUDNHQZDDU]LMQYRRUMRX ,NGHQNGDWLNHHQJRHGHEHRRUGHOLQJJDKDOHQYRRUGHRSGUDFKWHQELMGLWYDNYDQGH]H OHUDDU

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

,NYHUWURXZHQHURSGDWLNGHRSGUDFKWHQGLHYRRUGLWYDNJHGDDQPRHWHQZRUGHQ]DO EHJULMSHQKRHPRHLOLMN]HRRN]LMQ

'HEDVLVEHJULSSHQYDQGH]HRSGUDFKWHQELMGLWYDNNULMJLNLQLHGHUJHYDORQGHUGHNQLH

,NYHUWURXZHURSGDWLNRRNGHLQJHZLNNHOGHRQGHUZHUSHQGLHGH]HOHUDDULQGH RSGUDFKWHQEHKDQGHOW]DOEHJULMSHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

,NEHQYROYHUWURXZHQGDWLNPLMQRSGUDFKWHQHQWRHWVHQELMGLWYDNKHHOJRHGJDPDNHQ

,NYHUZDFKWGDWLNYRRUGH]HRSGUDFKWHQYDQGLWYDNJHPDNNHOLMNHHQYROGRHQGH EHRRUGHOLQJKDDO

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU


,NZHHW]HNHUGDWLNGHYDDUGLJKHGHQGLHMHELMRSGUDFKWHQLQGLWYDNOHHUWJDEHKHHUVHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

:DQQHHULNNLMNQDDUGHHLVHQYDQGH]HRSGUDFKWHQQDDUGHOHUDDUHQQDDUZDWLNDONDQ HQZHHWGDQZHHWLN]HNHUGDWLNHHQJRHGHEHRRUGHOLQJNULMJYRRUGLWYDN

0±YUDJHQ :DDURPVSDQMHMHLQYRRUGHRSGUDFKWHQELMGLWYDNELMGH]HOHUDDU" 2PGDWLNKHWZHUNHQDDQGH]HRSGUDFKWHQLQWHUHVVDQWYLQG

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWKHWYRRUPLMQHLJHQEHVWZLOLV

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWKHWYDQPHYHUZDFKWZRUGW

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

(U]XOOHQJRHGHUHGHQHQ]LMQRPGLWWHGRHQPDDUSHUVRRQOLMN]LHLN]HQLHW

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU


2PGDWLNGHQNGDWGLWOHXNLV

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWLNGHQNGDWGH]HDFWLYLWHLWJRHGYRRUPHLV

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWKHWLHWVLVGDWLNPRHWGRHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

,NGRHGLWPDDULNZHHWQLHW]HNHURIKHWGHPRHLWHZDDUGLV

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWKHWZHUNHQKLHUDDQOHXNLV

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWLNKHW]HOIEHVORWHQKHE

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWLNJHHQNHX]HKHE

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU


,NZHHWKHWQLHWLN]LHQLHWZDWKHWZHUNHQDDQGH]HRSGUDFKWHQPLMRSOHYHUW

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWLNPHJRHGYRHODOVLNKLHUDDQZHUN

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWLNGHQNGDWGH]HDFWLYLWHLWEHODQJULMNYRRUPHLV

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

2PGDWLNKHWJHYRHOKHEGDWLNKHWPRHWGRHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

,NGRHGLWZHOPDDULNZHHWQLHW]HNHURIKHWJRHGLVRPHUPHHGRRUWHJDDQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU


9UDJHQOLMVW/HHUOLQJHQ 9RRUMHOLJWHHQWZHHGHYUDJHQOLMVWRYHUKHWRQGHUZHUSIHHGEDFNLQGHNODV'H]HYUDJHQOLMVW JDDWRYHUGHIHHGEDFNGLHMXOOLHYDQGDDJJHNUHJHQKHEEHQLQGHNODV 'HYUDJHQOLMVWLVZHHUDQRQLHPHU]XOOHQJHHQSHUVRRQOLMNHJHJHYHQVYDQMHJHYUDDJG ZRUGHQHQMHKRHIWMHQDDPHUGXVRRNQLHWRSWH]HWWHQ3UREHHUGHYUDJHQOLMVWZHHU]R VHULHXVPRJHOLMNLQYXOOHQGDQNDQGHVFKRROYDQMXOOLHUHVXOWDWHQJHEUXLNPDNHQ 'HYUDJHQOLMVWEHVWDDWXLWYLHUNDQWMHVGLHMHPRHWLQNOHXUHQPHWHHQ]ZDUWHRIEODXZHSHQ $OVMHHHQIRXWPDDNWRIELMQDGHULQ]LHQWRFKHHQDQGHUDQWZRRUGZLOWNLH]HQ]HWMHHHQ NUXLVMHGRRUKHWIRXWHDQWZRRUGHQNOHXUMHJHZRRQKHWDQGHUHYLHUNDQWMHLQ'XV]R $OYDVWEHGDQNWYRRUKHWLQYXOOHQ +HWRQGHU]RHNVWHDP )±YUDJHQ 'HYROJHQGHYUDJHQJDDQRYHUGHIHHGEDFNGLHMHYDQGHGRFHQWKHEWJHNUHJHQGH]H OHV.ORSSHQGHXLWVSUDNHQ".UXLVKHWYDNMHDDQGDWKHWEHVWELMMRXDQWZRRUGSDVW 'HIHHGEDFNZDVGXLGHOLMN

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

,NYRQGGHIHHGEDFNWHUHFKW

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNJLQJRYHUZDWJRHGJLQJRIJRHGZDVJHGDDQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU


'HIHHGEDFNJLQJRYHUZDWQRJQLHWJRHGZDVRIQRJQLHWJRHGJLQJ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNJDIKHHOSUHFLHVDDQZDWHUJRHGJLQJRIZDWHUDQGHUVPRHVW

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNNZDPSRVLWLHIRYHU

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNNZDPQHJDWLHIRYHU

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNJLQJRYHUGHXLWYRHULQJYDQGHRSGUDFKW

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNJLQJRYHUGHDDQSDNYDQGHRSGUDFKW

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU


'HIHHGEDFNJLQJRYHUPLMQZHUNKRXGLQJ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNJLQJRYHUPLMQSHUVRRQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNJLQJRYHUVDPHQZHUNHQQLHWLQYXOOHQDOVMHKHWDOOHHQPRHVWGRHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNJLQJRYHUZDWLNDOKDGJHPDDNW

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNPDDNWHGXLGHOLMNZDDUDDQGHRSGUDFKWPRHVWYROGRHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNPRWLYHHUGHPHRPYHUGHUWHZHUNHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU


'HIHHGEDFNZDVOHHU]DDP

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNZDVEUXLNEDDU

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'RRUGHIHHGEDFNZLVWLNZDWLNPRHVWGRHQRPYHUGHUWHNXQQHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNJDIPHGHNDQVPLMQZHUNWHYHUEHWHUHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU

'HIHHGEDFNYDQGHOHUDDUJDIPLMVXJJHVWLHVRPPH]HOIWHYHUEHWHUHQ

+HOHPDDO QLHWZDDU

+HOHPDDO ZDDUYRRU


%LMODJH7\SHPRWLYDWLHXLWJHVSOLWVW 0RWLYDWLH ,QWULQVLHNHPRWLYDWLH x 2PGDWLNKHWZHUNHQDDQGH]HRSGUDFKWHQLQWHUHVVDQWYLQG x 2PGDWLNGHQNGDWGLWOHXNLV x 2PGDWKHWZHUNHQKLHUDDQOHXNLV x 2PGDWLNPHJRHGYRHODOVLNKLHUDDQZHUN *HwGHQWLILFHHUGHUHJXODWLH x 2PGDWGLWYRRUPLMQHLJHQEHVWZLOLV x 2PGDWLNGHQNGDWGH]HDFWLYLWHLWJRHGYRRUPHLV x 2PGDWLNKHW]HOIEHVORWHQKHE x 2PGDWLNGHQNGDWGH]HDFWLYLWHLWEHODQJULMNYRRUPHLV ([WHUQHUHJXODWLH x 2PGDWKHWYDQPHYHUZDFKWZRUGW x 2PGDWKHWLHWVLVGDWLNPRHWGRHQ x 2PGDWLNJHHQNHX]HKHE x 2PGDWLNKHWJHYRHOKHEGDWLNKHWPRHWGRHQ $PRWLYDWLH x (U]XOOHQJRHGHUHGHQHQ]LMQRPGLWWHGRHQPDDUSHUVRRQOLMN]LHLN]HQLHW x ,NGRHGLWPDDULNZHHWQLHW]HNHURIKHWGHPRHLWHZDDUGLV x ,NZHHWKHWQLHWLN]LHQLHWZDWKHWZHUNHQDDQGH]HRSGUDFKWHQPLMRSOHYHUW x ,NGRHGLWZHOPDDULNZHHWQLHW]HNHURIKHWJRHGLVRPHUPHHGRRUWHJDDQ )HHGEDFN $FFHSWDWLHHQEUXLNEDDUKHLGYDQIHHGEDFN 'HIHHGEDFNZDVGXLGHOLMN ,NYRQGGHIHHGEDFNWHUHFKW 'HIHHGEDFNJLQJRYHUZDWJRHGJLQJRIJRHGZDVJHGDDQ 'HIHHGEDFNJDIKHHOSUHFLHVDDQZDWHUJRHGJLQJRIZDWHUDQGHUVPRHVW 'HIHHGEDFNNZDPSRVLWLHIRYHU 'HIHHGEDFNZDVOHHU]DDP 'HIHHGEDFNZDVEUXLNEDDU 'RRUGHIHHGEDFNZLVWLNZDWLNPRHVWGRHQRPYHUGHUWHNXQQHQ 'HIHHGEDFNJDIPHGHNDQVPLMQZHUNWHYHUEHWHUHQ $DQZLM]LQJHQJHULFKWRSKHWSURFHV 'HIHHGEDFNJLQJRYHUZDWQRJQLHWJRHGZDVRIQRJQLHWJRHGJLQJ 'HIHHGEDFNJLQJRYHUGHXLWYRHULQJYDQGHRSGUDFKW 'HIHHGEDFNJLQJRYHUGHDDQSDNYDQGHRSGUDFKW 'HIHHGEDFNJLQJRYHUZDWLNDOKDGJHPDDNW 'HIHHGEDFNPDDNWHGXLGHOLMNZDDUDDQGHRSGUDFKWPRHVWYROGRHQ 'HIHHGEDFNYDQGHOHUDDUJDIPLMVXJJHVWLHVRPPH]HOIWHYHUEHWHUHQ

&URQEDFK¶V DOSKD

&URQEDFK¶V DOSKD


%LMODJH'RFHQWHQYUDJHQOLMVWGHHO,$VVRFLDWLHVELMIHHGEDFN :RRUGHQ

$DQWDO GRFHQWHQ /HUHQ OHHUSURFHV [[[ ,QKRXGHOLMN [[ UHDJHUHQ %HYHVWLJHQ [[[

6WXUHQ

[[[[[

7HUXJNRSSHOLQJ

[[[[

$VVRFLDWLHRI DOWHUQDWLHYHIRUPXOHULQJ GXVRSERXZHQG XLWOHJJHQ

'LGDFWLVFK &RDFKHQ 'LP 'LP

=HOIYHUWURXZHQ +HUNHQGHQHUNHQGZRUGHQ 3HUVRRQOLMNZHOEHYLQGHQ $DQGDFKW VSUHLGHQ GRRU VWLPXOHUHQRIUHPPHQ KHOSHQ $IJHVWHPG RS LQKRXG HQ RS OHHUOLQJ 3DVVHQGELMRQWYDQJHU

'LP %%'LP 'LP %%

&RPSOLPHQW

[[[[[

'XLGHOLMN

;

%HORQHQ 5HVXOWDWHQ 5HIOHFWHUHQ (YDOXHUHQ /DFKHQRP 3RVLWLHI 2SERXZHQG

; [[ [[

[ [[[[[ [

.HQPHUNSRVLWLHI .HQPHUNSRVLWLHI .HQPHUNSRVLWLHI

[ [

$ %% &

[[ [

1DGHQNHQ

%% %%

[[[[[

%HWHUH UHODWLH PHW OHHUOLQJHQ NULMJHQ ,QGLYLGXHHORIRSGHJURHS

$DQGDFKWVSXQW FRPSOLPHQWHQ

LQJHEHG

LQ .HQPHUNSRVLWLHI .HQPHUN VSHFLILHN .HQPHUNSRVLWLHI .HQPHUN9+7 .HQPHUN9+7

9HUGHUKHOSHQ 6SLHJHO 2IQHJDWLHI

/XLVWHUHQ 9UDJHQ GRRUYUDJHQ %HZXVWZRUGLQJ 2QGHUVWHXQLQJ

/HHUOLQJGRFHQW OHHUOLQJOHHUOLQJ YHUVFKLOOHQGH LQWHUDFWLHV 9HUEDDO ± QRQ YHUEDDO %HRRUGHOHQ $OWLMGQRGLJ &RPPHQWDDU 9HUEHWHUHQ +HUKDOLQJ *HGUDJ FRUULJHUHQ *RHGRIIRXW

[[[[[ [ [ [ [ [ [[[ [

0RQGHOLQJ %LMQDDOOHVZDWMH]HJW

7LPLQJNDQODVWLJ]LMQ


%LMODJH'RFHQWHQYUDJHQOLMVWGHHO,,,JHPLGGHOGHUHVXOWDWHQELMKHWJHYHQYDQIHHGEDFNDDQ OHHUOLQJHQGRRUGRFHQWHQ

9UDDJ 9UDDJ)%JHYHQRSUHVXOWDWHQ RSGUDFKWHQ 9UDDJ )% ]RGDW OHHUOLQJHQ OHUHQ KRH ZHUN ]HOI DDQ WH SDNNHQ 9UDDJ )% ]RGDW OHHUOLQJHQ OHUHQ]LFK]HOIEHRRUGHOHQ 9UDDJ )% ]RGDW OHHUOLQJHQ ZHWHQKRHYROGRHQGHWHKDOHQ 9UDDJ GRFHQW YUDDJW ZDDURS OHHUOLQJHQ)%ZLOOHQ 9UDDJGRFHQWOHJWXLWZDDURP OHHUOLQJH LHWV JRHG RI QLHW JRHG GRHW 9UDDJ GRFHQW JHHIW DDQ ZDW JDDWEHWHUJDDW 9UDDJ GRFHQW JHHIW YRRUEHHOGHQ YDQ KRH KHW EHWHU NDQ 9UDDJ GRFHQW FKHFNW RI OHHUOLQJHQ)%EHJULMSHQ 9UDDJ GRFHQW ODDW OHHUOLQJHQ GLVFXVVLsUHQRYHU)% 9UDDJ GRFHQW FKHFNW RI OHHUOLQJHQ)%JHEUXLNHQ

1

*HPLGGHOGH 1X

*HPLGGHOGH ,GHDDO

VG 1X

WYRRU VG YHUVFKLO1X ,GHDDO HQ,GHDDO 6LJ

42 Mondelinge feedback en leerling motivatie in de klas $OV LN IHHGEDFN JHHI ULFKW LN PH RS GH YROJHQGHDVSHFWHQ OHHUOLQJ PRHW YHUGHU NXQQHQ PHW RSGUDFKW OHHUOLQJ PRHW ZHWHQ ZDW ]LMQ DDQGHHO LQ GH DDQSDNLV]HOIQDNXQQHQGHQNHQ WDDOWRRQYDNWDDOJHGUDJ

YHUZHUNHQ YDQ GH VWRI YHUEHWHUHQ YDQ SURGXFWHQPRWLYHUHQ /HUHQ]HOIYHUWURXZHQWHNULMJHQ 'DDU]LMQYRRUGHHOPHHGRHW 3RVLWLHI]LMQ /HHUOLQJHQLHWVDDQOHUHQ =HOI DDQ KHW GHQNHQ JDDQ HQ LHWV OHUHQ YDQ GH .RPWKHWDDQ VLWXDWLH 5HVXOWDDWJHULFKW KXQNHQQLVHQRIYDDUGLJKHGHQYHUJURWHQ GHLQKRXGHQGHYRUPYDQGHIHHGEDFN %HODQJULMN]RGDWGHOHHUOLQJHQZHWHQRI]HLQGH %HZXVWZRUGWYDQGHVWRI ,Q HHUVWH LQVWDQWLH YUDDJ YDQXLW GH OHHUOLQJ JRHGHULFKWLQJGHQNHQ 3RVLWLHIRSERXZHQG KHWVWXUHQHQEHJHOHLGHQYDQOHHUOLQJHQ]RGDW]H YHUWURXZHQKHHIWJHPRWLYHHUGLVRPDDQGHVODJ GH OHHUOLQJ SHUVRRQOLMN GH ZLM]H ZDDURS GH KXQ HLJHQ NUDFKW JDDQ HUNHQQHQ HQ YDQ WHJDDQGHOHHUOLQJ]LFKRS]LMQJHPDNYRHOW OHHUOLQJLQGHNODVPHHGRHWDQWZRRUGHQZHHW ]ZDNWHV NUDFKWHQ PDNHQ 'H OHHUOLQJ GH RQWZLNNHOLQJYDQGHPHQVLVEHODQJULMNHUGDQGH WHOHUHQVWRI *HGUDJSUHVWDWLHWHVWXUHQ =LFK]HOIYHUEHWHUG (HUOLMN]LMQGXLGHOLMN]LMQ +HWOHHUSURFHVPRJHOLMNPDNHQ )RXWHQ LQ]LHQ JHPRWLYHHUG ]LMQ RP GH]H WH 3RVLWLHYHIHHGEDFN YHUEHWHUHQLQKHWYHUYROJYRRUNRPHQ 'DW GH OHHUOLQJHQ YHUGHU NXQQHQ PHW KHW =LFKJHVWLPXOHHUGYRHOW 3HUVRRQOLMNRSPDDWGXLGHOLMNRSERXZHQG RQGHUZHUSRSGUDFKWWKHRULH

7DEHOD:DWGRFHQWHQ]HJJHQRYHUGHUROYDQIHHGEDFN

$OVLNIHHGEDFNJHHIZLOLNEHUHLNHQGDWGH OHHUOLQJHQJHHIGRHOHQDDQ ZHHW ZDW KLM PRHW GRHQ NHQQLV YHUZHUIW ZHHW ZDDU KLM ZDW NDQ YLQGHQ ZHHW KRH KLM]LM QDDU ]LFK]HOINDQNLMNHQ UHDJHUHQRSJHGUDJHQWDDOJHEUXLNYDQOHHUOLQJHQ %HWHU EHJULMSW ZDW JRHG PDWLJ XLWVWHNHQG HWF jELMVWXUHQYHUEHWHUHQSUHFLVHUHQ LV 'HEDVLVZDDUDOOHVRPGUDDLW

GRFHQW 'HIXQFWLH YDQ KHW JHYHQ YDQIHHGEDFNDDQ QU OHHUOLQJHQLQKHWRQGHUZLMVLVYROJHQVPLM OHHUOLQJHQ OHUHQ RP ]HOI YHUGHU WH NRPHQ LQ NHQQLVDDQSDNHQYDDUGLJKHGHQ

%LMODJH'RFHQWHQYUDJHQOLMVWGHHO,,YLVLHHQRSYDWWLQJHQRYHUKHWJHYHQYDQIHHGEDFN

7DEHOE:DWGRFHQWHQ]HJJHQRYHUGHUROYDQIHHGEDFN

QDY XLWLQJJHGUDJ OHHUOLQJ GXV ]R VQHO PRJHOLMN"" ,N KRXG UHNHQLQJ PHW GH SHUVRRQ (HQ -H PRHW QDWXXUOLMN QLHW RS DOOHV HQ RS HON YRRUEHHOG 'H IHHGEDFN QDDU HHQ RQ]HNHU PRPHQWUHDJHUHQ'DQNRPWHUZHLQLJYDQMHOHV NZHWVEDDU PHLVMH KHHIW HHQ DQGHUH WRRQ HQ WHUHFKW LQKRXG GDQ GH IHHGEDFN QDDU LHPDQG GLH YRRUWGXUHQGYRRU]LMQEHXUWUHDJHHUW ]RPRJHOLMNHLJHQSRVLWLHYHHUYDULQJHQ PHW GH SULYp VLWXDWLH LQGLHQ LN GDDU YDQ DIZHHW JDDW]RQGHUGDWLNGDDUELMQDGHQNKHHODIHQWRH VRPVRRNZHOPHWKHWNDUDNWHUYDQGHOHHUOLQJHQ VWHOLNZDWXLWRPHHQEHWHUPRPHQWWHNLH]HQ LQGLHQLNGDUYROGRHQGHLQ]LFKWLQKHE =LMQJHGUDJRILHWVJRHGGRHQ 'DWLNQLHWQHJDWLHIEHQ 2SKHWRSKHWMXLVWHPRPHQWLV :DWOHHUOLQJHQ]HOIDO]RXGHQPRHWHQ ZHWHQ 2PVWDQGLJKHGHQELMYNODVVLNDDORIQLHW7LMGVWLS *HVWHOGKHLGOHHUOLQJELMYRRUEHHOGQRJWHERRV VRPV EHWHU HYHQ ZDFKWHQ :LH ]LW HU WHJHQRYHU GDQHYHQZDFKWHQ 0RPHQWLQGHOHV PH KHWKDQGHOHQYDQGHOHHUOLQJ GHOHHUOLQJ]RDOVLNGLHNHQHQKHWQLYHDXZDDURS RPVWDQGLJKHGHQ GDW IHHGEDFN DDQNRPW DOWLMG LN KHP LQVFKDW KHW LV LQGLYLGXHHO JHULFKW QLHW YHUJH]HOGYDQLHWVZDWJRHGJDDW JURHSVQRUPDWLHI +HWJHHQ]HDOZHWHQ 'HOHHUOLQJ]HOIKRHYDDNLQGH]HOHHUOLQJDOKHE (HUVW]HOISUREHUHQ JHKROSHQ GH OHHUOLQJ SHUVRRQOLMN GH ZLM]H ZDDURS GH GHOHHUOLQJ]HOIJHGUDJ ZDW YRRU IHHGEDFN LQ GH JURHS RI WRFK OHHUOLQJLQGHNODVPHHGRHWDQWZRRUGHQZHHW LQGLYLGXHHOXLWVWHOOHQRIGLUHFW JHGUDJGLQJHQGLH]HKHEEHQRSJHVFKUHYHQ ZDWYRRUNDUDNWHUGHOHHUOLQJKHHIW GHVIHHULQGHNODV *RHGJHGUDJJRHGZHUNLQ]HW 'HOHHUOLQJHQ]LMQKDDUJHGUDJ 3UREHHUGLWJHOLMNWHGRHQ " =LMQZHUNHQGHQNQLYHDXHQPRWLYDWLH 2IGHOHHUOLQJRSGDWPRPHQWRQWYDQNHOLMNLV

QLYHDX

$OV LN IHHGEDFN JHHI DDQ HHQ OHHUOLQJ KRXG %LMGHWLPLQJLQKHWJHYHQYDQGHIHHGEDFN LNUHNHQLQJPHW OHWLNRS WLMGHYHQVQHOSUDNWLVFK ZHONHOHHUOLQJGRHO HYHQVQHOSUDNWLVFKZHONHPLGGHOHQDDQZH]LJLQ ORNDDO


GRFHQW $OVLNIHHGEDFNJHHIYHUZLMVLNQDDU QU ZDWGRHQRPYHUGHUWHNXQQHQELMRSGUDFKWHQ JHGUDJ RP WRW EHWHUH VWXGLHYDDUGLJKHGHQ WH NRPHQ ERHNWKHRULHH[SHUWV


7DEHOF:DWGRFHQWHQ]HJJHQRYHUGHUROYDQIHHGEDFN

GRFHQW ,Q PLMQ EHZRRUGLQJHQ ELM KHW JHYHQ YDQ $OV LN IHHGEDFN DDQ HHQ OHHUOLQJ KHE 6SHFLILHN RS GH]H VFKRRO LV KHW EHODQJULMN QU IHHGEDFNOHWLNRS JHJHYHQGDQYLQGLNKHWEHODQJULMNGDW GDW LN ELM KHW JHYHQ YDQ IHHGEDFN DDQGDFKW EHVWHHGDDQ SUREHHU]HOIOHHUOLQJHQWHODWHQQDGHQNHQQLHWWH GHOHHUOLQJHQYHUGHUNDQQXPDDURRNYROJHQGH YHHOZHJJHYHQ NHHULQVRRUWJHOLMNHVLWXDWLHV PLMQHLJHQWRRQHQQLYHDX GHIHHGEDFNLVDDQJHNRPHQ YDNWDDOJHEUXLNYROGRHQGHYDNNHQQLVHWDOHUHQ ,N SUREHHU DOWLMG SRVLWLHYH IHHGEDFN WH JHYHQ (HQ OHHUOLQJ ZRUGW JHVWLPXOHHUG GRRU SRVLWLHYH 9DQXLWGHVFKRROOHLGLQJLVJHYUDDJGWHOHWWHQRS ]HOIVDOVHHQDQWZRRUGIRXWLV IHHGEDFN KHW QDOHYHQ YDQ GH VFKRROUHJHOV %LMYRRUEHHOG JHHQWHOHIRRQVLQGHOHV SRVLWLHI ,Q LHGHU JHYDO QHXWUDDO NRP MH EHWHU GDWLNHULHWVYDQWHUXJ]LH RYHU 7HQ]LM MH QDGUXNNHOLMN PRHW FRUULJHUHQ KXPRUKHOSWPHWQDPHLQGHERYHQERXZRRN 1LHWVDUFDVWLVFKEHQRIOHHUOLQJHQNZHWV 'H OHHUOLQJ HU LHWV YDQ OHHUW RI ]HOIYHUWURXZHQ SRVLWLHI]LMQ JHHIW $IVWHPPHQ ZLH ]LW HU WHJHQRYHU PLM 0HW HHQ $OV HU LHWV PHH JHEHXUG GDW LN GDDU GDQ HHQ JUDSMHZRRUGVRRUWHQHWF FRPSOLPHQWRYHUNDQJHYHQ PLMQ ZRRUGNHX]H PLMQ ]LQQHQ ZDDUELM LN LN YUDDJ RI GH OHHUOLQJHQ ]LFK KLHULQ KHUNHQW 'HYRUPHQLQKRXG ERRGVFKDSSHQEHODQJULMN]LMQ YHUVXVGDWLHWVXLWGHOXFKWNRPWYDOOHQ 3RVLWLHYHEHQDGHULQJKHWJHHQ]HDOZHOZHWHQ =HHURRNLHWVPHHGRHQ "QLHWDQGHUVGDQHUJHQVDQGHUV KHWDDQVSUHNHQYDQJHGUDJELMFRUUHFWLHV GDW GH OHHUOLQJ HU HHQ SRVLWLHI JHYRHO DDQ RYHU 'HOHHUOLQJDOVSHUVRRQ KRXGWHQJURHLWLQ]LMQRQWZLNNHOLQJ NDUDNWHUOHHUOLQJ GHERRGVFKDSGXLGHOLMNLV KRH GH OHHUOLQJ YHUGHU RS ZHJ JHKROSHQ NDQ ZRUGHQ 3RVLWLHYHZRRUGHQ 'H OHHUOLQJ KHW JHYRHO KHHIW HU LHWV DDQ WH " KHEEHQPHHWHNXQQHQ 'DWKHWSRVLWLHIJHIRUPXOHHUGZRUGWGXVQLHWµGLW 1DGHQNHQ RYHU PLMQ IHHGEDFN HQ JHPRWLYHHUG " LV IRXW¶ PDDU µDOV MH KHW ]RDQGHUV GRHW LV KHW YHUGHUJDDQPHWGHRSGUDFKW JRHG¶


7DEHOG:DWGRFHQWHQ]HJJHQRYHUGHUROYDQIHHGEDFN

GRFHQW )HHGEDFN JHHI LN ELMYRRUEHHOG RS GH YROJHQGH )HHGEDFN JHHI LN ELMYRRUEHHOG LQ GH)HHGEDFNJHYHQGRHLNRSLQLWLDWLHIYDQ QU PDQLHUHQ YROJHQGHVLWXDWLHV PHQWRUJHVSUHNNHQ LQGLYLGXHHO LQ GH NODV LQ JHVSUHN PHWPHQWRUJHVSUHNNHQ LQGLYLGXHHO LQ GH NODV ELMOHHUOLQJHQPLM]HOIRXGHUV OHHUOLQJHQ WRHWVHQKXLVZHUNDDQSDNHQ]PHQWRUOHVYDNOHV +DQJW YDQ GH WDDOXLWLQJ YDQ GH OHHUOLQJ DI %LMYRRUEHHOG%HVSUHNHQ KXLVZHUN PDNHQ RSGUDFKW ]HOIVWDQGLJPH]HOIOHHUOLQJHQ""" PRGHOOHQ ODWHQ DDQYXOOHQ GRRU DQGHUH OHHUOLQJHQZHUNHQQDYYUDJHQYDQPLM YHUJHOLMNHQPHWDQGHUDQWZRRUGYHUJHOLMNHQPHWOHVERHN 0HHVWDO RS HLJHQ LQLWLDWLHI +HW NRPW ZHLQLJ YRRU GDW OHHUOLQJHQHURPYUDJHQ $OVMHRQJHYUDDJGDOWKDQVYHUEDDO LHWVQRJHHQVDQGHUVXLWLNGHQNELMDOOHVLWXDWLHVGHQNEDDULQGHLQWHUDFWLHWUDLQLQJHQ YDQ 30 KHEEHQ ZHO ELMJHGUDJHQ GDW MH KHW JDDWOHJJHQRPGDWMHUHDJHHUWRSHHQYUDJHQGJH]LFKWLVGDWPHWOHHUOLQJHQ PHHUEHZXVWJDDWGRHQ RRN IHHGEDFN ELMYRRUEHHOG DOV FRPSOLPHQWHQ YRRUKDQGHQ ]LMQLVGDWKHWEHODQJULMNVWH $OVLHPDQGHHQPRRLHXLWVSUDDNKHHIWFRPSOLPHQWHUHQ =LHYUDDJ 0LM]HOI 6RPV JHZRRQ NRUW PDDU NUDFKWLJ YDDN NODVVLNDDO $OV NODV OHHUOLQJ QLHW GRHW ZDW HU JHYUDDJG LV(PRWLHDOVGRFHQWHQ«LHWVZLOOHQDDQOHUHQ« ,QGLYLGXHHO DOV OHHUOLQJHQEH]LJ ]LMQ LQ KHW YRRUELMORSHQ ,N'DQ]DOGHIHHGEDFNPHHVWDOQLHW]RSRVLWLHI]LMQ SUREHHULQEHLGHJHYDOOHQWHEHJLQQHQPHWLHWVSRVLWLHIV« ,Q HHQ OHHUSURFHV $OV OHHUOLQJHQ QLHXZH YDDUGLJKHGHQDDQKHWOHUHQYHUEHWHUHQ]LMQ ,NYLQGGDWMHGH]HRSGUDFKWJRHGKHEWXLWJHYRHUGRPGDWMH$OV OHHUOLQJHQ HHQ JRHGH XLWVSUDDN YDQ KHW 'XLWVQLHWLQJHYXOG MH DDQ GH RS]HW YDQ GH RHIHQLQJ KHEW JHKRXGHQ HQ GHKHEEHQ EHQRHPHQ ZDW HU JRHG JDDW EHQRHPHQ DVSHFWHQ GLH LN MH JHOHHUG KHE YRRU VSUHHNYDDUGLJKHLGZDDUDDQJHZHUNWNDQZRUGHQ FRPSHQVHUHQGH VWUDWHJLHsQ KHEW WRHJHSDVW«KLHU GHHG MH GDWGDDUGHHGMHGDW FRPSOLPHQWHQ JHYHQ LQGLHQ HHQ YUDDJ QLHW JRHG LV GDDUNODVVLNDOHXLWOHJLQGLYLGXHOHEHJHOHLGLQJ OHHUOLQJHQ QLHW QHJDWLHI RS WH UHDJHUHQ PDDU YHUGHU YUDJHQ $OV HHQ OHHUOLQJGHVWRIYUDDJLQHHQVZHOEHJULMSWGRRUKHHOJRHGWH ]HJJHQ$OVHHQOHHUOLQJHHQIRXWPDDNWGLHYHHOYRRUNRPW KHPKDDUEHGDQNHQYRRUKHWPDNHQYDQGHIRXW -LM ZHHW KHW DQWZRRUG ZHO /HXN GDW MH HU EHQW -H KHEW GH%LM ELQQHQNRPVW WLMGHQV HHQ JURHSVRSGUDFKW RI" WRHWVRSGUDFKWJRHGJHGDDQ ELM KHW ODQJVORSHQ ZDQQHHU OHHUOLQJHQ ]HOIVWDQGLJ DDQKHWZHUN]LMQ ELM LQOHYHUHQ RSGUDFKWHQ ELM RQJHZHQVW JHGUDJ ELMWRHWVHQ :DWGHQNMLMHUYDQµ.HHV¶"µ*RHGJHGDDQ¶µPPPDDUGLJLQ,QNLMNHQZHUNERHNHQ2/*YUDJHQ " GHULFKWLQJLN]RHNLHWVPHHU«¶ &RPSOLPHQW±YHUEHWHUSXQW±FRPSOLPHQW $OV GH OHHUOLQJHQ DDQ KHW ZHUN ]LMQ LN ORRS GDQ/HHUOLQJHQDOV]H PLM ZDW YUDJHQ PDDURRNRSHLJHQ URQGHQVWLPXOHHUOHHUOLQJHQRPYUDJHQWHVWHOOHQ LQLWLDWLHI DOV LN GHQN GDW GH OHHUOLQJHQ JHVWXXUG PRHW ZRUGHQ

*HHQ

7RWDDODDQWDOIHHGEDFNSHUGRFHQWSHUVLWXDWLH

%HPRHGLJHQGHRSPHUNLQJHQPDNHQ

)HHGEDFNJHYHQRSJHGUDJ

8LWOHJJHYHQRYHUDDQSDNWRWRSORVVLQJ

%HJULSXLWOHJJHQ

*HYHQYDQVXJJHVWLHVYDQPDQLHUHQRPKHW SURFHV]HOIWHPRQLWRUHQHYDOXHUHQ 9HUGXLGHOLMNHQRIDDQYXOOHQLQVWUXFWLH

9UDJHQRIKHWGXLGHOLMNLV

9RRUGRHQYDQDDQSDN

6XJJHVWLHVKRHKHWEHWHUNDQ

3UREOHHPYHUKHOGHUHQHQRIYHUHHQYRXGLJHQ GHOHQLQVWDSSHQ *HYHQYDQKLQWVYRRUEHHOGHQ

6WHOOHQYDQRSHQYUDJHQ

$DQJHYHQZDWGHVWDQGDDUGLVZDDUDDQYROGDDQ PRHWZRUGHQ 6WLPXOHUHQRPSUREOHHPSUHFLH]HUWH RPVFKULMYHQ 9UDJHQKRHYHUGHOHHUOLQJLVZDWKLMKHHIW JHGDDQ 9UDJHQQDDUEHSDDOGHNHQQLV

*RHGHRSORVVLQJ]RQGHUXLWOHJ

*RHGHRSORVVLQJPHWXLWOHJ

$DQJHYHQLQFRUUHFWPHWXLWOHJ

$DQJHYHQLQFRUUHFW]RQGHUXLWOHJ

$DQJHYHQFRUUHFWPHWXLWOHJ

$DQJHYHQFRUUHFW]RQGHUXLWOHJ

'RFHQWORVWKHW]HOIRSQHHPWRYHU

'RFHQWHQNODVVHQVLWXDWLH

LQGLY

.ODV ,QGLY .ODV ,QGLY .ODV ,QGLY

NODV

7RWDDO DDQWDO NHHU IHHGEDFN ,QGLY NODV ,QGLY .ODV LQGLY NODVV LQGLY NODVV LQGLY NODVV LQGLY NODVV LQGLY NODVV LQGLY NODVV JHJHYHQ


%LMODJH&XPXODWLHYHVFRUHVSHUW\SHIHHGEDFNGRRUGRFHQWHQLQJHREVHUYHHUGHOHVVHQ

7\SHIHHGEDFN

5HVXOWDDWJHULFKWHIHHGEDFN

3URFHVJHULFKWHIHHGEDFN

,QVWUXFWLH

2YHULJ

BIJEENKOMST 5

5

Bijeenkomst 5 Data/ Gegevens/ Informatie als smeerolie bij OGW in de klas

Vervang door auteursnaam en datum.

•Checklist •Huiswerkopdracht

Centraal thema: Feedback geven

Vorige bijeenkomst

Feedback 1 is gerelateerd aan bij leerlingen bekende standaarden 2 is gerelateerd aan eerdere prestaties 3 is specifiek en concreet; wat is goed en wat niet? 4 is just in time 5 is constructief en aanmoedigend

Checklist

Welke groep? Welke vorm van feedback wil ik oefenen? ….

Wat ga ik de komende periode doen? Formuleer je eigen opdracht

Vorige bijeenkomst: Wat ga ik doen met feedback de komende periode?

• Waar heb je feedback op gegeven? • Hoe was het om bewust met feedback bezig te zijn? • Hoe is feedback van invloed geweest op je verdere keuzes? • Hoe is je feedback van invloed geweest op de leerlingen?

Nabespreking

Maak per highlight een woordspin: wat houdt deze highlight voor jou in? Welke rode draad zie jij?

Eerst individueel, daarna uitwisselen

-

-

-

Highlights terugpakken van de afgelopen 4 bijeenkomsten: wat is volgens jou de essentie geweest van de afgelopen bijeenkomst als het gaat om OGW in de klas?

-

Opdracht

Welke puzzelstukjes doen ertoe?

Doelen te kunnen stellen in jouw lessen Jouw lessen te kunnen evalueren Feedback te kunnen geven aan je leerlingen Te kunnen differentiëren in jouw lessen

• Na deze bijeenkomst kan je een eerste stap maken richting je eigen school om OGW in de klas te verduurzamen.

-

• Na deze bijeenkomst kan je aangeven welke data (gegevens, informatie) jij nodig hebt om goed:

Bijeenkomst 5: doelen

Wat doe je al? Wat doe je (bewust) niet?

Welke zijn voor jou goede informatie-dragers (bronnen die je data/gegevens/informatie opleveren)?

Welke data/gegevens/informatie heb je wanneer nodig?

Om alle fasen in je les goed te kunnen maken heb je allerlei data/gegevens/informatie nodig

Kaartjes opdracht

•Wat is het doel van je dataverzameling? •Welke data heb je nodig om goede beslissingen te kunnen nemen om opbrengst gericht te kunnen werken? •Waar komt die data vandaan? •Hoe ga je die data verzamelen? •Hoe maak je die data expliciet?

‘Puzzelstukje’ (OGW-onderdelen): •Doelstellen, communiceren en succescriteria •Evalueren •Differentiëren •Feedback geven Orden alle kaartjes per OGW-onderdeel/’puzzelstukje’

DATA als input en bron voor alle 4 ‘puzzelstukjes’ / OGW-onderdelen

De evaluatieve cyclus om te komen tot het formuleren van doelen

• Hoe doe je dat? • Wat leg je vast en Hoe leg je vast? • Wie legt vast?

Registreren van data

-

Nieuwe doelen Differentiatievormen, groepjes indeling Feedbackvorm bepalen en geven Evaluatievorm bepalen en uitvoeren

• Combineren van het doel van de dataverzameling, met de verkregen informatie • Welke vragen moet je jezelf stellen om een goede analyse te kunnen doen? • Voordenken en Bepalen vervolgacties:

Analyseren en Interpreteren van data en vervolgens nemen van beslissingen

de Keuzes in didactiek? de Keuzes in middelen en bronnen?

-

Rapportage Rapporten Oudergesprekken

• Welke Consequenties heeft de verzameling van data voor:

-

• Hoe ga je om met data vanuit je lessen binnen je team/sectie/bouw • Heeft het gevolgen voor

Data binnen je team

-

Toetsen op school Toetsen op school PO Toetsen op school VO

• Cito heeft 3 brochures gemaakt over

• http://www.cito.nl/Onderzoek%20en%20wetenschap/acht ergrondinformatie/toetsen_op_school.aspx

Cito (extra)

-

Waar kan je nog verdieping in brengen? Heb je nog een persoonlijke ontwikkelingsvraag? Is er een ontwikkelingsvraag voor groep / team / school?

• Hoe kan je deze training verduurzamen voor jezelf en voor je school, wat is daar voor nodig:

Reflectie en vooruitblik

• Heeft de training aan je doelstellingen voldaan?

• Wat zijn je TIPS

• Wat zijn je TOPS

Evaluatie 5 bijeenkomsten

Veel fouten in huiswerk.

Cijfers van proefwerken.

klaar.

Huiswerk in de les al

Vaststellen beginsituatie door startactiviteit in les of lessencyclus.

Antwoorden van leerlingen tijdens de startactiviteit.

Checkopdracht na de instructie.

Informatie verkregen tijdens de evaluatie van de lesdoelen.

Vragen van leerlingen tijdens de instructie.

Antwoorden van leerlingen tijdens de instructie.

Betrokkenheid van de leerling tijdens de instructie.

Leerlingen geven aan behoefte te hebben aan extra instructie.

Verzameling van kaartjes met antwoorden van leerlingen die ze moeste invullen tijdens evaluatie activiteit.

Leerlingen scoren zichzelf m.b.v. succescriteria.

Gegevens van vorige leraar en/of school.

Korte diagnostische toets bij aanvang van een lessencyclus.

Reactie van leerling nadat jij feedback hebt gegeven.

Cijfers: pw’s, so’s.

Analyse van goede en foute antwoorden in toetsen.

Hoe het huiswerk gemaakt is.

Observaties tijdens de les.

.

Onderwijsleergesprekken

Leerlingbespreking.

Informatie vanuit ouders/verzorgers.

Uitkomsten uit de periodieke cito-meting.

Antwoorden en uitwerking in schrift tijdens de verwerkingsopdrachten.

Onrustig gedrag van leerling tijdens de verwerkingsactiviteit

………………………..

………………………..

………………………..

………………………..

………………………..

………………………..

………………………..

………………………..

………………………..

………………………..

LECTORALE REDE

Eigentijds toetsen en beoordelen

Desirée Joosten-ten Brinke

We are what we think. All that we are arises from our thoughts. With our thoughts, we make our world. - Historical Buddha -

Toet safn ame

It em

vo

it te di li Va

Absoluut A Ab bso sollu uu uut ut beoordelen be eo oor rde dellen

Afl om Blo e i om xon a T

in Learn Prior f o t n me Assess

Be

oo

rde

len

D

Metho M Me thode th denm nmi miix x Toe tskw alit eit

rd tee a l re ge m r No

n ele d r oo be

Toetsvormen

K

Su mm at ief be oo rd ele n

vo r

en Toets m

en

ets jke to i l e t f i Schr

ring turi lfsttu elfs Ze Z

e ati nic u m Com

Leerd oelen

Fo rm at ie fb eo or de le n

leid leider der erss

ing

Scorem odel

Compute rtoetssen

n

rdele

beoo zaam

r Cesuu

Ho tsp ot vr aa g

n delen cht beoord Criteriumgeri

r Duu

F ed Fe edfo orw ward rd Kwali teitsc riteri a

n

Beo ord elin gsef fect en

Ite ma na lys e

Toet safn ame

k entie Auth

Rubr ric

Onderscheidend vermogen

s e Viissi

Eigentijds toetsen en beoordelen

Lectorale rede uitgesproken bij de aanvaarding van de functie van lector Eigentijds toetsen en beoordelen aan de Fontys Lerarenopleiding Tilburg op 4 februari 2011 door

Dr. Desirée Joosten-ten Brinke

Inhoudsopgave Inleiding

..................................................................................................................... 5

1.

Het brede perspectief van toetsen en beoordelen .................................. 7

2.

De voorbeeldige leraar .............................................................................. 9

2.1 2.1.1 2.1.2 2.1.3 2.2

Toetsen en beoordelen bij de lerarenopleiding..........................10 Het onderwijsaanbod over toetsen en beoordelen .....................10 De meest gebruikte toetsvormen ...............................................11 Toetsen en beoordelen in de lerarenopleiding, samengevat ......15 Toetsen en beoordelen in het voortgezet onderwijs en het middelbaar beroepsonderwijs ...................................................16 2.2.1 Het voortgezet onderwijs...........................................................16 2.2.2 Het middelbaar beroepsonderwijs .............................................19 2.2.3 Toetsen en beoordelen in het voortgezet onderwijs en mbo, samengevat ................................................................................19

3.

Kwaliteit van eigentijds toetsen en beoordelen .................................... 20

3.1 3.2 3.3 3.4

Kwaliteit van beoordelen voor leven lang leren .........................21 Kwaliteit van toetsprogramma’s.................................................22 Kwaliteit van toetsen beoordelingsinstrumenten ....................25 Kwaliteit van taken, opdrachten of items ...................................26

4.

De rol van lerarenopleiders en leraren ................................................... 28

5.

Het lectoraat ............................................................................................. 30

5.1 5.2 5.3

Professionele praktijk .................................................................30 Onderzoek en wetenschap .........................................................33 Bijdrage aan de innovatie van het curriculum ............................35

6.

Dankwoord ............................................................................................... 37

7.

Referenties ................................................................................................ 39

Curriculum vitae

........................................................................................................ 45

De s i r é e J oos t e n- t e n Br i n nkk e • E i ge nt i j ds t oe t s e n e n be oor de d e lle en

3

4

Eigent ij ijds ds t oet sen en beoor beoord delen el en • De s i r é e J oos t e n- t e n Br i nk nke

Inleiding Toetsen en beoordelen zijn cruciale elementen in het beroep van de leraar en lerarenopleider. Leraren moeten in staat zijn om op de juiste wijze toetsen te ontwikkelen en in te zetten in het onderwijs om een goed oordeel te kunnen geven over de ontwikkeling van leerlingen. Van lerarenopleiders mag je verwachten dat zij enerzijds het goede voorbeeld laten zien aan de eigen studenten in de inrichting en vormgeving van de eigen toetsing en beoordeling van studenten en anderzijds de studenten expliciet leren hoe je als leraar bewust en bekwaam toetst en beoordeelt. Het doel van het lectoraat ‘Eigentijds toetsen en beoordelen’ is leraren, lerarenopleiders en studenten verder te professionaliseren tot bewuste en bekwame beoordelaars. Toetsen omvat in zowel praktische als theoretische zin meer dan het construeren van een toets alleen: het vormt de ruggengraat in het curriculum van de opleiding en is daarmee een sterk sturende factor in het bepalen van de kwaliteit van het onderwijs. Een toetsprogramma dat op een juiste manier is ingericht maakt duidelijk welke leerresultaten bereikt moeten worden en geeft daarmee richting aan de inhoud van het onderwijs. Eigentijds toetsen en beoordelen betekent dat toetsen en beoordelen passen in het huidige denken over onderwijs. Dit betekent een visie waarbij een leven lang leren, duurzaamheid en kwaliteit in samenhang herkenbaar moeten zijn in de uitwerking van het toetsbeleid van opleidingen. De uitdaging is om ten aanzien van een veelheid aan toetsaspecten te zorgen voor goede kwaliteit. Gezien het belang van kwalitatief goed toetsen en beoordelen zullen lerarenopleidingen moeten investeren in het ontwikkelen en onderzoeken van hun bekwaamheid rondom ‘Eigentijds toetsen en beoordelen’. Deze intentie is door Fontys lerarenopleiding Tilburg opgepakt door dit thema te kiezen voor mijn lectoraat. In deze rede zal ik uiteenzetten hoe volgens mij bewuste en bekwame lerarenopleiders en leraren bijdragen aan de kwaliteit van toetsen en beoordelen in de eigen lerarenopleiding en in het werkveld van de studenten, het voortgezet onderwijs en het middelbaar beroepsonderwijs. Ik zal eerst ingaan op het specifieke belang van de kwaliteit van toetsen en beoordelen voor lerarenopleidingen. Daarna presenteer ik een kwaliteitskader voor eigentijds toetsen en beoordelen. Op basis van dit kader zal ik tot slot aangeven welke plannen het lectoraat heeft om bij te dragen aan de ontwikkeling tot bewuste en bekwame lerarenopleiders en leraren ten aanzien van de kwaliteit van eigentijds toetsen en beoordelen.


5

6


1. Het brede perspectief van toetsen en beoordelen Toetsen en beoordelen zijn basisconcepten in het onderwijs waar een hele wereld van ontwerpen, ontwikkelen en evalueren achter zit. Toetsen en beoordelen vormen een eenheid. Bij toetsen gaat het om de keuze voor het instrument om te meten en bij beoordelen om het toekennen van een waarde aan een meting op basis van vooraf opgestelde criteria. Het bewust inzetten van toetsen om te komen tot een beoordeling is belangrijk. De gevolgen voor studenten, leerlingen en instellingen zijn vaak groot. Verkeerde keuzes van beoordelingsvormen kunnen leiden tot uitspraken over studenten of leerlingen die niet valide of betrouwbaar zijn. Onterecht te laag beoordelen kan gevolgen hebben voor bijvoorbeeld de studieduur van de studenten; Aan de andere kant heeft het onterecht te hoog beoordelen van studenten of leerlingen gevolgen voor het vertrouwen van de maatschappij in diploma’s (Onderwijsraad, 2010). Toetsen en beoordelen is al sinds jaar en dag verbonden aan onderwijs en de laatste decennia zijn vele ontwikkelingen te zien in het toetsdomein. Deze ontwikkelingen hebben betrekking op (1) de sturende functie van toetsing op het leren, (2) de toets als onderdeel van het onderwijsconcept en (3) het belang van leren in informele en non-formele contexten. Het besef dat toetsen en beoordelen sturend is voor zowel het leerproces en de ontwikkeling van studenten als voor optimalisatie van de kwaliteit van het onderwijs is een belangrijke ontwikkeling vanuit de jaren negentig (zie bijvoorbeeld Boud, 2000; Brown, Bull, & Pendlebury, 1997; Longhurst & Norton, 1997; Sluijsmans, 2008; Van der Vleuten & Schuwirth, 2005). Studenten passen hun leergedrag aan aan de vorm van toetsen en beoordelen. Toetsen kunnen een summatieve of formatieve functie hebben. Beide vormen beïnvloeden het leren. Toetsing is summatief als het een afsluitende bedoeling heeft. De beoordeling is gericht op het nemen van een beslissing over het niveau van een student, over zakken of slagen of over toelaten of selecteren. Dit in tegenstelling tot een formatieve evaluatie waarbij de beoordeling gericht is op de begeleiding van het leerproces. Formatieve beoordeling geeft informatie over de ontwikkeling van het leren van studenten. Het is wenselijk dat de formatieve en summatieve toetsing in elkaars verlengde liggen en op elkaar aansluiten (Shavelson e.a., 2008). De sturende functie van toetsen geldt niet alleen voor het leergedrag van studenten. Ook voor de ontwikkelaars van onderwijs is de toets of het resultaat van toetsing sturend. Zij passen het onderwijs aan op grond van de eisen die gesteld worden vanuit accreditatie en externe beoordelingen. De uitkomsten van beoordelingen geven belangrijke aanwijzingen voor het onderwijs, zowel ten aanzien van de individuele leerling, de klas, als de opleiding.


7

Een ander belangrijk besef is dat toetsen en beoordelen onderdeel is van een onderwijsconcept en daarom ook optimaal moet passen bij het onderwijsconcept (Linn, 1990; Shepard, 2000). Afhankelijk van het doel van het onderwijs wordt bepaald wat de meest geschikte toetsvorm is. Het doel van onderwijs is drieledig (Biesta, 2009). Ten eerste is een hoofdfunctie het kwalificeren van lerenden. Kennis, vaardigheden en begrip ter voorbereiding op een vervolgopleiding of het uitvoeren van het werken als leraar, moeten worden bijgebracht. Ten tweede heeft onderwijs een socialiserende functie. Door deze socialiserende functie, kunnen lerenden functioneren in hun sociale en culturele omgeving. Voor leraren is het niet alleen van belang om kennis over te kunnen dragen, maar is de band met leerlingen en collega’s belangrijk voor goed functioneren. Een derde functie is het leveren van een bijdrage aan de ontwikkeling van het zelfbewustzijn van lerenden. Vanuit deze functies wordt van leraren een kritische reflectieve houding verwacht ten aanzien van de eigen beroepsuitoefening en die van collega’s. Toetsen en beoordelen moet dan ook op al deze functies aansluiten. Bij competentiegericht onderwijs hoort competentiegericht beoordelen. Kennis en vaardigheden zijn daarbij onderdeel van een competentie. Wat leerlingen en studenten leren, moeten zij in authentieke situaties kunnen gebruiken. Competentiegericht toetsen en beoordelen betekent een streven naar een samenhangend programma van toetsen en beoordelen, waarbij de kwaliteit niet alleen de afzonderlijke onderdelen betreft maar ook de evenwichtige samenstelling van het geheel (Baartman, Bastiaens, Kirschner, & Van der Vleuten, 2006). De ontwikkeling van valide en betrouwbare toetsen blijft een belangrijk onderzoeksonderwerp. Onderdeel van huidige onderwijsconcepten is het gebruik van elektronische leeromgevingen. Digitale ontwikkelingen geven de mogelijkheid om op een andere en mogelijk efficiënte manier te toetsen. Digitale voorkennistoetsen en voortgangstoetsen zijn hiervan mooie voorbeelden. Als derde ontwikkeling noem ik het concept van leven lang leren. Dit concept brengt het besef met zich mee dat mensen niet alleen leren in formele contexten, zoals het voortgezet onderwijs of een hogeschool, maar ook in informele en nonformele contexten. Bij formeel leren is het leren doelbewust en gebaseerd op het verwerven van kennis, vaardigheden of competenties met bijbehorende certificaten of diploma’s (bijvoorbeeld opleidingen, trainingen). Bij non-formeel leren is het leren ook doelbewust en vindt het plaats in een gestructureerde omgeving, maar is er geen algemene erkenning van afgegeven certificaten (bijvoorbeeld een typecursus). Informeel leren ten slotte voltrekt zich onbewust, is ongestructureerd en leidt niet tot certificering (bijvoorbeeld leiding geven aan een tennisclub). Informele en nonformele leeromgevingen kunnen ook een bijdrage leveren aan expertise van studenten en leerlingen. Deze expertise kan relevant zijn voor een opleiding en kan dan officieel worden gewaardeerd in de formele context van leren (Livingstone, 2000).

8


2. De voorbeeldige leraar

Lerarenopleiders

Leraren in opleiding (studenten)

Leraren vo / mbo

Kwaliteit van toetsing

De lerarenopleidingen van FLOT leiden studenten op tot leraar voortgezet onderwijs of middelbaar beroepsonderwijs. Deze opleiding wordt verzorgd door lerarenopleiders vanuit het principe dat de didactiek die door de lerarenopleiding wordt gestimuleerd, voorbeeldig is voor de didactiek die gebruikt wordt in de reële werksituatie; het zogenoemde congruentieprincipe (Koster & Korthagen, 1997; Swennen, Lunenberg, & Korthagen, 2008). De opleiding moet het goede voorbeeld geven aan de studenten wat betreft de inrichting en vormgeving van het eigen toetsbeleid, het beoordelen van de studenten en het reflecteren op eigen handelen. Studenten leren hierdoor impliciet hoe kwalitatief goed toetsen en beoordelen eruit ziet. Om ervoor te zorgen dat studenten dit voorbeeldgedrag ook herkennen als goed voorbeeld is het nodig dat de keuzes geëxpliciteerd worden en gelinkt worden aan relevante theorieën (Swennen e.a., 2008). Daarnaast moet de opleiding de studenten ook expliciet leren hoe je als leraar en als school(team) goed gefundeerd gebruik maakt van vormen van toetsen en beoordelen, aangepast aan schooltype, leerlingen en leerdoelen. Een deel van de opleiding, bijvoorbeeld tijdens stages, wordt de student opgeleid door leraren in de scholen. Ook van deze leraren wordt verwacht dat zij studenten in hun eigen werk met leerlingen zelf laten zien hoe je de leerlingen goed beoordeelt en dat zij adequaat bijdragen aan de beoordeling van de ontwikkeling van de studenten. Dus zowel de lerarenopleider als de leraar in het werkveld moet voorbeeldig gedrag tonen (Figuur 1).

Figuur 1. Lerarenopleiders en leraren voortgezet onderwijs en middelbaar beroepsonderwijs zijn voorbeeld voor de studenten, de leraren in opleiding.


9

Om ervoor te zorgen dat de student geen tegenstrijdige voorbeelden ziet is het nodig dat de lerarenopleiders en de leraren van het voortgezet onderwijs en middelbaar beroepsonderwijs eenzelfde taal spreken met betrekking tot toetsen en beoordelen. Bewust en bekwaam omgaan met toetsen en beoordelen door beide partijen is voorwaardelijk om studenten optimaal te begeleiden in hun ontwikkeling op het gebied van toetsen en beoordelen. Dit betekent dat de lerarenopleider en de leraar zich ook bewust moeten zijn van de dubbelrol van de student. De student bij een lerarenopleiding is aan de ene kant, bij de lerarenopleiding, consument of afnemer van het toetsprogramma en aan de andere kant, het voortgezet onderwijs of middelbaar beroepsonderwijs, producent of aanbieder van een toetsprogramma. Door het zelf doorlopen van het voortgezet onderwijs en/of middelbaar beroepsonderwijs is de student tevens in het werkveld ervaringsdeskundige. De inzet van toetsen en beoordelen in de verschillende typen van onderwijs varieert. Deze variatie is er niet alleen tussen de lerarenopleiding enerzijds en voortgezet onderwijs en middelbaar beroepsonderwijs anderzijds, maar ook tussen en binnen voortgezet onderwijs en middelbaar beroepsonderwijs zijn grote verschillen. In de volgende paragrafen geef ik een beeld van toetsen en beoordelen in deze onderwijstypen.

2.1

Toetsen en beoordelen bij de lerarenopleiding

2.1.1

Het onderwijsaanbod over toetsen en beoordelen

Het onderwerp ‘toetsen en beoordelen’ is een onderdeel van het curriculum van de lerarenopleiding dat de studenten zowel conceptueel als praktisch moet voorbereiden op hun beroepsuitoefening als leraar, als aanbieder van toetsen. Studenten moeten in hun opleiding een goed beeld krijgen van de rol die toetsen en beoordelen in het onderwijs heeft. In het huidige curriculum is een module toetsing ondergebracht bij vakdidactiek. Afhankelijk van de opleiding heeft deze module 1 tot 3 studiepunten. Een voorbeeld van doelen die daarbij nagestreefd worden zijn (bij vakdidactiek van de opleiding Gezondheid, Zorg en Welzijn): • De student kan diverse toetsvormen, zoals digitale toetsen, praktijktoetsen en theorietoetsen, analyseren en ontwerpen; • De student heeft kennis van doelen voor toetsen en evalueren binnen de verschillende didactische leerwegen; • De student heeft kennis van verschillende vormen van toetsing en evaluatie van product en proces van schoolvakkennis, begrip en vaardigheden; • De student kan praktische aspecten van onderwijs- en leerprocessen toepassen: cijfers geven, toetsen afnemen, foutenanalyse maken, toetsen in variaties; • De student heeft kennis van Programma van Toetsing en Afsluiting (PTA’s) en (praktische) schoolonderzoeken met argumenten voor gemaakte keuzes. 10


De vraag is of elke opleider dezelfde betekenis geeft aan deze doelen. De formuleringen zijn vrij breed en kan door lerarenopleiders op verschillende manieren uitgewerkt worden, waardoor het risico aanwezig is dat studenten onvoldoende voorbereid worden op de mogelijkheden van toetsen en beoordelen. 2.1.2

De meest gebruikte toetsvormen

In de rol van ontvanger van toetsen komt een student bij de lerarenopleidingen verschillende toetsvormen tegen. De afgelopen decennia heeft er een verschuiving plaats gevonden van kennisgericht opleiden naar competentiegericht opleiden waardoor een verandering te zien is in het begeleiden en beoordelen van studenten. Dit heeft geleid tot het gebruik van andere toetsvormen, zoals portfolio assessment, performance assessment, peer- en self-assessment naast de traditionele toetsvormen als schriftelijke en mondelinge toetsen. Met deze toegevoegde toetsvormen worden studenten meer betrokken bij toetsen en beoordelen en hebben de studenten een grotere verantwoordelijkheid in het aantonen van hun competenties. Een eerste stap van het lectoraat was het in kaart brengen van de manier van toetsen en beoordelen bij FLOT. Deze intentie sloot aan bij de activiteiten van de expertisegroep toetsing (Van de Sande e.a., 2010) die begonnen was met het inventariseren van de toetsvormen die gebruikt worden in de eerste drie jaar van de bachelorprogramma’s van de verschillende opleidingen en in de masteropleidingen. De mate waarin de toetsvormen ingezet worden is afgeleid van het aantal studiepunten dat behaald kan worden voor een module waarbij de genoemde toetsvorm gebruikt wordt. Voor de inventarisatie is de indeling van de toetsvormen gebaseerd op Jaspers en Heijmen-Verstegen (2005), Nedermeijer en Pilot (2000) en Van Berkel en Bax (2006). De categorie werkstukken is onderverdeeld in onderzoeksverslagen, essays, reflectieverslagen, dossiers en portfolio’s. De laatste twee onderscheiden zich in de mate van sturing door de docenten. Bij een dossier vraagt de docent om specifieke producten aan te leveren, bij portfolio’s bepaalt de student welke bewijzen hij of zij aanlevert om een competentie aan te tonen. Schriftelijke

Werkstukken

toetsen

Mondelinge

presentaties

toetsen

Performance assessments

Bacheloropleidingen

52

34

6

4

4

Masteropleidingen

42

39

7

10

2

Totaal

49

36

6

6

3

Tabel 1.

Verdeling (in %) van toetsvormen over de bachelor- en masteropleidingen van Fontys Lerarenopleiding Tilburg. De stage is bij deze inventarisatie buiten beschouwing gelaten.


11

Uit deze inventarisatie blijkt dat zowel voor de bacheloropleidingen als de masteropleidingen nog altijd een groot deel van de studiepunten behaald wordt door middel van de schriftelijke toetsen (zie tabel 1). Bij de masteropleidingen worden naast de schriftelijke toetsen voor ongeveer evenveel studiepunten werkstukken ingezet. Presentaties zijn bij de masteropleidingen nadrukkelijker aanwezig dan bij de bacheloropleidingen. Uit interviews met studenten door de themagroep toetsing van FLOT kwam naar voren dat studenten, in hun rol als student, graag een mix van toetsmethoden in het curriculum willen zien, dat ze die toetsen krijgen waarmee ze daadwerkelijk kunnen aantonen wat ze kennen en kunnen en dat ze na de toets inhoudelijke feedback krijgen (Paijmans, Oomens, e.a., 2010). Peer-assessment en zelfbeoordeling

Peer-assessment, waarbij studenten elkaars producten en/of processen beoordelen aan de hand van (eventueel zelf opgestelde) criteria, wordt als toetsvorm bij FLOT nog maar incidenteel gebruikt. Omgangskunde zet deze toetsvorm het meest structureel in. Peer-assessment wordt bij een aantal andere opleidingen als pilotstudie ingezet. Op deze pilots kom ik in het laatste deel van mijn rede terug. Het op de juiste manier inzetten van peer-assessment stimuleert de ontwikkeling van een kritische, professionele houding (Sluijsmans, Brand-Gruwel, & Van Merriënboer, 2002). Op dit moment is het inzetten van peer-assessment in veel gevallen gebaseerd op een individueel bewustzijn van lerarenopleiders van de mogelijkheden van peerassessment, en niet op basis van een algemeen beleid op dit punt. Zelfbeoordeling komt bij FLOT op verschillende manieren voor. Ten eerste als een diagnostisch instrument voorafgaand aan schriftelijke toetsing. Daarnaast komt het veelvuldig voor binnen portfolio assessments, waarbij de nadruk dan niet ligt op de zelfbeoordeling, maar op zelfreflectie. Zelfbeoordeling is een beoordelingsvorm waarbij studenten zelf betrokken zijn bij het beoordelen van hun eigen leren, waarmee de student inzicht krijgt in het eigen leerproces (Boud & Falchikov, 1989; Fiddler & Marineau, 2008). Zelfbeoordelingen worden gezien als een essentieel onderdeel van het ontwikkelingsgerichte beoordelen (Black & William, 1998). Studenten moeten hierbij kritisch naar zichzelf, hun eigen producten en processen kijken op basis van vooraf opgestelde criteria. Op basis hiervan stellen ze vast in hoeverre ze voldoen aan de criteria en wat ze nog moeten doen om verder te groeien. Zelfbeoordeling is echter pas effectief als er ook zelfreflectie aan gekoppeld is (Joosten-ten Brinke, Blom, & Meusen, in ontwikkeling). Bij zelfreflectie kijkt de student wat de zelfreflectie betekent voor zijn of haar verdere ontwikkeling. De zelfreflectie leert studenten kritisch te kijken naar de manier waarop ze geleerd hebben en het resultaat dat ze daarmee bereikt hebben. De videoreflectie die bij de opleiding omgangskunde gebruikt wordt heeft volgens de studenten een groot leereffect (Paijmans, Oomens, e.a., 2010). Bij de opleiding

12


Natuurkunde van FLOT constateerde Blom (2010) dat een groot aantal toekomstige leraren nauwelijks reflecteerden. Ze gaven hiervoor als reden op dat ze bij het projectwerk niets nieuws leerden. Bij doorvragen bleken er echter grote verschillen te bestaan in wat de studenten onder ´leren´ verstaan. Sommigen benoemen leren uit een boek of leren tijdens de les uitsluitend als leren, terwijl anderen ook aspecten van de persoonlijke ontwikkeling als een leerproces zien. Via een discussie gingen de studenten zich realiseren dat je ook dingen kunt leren, die je vooraf niet gepland hebt. In reactie hierop heeft Blom (2010) het ‘leerwinstdocument’ ontwikkeld. Onder de term ´leerwinst´ verstaat zij díe leerresultaten die je in de richting van het ontwikkelingsdoel brengen. Het leerwinstdocument structureert de zelfreflectie aan de hand van vooraf gestelde leerdoelen. De mogelijkheden van EVC

Een beoordelingsvorm die zowel binnen als buiten het onderwijs gebruikt wordt is Erkenning van Verworven Competenties (EVC). De kern van EVC is dat er gekeken wordt naar wat een individu weet en kan met als doel erkenning van dit eerdere leren, onafhankelijk van de manier waarop geleerd is (Joosten-ten Brinke, Sluijsmans, BrandGruwel, & Jochems, 2008). Bij FLOT is EVC mogelijk voorafgaand aan de opleiding, bijvoorbeeld bij de zij-instroom, bij de stage en bij flankerend onderwijs. EVC is ten eerste een visie op leren. In de context van leven lang leren wordt geanalyseerd wat mensen al geleerd hebben in informele, non-formele en formele contexten. Op basis van waardering voor deze competenties kunnen individuen zich gericht verder ontwikkelen in het werk of door middel van opleiding. Het ervaringscertificaat (dit is het resultaat van een EVC beoordeling) en/of het portfolio dat in een EVC procedure ontwikkeld wordt kan gebruikt worden om aan opleidingen of werkgevers te tonen welke kwaliteiten iemand heeft. Zowel voor de student als de opleiding biedt EVC voordelen. Studenten kunnen op basis van EVC vrijstelling krijgen voor studieonderdelen waarvan de inhoud overeenkomt met de competenties die de student al in huis heeft. Hierdoor kan tijd worden bespaard omdat de student minder studieonderdelen dient te doen. Doordat de student als onderdeel van de procedure bewust terugkijkt naar wat hij in het verleden gedaan heeft en welke competenties hij in huis heeft, geeft dat vaak ook informatie over de competenties die de student nog verder wil ontwikkelen. Het verduidelijkt de keuze. Dat kan dan soms ook betekenen dat een student juist niet aan een opleiding begint, omdat die niet goed aansluit bij de nog te ontwikkelen competenties of dat de student juist extra tijd nodig zal hebben om het eindniveau van de opleiding te behalen. Het in kaart brengen van de eigen competenties levert een positieve bijdrage aan het zelfbewustzijn en zelfvertrouwen van studenten.


13

Ook voor onderwijsinstellingen is EVC interessant omdat het de toegankelijkheid van de opleidingen vergroot. Studenten die voorheen niet toelaatbaar waren omdat ze niet over de juiste diploma’s of certificaten beschikten, kunnen met EVC wel toegelaten worden. Tevens biedt EVC de mogelijkheid om op basis van de competenties van een student een nog te volgen studiepad af te spreken. Hierdoor wordt voorkomen dat studenten studieonderdelen volgen die ze al beheersen en zo wordt de kosten-effectiviteit van opleidingstrajecten bevorderd. EVC vergroot de mogelijkheden om te komen tot goede samenwerking tussen opleidingen en de arbeidsmarkt. EVC is niet alleen effectief aan het begin van een opleiding, maar ook tijdens een opleiding. Studenten werken in, maar zeker ook naast hun formele opleiding aan de verdere ontwikkeling van hun competenties. Getrainde assessoren beoordelen zowel voorafgaand aan de opleiding als tijdens de opleiding de competenties van studenten aan de hand van portfolio’s, performances en criterium gerichte interviews. Digitale uitwerkingen

Door ICT-mogelijkheden heeft toetsen en beoordelen een extra dimensie gekregen. Veel opleidingen werken met een elektronische leeromgeving (o.a. N@tschool, Blackboard) waardoor studenten meer tijd- en plaatsonafhankelijke kunnen studeren en communiceren. De digitale component bij toetsing zien we terug in het gebruik van digitale portfolio’s, digitale kennistoetsen, digitale voorkennistoetsen en het inzetten van nieuwe toetsvormen bij digitale toetsen. Digitale toetsing vraagt naast standaard kwaliteitscriteria voor goede toetsing om specifieke kwaliteitscriteria, zoals veiligheid en technische mogelijkheden (Draaijer & Hartog, 2007). Een voorbeeld bij de lerarenopleidingen van het gebruik van digitale toetsen is het project Werken aan Kwaliteit (WAK, voorheen K3 genoemd). In dit project worden kennistoetsen ontwikkeld die aansluiten bij een brede kennisbasis (HBO-raad, 2008). Het project is gericht op de totstandkoming en invoering van landelijke kennisbases, kennistoetsen en kennisbanken. Voor 17 vakken van de tweedegraads opleidingen zijn landelijke kennisbases ontwikkeld. Per kennisbasis wordt bekeken of het haalbaar is om hiervoor digitale, landelijke toetsen of instellingsgebonden toetsen te ontwikkelen. In november 2010 zijn hiervoor toetspilots uitgevoerd bij zeven vakken. Deze toetsen worden geëvalueerd en bijgesteld. Het Algemeen overleg Directeuren Educatieve Faculteiten heeft in 2009 besloten om op twee momenten digitale kennistoetsen in te voeren. De eerste toets vindt plaats na de propedeuse. Deze toets zal instituutsafhankelijk worden ingevoerd en zal geen landelijke cesuur hebben. Dit betekent dat instituten zelf mogen beslissen of het een summatieve of een formatieve toets betreft, over welk deel van het curriculum en welke rol deze toets zal spelen binnen het curriculum. De tweede toets is een summatieve eindtoets over het vastgestelde deel van de kennisbasis. Deze toets vindt plaats voorafgaand aan de afsluitende (LIO) stage en is voorwaardelijk voor deelname

14


aan het startbekwaamheidsassessment, waarmee aan het eind van de lerarenopleiding de bekwaamheid van de student om als leraar te starten wordt vastgesteld. Voor het ontwikkelen van de toetsen wordt gewerkt met Questionmark Perception. In het WAK-project wordt de inzet van kennistoetsen als voortgangstoets niet verder uitgewerkt, maar dat zou wel een mogelijkheid voor de toekomst kunnen zijn. Doel van een voortgangstoets is het toetsen van de kennis van studenten afgemeten aan de einddoelen van de gehele opleiding (Heijmen-Versteegen & Peeters, 2002; Hendricks, Kok, & De Bruijn, 2008; Van Berkel & Bax, 2006; Van der Vleuten, Verwijnen, & Wijnen, 1996). Doordat studenten niet in de gelegenheid zijn om zich specifiek voor deze toets voor te bereiden, wordt bij voortgangstoetsen functionele kennis getoetst in plaats van kortetermijnkennis (Van der Vleuten, Verwijnen, & Wijnen, 1996). Studenten leggen deze toets meerdere malen tijdens hun studie af. Studenten die verder zijn met hun studie zouden dan naar verwachting hoger moeten scoren op deze toets, dan studenten die nog aan het begin van hun studie staan. De kennisontwikkeling van studenten kan met de voortgangstoets goed gevolgd worden. Bovendien kunnen studenten van één opleiding maar ook van verschillende lerarenopleidingen in het land binnen een studiejaar met elkaar vergeleken worden en over studiejaren heen. Ondanks dat in de opzet verondersteld wordt dat het niet zinvol is voor studenten om toetsgericht voor de voortgangstoets te studeren, heeft Van Til (1998) aangetoond dat studenten van de medische universitaire opleiding daar toch wel toe neigen. De specifieke toetsvoorbereiding heeft echter geen effect op de resultaten. Discussies over het invoeren van centrale eindtoetsen en voortgangstoetsen lijken haaks te staan op competentiegericht beoordelen. Het risico is dat de kenniscomponent weer volledig losgeweekt wordt uit de competentie. Het invoeren van centrale eindtoetsen heeft echter ook verschillende voordelen. De vergelijkbaarheid van opleidingen kan verhoogd worden. De concurrentie die hieruit volgt zou kunnen leiden tot een verhoging van de kwaliteit van de afgestudeerde student. Van belang daarbij is dat de eindtoets niet de enige toets is waarop de competenties van de studenten beoordeeld worden, maar dat het een onderdeel is van het competentie assessment programma. De eindtoets hoeft dan ook niet per definitie een kennistoets te zijn. 2.1.3

Toetsen en beoordelen in de lerarenopleiding, samengevat

Uit bovenstaande, zeker niet volledige, beschrijving blijkt dat studenten binnen de grenzen van de lerarenopleiding op verschillende manieren en in verschillende vormen te maken hebben met toetsen en beoordelen. Studenten hebben daardoor met name zicht op de vorm waarin de toetsen uitgeleverd worden. Het toetsbeleid, de samenhang tussen toetsen en constructie van toetsen en toetsvragen speelt zich nog vaak buiten het zicht van de studenten af.


15

Bewust en bekwaam omgaan met toetsen en beoordelen door de leraren-opleiders is gewenst om studenten optimaal te begeleiden in hun ontwikkeling tot toetsbekwame leraren. Zoals aangegeven heeft de student niet alleen te maken met toetsen en beoordelen op de lerarenopleiding, maar ook met toetsen en beoordelen in zijn of haar toekomstige werkpraktijk. Voor studenten van de lerarenopleiding is dit in hoofdzaak het voortgezet onderwijs en middelbaar beroepsonderwijs. In de volgende paragraaf geef ik een beeld van toetsen en beoordelen in deze onderwijstypen.

2.2

Toetsen en beoordelen in het voortgezet onderwijs en het middelbaar beroepsonderwijs

2.2.1

Het voortgezet onderwijs

Leerlingen in het voortgezet onderwijs worden gedurende hun schooltijd en vooral in de bovenbouw voorbereid op het eindexamen. Dit eindexamen bestaat uit een schoolexamen en een centraal examen. Vanaf 2007 zijn de richtlijnen voor de uitwerking van het schoolexamen veranderd. Scholen kunnen meer maatwerk leveren, doordat de eindtermen globaler geformuleerd zijn en doordat de school zelf onderdelen aan het schoolexamen mag toevoegen om leerlingen meer keuzevrijheid te geven. Ook is het mogelijk om al in het voorlaatste jaar een deel van het programma af te ronden. Het centraal examen wordt landelijk in dezelfde periode afgenomen. Zowel het schoolexamen als het centraal examen is vakgericht. De verschilscore tussen het schoolexamencijfer en het cijfer voor het centraal examen is één van de onderdelen waarop de inspectie een oordeel geeft over de kwaliteit van scholen voor voortgezet onderwijs. De reden om naar deze verschilscores te kijken is de constatering dat de score op het schoolexamen steeds hoger worden. De grote verschillen hierin tussen scholen en de mogelijkheid tot maatwerk op scholen zou ervoor kunnen zorgen dat de vergelijkbaarheid van de diploma’s afneemt en de waarde van het diploma zou kunnen devalueren (Onderwijsraad, 2010). Een verschil van meer dan een half punt in het voordeel van het schoolexamen geeft volgens de inspectie aan dat een school zijn leerlingen bevoordeelt (Inspectie van het Onderwijs, 2009). De vraag is echter of beide onderdelen van het examen hetzelfde meten en of leerlingen dezelfde motivatie hebben voor het schoolexamen en het centraal examen. Het bewustzijn bij leraren dat mogelijke verschillen effect kunnen hebben op de waarde van een diploma is uiteraard wel belangrijk. Toetsen en beoordelen in het voorgezet onderwijs is echter meer dan het eindexamen. Vanaf de brugklas krijgen de leerlingen te maken met toetsen en beoordelen. De toetsing

16


is bij de meeste scholen nog vakgericht ingedeeld. Leerlingen volgen een aantal lessen aan de hand van een vaste methode en krijgen ter afsluiting van een of meerdere paragrafen of hoofdstukken een schriftelijke overhoring of een proefwerk. Het verschil tussen deze twee zit in de omvang van de te bestuderen stof en de weging van de score ten opzichte van het eindcijfer voor het vak. Daarnaast worden mondelinge toetsen gebruikt bij de talen en wordt er vanaf het eerste schooljaar gewerkt met werkstukken, hoofdzakelijk bij vakken als biologie en levensbeschouwing. Toetsvormen zoals portfolio assessment, peer- en self-assessment, performance assessments komen wel voor in het voortgezet onderwijs, maar in duidelijk mindere mate dan bijvoorbeeld in het hbo. De toetsing en beoordeling in het voortgezet onderwijs roept bij leerlingen, en vaak ook hun ouders, veel reacties op. Toetsen zijn te moeilijk (of te makkelijk) of leerlingen begrijpen niet waarom ze niet goed gescoord hebben op een toets waarvoor ze toch goed geleerd hadden. De toetsen worden hoofdzakelijk gebruikt als afsluiting van een hoofdstuk of afsluiting van een periode. Deze manier van toetsen zorgt er niet voor dat de kennis na een langere periode nog aanwezig is. Tevens motiveert het leerlingen niet om meer met de stof te doen dan noodzakelijk is voor een voldoende op een toets. Na een toets belandt het papier met het cijfer erop vaak bij het oud papier, omdat deze toets geen ontwikkelingsgerichte functie heeft. Toetsen worden hooguit bewaard om jongere broers en zussen van informatie te voorzien. De kans is namelijk aanwezig dat een jaar later de toetsen voor dat vak volledig identiek zijn. Is dat niet het geval dan geeft de toets in ieder geval informatie over de manier waarop een specifieke leraar vragen stelt. Daarmee wordt aangetoond dat toetsen naast een afsluitende functie ook een didactische ontwikkelingsgerichte functie kunnen hebben. Toetsen uit een voorgaand jaar motiveren leerlingen om die stof extra te bestuderen. Een algemeen toetsbeleid vanaf het eerste jaar voortgezet onderwijs tot aan het examen is wenselijk. Hierdoor kan een doordachte opbouw in moeilijkheidsniveau van de toetsing over de jaren heen ontwikkeld worden en het onderwijs hierop worden afgestemd. Overleg tussen vaksecties over de toetsing in aaneensluitende jaren is hiervoor nodig, zodat er duidelijkheid komt over het vereiste niveau van de leerlingen bij de overgang van het ene schooljaar naar het volgende. De verschillende schooltypen in het voortgezet onderwijs (vmbo, havo en vwo) zullen als gevolg van verschillen in cognitieve vaardigheden en studievaardigheden ook verschillen in de manier van toetsen en beoordelen. Michels (2006) heeft op basis van gesprekken met docenten en onderwijsontwikkelaars verschillen tussen havo en vwo leerlingen beschreven. In Tabel 2 staat een overzicht van verschillen in opdrachten tussen de verschillende schooltypen. De eindtermen tussen havo en vwo verschillen veel minder dan die tussen havo/vwo en vmbo.


17

Vmbo

Havo

Vwo

Doel van opdrachten/

Toetsen of kennis

Toetsen of kennis

toetsen of kennis

toetsen

en vaardigheden

en vaardigheden

of vaardigheden

beheerst worden.

beheerst worden

beheerst worden en toegepast kunnen worden in een nieuwe context

Structuur

Veel

gestructureerde

voorstructurering

opdrachten, duidelijk

open opdrachten

en controleerbaar Taalgebruik

Eenvoudig

Soms wat eenvoudig,

Meer

korte zinnen

wetenschappelijke woorden, langere zinnen

Context

Teksten

Praktisch,

Praktisch, vanuit

authentieke context

cases

Kort en concreet

Concreet, niet te lang

Theoretisch

Wetenschappelijker, abstracter, langer, complexer, meer details

Soort vragen in

Voornamelijk

Reproductie en

Nadruk op probleem

toetsen

reproductie;

constructie; bekende

oplossing; bekende

authentieke

technieken in

technieken in nieuwe

opdrachten

bekende situatie

situatie

(dicht bij de oefenstof)

Tabel 2. Verschillen tussen vmbo, havo en vwo in het soort opdrachten en toetsen (gebaseerd op Michels, 2006).

Bij het vmbo en de havo is een beroepscomponent directer aanwezig en bij het vwo een onderzoekscomponent. Ondanks de verschillen tussen de schooltypen variëren de toetsvormen weinig.

18


2.2.2

Het middelbaar beroepsonderwijs

Het voortgezet onderwijs bereidt voor op het middelbaar beroepsonderwijs (mbo), het hoger beroepsonderwijs en universitair onderwijs. Het mbo sluit aan op het vmbo. De laatste jaren heeft het mbo echter een grote ontwikkeling doorgemaakt in de richting van competentiegericht onderwijs, terwijl het vmbo grotendeels traditioneel is gebleven (Schuurs & Verhoeven, 2006). In het mbo wordt gewerkt met de competentiegerichte kwalificatiestructuur. Eindtermen zijn niet langer de basis voor de opleidingseisen, maar de competenties. Dit betekent dat mbo’s hun opleidingen opnieuw hebben ontworpen inclusief het toetsbeleid. Opleidingen gebruiken bij dit herontwerp de standaarden uit het toezichtskader van het ministerie (Inspectie van het Onderwijs, 2009). Het toezicht op de examinering in het mbo valt sinds 2007 rechtstreeks onder de Inspectie van het Onderwijs. Scholen zijn verplicht om alle onderdelen van de examinering voor te leggen aan de Inspectie van het Onderwijs. Een school is vrij in het bepalen van de vorm en het aantal instrumenten dat ingezet wordt voor examinering. Om er voor te zorgen dat er zo weinig mogelijk instrumenten voorgelegd moeten worden aan de Inspectie van het onderwijs wordt er in veel gevallen zo veel mogelijk formatief getoetst en wordt de summatieve toetsing zo klein mogelijk gehouden (Polder, 2004). Diverse onderzoekers (o.a. Baartman e.a., 2006; Straetmans, 2006) pleiten bij competentiegericht beoordelen voor het toepassen van een methodenmix en het spreiden van de beoordelingsmomenten, zowel formatief als summatief, over een langere tijd. Uit het onderzoek van Schuurs en Verhoeven (2010) blijkt dat in het mbo de vaardigheidstoets (een toets die controleert of de leerling bepaalde (beroepsmatige) vaardigheden correct en adequaat kan uitvoeren), de casustoets (een toets waarbij een leerling een probleem of gevalsbeschrijving, ontleend aan de beroepspraktijk, een respons op moet geven) en de stageopdracht de meest gebruikte toetsvormen zijn. Daarnaast worden kennistoetsen, portfolio assessment en reflectieopdrachten gebruikt. Het criteriumgericht interview, peer-assessment en self-assessment worden weinig of niet gebruikt. 2.2.3

Toetsen en beoordelen in het voortgezet onderwijs en mbo, samengevat

Studenten komen bij hun stage is het voortgezet onderwijs of het middelbaar beroepsonderwijs hoofdzakelijk in aanraking met vakgestuurde kennistoetsen. In het mbo komen daar de vaardigheidstoetsen en casustoetsen als nieuwe toetsvormen bij. Bewust en bekwaam omgaan met deze toetsen en beoordelen door de leraren in het voortgezet onderwijs en het middelbaar beroepsonderwijs is gewenst om studenten tijdens hun stages optimaal te begeleiden in hun ontwikkeling tot toetsbekwame leraren.


19

3. Kwaliteit van eigentijds toetsen en beoordelen In hoofdstuk 2 heb ik beschreven hoe studenten aan lerarenopleidingen op verschillende manieren te maken hebben met toetsen en beoordelen. Dit vereist van de betrokken partijen in de opleiding van de studenten, in dit geval de lerarenopleiders èn leraren, het bewustzijn van het belang van goed toetsen en beoordelen en de bekwaamheid om hiervoor zorg te dragen. De bekwaamheid betreft niet alleen de theoretische kennis en vaardigheden. Tevens de vaardigheid om de expertise te koppelen aan de eigen praktijk en de praktijk van de studenten is noodzakelijk (Swennen e.a., 2008). Om het bewustzijn te stimuleren en de bekwaamheid te bevorderen ten aanzien van eigentijds toetsen en beoordelen is het noodzakelijk om te beschrijven over welke kennis en kunde het dan gaat. In het vorige hoofdstuk is hoofdzakelijk beschreven wat voor toetsinstrumenten ingezet worden. De kwaliteitspiramide voor eigentijds toetsen en beoordelen (Joosten-ten Brinke & Sluijsmans, 2010) die op basis van literatuur naar kwaliteitscriteria is ontwikkeld (zie o.a. Baartman, Bastiaens, Kirschner, & Van der Vleuten, 2006; Boud, 2000; Boud & associates, 2010; Brown & Hattie, 2009; Draaijer & Hartog, 2007; Segers, in druk; Sluijsmans, 2008; Schuwirth & Van der Vleuten, 2006) biedt de mogelijkheid om op een gestructureerde manier een kennisbasis te beschrijven voor eigentijds toetsen en beoordelen (zie Figuur 2).

LLL

Kw ali

Toets programma

tei t Toets- en beoordelingsinstrumenten

Taken, opdrachten, items

Figuur 2.

De kwaliteitspiramide voor eigentijds toetsen en beoordelen (Joosten-ten Brinke & Sluijsmans, 2010)

20


De kennis en kunde ten aanzien van toetsen en beoordelen kunnen we verdelen over vier niveaus waarop de kwaliteit van toetsing beoordeeld en geborgd kan worden. Op het hoogste niveau gaat het om de kwaliteit van toetsing in termen van de effecten voor de lange termijn. Wat is de visie van een opleiding ten aanzien van toetsen en beoordelen? In hoeverre draagt toetsing bij aan duurzame leerresultaten en het vormen van een blijvende lerende houding bij leerlingen of studenten? Op het tweede niveau gaat het om de kwaliteit van toetsprogramma’s. Daarbij kunnen we denken aan een hele opleiding, of een afgebakend geheel van onderwijs of procedures voor het erkennen van verworven competenties. Is het gehele programma in balans voor het meten van de competenties van de student? Het derde niveau betreft de kwaliteit van afzonderlijke toetsen beoordelingsinstrumenten. Op het laagste niveau gaat het om de kwaliteit van taken, opdrachten of items. Hieronder wordt dan elk onderdeel van een toets verstaan waarop een student een reactie kan geven. De niveaus staan niet op zichzelf. Kwaliteit van toetsing wordt geborgd door een sterke samenhang van de vier niveaus (aangegeven door de zijdelingse pijl). Is de kwaliteit op het onderste niveau niet goed, dan heeft dit negatieve invloed op de kwaliteit van de bovenliggende niveaus. Andersom, idem dito. Als onduidelijk is wat de visie op toetsing is, zal dit zijn uitwerking naar beneden hebben op de kwaliteit van toetsprogramma’s, toetsen en de onderliggende items. De verschillende niveaus in deze kwaliteitspiramide zal ik nu toelichten.

3.1

Kwaliteit van beoordelen voor leven lang leren

In het huidige onderwijssysteem leren studenten en leerlingen vaak voor de toets. Het onderwijs zou er echter naar moeten streven dat leerresultaten niet alleen beschikbaar blijven tot aan het beoordelingsmoment, maar dat deze leerresultaten duurzaam zijn, dat wil zeggen dat ze een langere periode beklijven (Boud, 2000; Simons & Lodewijks, 1999; Sluijsmans, 2008). Op dit hoogste niveau gaat het dan om de kwaliteit van toetsing voor de lange termijn. Hoe kunnen we ervoor zorgen dat toetsen bijdraagt aan een duurzaam leerresultaat? In hoeverre wordt er kennis en kunde getoetst die ook voor de lange termijn van belang zijn? Studenten op de lerarenopleiding en leerlingen in het middelbaar onderwijs leren niet alleen op school, het zogenoemde formeel leren, maar leren ook relevante zaken in informele en non-formele omgevingen. Denk daarbij aan hun gezinsachtergrond, vrienden en vrijetijdsbesteding, studentenverenigingen, buitenschoolse activiteiten


21

of internationale uitwisselingsprogramma’s. De competenties die studenten en leerlingen hierbij opdoen kunnen een plaats krijgen in het reguliere onderwijs. Om te kijken wat dit leren waard is, is het zinvol om verworven competenties te beoordelen en te erkennen door middel van EVC. Kennis en inzicht van de mogelijkheden en consequenties van beoordeling en erkenning van informeel en non-formeel leren geven invulling aan de kwaliteit van toetsing op het niveau van leven lang leren. Het duurzaam beoordelen en beoordelen voor leven lang leren vereist van studenten specifieke vaardigheden. Het reflecteren op het eigen leren is daar een van. In het hoger onderwijs worden studenten veelvuldig gevraagd om te reflecteren op het eigen ontwikkelproces. Ook in het voorgezet onderwijs is dit een vaardigheid die van de leerlingen verwacht wordt. Toetsvisie en toetsbeleid van scholen kan op dit niveau geanalyseerd worden. In een toetsbeleidsplan worden de uitgangspunten en kaders van een organisatie met betrekking tot ontwerpen, ontwikkelen, afname, rapportage en evaluatie van toetsing beschreven. Wat wil een school met toetsing bereiken en op welke manier wordt het gekozen onderwijsconcept het beste uitgewerkt? Hoe wordt ervoor gezorgd dat nieuwe, minder ervaren leraren op hetzelfde niveau toetsen als de ervaren en toetskundige leraren? In hoeverre kennen leraren de kwaliteiten van hun collega’s op het gebied van toetsing en op welke manier wordt daar gebruik van gemaakt?

3.2

Kwaliteit van toetsprogramma’s

Op een tweede niveau spreken we van de kwaliteit van de toetsprogramma’s. Een toetsprogramma is het geheel van toetsen van bijvoorbeeld een volledige bachelor- of masteropleiding. Maar ook een EVC procedure kan gezien worden als een programma dat moet voldoen aan de kwaliteitscriteria voor toetsprogramma’s (Joosten-ten Brinke, 2008). Een heldere samenhang tussen toetsen beoordelingsinstrumenten die gebruikt worden in de opleiding en de borging van de verschillende functies van toetsing zijn van belang. In het voortgezet onderwijs is er bijvoorbeeld in de bovenbouw wel sprake van een ‘Programma van toetsing en afsluiting’ (PTA), maar is er zo’n programma ook in de onderbouw? En hoe verhouden de toetsen uit de onderbouw zich tot de toetsen in de bovenbouw? Voor het mbo is de Proeve van bekwaamheid dé toets waar de student zijn of haar competenties moet aantonen, maar wat is de relatie tussen deze Proeve van bekwaamheid en de overige formatieve toetsen? In het onderwijs groeit het besef dat leren en toetsen op elkaar moet aansluiten omdat de kwaliteit van toetsing voor een groot deel de kwaliteit van het onderwijs representeert

22


(zie o.a. Schuwirth & Van der Vleuten, 2006). In die discussie is men het erover eens dat toetsen meer is dan het afsluiten van een cursus of module. De samenhang tussen toetsen in een opleiding (zowel formatief als summatief) en de keuzes voor toetsvormen moeten in balans zijn. Deze gedachte heeft ertoe geleid dat er niet meer alleen gekeken wordt naar de psychometrische definitie van kwaliteit, in termen van betrouwbaarheid en validiteit, maar dat er gesproken wordt over edumetrische kwaliteit, waarin ook de consequenties van toetsing op het leren mee beoordeeld wordt. Baartman, Prins, Kirschner en Van der Vleuten (2007) hebben twaalf kwaliteitscriteria voor competentie assessment programma’s onderscheiden (zie Tabel 3). Criterium 1. Geschiktheid voor

Omschrijving Toetsdoelen moeten overeenkomen met onderwijsdoelen.

onderwijsdoelen 2. Acceptatie

Alle betrokkenen van het toetsprogramma (lerarenopleiders, leraren, studenten) kunnen zich vinden in de taken of opdrachten, de criteria en de uitvoering.

3. Transparantie

Een toetsprogramma moet voor studenten doorzichtig en begrijpelijk zijn.

4. Reproduceerbaarheid van beslissingen 5. Vergelijkbaarheid

Beslissingen die worden genomen op basis van een toetsprogramma moeten constant en herhaalbaar zijn en niet afhankelijk van toeval. Het uitvoeren van het toetsprogramma of de toetsen in het programma op een consistente wijze. De beoordelingsprocedure en de beoordelingscriteria moeten gelijk zijn voor alle studenten.

6. Eerlijkheid

Alle studenten dienen een eerlijke kans te krijgen hun competenties te demonstreren. Juiste afspiegeling van de competenties in het toetsprogramma en het gebruik van toetsvormen waarmee studenten die competenties kunnen aantonen.

7. Betekenisvolheid

Het toetsprogramma moet zinvol en nuttig zijn voor studenten en leerlingen (moet een leerervaring opleveren) en voor leraren en het werkveld (afstemming op de behoeften van het toekomstige beroep).

8. Cognitieve complexiteit

De mate waarin het toetsprogramma aansluit bij de gewenste cognitieve processen in de beroepspraktijk. Een assessor moet kunnen vaststellen of iemand de cognitieve vaardigheden bezit om in een beroep te kunnen functioneren.


23

9. Authenticiteit

De mate van overeenkomst van een toetsprogramma met de situatie waarin studenten na het afronden van hun studie terechtkomen, de beroepspraktijk. Een toets kan meer authentiek worden gemaakt door te beoordelen tijdens een stage, door opdrachten te gebruiken die zijn aangeleverd door bedrijven uit de regio of door een praktijksituatie na te bootsen in een rollenspel.

10. Ontwikkeling van zelfsturend leren 11. Onderwijsgevolgen

Het toetsprogramma moet het zelfsturend leren van de leerling stimuleren. In hoeverre draagt het toetsprogramma op positieve wijze bij aan het onderwijs en in hoeverre worden negatieve effecten geminimaliseerd. De effecten van een toetsprogramma op het leren van studenten en de instructie door docenten. Nagaan in hoeverre het toetsprogramma studenten beïnvloedt en of het verwerven van belangrijke competenties wordt gestimuleerd door de gebruikte toetsmethoden.

12. Tijd en kosten

De investering in tijd en kosten moeten voor alle partijen in balans zijn ten behoeve van haalbaarheid en uitvoerbaarheid.

Tabel 3. Kwaliteitscriteria voor competentie assessment programma’s (Baartman e.a., 2007).

Het inzetten van de juiste methodemix (zie bijvoorbeeld Gulikers, Sluijsmans, Baartman, & Bartolo, 2008), waarbij gebruik gemaakt kan worden van bijvoorbeeld meerkeuzetoetsen, toetsen met open vragen, casustoetsen, zelfbeoordelingen, peer assessments en co assessments, is cruciaal. Om als opleiding te voldoen aan deze vakoverstijgende criteria is het nodig om inzicht te krijgen in de betekenis van de criteria in relatie tot de kwaliteit. Door de criteria te gebruiken in de besprekingen van leraren(opleiders) over toetsing kan gewerkt worden aan het begrijpen van de criteria en hun toepassing ter verhoging van de kwaliteit van toetsing. (Bronkhorst, 2009; Glerum, 2010). De bewustwording van leraren(opleiders) van indicatoren die kwaliteit beïnvloeden neemt daardoor toe. In de afgelopen jaren is het onderwijs in het mbo en hbo verschoven naar het competentiegerichte model, waarbij kennistoetsen naar de achtergrond verdrongen zijn. De vraag dient zich aan of in de competentiegerichte beoordelingen de kennis wel voldoende geborgd is. Het evenwicht tussen efficiënte kennistoetsen en opdrachten om kennis toe te passen in zo authentiek mogelijke settings is soms zoek (Onderwijsraad, 2009). Een andere observatie is dat toetsprogramma’s nog vaak uit veel kleine toetsen van onderdelen of vakken bestaan, waardoor de samenhang voor de student zoek is en er sprake is van versnippering.

24


3.3

Kwaliteit van toetsen beoordelingsinstrumenten

Met toetsen beoordelingsinstrumenten worden alle mogelijke toetsvormen bedoeld. Verschillende toetsvormen zijn al beschreven in het hoofdstuk over toetsen in de lerarenopleiding, het voortgezet onderwijs en het middelbaar beroepsonderwijs (bijvoorbeeld schriftelijke toetsen, mondelinge toetsen, vaardigheidstoetsen, presentaties, portfolio’s, of zelfbeoordelingen). Beoordelingsmodellen bij schriftelijke toetsen bestaan uit het juiste antwoord inclusief een verwijzing naar de leerstof. Deze beoordelingsmodellen worden meestal gelijk bij de constructie van de toets ontwikkeld. Bij het beoordelen van portfolio’s is dit in de praktijk veel minder het geval. Een rubric is een beoordelingsinstrument waarbij de criteria waaraan een product of proces moet voldoen uitgewerkt wordt in oplopende beheersingniveaus. Dit instrument kan studenten inzicht geven in verdere ontwikkelingsmogelijkheden. Een belangrijke voorwaarde voor ontwikkelingsgericht toetsen is om instructie en toetsen niet meer te zien als twee gescheiden trajecten na elkaar, maar deze geleidelijk in elkaar over te laten gaan. Dat begint ermee dat leerlingen en studenten weten wat de leerdoelen zijn. Deze leerdoelen kunnen weergegeven worden in een rubric en gebruikt worden in de les om de verwachtingen van het onderwijs met de studenten te bespreken. Uit onderzoek blijkt dat leraren vaak wel denken dat de leerlingen weten wat de belangrijke onderdelen van de stof zijn waarover getoetst wordt, maar als daar expliciet naar gevraagd wordt blijkt dat niet het geval (Broekkamp, Van Hout-Wolters, Rijlaarsdam & Van den Bergh, 2002). Dit geldt zelfs niet alleen voor het verschil in verwachtingen tussen de leraar en de leerlingen, maar ook voor leraren onderling. Elke toets moet voldoen aan de criteria van bruikbaarheid, validiteit en betrouwbaarheid. Dit betekent dat toetsen efficiënt en eerlijk zijn, dat ze meten wat ze beogen te meten en dat er overeenstemming is tussen leraren over de beoordeling. Om te voldoen aan deze criteria moet bij toetsconstructie de volgende vragen beantwoord worden: wat wordt er getoetst? bij wie wordt de toets afgenomen? wie zijn de beoordelaars (leraren, studenten en/of werkveld)? hoeveel toetstijd is er beschikbaar? hoe wordt er getoetst? hoe wordt er beoordeeld? De validiteit van toetsen kan onder andere verhoogd worden door te werken met een toetsmatrijs (zie Tabel 4 voor een voorbeeld van een toetsmatrijs).


25

Toetsmatrijs voor de module Eigentijds toetsen en beoordelen Reproductie

Productie

Toepassing en

Totaal

integratie Kwaliteit voor LLL

3

2

4

9 (25%)

Kwaliteit van toetsprogramma’s

3

2

4

9 (25%)

Kwaliteit van toetsen

3

4

2

9 (25%)

3

4

2

9 (25%)

12 (33,3%)

12 (33,3%)

12 (33,3%)

36

beoordelingsinstrumenten Kwaliteit van taken, opdrachten en items Totaal Tabel 4. Voorbeeld toetsmatrijs

In zo’n toetsmatrijs wordt aan de hand van twee variabelen (de inhoud en het beheersingsniveau) de basis vastgelegd voor toetsing en de te ontwikkelen vragen. Hiermee kunnen schrijfopdrachten gegeven worden aan itemconstructeurs en is het mogelijk om meerdere jaren achter elkaar inhoudelijk vergelijkbare toetsen te ontwikkelen. De betrouwbaarheid van toetsen kan ook verhoogd worden door gezamenlijke toetsconstructie. Het gezamenlijk ontwikkelen en bespreken van beoordelingscriteria bevordert de consistentie van beoordelingen. Het ontwikkelen van toetsen is niet alleen het schrijven van toetsopdrachten of items, maar betekent ook dat antwoordmodellen en correctievoorschriften vooraf beschikbaar zijn waarbij de beoordelaars het vooraf met elkaar eens zijn over het juiste antwoord en de bijbehorende scoringsregels.

3.4

Kwaliteit van taken, opdrachten of items

De onderste laag van de kwaliteitspiramide betreft de kwaliteit van de toetsvragen, de items. Elke taak, opdracht of vraag die je in een toets gebruikt, of dit nu een meerkeuzevraag, een open vraag, of een opdracht tot het schrijven van een werkstuk is, moet voldoen aan criteria van relevantie, objectiviteit, efficiëntie en geschikte moeilijkheidsgraad. De relevantie van een item heeft betrekking op de mate waarin een item toetst wat het beoogt te toetsen, met andere woorden op de mate waarin het item een directe relatie heeft met het leerdoel. Voor toetstaken in competentiegericht onderwijs betekent dit dat toetstaken opgebouwd zijn rond realistische, concrete situaties. Een item is objectief indien de score van het item onafhankelijk is van

26


degene die de beoordeling uitvoert. Dit impliceert dat antwoordmodellen zo min mogelijk ruimte voor subjectieve interpretatie openlaten en dat deskundigen het eens zijn over het juiste antwoord of over de criteria waaraan een juist antwoord moet voldoen. Het criterium van efficiëntie betekent dat wanneer men bij het ontwikkelen van een item kan kiezen uit verschillende soorten items die in alle opzichten gelijkwaardig zijn, dan verdient het item dat het minste tijd kost in termen van afname en correctie de voorkeur. Tot slot moet de moeilijkheidsgraad van een item aanvaardbaar zijn, gegeven het niveau van de studenten of leerlingen. Digitale toetsing vraagt op dit onderste niveau van de kwaliteitspiramide specifieke kennis en kunde. Het aantal mogelijke itemvormen neemt toe en de keuze voor itemvormen heeft gevolgen voor de regels die gebruikt moeten worden om de juiste score te berekenen (zie onder andere Vos, Kloppenburg, & Tomson, 2010).


27

4. De rol van lerarenopleiders en leraren De kwaliteit van toetsing op alle vier de niveaus van de kwaliteitspiramide wordt beïnvloed door de kennis en kunde van de direct betrokkenen (figuur 3). Bij de lerarenopleidingen zijn dit de lerarenopleiders voor het toetsbeleid, toetsprogramma, toetsen en items in de eigen lerarenopleiding en de leraren in de scholen voor de vier niveaus in de eigen school. De studenten, de leraren in opleiding, zullen in hun opleiding al direct de kennis en kunde van kwalitatief goed toetsen moeten verwerven, in de didactische onderdelen van de opleiding, maar ook bij de stage.

Le rar bo

Kwaliteit

/m

rs

en

de

ud

lei

st g(

op

ten

Toets- en beoordelingsinstrumenten

vo

en

din

rar

lei

en

op

rar

in Le

Toets programma

Le

en

LLL

)

Taken, opdrachten, items

Figuur 3. De voorbeeldrol van lerarenopleiders en leraren ten aanzien van de kwaliteitspiramide voor eigentijds toetsen en beoordelen.

Dit vereist van lerarenopleiders en leraren een stevig bewustzijn en een positieve perceptie ten aanzien van het belang van kwalitatief goede toetsing. Perceptie is echter afhankelijk van het interne doel dat mensen hebben (Balcetis & Dunning, 2009). Als dat interne doel het verhogen van de kwaliteit van toetsen en beoordelen is dan is dat beter haalbaar dan wanneer dit doel niet aanwezig is. Studenten en

28


leerlingen, maar ook lerarenopleiders en leraren oordelen nog steeds vaak negatief over de wijze van toetsing en de inhoud van toetsen. Leraren en opleiders hebben twijfels over de keuzes die gemaakt moeten worden ten behoeve van het ontwerp van toetsing. Het ontwerpen en ontwikkelen van een toets is niet eenvoudig en kost veel tijd. Daarnaast heeft toetsing niet de hoogste prioriteit. Eerst moet het cursusmateriaal of lesplan gereed zijn en vaak wordt er dan als er nog tijd over is nagedacht over de toetsing. Indien dit pas is als het onderwijs al gestart is, is de toetsing ook hoofdzakelijk summatief. De ontwikkelingsgerichte toetsing is daardoor ondervertegenwoordigd. Het is aan te bevelen om ervoor te zorgen dat hergebruik mogelijk is en dat er gezamenlijke toetsontwikkeling plaatsvindt (Gorissen & Heijmen, 2004). Een gezamenlijke ontwikkeling van toetsen is eerder uitzondering dan gewoonte. Door de opkomst digitale toetsing, kennisbanken en kennistoetsing is het gezamenlijk ontwikkelen van toetsing meer gebruikelijk geworden. In interviews geven lerarenopleiders en schoolleiders aan dat de kennis en kunde op het gebied van toetsen en beoordelen bij lerarenopleiders en leraren verbeterd zou moeten worden. Toetsdeskundigen in het hoger onderwijs en studenten ondersteunen deze constatering (ISO, 2009; Riksen, 2010; Straetmans, 2006). Dat de kennis en kunde verbeterd kan worden is onder andere het gevolg van de beperkte aandacht die gegeven wordt aan professionalisering van lerarenopleiders en leraren (in opleiding) op het gebied van toetsen en beoordelen. Deze constatering is zorgelijk, omdat het bij toetsing gaat om het vaststellen van een betrouwbaar beeld van de kennis en kunde van de lerende en er vaak ingrijpende beslissingen aan worden verbonden. Ervaringen en beelden over toetsing - aangeduid als percepties - hebben een sterke invloed op de wijze waarop de toetsing in de praktijk vorm krijgt (Brown, 2006). Lerarenopleiders en leraren krijgen van verschillende kanten informatie of feedback over toetsing. Afhankelijk van de mate van consistentie of tegenstrijdigheid van nieuwe informatie in relatie tot bestaande kennis en kunde, bepalen persoonlijke inzichten en assumpties hoe opleiders reageren op nieuwe informatie (Denis & Van Damme, 2009). Een negatieve perceptie kan een belemmerende invloed hebben op het effectief inzetten van toetsing. Om ervoor te zorgen dat de kwaliteit van toetsing geborgd wordt is bewustzijn en eigenaarschap belangrijk (Vlasceanu, Grünberg, & Parlea, 2007). Het bevorderen van dit bewustzijn en eigenaarschap van lerarenopleiders en leraren kan door het gezamenlijk ontwerpen en ontwikkelen van de kennisbasis voor toetskwaliteit. Deze constatering brengt mij bij het doel van mijn lectoraat.


29

5.

Het lectoraat

Het hoofddoel van het lectoraat ‘Eigentijds toetsen en beoordelen’ is leraren, lerarenopleiders en studenten verder te professionaliseren tot bewuste en bekwame beoordelaars. Het lectoraat streeft op basis van eerder genoemd kwaliteitskader naar: (1) (2) (3)

een toegenomen bewustzijn bij lerarenopleiders, leraren en studenten ten aanzien van het belang van goede toetsing en beoordeling, een onderzoeksomgeving waarin leraren(opleiders) en studenten hun eigen toetsen beoordelingspraktijk onderzoeken en een goed onderbouwd, samenhangend en evenwichtig toetsprogramma in de bachelor- en masteropleidingen van FLOT.

Om deze doelen te bereiken zal het lectoraat activiteiten uitvoeren in drie domeinen: Professionele praktijk, Onderzoek en wetenschap en Onderwijs en scholing. Het lectoraat heeft een kenniskring die samen met de lector praktijkproblemen of vraagstukken onderzoekt. De kenniskring Eigentijds toetsen en beoordelen bestaat hoofdzakelijk uit docenten van FLOT en Fontys medewerkers met interesse voor kwaliteit van toetsen en beoordelen (Wim Lansu, Jorik Arts, Carel Burghouts, Jos Verhoosel, Hjalmar Janson en Mieke Jaspers). In de loop van de lectoraatsperiode zal deze kenniskring uitgebreid kunnen worden met docenten van scholen voor voortgezet onderwijs of beroepsonderwijs en andere gerelateerde partijen. Individueel en gezamenlijk wordt onderzoek uitgevoerd binnen het thema ‘Eigentijds toetsen en beoordelen’.

5.1

Professionele praktijk

Het lectoraat probeert bij te dragen aan de professionalisering van lerarenopleiders en leraren ten aanzien van (onderzoek naar) het bewust en bekwaam toetsen en beoordelen, zowel in de opleiding als op de scholen. Professionele leraren reflecteren op hun handelen door na te denken over het gedrag van hun studenten of leerlingen. Waarom is de ene student succesvoller dan de andere en waarom werkt dezelfde aanpak de ene keer beter of slechter dan de andere keer? Voor een professionele beroepsuitoefening is het van belang dat leraren de resultaten van toetsen en beoordelen óók opvatten als feedback voor zichzelf en voor de opleiding.

30


Het aanbod voor professionalisering rondom het thema toetsing is groot. Er zijn studiedagen en conferenties over toetsen en beoordelen, er zijn binnen hogescholen expertgroepen die opleidingen adviseren en ook vanuit onderzoek vindt kennisuitwisseling over toetsen en beoordelen plaats. Toch blijkt de huidige professionalisering te weinig effectief en efficiënt. Een eerste oorzaak hiervoor is dat professionaliseringsbijeenkomsten veelal worden gepland vanuit een aanbodgericht perspectief. Professionalisering ‘on demand’ is lastig en nog niet uitgewerkt, waardoor er voor just-in-time vragen te weinig ruimte is. Een tweede oorzaak zou kunnen zijn dat de professionalisering te instrumenteel is. Een quick scan van het bestaande professionaliseringsaanbod laat zien dat deze zich vooral richt op de onderste twee niveaus van de kwaliteitspiramide voor eigentijds toetsen en beoordelen, met onderwerpen als het formuleren van goede toetsvragen, het ontwerp van een toetsmatrijs of het vaststellen van de cesuur. Bestaande professionalisering is vaak niet gericht op de samenhang van het toetsprogramma als geheel (Van der Vleuten e.a., 2010), professionalisering op het derde niveau. Consequentie is dat opleiders geen overzicht hebben over het geheel en er versnippering optreedt. Ook op het hoogste niveau (kwaliteit van toetsen en beoordelen voor leven lang leren) is de professionalisering beperkt. Naast het feit dat professionalisering teveel aanbodgericht is en te instrumenteel wordt ingevuld is een derde oorzaak van ineffectieve professionalisering dat deze meer gericht is op individueel gedrag dan op het verbeteren van samenwerking tussen lerarenopleiders en leraren (in opleiding) en kennisdeling over toetsen en beoordelen (Crow & Pounder, 2000; Fishman, Best, & Tal, 2003). Zoals eerder aangegeven zal een gezamenlijke item- en toetsconstructie bijdragen aan efficiënt werken en betrouwbare toetsen. Om te komen tot een effectieve aanpak bij toetsen en beoordelen zal een gemeenschappelijk begrip over de functie van toetsen en beoordelen moeten worden ontwikkeld. Wat moeten lerarenopleiders, leraren en studenten weten over toetsen en beoordelen? In hoeverre kan er sprake zijn van taakdifferentatie? Op managementniveau en op uitvoeringsniveau moet hierover overeenstemming zijn. Zeker gezien de impact die toetsen en beoordelen heeft op het gedrag van leerlingen is het ontbreken van een gemeenschappelijke visie op toetsen zeer problematisch (Klimoski & Mohammed, 1994). Het lectoraat neemt deze vraag mee in haar onderzoek.


31

Nieuwe en veranderende inzichten over de wijze van toetsen en beoordelen vereisen een uitbreiding van kennis en kunde over toetsen en beoordelen. Bij het invoeren van digitale toetsing is professionalisering van de gebruikers (docenten en studenten) belangrijk. Over deze invoering wordt vaak te eenvoudig gedacht. Mogelijk is dit het gevolg van de gedachte dat er altijd al getoetst werd en dat het enige verschil is dat het nu ook digitaal kan. Een kwalitatief goed ontwerp van het hele toetsprogramma is hierbij echter voorwaardelijk. Professionalisering van lerarenopleiders en leraren op het gebied van toetsen en beoordelen zal in overleg met het lectoraat Professionalisering van de beroepsgroep leraren en lerarenopleiders uitgewerkt worden. Dit lectoraat van Quinta Kools houdt zich bezig met de vragen: hoe kunnen (aankomende) leraren en lerarenopleiders hun professionaliteit ontwikkelen en onderhouden, hoe kunnen zij daarvoor toegerust worden en wat zijn daarvoor geschikte methoden en mogelijkheden? Op dit moment wordt de professionalisering vanuit mijn lectoraat vormgegeven door middel van de kenniskring, studie- en onderwijsdagen en pilots: • Kenniskringleden professionaliseren zich op het thema toetsen en beoordelen en op kennis en vaardigheden met betrekking tot het doen van praktijkonderzoek. De vragen die op dit moment opgepakt worden zijn: hoe positioneer je voortgangstoetsen in het onderwijs zodanig dat ze zowel formatief als summatief te gebruiken zijn? (Wim Lansu/Mieke Jaspers), hoe maken we goede rubrics en hoe gebruik je ze op een goede manier in het onderwijs? (Carel Burghouts), wat is de invloed van toetsing op de toetsvoorbereiding van de student? (Jos Verhoosel), hoe kan een variatie aan toetsvormen duurzaam leren bevorderen? hoe kom jet met studenten en leerlingen zover dat ze voorbij de toets kijken?(Kathi Barth/ Mariëlle Daemen), wat voor typen vragen moet je bij het geven van feedback stellen om ervoor te zorgen dat de toets ontwikkelingsgericht is? hoe kom je van feedback naar feedforward? (Jorik Arts/Mieke Jaspers), hoe kan je een portfolio laten maken die en zinvol is voor de student en onderscheidend is tussen studenten (Hjalmar Janson). • Professionalisering van opleiders vindt plaats via kennisdeling. Het lectoraat zal gedurende de looptijd enkele studie- en onderzoeksdagen organiseren rondom toetsing en beoordeling. Tevens zullen resultaten vastgelegd worden in de reeks ‘praktijkpublicaties’ van de FLOT-lectoraten. • Pilots worden gebruikt om nieuwe ontwikkelingen uit te testen en te evalueren. Deze pilots worden door de lerarenopleiders geïnitieerd, uitgevoerd en

32


geëvalueerd. De lectoraten begeleiden de pilots, waarbij pilots rond het thema toetsing vallen onder het lectoraat ‘Eigentijds toetsen en beoordelen’. Op dit moment zijn pilots rond het thema peer assessment een voorbeeld hiervan. De pilot van Jos Verhoosel onderzoekt of peer assessment kan bijdragen aan een verhoogde groepsprestatie. De pilot van Marij Verwaaij richt zich op een verlaging van de werkdruk bij het beoordelen van werkstukken. Een onderzoek van Jorik Arts laat bij een eerste analyse zien dat sociale processen die je als opleider al denkt te zien bevestigd worden door peer assessment. Door het uitvoeren van deze afzonderlijke onderzoeken naar hetzelfde concept kan een algemene werkwijze afgeleid worden die breed in de opleiding gebruikt kan worden.

5.2

Onderzoek en wetenschap

Het lectoraat draagt bij aan de positionering en ontwikkeling van het onderzoeksklimaat in het HBO. De ontwikkeling van en praktijkonderzoek naar beoordelingsmethoden die passen bij huidige en toekomstige ontwikkelingen is cruciaal voor het onderwijs. Leraren(opleiders) en studenten kunnen actief participeren in ontwikkeling en onderzoek (Forum voor Praktijkgericht Onderzoek, 2009). Doel van het praktijkgerichte onderzoek in het lectoraat is het verbeteren van de eigen toetspraktijk en de eigen professionaliteit op dit gebied. Essentieel in het doen van praktijkgericht onderzoek is de discussie en kritische dialoog met collega’s die een stimulerende werking hebben voor de direct betrokkenen (Bolhuis, 2009; Van den Akker, 2006). Praktijkonderzoek draagt effectief bij aan de professionalisering van de lerarenopleiders doordat de opleiders zelf eigenaar zijn van de probleemstelling, het onderzoek en de resultaten. Het gebruik van pilots bij FLOT biedt hieraan extra ondersteuning. Door lerarenopleiders en leraren (in opleiding) direct te betrekken bij de ontwikkeling van toetsinstrumenten en de manier waarop dit ten behoeve van professionalisering kan worden ingezet wordt het eigenaarschap van ontwikkelde materialen gestimuleerd zodat de resultaten beter beklijven. In het lectoraat zal praktijkonderzoek uitgevoerd worden naar verschillende aspecten van toetsen en beoordelen. Dit onderzoek ontstaat vanuit een praktische vraag van een leraar over zijn eigen onderwijspraktijk. De vorm van het onderzoek kan daardoor variëren van case studies tot experimentele onderzoeksopzetten.


33

De resultaten van het onderzoek kunnen direct teruggebracht worden naar de eigen praktijk. Het centrale onderzoek van het lectoraat ‘Eigentijds toetsen en beoordelen’ is gericht op het bewustzijn van het belang van toetsen en beoordelen en de kennis en kunde van studenten, leraren en lerarenopleiders op het gebied van toetsen en beoordelen. Aangezien het eerste doel van het lectoraat is ‘het verder ontwikkelen van het bewustzijn bij lerarenopleiders en leraren van het belang van goede toetsing en beoordeling’, zal onderzoek moeten vaststellen of dit doel ook behaald wordt. Het lectoraat zal de komende jaren de volgende onderzoeksvragen willen beantwoorden: • Welke kennis en vaardigheden ten aanzien van eigentijds toetsen en beoordelen moeten lerarenopleiders, leraren en studenten hebben om hun werk als professional te kunnen uitvoeren? • Hoe beoordelen lerarenopleiders, leraren en studenten hun kennis en kunde van eigentijds toetsen en beoordelen? • Op welke manier kan het bewustzijn bij lerarenopleiders, leraren en studenten van het belang van goede toetsing en beoordeling toenemen? • Hoe ziet een goed samenhangend en evenwichtig toetsprogramma in de bachelor en masteropleidingen van FLOT eruit om studenten op te leiden tot toetsbekwame leraren? Het lectoraat heeft in het kader van de SURF-tender Toetsing en toetsgestuurd leren samen met de lector van Hogeschool Arnhem en Nijmegen, Dominique Sluijsmans, een onderzoeksvoorstel ingediend en goedgekeurd gekregen dat aansluit bij de eerste twee onderzoeksvragen (Sluijsmans & Joosten-ten Brinke, 2010). Dit onderzoek zal vanuit een praktijkgericht onderzoeksperspectief samen met de lerarenopleidingen van de Hogeschool Arnhem en Nijmegen, Hogeschool Zuyd en Vrije Universiteit vorm gegeven worden. Het project streeft naar de ontwikkeling van een valide en betrouwbaar (digitaal) zelfbeoordelingsinstrument inclusief ontwikkelingsgerichte feedback voor lerarenopleiders waarmee zij hun percepties, kennis en kunde over toetsen in kaart kunnen brengen. Op basis van de uitkomsten van deze zelfbeoordeling kunnen lerarenopleiders zich verder professionaliseren. Zoals Hattie and Timperley (2007) aangeven moet de feedback zodanig ingezet worden dat deze ook effectief is voor het leren. Het voordeel om te werken met een zelfbeoordelingsinstrument (en niet met een normatief meetinstrument) is dat een zelfbeoordelingsinstrument uitgaat van interne verwachtingen (verwachtingen vanuit de gebruiker) ten aanzien van kwaliteit (Bronkhorst, 2009). Door gebruik te

34


maken van zelfbeoordelingen wordt de lerende zich bewust van zijn eigen kennis en kunde en daarmee bewust van de behoefte aan professionalisering. Betrokkenheid van de opleiders bij het ontwerp van professionaliseringsinstrumenten is belangrijk. Opleiders moeten overtuigd zijn van de waarde van de nieuwe benadering. Als ze niet zeker zijn van de meerwaarde, zijn opleiders niet geneigd om de nieuwe benadering aan te nemen (Denis & Van Damme, 2009). De kenniskringleden zijn bij dit project betrokken als mede-onderzoekers. Dit gezamenlijke onderzoek is gericht op de lerarenopleiders. Voor het lectoraat zijn de doelgroepen leraar en student echter ook van belang. Om die reden zal het onderzoek bij FLOT naar deze doelgroepen verbreed worden. Naast praktijkonderzoek kunnen opleiders onder begeleiding van het lectoraat promotieonderzoek uitvoeren. Hiervoor is samenwerking met een universiteit noodzakelijk. Een voorbeeld hiervan is het onderzoek van Kelly Meusen, leraar in het primair onderwijs. Zij is bezig met het schrijven van een voorstel voor promotieonderzoek over het aanbieden van formatieve assessments ter bevordering van de aansluiting van het voortgezet onderwijs op het basisonderwijs. Dit onderzoek zal bij goedkeuring uitgevoerd worden onder begeleiding van de Open universiteit en het lectoraat ‘Eigentijds toetsen en beoordelen’.

5.3

Bijdrage aan de innovatie van het curriculum

Het derde doel van het lectoraat is bijdragen aan een goed onderbouwd, samenhangend en evenwichtig toetsprogramma in de bachelor- en masteropleidingen van FLOT. Zoals in het voorafgaande werd beschreven is voor lerarenopleidingen het onderwerp ‘Eigentijds toetsen en beoordelen’ bijzonder van belang. In elke competentiegerichte beroepsopleiding moet de beoordeling van de vorderingen van studenten op competentiegerichte wijze worden vormgegeven. In het licht van de belangrijke rol die ‘opleiden in de school’ krijgt, is het voor de lerarenopleiding zaak om te waarborgen dat ook het leren van de studenten in de school adequaat wordt beoordeeld. Binnen de lerarenopleidingen krijgt het onderwerp een extra dimensie doordat toetsen en beoordelen ook een wezenlijk onderdeel is van het competentieprofiel waarvoor studenten worden opgeleid. Toetsen en beoordelen wordt in het curriculum in eerste instantie toegedeeld aan competentie 3 (vakinhoudelijk en didactisch competent), maar is tevens te koppelen aan de andere competenties, denk aan reflectie. De leraar evalueert het leerproces en de leerresultaten van leerlingen. Dit betekent dat er in de opleiding aandacht moet zijn voor toetsing en beoordelen.


35

Idealiter wordt op een vakoverstijgend niveau aandacht besteed aan alle niveaus van de kwaliteitspiramide voor eigentijds toetsen en beoordelen en wordt er in de vakken, voortbouwend op het geleerde in het vakoverstijgende onderwijs, aangegeven wat er specifiek is voor het te toetsen vakonderdeel. Tijdens de stage kunnen studenten deze kennis en vaardigheden toepassen in de eigen school. De leraar op de stageschool is daarbij het voorbeeld voor de student. Op dit moment komt het voor dat de studenten tijdens de stage voor het eerst in aanraking komen met toetsen en beoordelen. Tijdens de stage is het echter van belang dat studenten zich bewust zijn van hun handelingen en een kader hebben om te bepalen wat goed is of niet. Bij het beoordelen van stages zou gekeken moeten worden of de kennis die in de opleiding is opgedaan op de juiste manier wordt toegepast. Onderzoek toont echter aan dat voornamelijk procedurele kennis en kennis die opgedaan is in de praktijk beoordeeld worden (Hegender, 2010; Ottensen, 2007). Zelden gaat het om voorwaardelijke kennis of kennis die in de opleiding is opgedaan. Het lectoraat zal in samenwerking met de opleidingen aan de verdere ontwikkeling, conceptualisering en onderbouwing van ‘eigentijds toetsen en beoordelen’ in de curricula bijdragen. Studenten kunnen voor hun actieonderzoek en praktijkonderzoek aansluiten bij het onderzoek van het lectoraat. Het vakdidactisch actieonderzoek vindt plaats in de bacheloropleidingen in de afstudeerfase en is gerelateerd aan de vakinhoudelijke en vakdidactisch competentie en aan de competentie ‘reflectie en ontwikkeling’. Het praktijkonderzoek wordt door de studenten uitgevoerd in de masteropleidingen. De drie domeinen waarop het lectoraat actief zal zijn hangen met elkaar samen. Vanuit onderzoek en wetenschap wordt onderwijs en scholing ingericht en vindt professionalisering van lerarenopleiders en leraren plaats. Door hierbij gebruik te maken van het principe van de onderzoekende leraar levert deze professionalisering een bijdrage aan kennisontwikkeling en via publicaties en presentaties (conferenties, gastcolleges en dergelijke) aan kenniscirculatie.

36


6. Dankwoord Nu ik aan het einde van mijn rede gekomen ben, wil ik graag een aantal mensen bedanken. Ten eerste de directie van Fontys Lerarenopleiding Tilburg, Ans Buys, Anton van den Brink en Patrick Eckringa voor de keuze voor het lectoraat ‘Eigentijds toetsen en beoordelen’ en mijn benoeming om als lector een bijdrage te leveren aan de ontwikkeling van dit domein bij de lerarenopleiding. Dank aan het College van Bestuur van Fontys voor het in mij gestelde vertrouwen en aan Wilma de Koning voor het verzorgen van de inleiding op de bijeenkomst van vandaag. Dank in het bijzonder aan Sanneke Bolhuis en Quinta Kools. Sanneke heeft er met haar lectoraat voor gezorgd dat ik hier in een goed voorbereid klimaat van praktijkonderzoek terecht kwam. Quinta en ik zijn beide op 1 april met ons eigen lectoraat begonnen en delen onze werkkamer. Het is prettig om met z’n tweeën gelijktijdig bezig te zijn met het opzetten van onze lectoraten en de kenniskringen. Samen hebben we mogen worstelen met de organisatie van deze dag en hebben we in Lissabon in no time afspraken kunnen maken voor het ontwerp van de uitnodigingen (met dank aan Ed van Oosterhout). Quinta gaf me telkens weer de energie om verder te schrijven aan deze rede, dank je wel. Dank aan Caroline, Monique en Christel van het directiesecretariaat voor de ondersteuning om deze dag tot een goed einde te brengen. Verder dank aan de leden van de kenniskring om samen na te denken over belangrijke thema’s binnen het domein van toetsen en beoordelen. Op basis van onze activiteiten in het eerste half jaar kijk ik uit naar onze verdere samenwerking en de bijdrage die we kunnen leveren aan praktijkgericht onderzoek in het brede domein van toetsen en beoordelen. Dank aan de mensen van de expertisegroep toetsing, die de basis hebben gelegd voor de beschrijving van de stand van zaken rondom toetsing bij FLOT en de themagroep toetsing, die dit jaar bezig is om de dialoog rondom toetsing en EVC bij FLOT te voeren. Verder wil ik alle MT-leden en overige medewerkers bij FLOT bedanken voor de samenwerking. Dankzij jullie heb ik me vanaf de eerste dag welkom gevoeld bij FLOT. Buiten FLOT wil ik graag mijn collega’s van de Open universiteit bedanken. De stimulans om ook buiten de OU te kijken naar interessante ontwikkelingen, de interesse in mijn activiteiten bij FLOT en de mogelijkheden voor samenwerking zorgen ervoor dat een halftime baan bij FLOT goed te combineren is met een halftime baan bij de Open universiteit.


37

Dominique Sluijsmans wil ik bedanken voor de goede en gezellige samenwerking. Doordat we beiden op een vergelijkbaar terrein werkzaam zijn, is het heel prettig om ideeën met elkaar uit te wisselen en samen te werken in ons onderzoek. Met het project ‘Bewust en bekwaam toetsen’ kunnen we ons gezamenlijk inzetten voor het bevorderen van de kwaliteit van goed toetsen en beoordelen. Speciale dank voor Marcel van der Klink, Dominique Sluijsmans en Sanneke Bolhuis voor hun feedback op een eerdere versie van deze rede. Ook de medewerkers van de afdeling Grafische producties van Fontys wil ik hartelijk bedanken voor het mooie ontwerp van de omslag van dit boekje en de fijne samenwerking bij de vormgeving van de tekst. Tenslotte dank aan Marcel, Wesley, Ryanne en Joëlle. Tilburg is niet om de hoek, maar de wetenschap dat jullie goed voor jezelf en voor elkaar zorgen als ik er niet ben, zorgt ervoor dat ik met een goed gevoel ’s ochtends vroeg in de trein stap. En aan het eind van middag hoop ik alleen dat de NS ook een beetje aan jullie denkt, zodat ik weer snel thuis kan zijn. Ik dank u voor uw aandacht.

38


7. Referenties Baartman, L. K. J., Bastiaens, Th. J., Kirschner, P. A., & Van der Vleuten, C. P. M. (2006). The wheel of competency assessment: Presenting quality criteria for competency assessment programmes. Studies in Educational Evaluation, 32, 153-177. Baartman, L. K. J., Prins, F. J., Kirschner, P. A., & Van der Vleuten, C. P. M. (2007). Determining the quality of competence assessment programs: a self-evaluation procedure. Studies in Educational Evaluation, 33, 258-281. Balcetis, E., & Dunning, D. (2009). Wishful Seeing: More Desired Objects Are Seen as Closer Psychological Science. Biesta, G. (2009). Good education in an age of measurement: on the need to reconnect with the question of purpose in education. Educational Assessment, Evaluation and Accountability, 21, 33-46. Black, P., & William, D. (1998). Assessment and classroom learning. Assessment in Education, 5, 7-73. Blom, S. M. P. (in ontwikkeling). Leerwinst expliciet krijgen vanuit zelfobservatie. Praktijkpublicatie Lectoraat Leerstrategieën. Tilburg: FLOT. Boud, D. (2000). Sustainable assessment: rethinking assessment for the learning society. Studies in Continuing Education, 22(2), 151-167. Boud, D., & Falchikov, N. (1989) Quantitative studies of student self assessment in higher education: a critical analysis of findings. Higher Education, 18, 529-549. Broekkamp, H., Van den Bergh, H., Van Hout-Wolters, B. H. A. M. & Rijlaarsdam, G. C. W. (2002). Will that be on the test? Perceived task demands and test performance in a classroom context. European Journal of Psychology of Education, 17, 75-92. Bronkhorst, L. W. (2008). Quality standards for competence assessment programs: Description and rationale. Masterscriptie. Utrecht: Universiteit Utrecht. Brown, G. T. (2006). Teachers’ conceptions about assessment: validation of an abridged version. Psychological reports, 99, 166-170.


39

Brown, G., Bull, J., & Pendlebury, T. (1997) Assessing Student Learning in Higher Education. London: Routledge. Brown, G. T. L., & Hattie, J. A. (2009, April). Understanding teachers’ thinking about assessment: Insights for developing better educational assessments. Paper presented at NCME 2009 conference, San Diego, CA. Denis, J., & Van Damme, J. (2009). Professioneel leren en professionele ontwikkeling van leraren. Leuven: Katholieke Universiteit Leuven. Draaijer, S., & Hartog, R. (2007). Guidelines for the design of digital closed questions for assessment and learning in higher education. e-Journal of Instructional Science and Technology, 10(1). Fiddler, M., & Marineau, C. (2008). Assessing Learning: Standards, Principles, and Procedure. Chicago: Kendall Hunt Publishing Company. Gulikers, J., Sluijsmans, D., Baartman, L., & Bartolo, P. (2009). The power of assessment in teacher education. In A. Swennen and M. van der Klink (eds.) Becoming a teacher educator. Theory and practice for teacher educators, 173-188. Dordrecht: Springer. Glerum, J. (2010). Kwaliteit van Assessment in het Competentiegericht Middelbaar Beroepsonderwijs: een Case Studie. Masterscriptie. Heerlen: Open universiteit. Gorissen, P. & Heijmen, I (2004). Gezamenlijk ontwikkelen van toetsen. E-learning trends 2004 - standaarden, technologie en eigendomsrecht (pp.21-22). Utrecht: Stichting Digitale Universiteit. Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. HBO-raad (2008). Werken aan kwaliteit. Den Haag: HBO-raad. Hegender, H. (2010). The assessment of student teachers’ academic and professional knowledge in school-based teacher education. Scandinavian Journal of Educational Research, 54(2), 151-171. Heijmen-Versteegen, I. L. H., & Peeters, V. G. M. (2002). Waar ligt de grens? Cesuur bij voortgangstoetsing. Eindhoven: Fontys Hogescholen.

40


Hendricks, F., Kok, J., & De Bruijn, J. A. (2008). De notenkraker. Expertise, 5, 1-2. Inspectie van het Onderwijs (2009). Onderwijsverslag 2008/2009. Den Haag: Inspectie van het onderwijs. ISO (2009). Toetsing: een vak apart. Utrecht: Interstedelijk studenten overleg. Jaspers, M. & Heijmen-Versteegen, I. (2005). Toetswijzer competentiegericht begeleiden & beoordelen in het Hoger Onderwijs. Eindhoven: Fontys Hogescholen. Joosten-ten Brinke, D. (2008). Assessment of Prior Learning. Proefschrift. Heerlen: Open universiteit. Joosten-ten Brinke, D., Blom, S., & Meusen-Beekman, K. M. (in ontwikkeling). Hoe goed ken je jezelf? Zelfbeoordeling en zelfreflectie in het onderwijs. In J. Castelijns, M. Segers, & K. Struyven (Eds), Evalueren om te leren. Bussum: Coutinho. Joosten-ten Brinke, D., Sluijsmans, D. M. A., Brand-Gruwel, S., & Jochems, W. M. G. (2008). The quality of procedures to assess and credit prior learning: Implications for design. Educational Research Review, 3(1), 51-65. Joosten-ten Brinke, D., & Sluijsmans, D. M. A. (2010). De kwaliteitspiramide voor eigentijds toetsen en beoordelen. Tilburg/Nijmegen: Fontys Lerarenopleidingen Tilburg/ Hogeschool van Arnhem en Nijmegen. Koster, B., & Korthagen, F. (1997). Opleiden in een snel veranderende samenleving.; enkele aspecten van de professionalisering van lerarenopleiders. PML-nieuwsbrief, 2, 2-4. Koster, B., Dengerink, J., Korthagen, F., & Lunenberg, M. (2008). Teacher educators working on their own professional development: goals, activities and outcomes of a project for the professional development of teacher educators. Teachers and Teaching, 14(5), 567-587. Longhurst, N., & Norton, L. S. (1997). Self-assessment in coursework essays. Studies in Educational Evaluation, 23, 319-330. Linn, R. L. (1990). Admissions testing: Recommended uses, validity, differential prediction, and coaching. Applied Measurement in Education, 3(4), 297-318.


41

Livingstone, D. W. (2000). Exploring the icebergs of adult learning: findings of the first Canadian survey of informal learning practices. Canadian Journal for the Study of Adult Education, 13(2), 49-72. Michels, B. (2006). Verschil moet er wezen. Werkdocument. Enschede: SLO. Nedermeijer, J. & Pilot, A. (2000). Beroepscompetenties en academische vorming in het hoger onderwijs. Groningen: Wolters-Noordhoff. Onderwijsraad (2010). Advies. Een diploma van waarde. Den Haag: Onderwijsraad. Ottesen, E. (2007). Teachers “in the making” building accounts of teaching. Teaching and Teacher Education, 23(5), 612-623. Paijmans, A. H. J. J., Oomens, A. M. e.a. (2010). Interviews met studenten FLOT in het kader van de Dialoog. [video] Tilburg: FLOT. Polder, K. J. (2004). Het krachtenveld rond examinering in het mbo. Amsterdam: Max Goote Kenniscentrum voor Beroepsonderwijs en Volwasseneneducatie. Riksen, D. (2010). Digitaal toetsen. SURF magazine, 2, 6-8. Sadler, D. R. (2009). Grade integrity and the representation of academic achievement. Studies in Higher Education, 34(7), 807-826. Schuurs, U. & Verhoeven, L. (2010). Meten van leerprestaties in het (v)mbo: assessment for learning en assessment of learning. Onderzoeksrapport. Den Haag: PROO/NWO. Schuwirth, L. W. T., & Van der Vleuten, C. P. M. (2006). A plea for new psychometric models in educational assessment. Medical Education, 40, 296-300. Shavelson, R. J., Young, D. B., Ayala, C. C., Brandon, P. R., Furtak, E. M., Ruiz-Primo, M., Araceli, T., Miki K., & Yin, Y. (2008). On the impact of curriculum-embedded formative assessment on learning: A collaboration between curriculum and assessment developers. Applied Measurement in Education, 21(4), 295-314. Shepard, L. A. (2000). The role of assessment in a learning culture. Educational Researcher, 29(7), 4-14.

42


Simons, P. R., & Lodewijks, H. (1999). Het nieuwe leren. Over wegen die naar beter leren leiden. Utrecht: University Press. Sluijsmans, D. M. A., Brand-Gruwel, S., & Van Merriënboer, J. J. G. (2002). Peer assessment training in teacher education. Assessment and Evaluation in Higher Education, 27, 443-454. Sluijsmans, D. M. A. (2008). Betrokken bij beoordelen (Lectorale rede). Nijmegen: Hogeschool Arnhem en Nijmegen. Sluijsmans, D. M. A., & Joosten-ten Brinke, D. (2010). Bewust en bekwaam toetsen. De efffecten van ontwikkelingsgerichte zelfbeoordeling door lerarenopleiders op hun toetspercepties, toetskennis en toetskunde. Projectvoorstel. Nijmegen/ Tilburg: HAN/FLOT. Straetmans, G. J. J. M. (2006). Bekwaam boordelen en beslissen (Lectorale rede). Deventer: Saxion Hogescholen. Swennen, A., Lunenberg, M., & Korthagen, F. (2008). Preach what you teach! Teacher educators and congruent teaching. Teachers and teaching, 14(5), 531-542. Van Berkel, A. E. & Bax, H. J. M. (2006). Toetsen in het hoger onderwijs. Houten/Diegem: Bohn Stafleu Van Loghum. Van de Sande, R. A. W., Arts, J. G., Horlings, C., Jongenelen, A. J. B., Van Bers, C. A. M., & Joosten-ten Brinke, D. (2010). Toetsvisie en beleid bij Fontys lerarenopleiding Tilburg. Beleidsnotitie. Tilburg: FLOT. Van der Vleuten, C. P. M. & Schuwirth, L. W. T. (2005). Assessing professional competence: from methods to programmes. Medical Education, 39, 309-317. Van der Vleuten, C. P. M., Verwijnen, G. M., & Wijnen, W. H. F. W. (1996). Fifteen years of experience with the progress testing in problem based learning curriculum. Medical Teacher, 18(2), 103-109. Van Til, C. T. (1998). Voortgang in voortgangstoetsing. Studies naar de aansluiting van de voortgangstoets op probleemgestuurd onderwijs. Proefschrift. Wageningen: Ponsen & Looijen.


43

Vlasceanu, L., Grünberg, L., & Parlea, D. (2007). Quality Assurance and accreditation: a glossary of basic terms and definitions. Boekarest: Unesco. Vos, H., Kloppenburg. M. & Tomson, O. (2010). Optimale uniforme scoringsregels voor innovatieve vraagvormen. Examens, tijdschrift voor de toetspraktijk, 3 21-24.

44


Curriculum vitae Desirée Joosten - ten Brinke is 30 januari 1967 geboren in Zevenaar. Zij studeerde Toegepaste Onderwijskunde aan de Universiteit Twente. In 1990 studeerde zij af bij prof. Dr. Wim van der Linden aan de vakgroep Onderwijskundige Meetmethoden en Data-analyse. Het onderwerp van haar scriptie was ‘het gebruik van open vragen of meerkeuzevragen bij volwassen studenten’. In 1990 is zij als toetsdeskundige gaan werken bij de Open Universiteit. Daar heeft zij tot 1997 gewerkt bij de afdeling voor kwaliteitsbewaking van toetsing en itembanking en is zij betrokken geweest bij de ontwikkeling van het geautomatiseerde toetsservicesysteem sys. Vanaf 1997 is zij werkzaam bij de afdeling CELSTEC, Centre for Learning Sciences and Technologies met de focus op onderzoeks- en ontwikkelprojecten die betrekking hebben op toetsen en beoordelen. Ze was onder andere betrokken bij de toetsing en beoordeling van studenten in het methodologie onderwijs van psychologie en de ontwikkeling van een conceptueel model voor assessment. Tussen 2004 en 2006 was zij werkzaam voor het Ruud de Moor Centrum. Daar was zij betrokken bij de ontwikkeling van formatieve assessments in een online leeromgeving voor zij-instromers en beginnende docenten in het onderwijs. In deze omgeving kunnen leraren aan de hand van videobeelden, opdrachten en feedback werken aan hun persoonlijke ontwikkeling. In 2008 is Desirée gepromoveerd op het proefschrift Assessment of Prior Learning, onder begeleiding van dr. Dominique Sluijsmans en prof. dr. Wim Jochems. Tussen 2004 en 2010 heeft zij trainingen en workshops met betrekking tot EVC verzorgd. Tussen 2008 en 2010 was zij projectleider computergebaseerd toetsen bij de Open universiteit. Het doel van dit project is het OU-breed invoeren van computergebaseerd toetsen. Momenteel werkt zij als onderzoeker bij het programma Learning & Cognition van CELSTEC. Vanaf april 2010 combineert zij haar functie bij de Open universiteit met haar functie als lector Eigentijds toetsen en beoordelen aan de Fontys Lerarenopleiding Tilburg.

De s i r é e J oos t e n- t e n Br i nk e • E i ge nt i j ds t oe t s e n e n be oor de l e n

45

Uitgever: Fontys Hogescholen Copyright © 2010 Alle rechten voorbehouden. Niets van deze uitgave mag verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opname of op enig andere manier, zonder vooraf schriftelijke toestemming van de uitgever Fontys Hogescholen en de auteur Desirée Joosten - ten Brinke. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikel 16b en 17 auteurswet 1912 dient men daarvoor de wettelijke vergoeding te voldoen aan Stichting Reprorecht, Postbus 882, 1180 AW Amstelveen. Voor het overnemen van één of enkele gedeelte(n) uit deze uitgave in bloemlezingen, readers of andere compilatiewerken dient men zich te wenden tot de uitgever Fontys Hogescholen en de auteur Desirée Joosten-ten Brinke. All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, recording or otherwise, without the prior written permission of the publisher and the author.

46



47

48


ents ssessm a e c man Perfor O pe n

mens tenta e g n eli Mond

Ho lis tis ch

vr a a g

Beo ord elin gsm ode l

It e

m

be oo rd ele n

Betrouwba

Non-formee l leren To ets ma tri js

ie nttie an llevan elev Re R

toets Casus

Feed F dC bo am ckpete ntie

s fer Cij tsing e toe l a t i Dig

Obje ctivi teit

klist Chec

Efficiëntie

ijs tr a sm et o T

In for me el be oo rd ele n

Brui Bruikb B uik ikbaa aarhe rheid id

nos gn Diag

leven lang leren (LLL)

No

ctiie ecti flec efle Re R

ent sessem s a o i l Portfo

Toe tsa

em

Toetssttr rategieën

s

Vaard ighei dstoe ts

aa aarh aarhe rhei eiiid d

Moeilijkheid idsn snivea sniv ivea eau u

egeric cht

to toetssen

t

he toets stisch

ges centa r e p g Slaa

Fo rm ee lb eo or de le n

orm atie f beo orde len

san gst

taat resul s t e o T

Voorken nistoets

To ets pr og ra mm a

Dr. Desirée Joosten-ten Brinke

07M..3484.01.10

HANDREIKING PO

Opbrengstgericht werken

DATAMUUR Werken met groepsplannen

Een datamuur1 is een hulpmiddel om leerlingen met vergelijkbare instructiebehoeften in een groep in kaart te brengen en te clusteren. Op een datamuur worden de leerlingen op basis van toetsresultaten ingedeeld in drie subgroepen: J37
Inleiding Scholen hebben als doel het maximale uit een leerling te halen. Een leerling moet kunnen presteren naar zijn –cognitieve- mogelijkheden en zich hierin gewaardeerd en erkend voelen. Door uit te gaan van de onderwijsbehoeften van kinderen, kunnen leerkrachten vaststellen wat nodig is om kinderen zich optimaal te laten ontwikkelen. Onderwijsbehoeften geven aan: J,/B9/<27B97<27<239=;3<23>3@7=2303@3793< E3:932=3:3
Het groepsplan is een beschrijving van het onderwijsaanbod voor een bepaalde periode. Het beschrijft welke aanpak en interventies de leerkracht uitvoert om de doelen te bereiken. Het groepsplan is van toepassing op alle leerlingen in de groep. Net als op de datamuur is de totale groep in het groepsplan geclusterd in drie subgroepen. Voorwaarden voor het werken met datamuren en groepsplannen In deze handreiking ligt het accent op de didactische behoeften van leerlingen: ,3:937
Leerlingen verschillen van elkaar. Om het maximale uit alle leerlingen te halen is differentiatie nodig. Bij het onderwijzen van de basisvaardigheden weten we dat convergente differentiatie het meest effectief is. Dit betekent dat we voor alle leerlingen in de groep in ieder geval geformuleerde fundamentele doelen willen bereiken. Differentiatie vindt met name plaats in de hoeveelheid tijd en de instructie en begeleiding door de leerkracht. Deze handreiking beschrijft hoe datamuren en groepsplannen als hulpmiddelen gebruikt kunnen worden om opbrengstgericht en planmatig te werken aan geformuleerde doelen. 1

De datamuur (data wall) is ontwikkeld door Michael Fullan (University of Toronto, Canada). In Nederland is het gebruik van de datamuur verder ontwikkeld in het Leesverbeterplan Enschede in samenwerking met CPS.

1


Datamuur met groepsplannen

Het werken met datamuren en groepsplannen draagt bij aan het creëren van een omgeving waarin alle leerlingen actief en betrokken leren, zich optimaal kunnen ontwikkelen, goede leerprestaties behalen en zich gewaardeerd voelen in deze ontwikkeling2. Daarvoor is het ook nodig dat: J#33@9@/16B3<732/5=57A169:7;//BB3@3/:7A3@3<%//AB272/1B7A163036=34B3<63003<:33@:7<53<==9>32/5=57A163036=34B3<::3 leerlingen presteren beter wanneer ze zich welbevinden in de groep en wanneer ze in een goede relatie met de leerkracht en de andere leerlingen hun competentie en zelfstandigheid kunnen ontwikkelen. Het pedagogisch vakmanschap van de leerkracht is altijd het kader waarbinnen het werken met datamuren en groepsplannen plaatsvindt. J@H78<7<3:935@=3>==9:33@:7<53<273A>31747393>32/5=57A163036=34B3<63003</B6334BD//9B3;/93<;3B6C<532@/563B5//B078D==@033:2=; leerlingen die druk en ongeconcentreerd zijn of leerlingen met kenmerken van autisme. Ook deze leerlingen profiteren van een gedifferentieerde instructie, maar voor hen is vaak nog meer nodig. Vooral de interactie met de leerkracht speelt daarbij een rol. J#33@9@/16B363B530732D/<9:/AA3<;/
2L@@3@ $(16=CB3<

":/AA3<;/
2



Starten op schoolniveau Opbrengstgericht werken start altijd op schoolniveau. Datamuren en groepsplannen worden gemaakt per groep, maar zijn altijd gebaseerd op afspraken op A16==:<7D3/C,3A>@393@3AB/B73A3<=A16==:<7D3/C0357@/93<=>E3:93 manier wil de school opbrengstgericht werken aan effectief leesonderwijs? Het onderstaande schema biedt daarvoor een kader.

DIMENSIES EFFECTIEF LEESONDERWIJS

1. Leesinhoudelijk ,/BE=@2B=<23@E3H3<

95% van de leerlingen behaalt de geformuleerde einddoelen

2. Onderwijskundig Hoe wordt onderwezen?

Mondelinge Taal en woordenschat

Tijd voor lezen

Fonemisch bewustzijn

Leerlijnen en leerinhoud

Letterkennis

Kwaliteit van het aanbod:

/
methoden en materialen

Voortgezet technisch lezen

Convergente differentiatie

Stillezen en leesmotivatie

Directe instructiemodel

Begrijpend lezen

Leerkrachtvaardigheden (modelen) 3. Effectief innoveren Deze derde dimensie heeft te maken met beide bovenstaande dimensies

Klassenmanagement

Liggen we op koers?

In het schema is te zien dat de school eerst afspraken moet maken over de doelen die zij met de leerlingen willen bereiken en daarna moet nagaan hoe drie dimensies daaraan kunnen bijdragen: J3:33A7<6=C23:789327;3
Op basis van de leerlingresultaten en de gestelde doelen bepaalt het team of het opbrengstgericht werken op koers ligt. Daarbij kijken we zowel naar de leesinhoudelijke als de onderwijskundige dimensie. Bij de leesinhoudelijke dimensie kijken we naar: J$=<23:7<53B//:33<2:3H3<

Bij het maken van teamafspraken zijn de volgende vragen richtinggevend: J,/B7A=9=3@A J,/B5//
Het uiteindelijke doel van het leesonderwijs is dat leerlingen teksten met begrip kunnen lezen. Een voorwaarde hiervoor is dat leerlingen vaardig zijn op het gebied van technisch lezen en woordenschat. Bij de analyse van de resultaten van leerlingen is het belangrijk dat we geen plan van aanpak opstellen op basis van eerste indrukken, maar van een degelijke analyse van het leesproces op de hele school. Een school kan bijvoorbeeld niet tevreden zijn over de resultaten op het gebied van begrijpend lezen. Veranderingen in het begrijpend leesonderwijs zijn dan niet altijd de oplossing. Er moet ook dan ook gekeken worden naar de kwaliteit van het onderwijs in technisch lezen en woordenschat.

Wat is ons doel? ::3@33@ABE=@23<=>B3/;<7D3/C/4A>@/93<53;//9B=D3@232=3:3<27363B team wil bereiken. Belangrijk bij opbrengstgericht werken, is het formuleren en uitspreken van hoge verwachtingen over de prestaties van de leerlingen. Leidende gedachte hierbij is dat leerlingen goede resultaten kunnen behalen als ze goed onderwijs krijgen. De leerkracht doet ertoe! Dat betekent dat we ons bij het maken van afspraken op schoolniveau richten op het versterken van de competenties van de professionals in de school. Het gaat daarbij niet alleen om didactische competenties, maar ook om pedagogische competenties.

3



Bij deze dimensie kan de school de volgende vragen stellen: J!A3@A>@/93D/<33<2==@5//<23:78< J-78<3@63:23@3BCAA3<2=3:3<>3@5@=3>534=@;C:33@2 J!A3@73@/93D/<33<53@716B3//<>/97<5@=3>3<53@716B=>4=<3;7A16 bewustzijn en letterkennis? J,=@2B230/A7AAB=4D/<23;3B6=23D==@//3@9B//3<2:C7AB3@3<3<035@78>3<2:33AAB@/B3573K< in alle groepen aan de orde?

Bij de innovatieve dimensie spelen de volgende factoren een rol: J 3B5363:3AGAB33;:33@B J3<93B3<03>@3AAC@3/<2AC>>=@B J3<=>3<1C:BCC@;3B/:A0/A7A.<=BB=0:/;3=@B=A6/;3 J327@31B3C@/:A=<23@E78A9C<275:3723@ J3@=:D/<2370@3<5AB3<=>B3/;<7D3/C03A>@=93<3< geanalyseerd? J%33;B2327@31B3C@23<==2H/93:7893;//B@353:3<=;63BA16==:>:/<=>63B gebied van lezen uit te voeren? J3AB332B2327@31B3C@63B;3@3<233:D/@7=@7B37BD==@:3H3< J!A3@A>@/93D/<33<63:23@3B//9D3@23:7<53@/93D/<33<723=23E3@9D:=3@0353:372 J!A3@A>@/93D/<:3@3
Bij de onderwijskundige dimensie kijken we naar: J3B782D==@:3H3< J#33@:78<3<3<:33@7<6=C23< J"E/:7B37BD/<63B//<0=2;3B6=23<3<;/B3@7/:3< J=23<93< ;=23:3< 43320/1953D3< J":/AA3<;/
Wat gaan we doen? Na de analyse van de leesinhoudelijke en de onderwijskundige dimensie, kan 23A16==:33<>://9=>AB3::3< 530/A33@2=>23' 1G1:CA

Bij deze dimensie kan de school de volgende vragen stellen: J(B//B3@D=:2=3<23B782D==@:3H3<=>63B@==AB3@ J,=@2B23B782D==@:3H3<34431B73403AB332 J3A1679B23A16==:=D3@5=323;3B6=23<3<;/B3@7/:3< J"3<<3<23:33@9@/16B3<23:33@:78<3<3<23=>0=CED/<23:33@AB=4 J"C<<3<23:33@9@/16B3<23:33@AB=4>:/<<3< J,=@2B1=/AB J3633@A3<23:33@9@/16B3<63B27@31B373B363B530732D/<7=A7B73D3D3@E/16B7<53<;3B03B@3997<5B=B63B:3@3< lezen en spreken ze deze ook uit? J7323<23:33@9@/16B3<:33@:7<53AC113A;3B:3H3< J&<23@AB3C<3<3<;=B7D3@3<:33@9@/16B3<97<23@3<07863B:3H3:3H73@7<3753< mogelijkheden? J 3:>B23:33@9@/16B97<23@3<07863BH=393@/93<07<<3@/93<07<<3<63BB3/;=D3@237<@716B7<5D/<23A16==:3@/93<07<<3<63BB3/;=D3@H3:4AB/<275E3@93< C7B53AB3:23 aandacht, zelfverantwoordelijkheid van de leerling?

4



Werken met de datamuur als start voor het opstellen van een groepsplan Wat is een datamuur? Een datamuur is een hulpmiddel om leerlingen met vergelijkbare instructiebehoeften in een groep in kaart te brengen en te clusteren. Op de datamuur krijgen de 2/B/ 23B=3BA@3AC:B/B3 33<53H716B 3BE==@2.;CC@7<23B3 6/<53<=4B3>@=831B3@3<3<3@;3B1=::35/ :33@9@/16B3<=D3@B3>@/B3< 3BE=@2B2/<33<.;CC@D/<5353D3C@39=D3@23 inhoud en organisatie van het onderwijs. Op een datamuur worden de leerlingen op basis van toetsresultaten ingedeeld in drie subgroepen: J37
!23B=3BA3<=<23@<7D3/CA1=@3<-7863003<;33@B782<=2753
Schema *URHSWP 9RRUWJH]HWWHFKQLVFK OH]HQ

:RRUGHQOH]HQ '07$%

:RRUGHQOH]HQ '07&

:RRUGHQOH]HQ '07'(

7HNVWOH]HQ $9,ERYHQQLYHDX

,QVWUXFWLHRQDIKDQNHOLMN 9HUNRUWHLQVWUXFWLH

,QVWUXFWLHRQDIKDQNHOLMN 9HUNRUWHLQVWUXFWLH

,QVWUXFWLHJHYRHOLJ EDVLVLQVWUXFWLH

/HHUOLQJHQ

/HHUOLQJHQ

/HHUOLQJHQ

,QVWUXFWLHJHYRHOLJ %DVLVLQVWUXFWLH

,QVWUXFWLHJHYRHOLJ %DVLVLQVWUXFWLH

,QVWUXFWLHJHYRHOLJ EDVLVLQVWUXFWLH

/HHUOLQJHQ

/HHUOLQJHQ

/HHUOLQJHQ

7HNVWOH]HQ $9,RSQLYHDX

7HNVW $9,RQGHUQLYHDX

,QVWUXFWLHDIKDQNHOLMN 9HUOHQJGHLQVWUXFWLH

/HHUOLQJHQ



/HHUOLQJHQ

/HHUOLQJHQ

5



Datamuren in het team De intern begeleider introduceert de datamuur bij de leerkrachten. De leerkrachten vullen op basis van de toetsresultaten die in het groepsoverzicht staan de datamuur in. De datamuur helpt bij het maken van het groepsplan, gebaseerd op instructiebehoeften en leertijd. !<2313::3 0=D3<=4=<23@ beheersing? Vervolgens kijken we naar de score van de DMT en zien we in welke cel we de naam van de leerling kunnen invullen. !<63BB3/;E=@23<53A>@3993<53D=3@2@=<2232/B/;C@33<-=E=@2B2C723:7892/B63B5//B=;33<53H/;3<:7893 verantwoordelijkheid van de school: dit zijn onze resultaten, het gaat om onze kinderen, het gaat om onze school.

Datamuur $%

&

'(

,QVWUXFWLH RQDIKDQNHOLMN

,QVWUXFWLH JHYRHOLJ

,QVWUXFWLH DIKDQNHOLMNH

9HUNRUWH LQVWUXFWLH

%DVLV LQVWUXFWLH

9HUOHQJGH LQVWUXFWLH

Datamuren en effectief onderwijs ,3@93<;3B2/B/;C@3<>/AB07<<3<23E3@9E78H3D/<34431B734=<23@E78AE//@078231=C E7::3
6



Werken met groepsplannen

vakgebied en de toetsmomenten voor dat vakgebied. In groep 3 bijvoorbeeld is het aan te raden de cyclus voor het aanvankelijk technisch lezen vier maal te doorlopen: start schooljaar tot herfstsignalering, oktober tot wintersignalering, februari tot lentesignalering, april tot eindsignalering.

Wat is een groepsplan? Een groepsplan omvat een beschrijving van het onderwijsaanbod aan alle leerlingen in de groep voor een bepaalde periode. Deze periode kan variëren van vier weken tot een half jaar. Een groepsplan is doelgericht, met hoge verwachtingen ten aanzien van alle leerlingen, om te komen tot betere resultaten. Een groepsplan omvat altijd de volgende onderdelen: doelen, inhoud, instructie, organisatie (tijd!) en evaluatie. Belangrijk in het groepsplan is het plannen van de leerstof gekoppeld aan de effectieve leertijd. Een groepsplan is altijd dynamisch van opzet, een bijstelling op basis van observatie en tussentijdse methodegebonden toetsen is gewenst. Het groepsplan wordt opgesteld door de leerkracht.

Zorgleerlingen in het groepsplan Groepsplan en D-E leerlingen !<63B5@=3>A>:/://BA0/A7AD/:/<<7<5D/<23:33@AB=4273//<63B97<2E=@2B//<530=23< J37
Werken met groepsplannen Op groepsniveau wordt ook cyclisch gewerkt aan de verbetering van de resultaten van de leerlingen. De cyclus voor opbrengstgericht werken op groepsniveau is gebaseerd op de cyclus handelingsgericht werken -=@5@=CB3 :78A3<

3<9/<3@7<5@=B3:78<333@7=23 J=@;C:3@33174713@3A>:/<3
Groepsplan en specifieke pedagogische behoeften Er zijn in elke groep ook leerlingen die specifieke pedagogische behoeften hebben. Dat heeft vaak te maken hun gedag: het gaat bijvoorbeeld om leerlingen die druk en ongeconcentreerd zijn of leerlingen met kenmerken van autisme. Ook deze leerlingen doen mee met het groepsplan en profiteren van een gedifferentieerde instructie. In aanvulling daarop is voor hen is vaak nog meer nodig. Vooral de interactie met de leerkracht speelt daarbij een rol.

Check J+3@H/;3:3A=D3@H716B J3<5@=3>A>:/<>3@7=2363B53E3
Leerlingen met een eigen leerweg Er zijn zorgleerlingen die het aanbod tot en met groep 8 niet volledig aangeboden kunnen krijgen vanwege cognitieve en/of sociaal-emotionele belemmeringen. Uitgaande van het principe van convergente differentiatie, willen we zo veel mogelijk voorkomen dat leerlingen een eigen leerweg volgen. Een richtlijn hiervoor is dat tot en met groep 5 voor het lezen geen eigen leerweg gevolgd wordt. Een leerling wordt niet losgekoppeld van de groep (het groepsplan) want de leerling mist dan de instructie van de leerkracht, de kern van het onderwijs. De aanname is dat ook zorgleerlingen de gestelde doelen kunnen bereiken als wordt voldaan aan twee voorwaarden: instructie en tijd. Na evaluatie van het groepsplan, kan echter blijken dat een leerling toch niet de verwachte vaardigheidsscore heeft behaald. Deze leerling is geen onderpresteerder, de prestaties van deze leerling zijn conform zijn cognitieve mogelijkheden.

Act Formuleren van consequenties voor het handelen van de leerkracht en de E3@9E78H37<235@=3>D==@239=;3<23>3@7=23,3:93731747393 aandacht nodig? Formuleren van noodzakelijke of gewenste aanpassingen in de pedagogische ondersteuning van een kind. ,3H73<2/B23/1B4/A3//<63B37<2D/<2333@AB31G1:CA/:A63BE/@3 naadloos overgaat in de planfase van de volgende cyclus. De cyclus voor opbrengstgericht werken op groepsniveau wordt in een schooljaar meerdere keren doorlopen. Hoe vaak, is mede afhankelijk van het

7



Deze leerling moet dan ook gewaardeerd en erkend worden voor zijn maximale prestaties. In de regel gaat het met name om leerlingen die op termijn naar het voortgezet speciaal onderwijs of het praktijkonderwijs gaan of leerwegondersteunend onderwijs nodig hebben in het vmbo.

J3>/:3/:3>3:789@3:3D//:332/5=57A1631=
J37 31B735//B07823H3:33@:7<53317M393=<23@E78A036=34B3< J 334B23A16==:D==@23H3:33@:7<53<33<@3/:7AB7A16=3@A>31B734 geformuleerd? J 334B23A16==:BCAA3<2=3:33@A>31B734 waarmee de vorderingen van deze leerlingen gevolgd kunnen worden? o In het ontwikkelingsperspectief staan het eindperspectief in termen van DLE en/of gemiddelde vaardigheidsscore. o Het eindperspectief kan worden vastgesteld op basis van een psychodiagnostisch onderzoek of op basis van uitslagen van meerdere meetmomenten. o Bij het opstellen van een ontwikkelingsperspectief ook rekening houden met de doelen op pedagogisch gebied. J+=:5B23A16==:23=
Ook leerlingen met een eigen leerweg blijven deel uitmaken van het 5@=3>A>:/< =@5/<7A/B=@7A163<>32/5=57A16::33
Begaafde leerlingen Goede leerlingen krijgen in het groepsplan de verkorte instructie. In deze verkorte instructie wordt altijd de basisvaardigheid uitgelegd. Na de korte instructie gaan deze leerlingen H3:4AB/<275E3@93<-39C<<3<23:33@AB=4D3@273>B3/1B3<3<=4D3@A<3::3<,3A>@393< dan van verdiepte instructie.

Het toelaten tot een eigen leerweg gebeurt alleen onder strikte voorwaarden: J!AG16=27/5<=AB7A16=<23@H=39 J3>/:33@A>31B734

Datamuur %HJDDIGHHQ WDOHQWYROOH OHHUOLQJHQ 9HUGLHSWH LQVWUXFWLH

$% 9HUNRUWH LQVWUXFWLH

$IQDPHYDQ '++YRRU &RPSDFWHQ 9HUVQHOOHQ /HHUOLMQHQ

9HUULMNHQ 9HUGLHSHQ

& %DVLV LQVWUXFWLH

'( 9HUOHQJGH LQVWUXFWLH

$OOHHQLQGLHQ $OOHHQLQGLHQ QRRG]DNHOLMN QRRG]DNHOLMN]R ]RODDWPRJHOLMN ODDWPRJHOLMN LQ]HWWHQ LQ]HWWHQ 1DLQ]HWWHQYDQ 1DLQ]HWWHQYDQ GHVNXQGLJHQ GHVNXQGLJHQ %DVLVOHHUOLMQ %DVLVOHHUOLMQ 0DDWVFKDSSHOLMNH 0DDWVFKDSSHOLMNH UHOHYDQWLHOHHUVWRI UHOHYDQWHOHHUVWRI ,QVWUXFWLH ,QVWUXFWLH EHKRHIWHQ EHKRHIWHQ 2QWZLNNHOLQJV 2QWZLNNHOLQJV SHUVSHFWLHI SHUVSHFWLHI /HHUUHQGHPHQW / G W

8



Bijlage 1: Didactische groepsoverzichten groep

.ZDOLWHLWVNDDUW 1DDPVFKRRO %ULQ $DQWDOOHHUOLQJHQ $DQWDOJURHSHQ $DQWDOPHGHZHUNHUV ,QWHUQHEHJHOHLGHU 7DDOFR|UGLQDWRU

7HFKQLVFKHQEHJULMSHQGOH]HQ 'LUHFWHXU 'DWXP $DQWDOPLQXWHQLE $DQWDOPLQXWHQWDDOFR|UGLQDWRU

/HHUOLQJJHJHYHQV $DQWDOOHHUOLQJHQ $DQWDODDQYUDJHQRQGHU]RHN $DQWDOYHUZLM]LQJHQVER $DQWDOYHUZLM]LQJHQVR $DQWDOUXJ]DNOHHUOLQJHQ /HHUOLQJHQPHWG\VOH[LHYHUNODULQJ $DQWDOOHHUOLQJHQPHWHLJHQOHHUZHJ $DQWDOOHHUOLQJHQVFKDNHONODV

QRUP

727

7HFKQLVFKOH]HQDIQDPH )RQHPLVFKEHZXVW]LMQ '07$%RI&IXQGDPHQWHOHNZDOLWHLW '07$RI%VWUHHINZDOLWHLW '07$H[FHOOHQWHNZDOLWHLW '07YDDUGLJKHLGVVFRUH]LHWDEHO $9,IXQGDPHQWHOHNZDOLWHLW $9,VWUHHINZDOLWHLW %HJULMSHQGOH]HQDIQDPH &,72WRHWVHQ$%RI& IXQGNZDOLWHLW &,72WRHWVHQ$RI%VWUHHINZDOLWHLW &,72WRHWVHQ$H[FHOOHQWHNZDOLWHLW &,72YDDUGLJKHLGVVFRUH]LHWDEHO

9



Analyse van de leesinhoudelijke dimensie

MD

GHHOV

QHHQ

3ODQ 2SNRUWH WHUPLMQWH UHDOLVHUHQ

3ODQ 2SODQJHUH WHUPLMQWH UHDOLVHUHQ

,VHUVSUDNHYDQHHQGRRUJDDQGH OLMQ" =LMQHUKHOGHUHWXVVHQGRHOHQSHU JURHSJHIRUPXOHHUG" ,VHULQDOOHJURHSHQVWUXFWXUHHO DDQGDFKWYRRUPRQGHOLQJHWDDOHQ ZRRUGHQVFKDW" ,VHUVSUDNHYDQHHQJHULFKWH DDQSDNLQJURHSHQYRRU IRQHPLVFKEHZXVW]LMQHQ OHWWHUNHQQLV" :RUGWGHEDVLVVWRIYDQGH PHWKRGHYRRUDDQYDQNHOLMNOH]HQ KHOHPDDOEHKDQGHOGLQJURHS" :RUGWHUVWUXFWXUHHODDQGDFKW EHVWHHGDDQYRRUWJH]HWWHFKQLVFK OH]HQ" :RUGWHUVWUXFWXUHHODDQGDFKW EHVWHHGDDQVWLOOH]HQHQ OHHVPRWLYDWLH" .RPWHUHHQEHSHUNWDDQWDO EHJULMSHQGOHHVVWUDWHJLHsQLQDOOH JURHSHQDDQGHRUGH"

10



Analyse van de onderwijskundige dimensie

MD

GHHOV

QHHQ


3ODQ 2SODQJHUH WHUPLMQWH UHDOLVHUHQ

6WDDWHUYROGRHQGHWLMGYRRUOH]HQ RSKHWURRVWHU" :RUGWGHWLMGYRRUOH]HQHIIHFWLHI EHVWHHG" %HVFKLNWGHVFKRRORYHUJRHGH PHWKRGHQHQPDWHULDOHQ" .HQQHQGHOHHUNUDFKWHQGH OHHUOLMQHQHQGHRSERXZYDQGH OHHUVWRI" .XQQHQGHOHHUNUDFKWHQGHOHHUVWRI SODQQHQ" :RUGWFRQYHUJHQWHGLIIHUHQWLDWLH WRHJHSDVW" %HKHHUVHQGHOHHUNUDFKWHQKHW GLUHFWHLQVWUXFWLHPRGHOHQZRUGW KHWRRNWRHJHSDVW" %HKHHUVHQGHOHHUNUDFKWHQ FRPSHWHQWLHVRSJHELHGYDQ LQVWUXFWLHHQRUJDQLVDWLH" =LMQHU±XQLIRUPHDIVSUDNHQ ELQQHQWHDPRYHUUHJHOVHQ URXWLQHV" =LMQHUDIVSUDNHQELQQHQKHWWHDP RYHUGHLQULFKWLQJYDQGHVFKRROHQ YDQKHWORNDDO" =LMQHUDIVSUDNHQELQQHQKHWWHDP RYHU]HOIVWDQGLJZHUNHQ XLWJHVWHOGHDDQGDFKW ]HOIYHUDQWZRRUGHOLMNKHLGYDQGH OHHUOLQJ"

11



Analyse van de pedagogische aanpak (onderdeel van de onderwijskundige dimensie)

MD

GHHOV

QHHQ


3ODQ RSODQJHUH WHUPLMQWH UHDOLVHUHQ

+HEEHQGHOHHUNUDFKWHQSRVLWLHYH YHUZDFKWLQJHQPEWKHWOHUHQ OH]HQHQVSUHNHQ]HGH]HRRNXLW" %LHGHQGHOHHUNUDFKWHQXLW]LFKWRS VXFFHVPHWOH]HQ" 2QGHUVWHXQHQHQPRWLYHUHQ OHHUNUDFKWHQNLQGHUHQELMKHWOH]HQ DOVGDWQRGLJLV" 6WLPXOHUHQGHOHHUNUDFKWHQJHORRI LQHLJHQNXQQHQHQSOH]LHULQHLJHQ PRJHOLMNKHGHQ" +HOSWGHOHHUNUDFKWOHHUOLQJHQELM KHW]RHNHQYDQYHUNODULQJHQYRRU VXFFHVHQIDOHQPHWOH]HQ"

12



Analyse van de innoverende dimensie

MD

GHHOV

QHHQ


3ODQ RSODQJHUH WHUPLMQWH UHDOLVHUHQ

:RUGHQGHRSEUHQJVWHQRS WHDPQLYHDXEHVSURNHQHQ JHDQDO\VHHUG" 1HHPWGHGLUHFWHXUGH QRRG]DNHOLMNHPDDWUHJHOHQRPKHW VFKRROSODQRSKHWJHELHGYDQOH]HQ XLWWHYRHUHQ" %HVWHHGWGHGLUHFWHXUKHW PHUHQGHHOYDQ]LMQKDDUWLMGDDQ RQGHUZLMVLQKRXGHOLMNH]DNHQ" %HZDDNWGHGLUHFWHXUGHSULRULWHLW YRRUOH]HQ"DDQSDNNHQYRRUHHQ SHULRGHYDQPLQVWHQVWZHHMDDUKHW OH]HQ ,VHUVSUDNHYDQHHQKHOGHUH WDDNYHUGHOLQJHQVDPHQZHUNLQJ WXVVHQGLUHFWHXUHQLE" SUHVVXUHDQGVXSSRUW ,VHUVSUDNHYDQHHQLQWHJUDOH VFKROLQJDIJHVWHPGRSGH RQWZLNNHOLQJHQELQQHQGHVFKRRO JHULFKWRSKHWEHKDOHQYDQGH GRHOHQYDQOH]HQ" :RUGHQGHOHHUNUDFKWHQRSGH ZHUNYORHUEHJHOHLG"LQWHUQRI H[WHUQ ,VHUVSUDNHYDQOHUHQYDQHQPHW HONDDUELQQHQKHWWHDP" QRWWREODPHRUWRVKDPH

13

,QKRXGWHFKQLVFK OH]HQ

6FKDWNLVWQLHXZ 0DSIRQHPLVFK EHZXVW]LMQ&36 %HKDQGHOHQYDQ 6HVDPVWUDDW NDSVWRNNHQ DDQEUHQJHQ V\VWHPDWLVFK LQSDVVHQ KHUVHQHQRS³DDQ´ 3UHQWHQERHNHQ 9RRUOHHVERHNHQ 9RRUVFKROHQPHWYHHO DFKWHUVWDQGVOHHUOLQJHQ ,.HQ.2 $OIDEHWERHNMH 6WLPXOHHUWHQRUPGH NODQNWHNHQNRSSHOLQJ 3LUDPLGH 3HUWKHPDOHWWHUV

'RHOHQ (LQGJURHS

0RQGHOLQJH WDDOYDDUGLJKHLG 7DDOYRRU.OHXWHUV !QLYHDX$%& .HQQHQYDQOHWWHUV WHPSRZRUGWEHSDDOG GRRUGH]ZDNNHOH]HUV JURHSELMHONDDU KRXGHQ 9RRUHQDFKWHU QDDP VFKULMYHQ

Technisch lezen groep 1 en 2

Voorbeeld schoolplan technisch en begrijpend lezen. Leesverbeterplan Enschede

Bijlage 2:



3UDWHQRYHUERHNHQ ,QWHUDFWLHIYRRUOH]HQ $DQGDFKWYRRU NODQNVWUXFWXXUYDQ ZRRUGHQ ULMPHQ DQDO\VHHQV\QWKHVH NHQQHQHQKHUNHQQHQ YDQOHWWHUV DXGLWLHYHWUDLQLQJ DOOHHQLQFRPELQDWLH PHWGHOHWWHUV V\VWHPDWLVFKHQ VWUXFWXUHHO RQWZLNNHOHQYDQ NHQQLVRYHU JHVFKUHYHQWDDO ULMNHOHHURPJHYLQJ 'LUHFWULJKW EHQDGHULQJ ,QWHUDFWLHHQ LQVWUXFWLHYDDUGLJKHGHQ 3URJUDPPDJHULFKWLSY RQWZLNNHOLQJVJHULFKW

'LGDFWLVFKH DGYLH]HQ XXUSHUZHHN 'DJHOLMNVHHQ NZDOLWHLWVXXUPHW GRHOJHULFKWH WDDODFWLYLWHLWHQ *URWHJURHS[ PLQXWHQ .OHLQHJURHS[ PLQXWHQH[WUD 2UJDQLVDWLHVFKHPD )RQHPLVFKEHZXVW]LMQ ,*',PRGHO YHUNRUWHLQVWUXFWLH %DVLVLQVWUXFWLHHQ YHUOHQJGHLQVWUXFWLH 9DVWHURXWLQHV

2UJDQLVDWLHWLMG

14

.OHLQHNULQJ /HWWHUJURHLERHNMH /HWWHUPXXU &R|SHUDWLHIOHUHQ +HWHURJHHQJURHSHUHQ

:HUNYRUPHQ /HHUOLQJHQGLHRSGH PHWKRGHRQDIKDQNHOLMNH WRHWVHQRS'RI( VFRUHQ 0RHL]DPH WDDORQWZLNNHOLQJ /DDJJHERRUWHJHZLFKW 6OHFKWKRUHQ $INRPVWLJXLWPLQGHU WDDOULMNJH]LQ &KHFNOLVW ZDDUVFKXZLQJVVLJQDOHQ 61(/WRHWV/XLQJH &KHFNOLVWJURHS .OHXWHUWRHWVNHQQLV YDQOHWWHUV 3RHVSDVWHVW

=RUJOHHUOLQJHQ

*HHQ]HOIVWDQGLJH WUDLQLQJDDQSDNHQ EHJHOHLGLQJGRRU OHHUNUDFKW 9RRUVFKRWEHQDGHULQJ :HUNHQPHW VXEJURHSMHVURQG LQVWUXFWLHWDIHO NOHLQHNULQJ KHUKDOHQYDQGH OHWWHUV YRRUEHUHLGHQYRRUGH *URWHNULQJ SUHWHDFKLQJHQ UHWHDFKLQJ ,QVFKDNHOHQYDQ FROOHJLDDOFRQVXOHQW *HHQYHUOHQJLQJYDQ JURHSRI +HWHURJHHQJURHSHUHQ 1LHWDIZDFKWHQPDDU DDQELHGHQ PLQXWHQH[WUD LQWHQVLHYHEHJHOHLGLQJ

$DQSDNYDQ ]RUJOHHUOLQJHQ

2QGHUZLMVNXQGLJ OHLGHUVFKDSGLUHFWLH ,QWHUQHEHJHOHLGHU RQGHUVWHXQHQELM 2SVWHOOHQJURHSVSODQ NODVVHQFRQVXOWDWLH FRDFKHQHQ %HJHOHLGHQ 6FKHPD

2QGHUVWHXQLQJ FRDFKHQ

,QKRXGWHFKQLVFK OH]HQ

'RHOHQ (LQGJURHS



1LHWDIZDFKWHQPDDU DDQELHGHQ 0RGHOHQGRRU OHHUNUDFKW LNGRHWKHWYRRU ZLMGRHQKHWVDPHQ MLMGRHWKHWQX

'LGDFWLVFKH DGYLH]HQ

2UJDQLVDWLHWLMG

15

:HUNYRUPHQ

2*: +DQG UHLNLQJ

=RUJOHHUOLQJHQ 'DJHOLMNVLQGHNOHLQH NULQJ 6DPHQZHUNLQJPHW RXGHUV


2QGHUVWHXQLQJ FRDFKHQ

,QKRXG

0HWKRGH9HLOLJ/HUHQ /H]HQYROOHGLJ EHKDQGHOHQ .ULWLVFKNLMNHQ 6FKUDSSHQPQ .QLSSHQHQSODNNHQ .OHXUHQ 3ULRULWHUHQ

'RHOHQ (LQGJURHS

%HKHHUVLQJVQLYHDX $9, $9,( '07!QLYHDX $%&

Technisch lezen groep 3



'LUHFWHLQVWUXFWLHRS JHELHGYDQOHWWHUNODQN NRSSHOLQJ 9HHOVSRULJOH]HQ KRUHQYDQGHOHWWHU ]LHQYDQGHOHWWHU ]HOI]HJJHQ OHWWHUJURHLERHNMH OHWWHUPXXUHQOHWWHUFKHI ZRRUGPXXU OHHVOLMQ LQGLYLGXHHONOLNNODN ERHNMH +HUKDDOGOH]HQHQ KHUKDDOGYRRUOH]HQ 7HNVWHQODWHQOH]HQQLHW OH]HQYDQORVVHZRRUGHQ $XGLWLHYHWUDLQLQJDOWLMG LQFRPELQDWLHPHWOHWWHUV 9225=(**(1JHHI DOWLMGKHWFRUUHFWH ZRRUG )OLWVHQZHJODWHQ 'LUHFWULJK 8LWOHJJHQDDQGHOHHUOLQJ ZDWGHEHGRHOLQJLVYDQ HHQOHV 1,(7RPEHXUWHQODWHQ OH]HQ

'LGDFWLVFKH DGYLH]HQ PLQXWHQSHU ZHHN 2UJDQLVDWLHVFKHPD JURHS ,*',PRGHO 9HUNRUWHLQVWUXFWLH %DVLVLQVWUXFWLHHQ YHUOHQJGHLQVWUXFWLH

2UJDQLVDWLH WLMG

16

+HWHURJHHQJURHSHUHQ 'LUHFWULJKWDDQSDN 9RRUOH]HQ NRRUOH]HQ GXROH]HQ]HOIOH]HQ &R|SHUDWLHIOHUHQ +HUKDDOGDDQELHGHQ /HHVNLORPHWHUV

:HUNYRUPHQ /HHUOLQJHQGLHRSGH PHWKRGHRQDIKDQNHOLMNH WRHWVHQRS'RI( VFRUHQ /DJHVFRUHRS IRQHPLVFKEHZXVW]LMQ =ZDNRS7DDOYRRU .OHXWHUVRQGHUGHHO ULMPHQHQDXGLWLHYH V\QWKHVH 9HUOHQJLQJJURHS +HUIVWVLJQDOHULQJ JUDIHPHQWRHWVPDWH YDQDXWRPDWLVHULQJ OH]HQYDQQLHXZH ZRRUGHQ :LQWHUVLJQDOHULQJ 0DDUW$9, $QGHUVWDOLJHOHHUOLQJHQ /HHUOLQJHQXLWWDDODUPH JH]LQQHQ 'RRUWRHWVHQELM$9, WRWGDWKHW IUXVWUDWLHQLYHDXLV YDVWJHVWHOG 1LHWVWRSSHQELMKHW HHUVWHLQVWUXFWLHQLYHDX

UHLNLQJ =RUJOHHUOLQJHQ epQXXUH[WUDSHU ZHHN 9HUOHQJGHLQVWUXFWLH i[SHUZHHN &RPSXWHUSURJUDPPD¶V ./$1.,( 0HHUWLMG (IIHFWLHYHLQVWUXFWLH *HHQRUWKRGLGDFWLVFKH DDQSDN +HUKDOHQYDQGH EDVLVLQVWUXFWLH


Datamuur en groepsplan

Schema van bezoek door directie en interne begeleider

Interne begeleider: .ondersteunen bij opstellen groepsplan .klassenconsultatie .coachen en begeleiden

Onderwijskundig leiderschap directie

LPSOHPHQWHUHQ


6WLOOHHVEHOHLG $9,GXROH]HQ 9DQDI$9,VWLOOH]HQ [PLQXWHQSHU GDJ LQIRUPDWLHI YHUKDOHQ VWULS $XWRPDWLVHUHQ 9HUKRJHQOHHVVQHOKHLG +DUGRSGHQNHQ 'HPRQVWUHUHQ )HHGEDFNJHYHQ +HOSHQ 9RRU]HJJHQ 'DJHOLMNV URXWLQHPDWLJH DDQGDFKW 0RGHOHQGRRU OHHUNUDFKW LNGRHWKHWYRRU ZLMGRHQKHWVDPHQ MLMGRHWKHWQX

,QKRXG

(VWDIHWWH +RJHULQVFKDOHQRS KHWKRRJVWH IUXVWUDWLHQLYHDX YRRUOH]HQNRRUOH]HQ GXROH]HQ QDGUXNRSWHNVWHQ /H]HQYDQ PHHUOHWWHUJUHSLJH ZRRUGHQ /H]HQYDQWHNVWHQ ZHLQLJDDQGDFKWYRRU OH]HQRSZRRUGQLYHDX /HHVWHPSR 9HHOVWLOOH]HQYDQDI EHKHHUVLQJ$9,

'RHOHQ JURHS

(LQGJURHS EHKHHUVLQJVQLYHDX $9, '07!QLYHDX $%& $9,(

Technisch lezen groep 4



0LQLPDDOXXUSHU ZHHN 'RRUGHJHKHOHVFKRRO RSYDVWWLMGVWLS VWLOOH]HQ ,*', ,QVWUXFWLHRQDIKDQNHOLMN ,QVWUXFWLHJHYRHOLJ ,QVWUXFWLHDIKDQNHOLMN

2UJDQLVDWLHWLMG

17

.RRUOH]HQ 9RRUOH]HQ 'XROH]HQ &R|SHUDWLHIOHUHQ 'DWDPXXUHQ *URHSVSODQWHFKQLVFK OH]HQ ,*', ,QVWUXFWLHRQDIKDQNHOLMN ,QVWUXFWLHJHYRHOLJ ,QVWUXFWLHDIKDQNHOLMN YHUNRUWHLQVWUXFWLH EDVLV YHUOHQJGHLQVWUXFWLH

:HUNYRUPHQ /HHUOLQJHQGLHRSGH PHWKRGHRQDIKDQNHOLMNH WRHWVHQRS'RI( VFRUHQ /H]HQYDQ PHHUOHWWHUJUHSLJH ZRRUGHQ /HHVVQHOKHLG /HHVSURWRFRO'\VOH[LH *URHSVSODQ $QGHUVWDOLJHOHHUOLQJHQ /HHUOLQJHQXLWPLQGHU WDDOULMNHJH]LQQHQ =LWWHQEOLMYHUV %OLMYHQKDQJHQRSHHQ $9,QLYHDX *HHQHLJHQOHHUZHJWRW HQPHWJURHSWHQ]LM

UHLNLQJ =RUJOHHUOLQJHQ ,QWHQVLHYHLQVWUXFWLH HQEHJHOHLGHRHIHQLQJ 7HNVW[KHUKDOHQ 5$/),[SHUZHHN &RQQHFW NODQNHQ ZRRUGKHUNHQQLQJ [PLQXWHQ +DUGRSODWHQOH]HQ )HHGEDFNNULMJHQ 6DPHQOH]HQ +HWHURJHHQJURHSHUHQ epQXXUH[WUDSHU :HHN &RPSXWHUSURJUDPPD¶V ./$1.,( 6SULQWSOXV %HWUHNRXGHUVELM DDQSDN

$DQSDN

2QGHUZLMVNXQGLJ OHLGHUVFKDSGLUHFWLH VWLOOHHVEHOHLG ,QWHUQHEHJHOHLGHU RQGHUVWHXQHQELM 2SVWHOOHQJURHSVSODQ NODVVHQFRQVXOWDWLH FRDFKHQHQ %HJHOHLGHQ 6FKHPD 'DWDPXXUHQ JURHSVSODQ

,PSOHPHQWHUHQ

Eind groep 6-8 DMT: 95% >niveau A-B-C

Eind groep 5 beheersingsniveau 95% AVI-9 DMT: 95% > niveau A-B-C AVI-E6 (zes)

'RHOHQ JURHS

Technisch lezen groep 5-8

Leeskilometers

Leestempo

Modelen door leerkracht: .ik doet het voor .wij doen het samen .jij doet het nu

Voorlezen – koorlezen- duolezen zelf lezen

Automatiseren Verhogen leessnelheid

IGDI Instructieonafhankelijk Instructiegevoelig Instructieafhankelijk

Door de gehele school op vast tijdstip stillezen.

RALFI: 5 x per week Connect .klanken .woordherkenning (3 x 20 minuten) Hardop laten lezen Feedback krijgen

IGDI Instructieonafhankelijk Instructiegevoelig Instructieafhankelijk .verkorte instructie .basis .verlengde instructie

18

Tekst 3 x herhalen

Leesprotocol Dyslexie

Datamuur en Groepsplan technisch lezen.

Computerprogramma’s KLANKIE Sprintplus

Één uur extra per Week

Heterogeen groeperen

Samenlezen

Geen orthodidactische materialen en aanpak

Leessnelheid

Coöperatief leren

Datamuur en groepsplan

Schema

Interne begeleider: .ondersteunen bij opstellen groepsplan .klassenconsultatie .coachen en begeleiden

Onderwijskundig leiderschap directie .stilleesbeleid

Intensieve instructie en begeleide oefening

Lezen van meerlettergrepige woorden

Voorlezen Koorlezen Duolezen

Minimaal 3 uur per week.

Stilleesbeleid / BAVIlezen

Estafette

Lezen van meerlettergrepige woorden

,PSOHPHQWHUHQ

$DQSDN ]RUJOHHUOLQJHQ

UHLNLQJ

]RUJOHHUOLQJHQ

ZHUNYRUPHQ

2UJDQLVDWLHWLMG


,QKRXG



0DSIRQHPLVFKEHZXVW]LMQ &36 3UHQWHQERHNHQ 9RRUOHHVERHNHQ 3LFWR¶V %LMEHJULMSHQGOXLVWHUHQRRN EHJULSSHQDDQELHGHQGLHKHW OHHUOLQJHQPRJHOLMNPDNHQ RYHUWDDOWHGHQNHQHQWH VSUHNHQ %HHOGHQJHEUXLNHQYDQ ZHEVLWHV 'H5RGH'UDDGELEOLRWKHHN (QVFKHGH

0RQGHOLQJHWDDOYDDUGLJKHLG 7DDOYRRU.OHXWHUV QLYHDX$%& QLYHDX$% .HQQHQYDQOHWWHUV WHPSRZRUGWEHSDDOGGRRUGH ]ZDNNHOH]HUVJURHSELMHONDDU KRXGHQ 9RRUHQDFKWHU QDDPVFKULMYHQ $DQGDFKWYRRUOHHVEHJULS

19

3UDWHQRYHUERHNHQ ,QWHUDFWLHIYRRUOH]HQ /HHUOLQJHQYRRUVSHOOLQJHQODWHQ GRHQ 9UDJHQEHDQWZRRUGHQ 9UDJHQVWHOOHQ 0HWHONDDURYHUGHLQKRXGSUDWHQ 9HUKDDOQDODWHQYHUWHOOHQ +HULQQHUHQZDWLVYRRUJHOH]HQ 9RRUDI 7LMGHQV 1D 1DEHVSUHNHQ 6\VWHPDWLVFKHQVWUXFWXUHHO RQWZLNNHOHQYDQNHQQLVRYHU JHVFKUHYHQWDDO 5LMNHOHHURPJHYLQJ 9LHUWDNWVWUDWHJLH9HUKDOOHQ 'HQNHQ±GHOHQ±XLWZLVVHOHQ &89$5 'LUHFWULJKWEHQDGHULQJ ,QWHUDFWLHHQ LQVWUXFWLHYDDUGLJKHGHQ/HHUNUDFKW DOVPRGHOLNGRHKHW±ZLMGRHQ KHW±MLMGRHWKHW([SOLFLHWH LQVWUXFWLH 1LHWDIZDFKWHQPDDUDDQELHGHQ

,QKRXGEHJULMSHQG /HHUNUDFKW OXLVWHUHQ FRPSHWHQWLHV :$7ZRUGWRQGHUZH]HQ +2(ZRUGWRQGHUZH]HQ

'RHOHQ (LQGJURHS

Begrijpend luisteren groep 1 - 2



&RQYHUJHQWHGLIIHUHQWLDWLH ,*',PRGHO .OHLQHNULQJ :RRUGPXXU 9HUULMNWHOHHURPJHYLQJ &R|SHUDWLHIOHUHQ 7KHPDWLVFKZHUNHQ 0HHUWLMGYRRU]ZDNNH OHHUOLQJHQ 6DPHQGRHQPHW OHHUNUDFKW :HUNHQPHWHHQPDDWMH %HJDDIGHHQ JHWDOHQWHHUGHOHHUOLQJHQ

UHLNLQJ :HUNYRUPHQ

XXUSHUZHHN 'DJHOLMNVHHQNZDOLWHLWVXXU PHWGRHOJHULFKWH WDDODFWLYLWHLWHQ *URWHJURHS[PLQXWHQ .OHLQHJURHS[ PLQXWHQH[WUD ,*',PRGHOPHW %DVLVLQVWUXFWLHHQYHUOHQJGH LQVWUXFWLH 9DVWHURXWLQHV 0HHUWLMGYRRU]ZDNNH OHHUOLQJHQ $DQGDFKWYRRUEHJDDIGHHQ JHWDOHQWHHUGHOHHUOLQJHQ

2UJDQLVDWLHWLMG

2QGHUZLMVNXQGLJOHLGHUVFKDS GLUHFWLH ,QWHUQHEHJHOHLGHU RQGHUVWHXQHQELM RSVWHOOHQJURHSVSODQ NODVVHQFRQVXOWDWLH FRDFKHQHQ EHJHOHLGHQ GDWDPXXU

,PSOHPHQWHUHQ

:$7ZRUGWRQGHUZH]HQ

3UHQWHQERHNHQ 9RRUOHHVERHNHQ 9//LVWDDODUPPDDNJHEUXLN YDQULMNHWDDO 3ULRULWHUHQ ,QWHUDFWLHIYRRUOH]HQ 5RGHGUDDG :HEVLWHV 9HUKDDOOLMQ :LHZDWZDDUSLFWR¶V YHUKDDOVFKHPD

'RHOHQ (LQGJURHS

& % /RYVEHJULMSHQGOH]HQ(

Begrijpend luisteren groep 3



20

'LUHFWHLQVWUXFWLHRPZRRUGHQXLWWHOHJJHQ HVVHQWLsOHZRRUGHQ'LW]LMQGH NHUQZRRUGHQ 'HQNHQ±GHOHQ±XLWZLVVHOHQ6WLPXOHUHQ YDQGHGLDORRJWXVVHQGHNLQGHUHQ 6FKRROWDDO 6WDQGDDUGWDDO +HUKDOHQ 8LWEUHLGHQEXLWHQGHFRQWH[W &89$5 +HUKDDOGOH]HQHQKHUKDDOGYRRUOH]HQ :HUNHQPHWYLHUWDNWVWUDWHJLH :RRUGPXXU :RRUGZHE PLQGPDS ,OOXVWUDWLHV 'HOHHUNUDFKWDOVPRGHOLNGRHKHWZLMGRHQ KHW±MLMGRHWKHW 8LWOHJJHQDDQGHOHHUOLQJZDWGHEHGRHOLQJLV YDQHHQOHV :DDUJDDWGHWHNVWRYHU" :DWZHHWMHHUYDQ" 3UDWHQRYHUERHNHQ ,QWHUDFWLHIYRRUOH]HQ 9HUKDDOVFKHPD 3ODWHQRSYROJRUGH QDVSHOHQ 7RHSDVVHQYDQGHYLHU9¶V YLVXDOLVHUHQ YRRUNHQQLVDFWXDOLVHUHQ

+2(ZRUGWRQGHUZH]HQ PLQXWHQSHUZHHN 2UJDQLVDWLHVFKHPD JURHS ,*',PRGHO %DVLVLQVWUXFWLHHQ YHUOHQJGHLQVWUXFWLH &RQYHUJHQWHGLIIHUHQWLDWLH 'DWDPXXU LQVWUXFWLHDIKDQNHOLMN LQVWUXFWLHJHYRHOLJ LQVWUXFWLHRQDIKDQNHOLMN %HJDDIGHHQJHWDOHQWHHUGH OHHUOLQJHQ 'LUHFWULJKWDDQSDN 9RRUOH]HQ NRRUOH]HQGXROH]HQ ]HOIOH]HQ &R|SHUDWLHIOHUHQ +HUKDDOGDDQELHGHQ /HHVNLORPHWHUV $XGLRERHNHQHQFG URPV %HJDDIGHHQ JHWDOHQWHHUGH OHHUOLQJHQ 7KHPDWLVFKZHUNHQ 0, &RPSDFWHQHQYHUULMNHQ 3OXVSURJUDPPD

UHLNLQJ :HUNYRUPHQ

2UJDQLVDWLHWLMG

2QGHUZLMVNXQGLJOHLGHUVFKDS GLUHFWLH ,QWHUQHEHJHOHLGHU RQGHUVWHXQHQELM RSVWHOOHQJURHSVSODQ NODVVHQFRQVXOWDWLH FRDFKHQHQ EHJHOHLGHQ 6FKHPDYDQEH]RHNGRRU GLUHFWLHHQLQWHUQHEHJHOHLGHU

,PSOHPHQWHUHQ

:$7ZRUGWRQGHUZH]HQ

%HJULMSHQGOH]HQ /HHUOLQJHQPRHWHQPLQVWHQV $9,EHKHHUVHQ 7HNVWHQYRRUEHJULMSHQGOH]HQ ppQQLYHDXODJHU 0HWKRGHYRRUEHJULMSHQGOH]HQ RSGHDFKWHUJURQG [SHUZHHN 1LHXZVEHJULSQLYHDX$$YRRU JURHS 1LYHDX$JURHSHQ 1LYHDX%JURHSHQ ([SHULPHQWHUHQPHW[SHU ZHHNHHQYHUKDOHQGHWHNVW HHQ]HOIGHDDQSDNDOVELM QLHXZVEHJULSRIHHQEHJULMSHQG OH]HQOHVXLWGHPHWKRGH*RHG *HOH]HQ (pQOHHVVWUDWHJLHZHNHQ FHQWUDDO NHUQVWUDWHJLHsQEHJULMSHQG OH]HQ JHEUXLNPDNHQYRRUNHQQLV KHUNHQQHQHQJHEUXLNHQ WHNVWVWUXFWXXU MH]HOIPRQLWRUHQWLMGHQVKHW OH]HQ JUDILVFKHVFKHPD¶VHQ RUJDQL]HUV YLVXDOLVHUHQYDQGHWHNVW MH]HOIYUDJHQEHDQWZRRUGHQ VDPHQYDWWHQ

'RHOHQ JURHSWP

& % /RYVEHJULMSHQGOH]HQ 0HQ( /RYVEHJULMSHQGOH]HQ 0WRW0 %HJULMSHQGOH]HQRXG 0

Begrijpend luisteren groep 4 tot en met 8



21

9ORWWHFKQLVFKNXQQHQOH]HQ 6WLOOHHVEHOHLG $9,GXROH]HQ5$/), 9DQDI$9,VWLOOH]HQ [PLQXWHQSHUGDJ /HHUNUDFKWDOVPRGHOLNGRHKHWZLMGRHQKHW±MLMGRHWKHWELM EHJULMSHQGOH]HQHQWRHSDVVHQYDQEHJULMSHQGOHHVVWUDWHJLHHQ 1LHXZVEHJULSVWDSSHQSODQOH]HQHQZRRUGKXOS 9RRUDI ZDDURPJDLNGH]HWHNVWOH]HQ LNYHUNHQGHVWUXFWXXU ZDWZHHWLNDO LNYRRUVSHO 7LMGHQV LNVWHOYUDJHQRYHUGHWHNVW LNYLVXDOLVHHUGHWHNVW LNPDDNHHQVFKHPD ZDWGRHLNDOVLNKHWQLHWVQDS 1D LNYDWVDPHQ 7LMGHQVYRRUOH]HQOHHUOLQJHQDDQPRHGLJHQRPYRRUVSHOOLQJHQWH GRHQ /HHUOLQJHQYRRUVSHOOLQJHQODWHQGRHQ 9UDJHQEHDQWZRRUGHQ 9UDJHQVWHOOHQ 0HWHONDDURYHUGHLQKRXGSUDWHQ 9HUKDDOQDODWHQYHUWHOOHQ +HULQQHUHQZDWLVYRRUJHOH]HQ 7ZHHNHUQZRRUGHQ'HQNHQ±GHOHQ±XLWZLVVHOHQ %HJULMSHQGOH]HQ &89$5 :RRUGHQRSKHWERUGVFKULMYHQ

+2(ZRUGWRQGHUZH]HQ

:HUNYRUPHQ .RRUOH]HQ 9RRUOH]HQ 'XROH]HQ /HHUNUDFKWDOVPRGHO ,NGRHKHW :LMGRHQKHW -LMGRHWKHW &R|SHUDWLHIOHUHQ *URHSVSODQ$%& ,QRQWZLNNHOLQJ %HJDDIGHHQ JHWDOHQWHHUGH OHHUOLQJHQ &RPSDFWHQHQ YHUULMNHQ 3OXVSURJUDPPD

2UJDQLVDWLHWLMG 0LQLPDDOXXUSHU ZHHN 'RRUGHJHKHOHVFKRRO RSYDVWWLMGVWLSVWLOOH]HQ 'DWDPXXU ,QVWUXFWLHDIKDQNHOLMN ,QVWUXFWLHJHYRHOLJ ,QVWUXFWLHRQDIKDQNHOLMN YHUNRUW EDVLV YHUOHQJG ,*',PRGHO %HJDDIGHHQ JHWDOHQWHHUGHOHHUOLQJHQ

/HHUOLQJHQGLHRSGH WRHWVHQYRRUEHJULMSHQG OH]HQRS'RI(VFRUHQ /HHUOLQJHQPHW FRPPXQLFDWLHSUREOHPHQ /HHUOLQJHQPHW FRJQLWLHYHSUREOHPHQ /HHUOLQJHQPHW JHKRRUSUREOHPHQ /HHUOLQJHQXLWZHLQLJ WDDOULMNHPLOLHXV $DQSDNDOWLMGGLUHFWH LQVWUXFWLH 6DPHQGRHQ 3UHWHDFKLQJ :HUNHQPHWHHQPDDWMH +XOSERHNHQ&,72 /HHUOLQJHQPHWHLJHQ OHHUZHJ]HHULQWHQVLHYH LQVWUXFWLH /HHUOLQJHQPHWHLJHQ OHHUOLMQYHUGLHSWH LQVWUXFWLH

=RUJOHHUOLQJHQ

:$7ZRUGWRQGHUZH]HQ

9HHOVWLOOH]HQYDQDIEHKHHUVLQJ $9, [SHUZHHNYHUKDOHQ [SHUZHHNLQIRUPDWLHYH WHNVWHQ [SHUZHHNVWULSYHUKDOHQ ,QWHUDFWLHIYRRUOH]HQ 5RGHGUDDG

'RHOHQ JURHSWP



22

6WHHGVYUDJHQ :DDUJDDWGHWHNVWRYHU" :DWZHHWMHDOYDQKHWRQGHUZHUS" +HUKDDOGOH]HQHQKHUKDDOGYRRUOH]HQ :RRUGPXXU :RRUGZHE 0LQGPDS ,OOXVWUDWLHV 8LWOHJJHQDDQGHOHHUOLQJZDWGHEHGRHOLQJLVYDQHHQOHV :DDUJDDWGHWHNVWRYHU" :DWZHHWMHHUYDQ" 3UDWHQRYHUERHNHQ ,QWHUDFWLHIYRRUOH]HQ /HHUNUDFKWDOVPRGHO 9HHOYHUVFKLOOHQGHRQGHUZHUSHQDDQELHGHQ )LFWLHHQQRQILFWLH +HUKDDOGDDQELHGHQLQYHUVFKLOOHQGHFRQWH[W +DUGRSGHQNHQ 'HPRQVWUHUHQ )HHGEDFNJHYHQ +HOSHQ 9RRU]HJJHQ 'DJHOLMNVURXWLQHPDWLJHDDQGDFKW :HUNHQPHWZRRUGHQERHNHQ 0RHLOLMNHZRRUGHQVFKULIW &RPSXWHU 6WDQGDDUGWDDOHQVFKRROWDDO %HJULMSHQGOH]HQQLHWJHwVROHHUGPDDUWRHSDVVHQELMDOOHYDNNHQ *UHQVRYHUVFKULMGHQGLQSULQFLSHLQDOOHOHVVHQ /HHVVWUDWHJLHsQQDDVWKHWERUG )LFWLHHQQRQILFWLH :HUNHQPHWWZHHOLQJERHNHQ

+2(ZRUGWRQGHUZH]HQ

+DQG UHLNLQJ

2UJDQLVDWLHWLMG

:HUNYRUPHQ

=RUJOHHUOLQJHQ

:$7ZRUGWRQGHUZH]HQ

'RHOHQ (LQGJURHS



23

.LQGHUHQYHUDQWZRRUGHOLMNPDNHQYRRU PRHLOLMNHZRRUGHQ YUDJHQVWHOOHQ YRRUVSHOOHQ /HHUOLQJHQYRRUVSHOOLQJHQODWHQGRHQ 9UDJHQEHDQWZRRUGHQ 9UDJHQVWHOOHQ 0HWHONDDURYHUGHLQKRXGSUDWHQ 9HUKDDOQDODWHQYHUWHOOHQ +HULQQHUHQZDWLVYRRUJHOH]HQ 9RRUDI ZDDURPJDLNGH]HWHNVWOH]HQ LNYHUNHQGHVWUXFWXXU ZDWZHHWLNDO LNYRRUVSHO 7LMGHQV LNVWHOYUDJHQRYHUGHWHNVW LNYLVXDOLVHHUGHWHNVW LNPDDNHHQVFKHPD ZDWGRHLNDOVLNKHWQLHWVQDS 1D LNYDWVDPHQ /HHUNUDFKWDOVPRGHO 9HHOYHUVFKLOOHQGHRQGHUZHUSHQDDQELHGHQ )LFWLHHQQRQILFWLH +HUKDDOGDDQELHGHQLQYHUVFKLOOHQGHFRQWH[W

+2(ZRUGWRQGHUZH]HQ

UHLNLQJ

2UJDQLVDWLHWLMG+DQG:HUNYRUPHQ

,PSOHPHQWHUHQ

:$7ZRUGWRQGHUZH]HQ

%HJULMSHQGOH]HQ /HHUOLQJHQPRHWHQPLQVWHQV $9,EHKHHUVHQ 7HNVWHQYRRUEHJULMSHQGOH]HQ ppQQLYHDXODJHU 0HWKRGHYRRUEHJULMSHQGOH]HQ RSGHDFKWHUJURQG [SHUZHHN 1LHXZVEHJULSQLYHDX$$YRRU JURHS 1LYHDX$JURHSHQ 1LYHDX%JURHSHQ ([SHULPHQWHUHQPHW[SHU ZHHNHHQYHUKDOHQGHWHNVW HHQ]HOIGHDDQSDNDOVELM QLHXZVEHJULSRIHHQEHJULMSHQG OH]HQOHVXLWGHPHWKRGH*RHG *HOH]HQ (pQOHHVVWUDWHJLHZHNHQ FHQWUDDO NHUQVWUDWHJLHsQEHJULMSHQG OH]HQ JHEUXLNPDNHQYRRUNHQQLV KHUNHQQHQHQJHEUXLNHQ WHNVWVWUXFWXXU MH]HOIPRQLWRUHQWLMGHQVKHW OH]HQ JUDILVFKHVFKHPD¶VHQ RUJDQL]HUV YLVXDOLVHUHQYDQGHWHNVW MH]HOIYUDJHQEHDQWZRRUGHQ VDPHQYDWWHQ 9HHOVWLOOH]HQYDQDIEHKHHUVLQJ $9, [SHUZHHNYHUKDOHQ [SHUZHHNLQIRUPDWLHYH WHNVWHQ

'RHOHQ JURHSWP

& % /RYVEHJULMSHQGOH]HQ 0HQ( /RYVEHJULMSHQGOH]HQ 0WRW0 %HJULMSHQGOH]HQRXG 0

Begrijpend luisteren groep 4 tot en met 8



24

9ORWWHFKQLVFKNXQQHQOH]HQ 6WLOOHHVEHOHLG $9,GXROH]HQ5$/), 9DQDI$9,VWLOOH]HQ [PLQXWHQSHUGDJ /HHUNUDFKWDOVPRGHOLNGRHKHWZLMGRHQKHW±MLMGRHWKHWELM EHJULMSHQGOH]HQHQWRHSDVVHQYDQEHJULMSHQGOHHVVWUDWHJLHHQ 1LHXZVEHJULSVWDSSHQSODQOH]HQHQZRRUGKXOS 9RRUDI ZDDURPJDLNGH]HWHNVWOH]HQ LNYHUNHQGHVWUXFWXXU ZDWZHHWLNDO LNYRRUVSHO 7LMGHQV LNVWHOYUDJHQRYHUGHWHNVW LNYLVXDOLVHHUGHWHNVW LNPDDNHHQVFKHPD ZDWGRHLNDOVLNKHWQLHWVQDS 1D LNYDWVDPHQ 7LMGHQVYRRUOH]HQOHHUOLQJHQDDQPRHGLJHQRPYRRUVSHOOLQJHQWH GRHQ /HHUOLQJHQYRRUVSHOOLQJHQODWHQGRHQ 9UDJHQEHDQWZRRUGHQ 9UDJHQVWHOOHQ 0HWHONDDURYHUGHLQKRXGSUDWHQ 9HUKDDOQDODWHQYHUWHOOHQ +HULQQHUHQZDWLVYRRUJHOH]HQ 7ZHHNHUQZRRUGHQ 'HQNHQ±GHOHQ±XLWZLVVHOHQ %HJULMSHQGOH]HQ &89$5

+2(ZRUGWRQGHUZH]HQ 0LQLPDDOXXUSHU ZHHN 'RRUGHJHKHOHVFKRRO RSYDVWWLMGVWLSVWLOOH]HQ 'DWDPXXU ,QVWUXFWLHDIKDQNHOLMN ,QVWUXFWLHJHYRHOLJ ,QVWUXFWLHRQDIKDQNHOLMN YHUNRUW EDVLV YHUOHQJG ,*',PRGHO %HJDDIGHHQ JHWDOHQWHHUGHOHHUOLQJHQ

UHLNLQJ 2UJDQLVDWLHWLMG .RRUOH]HQ 9RRUOH]HQ 'XROH]HQ /HHUNUDFKWDOVPRGHO ,NGRHKHW :LMGRHQKHW -LMGRHWKHW &R|SHUDWLHIOHUHQ *URHSVSODQ$%& ,QRQWZLNNHOLQJ %HJDDIGHHQ JHWDOHQWHHUGH OHHUOLQJHQ &RPSDFWHQHQ YHUULMNHQ 3OXVSURJUDPPD

:HUNYRUPHQ

/HHUOLQJHQGLHRSGH WRHWVHQYRRUEHJULMSHQG OH]HQRS'RI(VFRUHQ /HHUOLQJHQPHW FRPPXQLFDWLHSUREOHPHQ /HHUOLQJHQPHW FRJQLWLHYHSUREOHPHQ /HHUOLQJHQPHW JHKRRUSUREOHPHQ /HHUOLQJHQXLWZHLQLJ WDDOULMNHPLOLHXV $DQSDNDOWLMGGLUHFWH LQVWUXFWLH 6DPHQGRHQ 3UHWHDFKLQJ :HUNHQPHWHHQPDDWMH +XOSERHNHQ&,72 /HHUOLQJHQPHWHLJHQ OHHUZHJ]HHULQWHQVLHYH LQVWUXFWLH /HHUOLQJHQPHWHLJHQ OHHUOLMQYHUGLHSWH LQVWUXFWLH

=RUJOHHUOLQJHQ

[SHUZHHNVWULSYHUKDOHQ ,QWHUDFWLHIYRRUOH]HQ 5RGHGUDDG



25

:RRUGHQRSKHWERUGVFKULMYHQ 6WHHGVYUDJHQ :DDUJDDWGHWHNVWRYHU" :DWZHHWMHDOYDQKHWRQGHUZHUS" +HUKDDOGOH]HQHQKHUKDDOGYRRUOH]HQ :RRUGPXXU :RRUGZHE 0LQGPDS ,OOXVWUDWLHV 8LWOHJJHQDDQGHOHHUOLQJZDWGHEHGRHOLQJLVYDQHHQOHV :DDUJDDWGHWHNVWRYHU" :DWZHHWMHHUYDQ" 3UDWHQRYHUERHNHQ ,QWHUDFWLHIYRRUOH]HQ /HHUNUDFKWDOVPRGHO 9HHOYHUVFKLOOHQGHRQGHUZHUSHQDDQELHGHQ )LFWLHHQQRQILFWLH +HUKDDOGDDQELHGHQLQYHUVFKLOOHQGHFRQWH[W +DUGRSGHQNHQ 'HPRQVWUHUHQ )HHGEDFNJHYHQ +HOSHQ 9RRU]HJJHQ 'DJHOLMNVURXWLQHPDWLJHDDQGDFKW :HUNHQPHWZRRUGHQERHNHQ 0RHLOLMNHZRRUGHQVFKULIW &RPSXWHU 6WDQGDDUGWDDOHQVFKRROWDDO %HJULMSHQGOH]HQQLHWJHwVROHHUGPDDUWRHSDVVHQELMDOOHYDNNHQ *UHQVRYHUVFKULMGHQGLQSULQFLSHLQDOOHOHVVHQ /HHVVWUDWHJLHsQQDDVWKHWERUG )LFWLHHQQRQILFWLH :HUNHQPHWWZHHOLQJERHNHQ .LQGHUHQYHUDQWZRRUGHOLMNPDNHQYRRUPRHLOLMNHZRRUGHQ

2*: +DQG UHLNLQJ



Bijlage 2: Voorbeeld uitwerking kwaliteitskaart OGW Werken op groepsniveau Leesverbeterplan Enschede

Datamuur en groepsplan: instructietijd

QLYHDX 'RHO

*URHS 9HUNRUWHLQVWUXFWLH $% 0LQLPDDO$9,QLYHDXV

*URHS%DVLVLQVWUXFWLH

3HGDJRJLVFKH DDQZLM]LQJHQ :$7LQKRXG

$OJHPHHQHQVSHFLILHN

$OJHPHHQHQVSHFLILHN

*URHS 9HUOHQJGH,QVWUXFWLH '( 0LQLPDDO$9,QLYHDXV 9HUZDFKWH YDDUGLJKHLGVVFRUHYRRU' HQ(OHHUOLQJHQ $OJHPHHQHQVSHFLILHN

6WLOOH]HQ :RRUGHQOH]HQ 7HNVWHQOH]HQ 0DSIRQHPLVFK EHZXVW]LMQ 0HWKRGHDDQYDQNHOLMN OH]HQ 0HWKRGHYRRUJH]HWOH]HQ .ZDOLWHLWVNDDUWHQ 5HJHOVHQURXWLQHV

6WLOOH]HQ :RRUGHQOH]HQ 7HNVWHQOH]HQ 0DSIRQHPLVFK EHZXVW]LMQ 0HWKRGHDDQYDQNHOLMN OH]HQ 0HWKRGHYRRUJH]HWOH]HQ .ZDOLWHLWVNDDUWHQ 5HJHOVHQURXWLQHV

5$/), :RRUGHQOH]HQ 7HNVWHQOH]HQ 0DSIRQHPLVFK EHZXVW]LMQ 0HWKRGHDDQYDQNHOLMN OH]HQ 0HWKRGHYRRUJH]HWOH]HQ .ZDOLWHLWVNDDUWHQ 5HJHOVHQURXWLQHV

9HUNRUWHLQVWUXFWLH .ZDOLWHLWVNDDUW 0RGHOHQ 6WUHHINZDOLWHLW

%DVLVLQVWUXFWLH .ZDOLWHLWVNDDUW 0RGHOHQ 6WUHHINZDOLWHLW

9HUOHQJGHLQVWUXFWLH .ZDOLWHLWVNDDUW 0RGHOHQ )XQGDPHQWHOHNZDOLWHLW

3UHVVXUHDQGVXSSRUW 'LUHFWHXUDOV RQGHUZLMVNXQGLJOHLGHU :DQQHHU :DW



0DWHULDDO

.ODVVHQ PDQDJHPHQW +2(LQVWUXFWLH 7LMG OHHUNUDFKW /HHUVWRI SODQQLQJ &RDFKLQJHQ EHJHOHLGLQJ

HYDOXDWLH

& 0LQLPDDO$9,QLYHDXV

26



Groepsplan voor technisch lezen * (gebaseerd op handelingsgericht werken met als differentiatie: instructie en tijd)

JURHS /HHUNUDFKW 3HULRGH 6FKRROMDDU

AVI-beheersingsniveau

$9,

'07$% 9HUNRUWH LQVWUXFWLH

'07& 9HUNRUWHLQVWUXFWLH

$9,

%DVLVLQVWUXFWLH WHNVWQLYHDX

%DVLVLQVWUXFWLH

'07'( 9HUNRUWHLQVWUXFWLH %DVLVLQVWUXFWLH ZRRUGQLYHDX %DVLVLQVWUXFWLH

$9,

9HUOHQJGHLQVWUXFWLH

9HUOHQJGH LQVWUXFWLH

9HUOHQJGH ,QVWUXFWLH

$9, %RYHQ

'07$%

ERYHQYDVWJHVWHOGH $9,GRHO

RSYDVWJHVWHOG$9, GRHO RQGHUYDVWJHVWHOG $9,GRHO

$9, RS

$9, RQGHU

DYL '07&

DYL '07'(

DYL

530/A33@2=>5@=3>A>:/<<<393(;7BAI =53A16==:,7<23A637;

27



Instructiedoelen

Instructiedoelen

,QVWUXFWLHGRHOHQ

Verkorte instructie

Basisinstructie

1RUPDDOYRUGHUHQ $9, ZRUGHQ ]HOIVWDQGLJHHQ JHPRWLYHHUGHOH]HUV PDNHQµNLORPHWHUV¶ GRHQYHHOOHHVHUYDULQJ RS /HHUOLQJHQ $OJHPHQHHQVSHFLILHNH SHGDJRJLVFKH DDQZLM]LQJHQ

0LQLPDDO$9, LQVWUXFWLHQLYHDXVSHU VFKRROMDDUOHUHQ VWLOOH]HQZRUGHQ ]HOIVWDQGLJHHQ JHPRWLYHHUGHOH]HUV GRHQOHHVHUYDULQJRS

28

Verlengde instructie-

Voor D en E-leerlingen preciezer uitwerken (bijlage) 0LQLPDDO$9, LQVWUXFWLHQLYHDXVSHU VFKRROMDDUZRUGHQ JHPRWLYHHUGHOH]HUV



Leesinstructie Stillezen

/HHVLQVWUXFWLH 67,//(=(1

9HUNRUWHLQVWUXFWLH

%DVLVLQVWUXFWLH

9HUOHQJGHLQVWUXFWLH

:HUNZLM]H WHNVWHQOH]HQ 6WLOOH]HQ

6WLOOH]HQELMYRRUEHHOG [SZLQIRUPDWLHI [SZYHUKDOHQ [SZVWULS

0HWKRGLHNWHFKQLVFK OH]HQ 5$/),OH]HQ

1LYHDXZDDURS JHOH]HQJHRHIHQG ZRUGW

1DDUHLJHQNHX]H

6WLOOH]HQELMYRRUEHHOG [SZLQIRUPDWLHI [SZYHUKDOHQ [SZVWULS (YHQWXHHOGHHOV WXWRUOH]HQPHW%% JURHSHQ 1DDUHLJHQNHX]H 7XWRUOH]HQ LQVWUXFWLHQLYHDX

QLYHDXVKRJHUGDQ LQVWUXFWLHQLYHDXQHHP HHQJHPLGGHOGHYDQGH 5$/),JURHS 0DWHULDOHQ %RHNHQXLWGHOHHVNDVW %RHNHQXLWGHOHHVNDVW 5$/),WHNVWHQ ERHNHQPHWYHUKDDO ERHNHQPHWYHUKDDO LQIRUPDWLHYHERHNHQ LQIRUPDWLHYHERHNHQ %LMYRRUEHHOG VWULSERHNHQ VWULSERHNHQ 7HNVWYDQGHZHHN NLGVZHHNMXQLRU NLGVZHHNMXQLRU YDQQLHXZVEHJULS YDQDIJU YDQDIJU 7HNVWPLQLLQIRUPDWLH MHXJGWLMGVFKULIWHQ MHXJGWLMGVFKULIWHQ 7HNVWMXQLRULQIRUPDWLH VSRUWPX]LHNHWF VSRUWPX]LHNHWF 7HNVWOHHVERHN 'LGDFWLHN *HYHQYDQJHULFKWH *HYHQYDQJHULFKWH 5$/),WHFKQLHN RSGUDFKWHQJHNRSSHOG RSGUDFKWHQJHNRSSHOG 9RRUOH]HQ %URQQHQERHNYRRUWLSV DDQGHQLHXZHOHHUVWRI DDQGHQLHXZHOHHUVWRI .RRUOH]HQ ³$NWLHIPHWERHNHQ´ 'XROH]HQ )HHGEDFNJHYHQQD )HHGEDFNJHYHQQD ]LHKDQGOHLGLQJ5$/), VWLOOH]HQQDDU VWLOOH]HQQDDU DDQOHLGLQJYDQ DDQOHLGLQJYDQ VWDUWRSGUDFKW VWDUWRSGUDFKW %LMYRRUEHHOG.LMN %LMYRRUEHHOG.LMN YDQGDDJRIMHLHWVLQMH YDQGDDJRIMHLHWVLQMH ERHNWHJHQNRPWGDW ERHNWHJHQNRPWGDW JDDWRYHUIHHVW JDDWRYHUIHHVW GLHUHQYHUGULHW GLHUHQYHUGULHW JHVFKLHGHQLVHG JHVFKLHGHQLVHG Wanneer? 5 x per week 08.30-08.50 08.30-08.50 08.30-09.50 2 x per week stillezen 4 x per week RALFI 3 x per week tutorlezen 1 x per week stillezen met groep 6-7-8 Wie? Namen: Namen: Namen: Waar? Aan eigen tafel Aan eigen tafel Aan instructietafel Tutorlezen in BB groep door leerkracht

29



Leesinstructie Teksten Lezen

/HHVLQVWUXFWLH 7(.67(1/(=(1

9HUNRUWHLQVWUXFWLH

%DVLVLQVWUXFWLH

9HUOHQJGHLQVWUXFWLH

:HUNZLM]H WHNVWHQOH]HQ ,QVWUXFWLHWHFKQLVFK OH]HQ

.RUWHLQVWUXFWLHRS$9, QLYHDXHQ]HOIVWDQGLJH YHUZHUNLQJXLW PHWKRGH (UJJRHGHOH]HUV ]HOIOHHVVWRINLH]HQ SUHVHQWDWLHVPDNHQ OHHVORJERHN ELMKRXGHQ $9,LQVWUXFWLHQLYHDX YDQGHOHHUOLQJ

5HJXOLHUHLQVWUXFWLHRS $9,QLYHDXHQ ]HOIVWDQGLJHYHUZHUNLQJ XLWPHWKRGH

5HJXOLHUHLQVWUXFWLHRS $9,QLYHDXHQEHJHOHLGH YHUZHUNLQJHQ ]HOIVWDQGLJHYHUZHUNLQJ XLWPHWKRGH

$9,LQVWUXFWLHQLYHDX YDQGHOHHUOLQJGH QRUP 0HWKRGH³(VWDIHWWH´ 0HWKRGH³(VWDIHWWH´ $DQSDN $DQSDN OHHVERHNHQZHUN OHHVERHNHQZHUN ERHN ERHN ORJERHN WRHSDVVLQJHQRS HLJHQLQWHUHVVHV *URHSHQRRN YORHLHQGOH]HQPHW *URHSHQRRN GLYHUVHWRHSDVVLQJHQ YORHLHQGOH]HQPHW YRRUOH]HQDDQ GLYHUVHWRHSDVVLQJHQ MRQJHUHJURHSHQ YRRUOH]HQDDQ WXWRUOH]HQPHWJU MRQJHUHJURHSHQ VFKRROYRRUOHHV WXWRUOH]HQPHWJU ZHGVWULMG VFKRROYRRUOHHV ZHGVWULMG =HOIVWDQGLJH ,QVWUXFWLHYROJHQVGH YHUZHUNLQJ PHWKRGH ZHO,*',PRGHO

$9,LQVWUXFWLHQLYHDXYDQ GHOHHUOLQJEHQHGHQGH QRUP 0HWKRGH³(VWDIHWWH´ $DQSDN OHHVERHNHQZHUNERHN *URHSHQRRN YORHLHQGOH]HQPHW GLYHUVHWRHSDVVLQJHQ YRRUOH]HQDDQMRQJHUH JURHSHQ WXWRUOH]HQPHWJU VFKRROYRRUOHHV ZHGVWULMG ,QVWUXFWLHYROJHQVGH PHWKRGHYHUOHQJGH LQVWUXFWLH

1LYHDXZDDURS JHOH]HQJHRHIHQG ZRUGW 0DWHULDOHQ

'LGDFWLHN

30



Leesinstructie Woorden Lezen

/HHVLQVWUXFWLH :225'(1/(=(1

9HUNRUWHLQVWUXFWLH

%DVLVLQVWUXFWLH

9HUOHQJGHLQVWUXFWLH

:HUNZLM]H :RRUGHQOH]HQ

2SGUDFKWHQ]HOIVWDQGLJ ZHUNHQ /HHUOLQJHQQHPHQZHO GHHODDQGHNODVVLNDOH LQVWUXFWLH,*', 'HQNDDQGH QDEHVSUHNLQJ QYW

:RRUGULMHQOH]HQ JHwQWHJUHHUGLQ WHFKQLVFKOHHVOHV

:RRUGULMHQOH]HQ JHwQWHJUHHUGLQ WHFKQLVFKOHHVOHV

2SLQVWUXFWLHQLYHDX

2SLQVWUXFWLHQLYHDX

1LYHDXZDDURS JHOH]HQJHRHIHQG ZRUGW 0DWHULDOHQ

'LGDFWLHN

QYW

:RRUGULMHQXLW ³(VWDIHWWH´ ZRRUGZHEYDQGH ZHHN 6SHOOLQJZRRUGHQYDQ GHZHHN HWF 'H]HOHHUOLQJHQQHPHQ /HHUOLQJHQOH]HQ ZRRUGULMHQHQ GHHODDQGHHHUVWH RQGHUVWUHSHQYRRUKHQ DOJHPHQHLQVWUXFWLH ODVWLJHZRRUGHQ YDQ,*',PRGHO 'DDUQDJDDQ]HYHUGHU ,QVWUXFWLHJHYHQ PHWGHRSGUDFKWYDQXLW RYHUKRHHHQZRRUG JHOH]HQPRHWZRUGHQ ³(VWDIHWWH´ 9RRUOH]HQGRRU OHHUNUDFKW (YHQWXHHONRRU±RI GXROH]HQ ³5DFHOH]HQ´ OHHUOLQJHQOH]HQRPGH EHXUW]RVQHOPRJHOLMN PDDUZHOYHUVWDDQEDDU HHQDDQWDOULMHQYRRU (ONHNHHUDQGHUH ZRRUGHQ

Opmerking 530/A33@2=>5@=3>A>:/<<<393(;7BAI =53A16==:,7<23A637;

31

:RRUGULMHQXLW ³(VWDIHWWH´ ZRRUGZHEYDQGH ZHHN 6SHOOLQJZRRUGHQYDQ GHZHHN YHLOLJHQYORW9// /HHUOLQJHQOH]HQ ZRRUGULMHQHQ RQGHUVWUHSHQYRRUKHQ ODVWLJHZRRUGHQ ,QVWUXFWLHJHYHQRYHU KRHHHQZRRUGJHOH]HQ PRHWZRUGHQ 9RRUOH]HQGRRU OHHUNUDFKW (YHQWXHHONRRU±RI GXROH]HQ ³5DFHOH]HQ´ OHHUOLQJHQOH]HQRPGH EHXUW]RVQHOPRJHOLMN PDDUZHOYHUVWDDQEDDU HHQDDQWDOULMHQYRRU (ONHNHHUDQGHUH ZRRUGHQ



Organisatie methodische instructie technisch lezen

/HHVLQVWUXFWLH :225'(1/(=(1

9HUNRUWHLQVWUXFWLH

%DVLVLQVWUXFWLH

9HUOHQJGHLQVWUXFWLH

:DQQHHU"

*U [SHUZHHNPLQ *U [SHUZHHNPLQ *U [SHUZHHNPLQ 1DPHQ $DQHLJHQWDIHO DOOHHQRILQGXR¶V

*U [SHUZHHNPLQ *U [SHUZHHNPLQ *U [SHUZHHNPLQ 1DPHQ

*U [SHUZHHNPLQ *U [SHUZHHNPLQ *U [SHUZHHNPLQ 1DPHQ

$DQHLJHQWDIHO

$DQLQVWUXFWLHWDIHO

:LH" :DDU"

Groep 3 Groep 4-5 @=3>3< ::3:33@:7<53<=<23@23<=@;

: minimaal 400 minuten per week : minimaal 3 uur per week : technisch lezen blijven onderhouden (1-2 lessen per week) : 1 uur instructie per week extra

Leerstofplanning

/HHUVWRISODQQLQJ

9HUNRUWHLQVWUXFWLH

%DVLVLQVWUXFWLH

9HUOHQJGHLQVWUXFWLH

:HHN :HHN :HHN :HHN

Overige leesonderdelen: Inhoud

2YHULJHOHHVRQGHUGHOHQ,QKRXG

:DQQHHU"

9RRUOH]HQ 1LHXZVEHJULSHONHZHHNQLHXZHWHNVWDOV EHJULMSHQGOHHVOHV %HJULMSHQG/H]HQPHWµ*RHGJHOH]HQ¶

(ONHGDJPLQXWHQ [SHUZHHN [,QVWUXFWLHOHVSHUZHHN

32



Werkwijze tijdens lessen technisch lezen

:HUNZLM]HWLMGHQV OHVVHQWHFKQLVFK OH]HQ

9HUNRUWHLQVWUXFWLH

%DVLVLQVWUXFWLH

9HUOHQJGHLQVWUXFWLH

:HUNZLM]H &RQYHUJHQWH GLIIHUHQWLDWLH

9HUNRUWLQVWUXFWLH =HOIVWDQGLJOHHUVWRI YHUZHUNHQ

%DVLVLQVWUXFWLH

9HUOHQJGHLQVWUXFWLH

De lessen worden allemaal gegeven volgens het IGDI-model.

Evaluatie

(YDOXDWLH 7RHWVLQJ :DQQHHU" 5HVXOWDWHQ"

$IQDPH$9,NDDUWHQHQ'07 2NWREHUMDQXDULPDDUWHQMXQL

.RSLHHUKLHUGHQDPHQ YDQGHOHHUOLQJHQHQ QRWHHUDFKWHUGHQDDP KHWUHVXOWDDWYDQ$9, HQ'07

Aandachtspunten

$DQGDFKWVSXQWHQ OHHUOLQJHQPHWH[WUDKXOSDIVSUDNHQPHWRXGHUVHWF

Klassenconsultatie / SVIB

.ODVVHQFRQVXOWDWLH69,% 'RHO 'DWXP 'RRU 9HUYROJDIVSUDNHQ

33



Evaluatie

(YDOXDWLH 'DWXP 0HWZLH 7RHWVHQREVHUYDWLHUHVXOWDWHQ GHQLHXZHGDWDPXXUNDQKLHULQJHYRHUGZRUGHQ 'H]HJHOGWZHHUDOVEHJLQVLWXDWLHYRRUKHW YROJHQGHSODQ $OJHPHHQ 9HUYROJDIVSUDNHQ

34



Groepsplan voor technisch lezen voor D- en E-leerlingen *URHS Instructiedoelen

1DPHQYDQGH OHHUOLQJHQ %HKDDOGH YDDUGLJKHLGVVFRUHV 9HUZDFKWH YDDUGLJKHLGVVFRUH

'RHO

(YDOXDWLH

/HHUOLQJHQPHWHHQ 'RI(QLYHDX 9HUOHQJGH,QVWUXFWLH

(LJHQOHHUZHJ ODDJVWHQLYHDX =HHULQWHQVLHYH LQVWUXFWLH

8LWZHUNLQJ $OJHPHHQ

9DDUGLJKHLGVVFRUH 9DDUGLJKHLGVVFRUH 9DDUGLJKHLGVVRUH $9, '07 $PELWLHQLYHDX =LHWDEHOLQVSHFWLHHQ RQGHUJUHQVYV =LHWDEHO ³EHJLQVLWXDWLH´ 0LQLPDDO$9,QLYHDXV SHUVFKRROMDDU $PELWLHQLYHDX =LHWDEHOLQVSHFWLHHQ RQGHUJUHQVYV =LHWDEHO ³EHJLQVLWXDWLH´ 0LQLPDDO$9,QLYHDXV SHUVFKRROMDDU

9RRUOHHUOLQJHQPHWHHQ HLJHQOHHUZHJZRUGWRS EDVLVYDQKHWSV\FKR GLDJQRVWLVFKRQGHU]RHNHHQ RQWZLNNHOSHUVSHFWLHI RSJHVWHOG 5HDOLVWLVFKpQPHWHHQKRRJ YHUZDFKWLQJVQLYHDX

'DWXP

'DWXP

'HVWDJQDWLH]LWRS ZRRUGQLYHDX [(RS'07 %HYRUGHUHQYDQGH WHFKQLVFKH OHHVYDDUGLJKHLG ]RGDWHLQGJURHS GHOHHUOLQJRSKHW QLYHDX$9,GH VFKRROYHUODDW IXQFWLRQHHO JHOHWWHUG

35



/HHUVWRIDDQERG 3ODQQLQJYDQGH OHHUVWRI 'LIIHUHQWLDWLH JURHS

.HUQYDQGHEDVLVVWRI

3DVVHQGOHHUVWRIDDQERG

³(LJHQ´WHNVWHQRI ]DDNYDNWHNVWHQ

9HUOHQJGHLQVWUXFWLH

=HHULQWHQVLHYHLQVWUXFWLH

([WUDOHHUWLMG 'LGDFWLVFKH DDQZLM]LQJHQ

epQXXUSHUZHHNH[WUD 9HUNRUWHLQVWUXFWLH %DVLVLQVWUXFWLH 9HUOHQJGHLQVWUXFWLH 3UHWHDFKLQJ 9RRUNRRUGRRU 3DUWQHUOH]HQ 'HQNHQGHOHQ XLWZLVVHOHQ

epQXXUSHUZHHNH[WUD 9HUNRUWHLQVWUXFWLH %DVLVLQVWUXFWLH 9HUOHQJGHLQVWUXFWLH =HHULQWHQVLHYHLQVWUXFWLH SUHWHDFKLQJ YRRUVFKRWEHQDGHULQJ 3DVVHQGHGLGDFWLHN 3DVVHQGHSHGDJRJLVFKH PDDWUHJHOHQ

/HHUNUDFKW YDDUGLJKHGHQ

,QVWUXFWLHLQVWUXFWLH LQVWUXFWLH 0RGHOHQGRRU OHHUNUDFKW 3HGDJRJLVFKH PDDWUHJHOHQ

,QVWUXFWLHLQVWUXFWLH LQVWUXFWLH 0RGHOHQGRRUOHHUNUDFKW 3DVVHQGHSHGDJRJLVFKH PDDWUHJHOHQ

/HHUOLQJPHWG\VOH[LH GLDJQRVHRI EHYHVWLJG YHUPRHGHQ 3UHWHDFKLQJPRHLOLMNH &89$5 ZRRUGHQ OHHVWHNVW%HVSUHNHQ YDQKHWOHHVSUREOHHP HQRRNVFKULMYHQ KDUGRSNODQNYRRU NODQNVSHOOHQ YDQ GH]HZRRUGHQ]RX HHQH[WUDLQWHUYHQWLH NXQQHQ]LMQ 2QGHUVWHXQHQPHW OXLVWHUFGRI LQJHVSURNHQWHNVWHQ 'HGLFRQHGXFDWLHI ELMG\VOH[LH +HUKDOHQYDQ ZRRUGHQXLW JURHSVLQVWUXFWLH PHWHHUGHU DDQJHERGHQ PDWHULDDO 9HLOLJHQYORWJURHS RIYORHLHQGHQYORW YDQDIJURHS

36



0HWKRGLHNHQ

$QDO\VHUHQYDQGH OHHVYDDUGLJKHLG KDUGRSODWHQOH]HQ 5$/),

$QDO\VHUHQYDQGH OHHVYDDUGLJKHLG KDUGRSODWHQOH]HQ 5$/),

6SHFLILHNH SRHGDJRJLVFKH DDQZLM]LQJHQ 0RQLWRUHQ

5DOILYDQDI$9, PEWIRXWHQ GDJHOLMNVDDQELHGHQ WHQPLQVWH[SHU GDJ 2SZRRUGQLYHDX UHPHGLsUHQ FRPSHQVHUHQPHW OHHVSHQWLMGHQVKHW OH]HQYDQWHNVWHQRI PHWHHQOHHVPDDWMH

9HUZDFKWH YDDUGLJKHLGVVFRUH

7XVVHQGRHOHQ RQWZLNNHOLQJVSHUVSHFWLHI

:HNHOLMNVUXQQLQJ UHFRUG

Colofon

HDWG138

De Kwaliteitskaart Opbrengstgericht werken aan technisch lezen met datamuur en groepsplan is ontwikkeld door Ad Kappen, Steunpunt Onderwijszorg Enschede, en Mariët Förrer, CPS onderwijsontwikkeling en advies. Deze Kwaliteitskaart OGW is een uitgave van School aan Zet. School aan Zet draagt zorg voor de uitvoering van de Kwaliteitsagenda PO Scholen voor morgen. Dit gebeurt onder verantwoordelijkheid van de PO-Raad. Voor vragen rond de kwaliteitskaarten OGW kunt u contact opnemen met PK: Jos van der Pluijm of Gea Spaans, [email protected].

HANDREIKING

37

© Buiten het downloaden zijn alle rechten op dit product voorbehouden aan:

Postbus 556, 2501 CN Den Haag e-mail: [email protected] www.schoolaanzet.nl

OpbrengstGericht Werken in de klas Trainersmap

Recommend Documents