Profielproduct Ontwikkelaar. Differentiëren in de klas: het in kaart brengen van de validiteit en betrouwbaarheid van een observatie- instrument

Profielproduct Ontwikkelaar Differentiëren in de klas: het in kaart brengen van de validiteit en betrouwbaarheid van een observatie-‐instrument.

Profiel Product 9/12/2013 Uitvoerende In opdracht van

Sandra Dadzie

Begeleider Beoordelaar I Opdrachtgever Beoordelaar II ILO-‐expert

Monica Sienders , Jos van den Bongaardt Onderzoeksdocenten op de Open Schoolgemeenschap Bijlmer Gonny Schellings Monica Sienders, Jos van den Bongaardt Marcel van Riessen

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie

1. Inhoudsopgave 1. Inhoudsopgave

p.2

2. Samenvatting

p.3

3. Inleiding

p.4

4. Theoretische achtergrond

p.6

5. Onderzoeksvragen

p.10

6. Opzet en uitvoering van p.10 onderzoek 7. Resultaten

p.12

8. Conclusie

p.17

9. Geraadpleegde literatuur

p.19

10.

p.20

Bijlagen •

Bijlage I: Het observatie instrument

2|Page

•

Bijlage II: Tabel 2

•

Bijlage III: Tabel 3

•

Bijlage IV: Tabel 4


2. Samenvatting In het kader van de ontwikkeling van differentiatievaardigheden hebben Monica Sienders en Jos van den Bongaardt, beide onderzoeksdocenten op de OSB, twee case studies uitgevoerd op de OSB met als doel de waarneembare differentiatie van docenten in een les te vergroten. Eén van de onderzoeksinstrumenten die daarbij werd gebruikt was een observatie-‐instrument dat speciaal voor dit onderzoek is ontwikkeld. De onderzoekers ondekten dat het observatiemiddel verder moet worden getest voordat het volledig ingezet kan worden als meetinstrument. De onderzoeksvraag om er achter te komen waardoor het instrument verder ontwikkeld kan worden, is: Op welke punten kan het observatie-‐instrument dat ontwikkeld is om differentiatie in de klas waar te nemen, verbeterd worden? Om de onderzoeksvraag te kunnen beantwoorden, heb ik onderzocht welke literatuur er is op het gebied van observeren en observatie-‐instrumenten in het onderwijs. Verder heb ik op vier scholen vier docenten geobserveerd en gefilmd in twee verschillende lessen. Ik heb het filmmateriaal verzameld en drie andere observanten, die verschillen in ervaring in het scoren, gevraagd om de lessen te scoren. Sienders en Van den Bongaardt, maakten ook deel uit van het viertal observanten. Na de literatuur te hebben geraadpleegd werd het duidelijk dat de validiteit en betrouwbaarheid constant moeten worden getest. Een observatie-‐instrument moet helder geformuleerd zijn, een heldere formulering zal ervoor zorgen dat het instrument op de juiste wijze wordt geϊnterpreteerd. Ook is een training in gebruik van het instrument zeer belangrijk. De opbouw van het instrument dient een logische constructie te hebben. Dit voorkomt strubbelingen bij het observeren en noteren. Verder moet er rekening gehouden worden met verschillen in expertise van docenten en de verschillen in schoolculturen. Na de scores van de vier observanten te hebben bekeken werd duidelijk dat er grote verschillen waren in de overeenstemming die bereikt was. Ook verschilde de overeenstemming per les. Aan het commentaar te zien was bij een deel van de observanten soms niet duidelijk op welke wijze ze het geobserveerde gedrag in het observatie-‐instrument moesten weergeven. Wat er nodig is om de gebruiksvriendelijkheid te vergroten, is het inzetten van een training voor gebruik van het instrument, een pre-‐interview en een duidelijkere lay-‐out die de mogelijkheid biedt om observaties systematisch op te schrijven in het instrument.

3|Page

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie Het observatie-‐instrument was tot op heden niet gebruikt buiten de OSB. Na te hebben geobserveerd op vier verschillende scholen, kan er voorzichtig worden geconcludeerd dat met het observatie-‐instrument ook op andere scholen kan worden geobserveerd. Uit het commentaar van een aantal observanten blijkt dat de onduidelijkheid vooral zit in het observatie-‐instrument zelf en niet het feit dat de andere scholen een andere cultuur hebben dan de OSB. Tijdens een presentatie aan mijn opdrachtgevers op de Open Schoolgemeenschap Bijlmer zal ik het onderzoeksrapport overhandigen. De aanbevelingen en resultaten worden meegenomen in een poging om het observatie-‐instrument opnieuw aan te passen, zodat het beter in gebruik genomen kan worden als meetinstrument en ook als trainingsinstrument. Het product zal worden gespresenteerd op de eerstvolgende bijeenkomst van de Academische opleidingsschool Amsterdam (AcoA).

3. Inleiding In dit stuk zal ik het onderzoek verder toelichten. Ik zal kort beschrijven wat voor type school de Open Schoolgemeenschap Bijlmer is. Ik beschrijf de OSB, omdat de school een bijzondere schoolcultuur heeft waarin differentiatie erg belangrijk is.

Beschrijving OSB De Open Schoolgemeenschap Bijlmer (OSB) is een bijzondere school waar leren van elkaar en het ontwikkelen van diverse talenten centraal staat. Het onderwijs is op basis van deze idealen ingericht. De school heeft een brede heterogene onderbouw en biedt naast de kernvakken en zaakvakken ook aanvullende extra vakken aan. De lesopzet van de OSB is anders dan op andere scholen. Elke les begint en eindigt met een kring. De les kent ook een werkfase die verschillende werkvormen toelaat. De missie en visie van de school worden op de schoolwebsite als volgt beschreven: Wij geloven dat wie je wordt op weg naar je eindexamen net zo belangrijk is als het diploma dat je aan het einde van de rit behaalt. Een school is er niet alleen om kennis bij te brengen. Emotionele, creatieve en praktische talenten verdienen net zo veel aandacht. Wij laten leerlingen door een breed lesaanbod en eigen lesmethoden, werken en leren met wat wij noemen: ‘hoofd, hart en handen’. Het gaat op de OSB bovendien om samen leren. In onze onderbouwklassen, waarin kinderen met alle verschillende niveaus bij elkaar zitten, laten wij kinderen intensief met elkaar samenwerken. Zo profiteren ze van elkaars talenten. Niet voor niets is een van de kernwoorden op de OSB ontmoeting. Wij onderkennen de verscheidenheid van de samenleving en halen daar met onze werkwijze voordeel uit.

4|Page

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie De OSB kent een tweejarige brugperiode, waarin leerlingen met het niveau vmbo basis tot en met vwo bij elkaar in de klas zitten. In de tweede klas worden de leerlingen bij de kernvakken, Frans en Duits opgesplitst in niveaugroepen. Leerlingen beschikken over allerlei vaardigheden en in deze setting waarin leerlingen niet per niveau gescheiden zijn in verschillende klassen, is er de kans om te leren van elkaar. In het derde leerjaar zitten havo en vwo leerlingen samen in een klas. Dat geldt ook voor de vmbo kader en basis leerlingen. Het beoordelingssyteem op de OSB is ook anders dan op andere scholen. Er wordt niet gewerkt met cijfers maar met resultaten. Lerende houding, werkhouding en sociale houding van een leerling zijn ook van belang op de OSB en deze beoordelingen komen terug op het rappport. Een klassenklimaat waarin leerlingen verschillen in niveau, cultuur, achtergrond en interesses vereist een manier van lesgeven die recht kan doen aan al die verschillen. Ik geef vanaf april 2012 les in de brede heterogene onderbouw op de OSB en het recht doen aan al die verschillen is in vele opzichten een uitdaging geweest, maar wel een die ik met alle plezier aan ben gegaan. Onderzoek naar differentiatie op de OSB Door veel beginnende en ervaren docenten wordt het realiseren van een gedifferentieerd aanbod als complex ervaren (Sienders & Van den Bongaardt, 2010). Deze auteurs verwijzen naar Van de Grift die concludeert dat differentiatievaardigheden behoren tot een van de laatste beroepsvaardigheden die docenten verwerven en waarin ze opgeleid worden. Met het doel om de kennis van differentiatie onder docenten verder te ontwikkelen hebben Sienders en Van den Bongaardt twee case-‐studies uitgevoerd op de OSB om zo de waarneembare differentiatie van docenten in een les te vergroten. Het onderzoek werd uitgevoerd in kader van de Academische opleidingsschool Amsterdam. Het primaire doel van de interventies was om de deelnemers meer vaardigheden te laten verwerven over differentiatie zodat ze meer in staat zijn om te differentiёren in het klaslokaal. Het observatie-‐instrument werd oorspronkelijk ingezet om de effecten van de trainingen te kunnen waarnemen. Eén van de uitgangspunten waarmee de onderzoekers de lessen na de interventie observeerden, was om te kunnen zien of er meer differentiatie van docenten zichtbaar zou zijn. In beide case-‐studies werd het instrument ingezet als trainingsmiddel. De trainingen die op de OSB in het kader van de case-‐studies werden gegeven resulteerden in een kwaliteitstoename van de differentiatie van de docenten die participeerden in de trainingen. Die boden docenten ook nieuwe inzichten in hun professionaliteit, door het nabespreken van eigen

5|Page

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie lessen en bood inspiratie voor het eigen vak. De studie loopt nog steeds en inmiddels zijn er verschillende producten verschenen (http://ilo.publication-‐ archive.com/public?fn=enter&repository=11).

Er zijn door de onderzoeksdocenten problemen ervaren rondom het gebruik van het observatie-‐ instrument als meetinstrument. Bepaalde items in het observatie-‐instrument waren onduidelijk en zorgden voor diverse discussies tussen de onderzoekers. De interbeoordelaarsbetrouwbaarheid was in het tweede onderzoek lager dan in het eerste onderzoek. In het eerste onderzoek bereikten de observanten een overeenstemming van 75% voor frequentie en 85% voor kwaliteit. In het tweede onderzoek bereikten de observanten een overstemming van 73% voor frequentie en 69% voor kwaliteit. Tot slot stelden de onderzoekers de vraag of het instrument gebonden was aan een specifieke schoolcultuur. Doelstelling van profielproduct De bedoeling van dit onderzoek is om uit te vinden op welke vlakken het observatie-‐instrument kan worden verbeterd. Er zullen in het verslag aanbevelingen worden gedaan om het product te verbeteren. Het onderzoeksverslag dat ik aanlever zal een aanvulling geven op het onderzoek dat reeds is gedaan, omdat het observatie-‐instrument op diverse scholen met een verschillende schoolcultuur zal worden gebruikt. Ook hebben de onderzoekers het observatie-‐instrument een aantal keer aangepast. Het observatie-‐instrument waar ik voor dit onderzoek naar kijk is de vierde versie van het instrument. In eerste instantie was er besloten om bij het onderzoeksverslag een handleiding voor gebruik toe te voegen die zou leiden tot beter gebruik van het instrument. In een later stadium is besloten om van dit plan af te zien en is dit aan de opdrachtgevers gecommuniceerd. De reden dat er geen handleiding meer wordt bijgevoegd aan het observatie-‐instrument is dat het instrument zal worden aangepast aan de hand van de aanbevelingen die gedaan worden in dit onderzoek. Een nieuwe handleiding bij een aangepaste versie van een observatie-‐instrument zal niet toepasbaar zijn. Het feit dat docenten, schoolopleiders en andere betrokkenen in het onderwijs, het instrument beter kunnen gebruiken door middel van mijn suggesties voor verandering zal leiden tot een betere evaluatie en zelfevaluatie door middel van het observatie-‐instrument. Een gevolg daarvan is dat docenten meer rekening zullen houden met bepaalde docentgedragingen die differentiatie in de klas bevorderen.

6|Page


4. Theoretische achtergrond Dit hoofdstuk gaat in op het observatie-‐instrument. Maar alvorens het instrument te bespreken, zal ik eerst dieper ingaan op wat differentiatie is. Vervolgens behandel ik het observeren in de klas. Tot slot kijk ik naar wat de literatuur zegt over het observeren voor onderzoek en het observatie-‐ instrument. Ik gebruik hierbij de literatuur die in een eerder onderzoek is verzameld en mijn aanvulling daarop.

Differentiatie Tegenwoordig geven docenten dagelijks les aan groepen leerlingen die cognitief ontzettend divers zijn en die diversiteit zal de komende jaren alleen maar toenemen (Tomlinson & Cunningham, 2003). Scholen zijn zich, in de loop der jaren, steeds meer bewust geworden van het feit dat ze van een algemene instructie naar meer persoonlijke instructie moeten gaan om alle cultureel en cognitief diverse leerlingen te kunnen bedienen. Sizer zegt dat diversiteit in de klas een feit is, en dat als opleiders een hogere standaard willen neerzetten, meer productiviteit willen en eerlijke kansen willen creёren zij juist tegemoet moeten komen aan de diversiteit (in Tomlinson & Cunningham,2003, p.2). In mijn zoektocht om tot een beter begrip te komen van de term differentiatie heb ik een paar definities van deze term naast elkaar neergelegd.

In het profielproduct van Bas de Koning (2010) kwam ik de definitie van Lambaerts & Thys tegen: “het nemen van één of meer onderwijskundige maatregelen, waardoor je als leerkracht in staat bent om in je lespraktijk rekening te houden met de verschillen tussen de leerlingen.” De Koning (2010) maakt op basis van zijn literatuuronderzoek duidelijk dat er gedifferentieёrd kan worden naar niveau, tempo, belangstelling, verdieping, meervoudige intelligenties, leerstijlen, voorkennis en percepties van leerlingen. Ook geeft hij in zijn stuk het verschil weer tussen interne en externe differentiatie. Er is sprake van interne differentiatie als er op klassikaal niveau wordt gedifferentieerd. Externe differentiatie vindt plaats met de verschillende schooltypes en stromingen binnen het onderwijs (openbaar en speciaal onderwijs, vmbo tot en met vwo). Cox (2008) maakt in haar artikel duidelijk dat door middel van differentiatie de leerkracht lesgeeft uitgaande van het feit dat de leerlingen niet allemaal hetzelfde startpunt hebben met daarbij

7|Page

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie dezelfde achtergrond, kennis en ervaring. Maar de leerkracht bouwt voort op waar de leerling gebleven is (p.53). Deze definitie van differentiatie is in lijn met de visie van de OSB: lesgeven aan de hand van het talent van de leerling, dat zien als startpunt en daarop voortbouwen. Het biedt kansen om na te denken over de inrichting van het onderwijs en het curriculum. Kenevski (2011) omschrijft differentiatie als volgt: Differentiatie, zowel in het curriculum als in de instructie, zorgt ervoor dat de behoefte van elke leerling om deel te nemen aan een eduvatieve activiteit die zijn of haar voorkeur, wensen en persoonlijke ontwikkeling in acht neemt, wordt gerespecteerd en gerealiseerd. Het startpunt van een activiteit begint met het bewustzijn van de voorkeuren en wensen van een leerling, zodat deze mee worden genomen in de leerervaring. Dit houdt niet in dat onderwijzers zich compleet overgeven aan de voorkeuren en wensen van leerlingen. Het houdt in dat onderwijzers de voorkeuren, wensen en verschillende manieren van leren aannemen; ze werken respectvol en creatief samen met de leerling om te garanderen dat de eindtermen worden bereikt. Dit strookt met Vygotsky’s ontwikkelingstheorie. ‘De Zone van Naaste Ontwikkeling’ gaat ervan uit dat de leerling leert in aansluiting op wat hij al weet. Deze theorie wordt beschreven als de afstand tussen wat een leerling zelfstandig kan en wat een leerling kan met begeleiding van een volwassene of in samenwerking met vaardigere klasgenoten (Bosker, 2005). De leraar begeleidt de leerlingen hierin door ze een opdracht te geven die aansluit op wat ze al weten, maar die net een stapje moeilijker is. Differentiatie in de klas

Over het algemeen heeft de leraar de regie over de mate waarin er gedifferentieerd wordt in het klaslokaal. Volgens Tomlinson (2005) zijn leraren in feite “leerlingen van hun leerlingen”. De leraar bestudeert zijn klas zodanig dat hij zowel oog heeft voor de snelle/sterke leerling als de zwakke leerling en alles daar tussen. Na voldoende kennis te hebben over de verschillende leerlingen in zijn klas, zorgt de leraar er op diverse manieren voor dat die leerlingen elke dag steeds meer kennis en vaardigheden meekrijgen.

Turkey & Stable (2002) wijzen op het belang van het maken van geleidelijke veranderingen in het onderwijsleerproces om differentiatie te realiseren. “Our goals are similar, but our ways of reaching them are different. If individuals can make use of an array of different techniques, skills, and

8|Page

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie strategies that match their ability levels, they will have a much better chance of reaching their goals. And that success will motivate them to learn and discover more” (p. 92). Op het moment dat de docent zich bewust is van de diverse leervoorkeuren en niveaus van de leerlingen, is er de mogelijkheid om aanpassingen in instructie en/of opdrachten te maken, waarbij de leerling sneller of beter over de te overdragen kennis en vaardigheden zal beschikken. Observeren in de klas Het observeren in de klas kan diverse doelen dienen; voor de professionalisering van de docent, of het in kaart brengen van het functioneren van de docent. Ook kan de effectiviteit van een bepaalde implementatie binnen het onderwijs worden bezien (Woudbuysen, 2007). In een eerdere study van French en Tyler, bleek dat onderwijzers zichzelf hoger inschatten op hun eigen kunnen dan andere observatoren. Zo blijkt dat formele observaties belangrijk zijn in het beoordelen van de kwaliteit of professionele ontwikkeling (in Van Tassel-‐Baska et al, 2008). Woudbuysen (2007) maakt in zijn artikel het belang van inspecteurs die fungeren als steunpilaren en begeleiders van docenten duidelijk: “Het belang van goed toezicht op de onderwijs/leerprocessen in alle klassen mag niet onderschat worden. Vooral beginnende docenten hebben behoefte aan begeleiding op essentiёle elementen van hun onderwijs.” Dit is te verwezelijken door middel van observaties. Observaties en vooral ook de feedback naar aanleiding van lesobservaties kunnen nieuwe inzichten geven aan zittende docenten en docenten in opleiding. Om eerst helder te krijgen wat observeren precies is, heb ik literatuur geraadpleegd die zich richt op observaties. Observeren is een geschikte methode om gegevens over het gedrag te verzamelen (Baarda & de Goede, 2001). Volgens (Cohen, Manion & Morrison, 2011) is observeren meer dan kijken. Observeren houdt in dat je systematisch kijkt en notities maakt van het gedrag van mensen, gebeurtenissen, routines, objecten en nog veel meer. Aan de hand van observaties verzamelt de onderzoeker direct en ter plekke data, in plaats van afhankelijk te zijn van secundaire bronnen. Het observatie-‐instrument Al sinds de jaren 90 houden onderzoekers zich bezig met het ontwikkelen van observatie-‐ instrumenten gebaseerd op de resultaten van studies naar de effectiviteit van onderwijs (Van de Grift, 2007).

9|Page

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie Het is van belang dat een observant kan omgaan met het ontwikkelde observatie-‐instrument. Als dit niet het geval is, dan kan dit gevolgen hebben voor de validiteit en de betrouwbaarheid van de verzamelde data. De validiteit van een meetinstrument wordt bepaald door de mate waarin het meetinstrument meet wat het beoogd te meten (Stuhlman et al, 2010). Om te garanderen dat er sprake is van validiteit is het belangrijk dat als het observatie-‐instrument eenmaal wordt gebruikt er niet meer afgeweken wordt van de handelwijze. De betrouwbaarheid van observaties stel je meestal vast door twee of meer observanten het zelfde fenomeen te laten observeren (Baarda & de Goede, 2001). Een instrument kan niet valide zijn als het niet betrouwbaar is. Het is zowel belangrijk dat een observant op een consequente manier scoort, als dat meerdere observanten consequent scoren (Cohen, Manion & Morrison, 2011). Als er gekeken wordt of meerdere observanten op een consequente manier scoren wordt de interbeoordelaarsbetrouwbaarheid gemeten. Nadat een instrument is ontwikkeld dient de interbeoordelaarsbetrouwbaarheid regelmatig te worden getest. Als observant kunnen de volgende zaken wat strubbelingen geven bij het observeren. Ten eerste is het belangrijk dat het instrument duidelijk geformuleerd is. Er dient een duidelijk observatieschema te worden opgesteld waarop waarnemingen kunnen worden genoteerd (Baarda & de Goede, 2001). Cohen et al (2011) benadrukken het belang van eenduidig en heldere formuleringen in een meetinstrument. Uit de case-‐studies van Sienders & Van den Bongaardt, bleek dat er onduidelijkheid was over bepaalde items in het observatie-‐instrument. Een mogelijk resultaat hiervan was dat de interbeoordelaarsbetrouwbaarheid in het tweede onderzoek daalde. De onderzoekers hebben sindsdien diverse aanpassingen gedaan. In dit onderzoek wordt het observatie-‐instrument beproefd en worden er uitspraken gedaan over waar het observatie-‐instrument kan worden verbeterd. Een helder geformuleerd formulier zal ervoor zorgen dat elke observeerder het instrument onafhankelijker kan gebruiken. Ten tweede is het belangrijk dat de observant goed geϊnformeerd wordt over het instrument. De observant moet helder krijgen waar hij op moet letten en hoe het observatie-‐instrument ingevuld moet worden. De observant dient zich immers te houden aan de werkwijze van het instrument, zodat de verzamelde data valide en betrouwbaar zijn (Stuhlman, et al 2010; Praetorius, 2013). Om de kwaliteit te waarborgen is het goed om de observanten zoveel mogelijk te informeren over het te gebruiken instrument. Dit is ook te realiseren door middel van een training. Uit een studie die Van de Grift (2007) deed naar de kwaliteit van het onderwijs in vier landen werden de observanten getraind totdat ze een consensus van 80 procent bereikten. Uit Cohen et al. blijkt dat hoe meer observanten

10 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie een systematische manier van scoren en observeren toepassen des te betrouwbaarder de uitkomsten zullen zijn (2011). Cohen et al, geven aan dat training ook een vereiste is om observanten vaardiger te maken in het observeren niet alleen om ze vaardiger te maken in het gebruik van het observatie-‐instrument. De observator dient zodanig te worden getraind dat hij de werkwijze van het instrument telkens op dezelfde wijze kan toepassen. Mc Clellan (2011) maakt duidelijk dat er vooraf dient te worden te worden bepaald onder welke criteria een observant is geslaagd voor de training. Een observant die de training niet goed heeft afgesloten zou kunnen worden uitgesloten bij een mogelijk observeringstraject.

Ten derde moet de opbouw van het instrument geen aanleiding geven tot verwarring. Het observatieformulier moet een logische constructie hebben waarop observanten efficiёnt hun waarnemingen kunnen weergeven. Ook kunnen teveel items op het observatie instrument leiden tot een overmaat aan informatie (Praetorius et al, 2013). Tot slot is het belangrijk om rekening te houden met verschillen tussen observanten. Een verschil in expertise tussen observanten kan leiden tot verschil in scores (Sienders & Van den Bongaardt, 2010). Observanten van verschillende schoolculturen of uit verschillende landen kunnen verschillen in de observaties die ze doen, omdat hun opvattingen kunnen verschillen. Het is belangrijk om eerst vast te stellen of er verschillen zijn en vervolgens wat die verschillen zijn.

Een ‘Pre-‐observation interview’ werd ingezet in een onderzoek naar de differentiatieschaal (the Differentiated Classroom Observation Scale) die ontworpen is om onderzoek te doen naar de leerervaringen van hoogbegaafde kinderen in het regulier onderwijs (Cassady et al. 2004). Het pre-‐ observation interview zou de observant, alvorens het observeren, de kans bieden om informatie in te winnen over wie de les heeft ontworpen, wat het doel is van de les en in hoeverre is gehouden aan het initiёle plan. Zulke interviews zijn natuurlijk een ander instrument op zich, maar bieden een rijke aanvulling op de informatie die verkregen wordt door middel van het observatie-‐instrument.

5. Onderzoeksvragen

Hoofdvraag

Op welke punten kan het observatie-‐instrument dat ontwikkeld is om differentiatie in de klas waar te nemen, verbeterd worden? 11 | P a g e


Deelvragen • Welke kwalitatieve eisen worden in de literatuur genoemd voor observatie-‐ instrumenten?

• Hoe gebruiksvriendelijk is het observatie-‐instrument? • Wat is er nodig om de gebruiksvriendelijkheid van het observatie-‐instrument te vergroten?

• Functioneert het observatie-‐instrument ook buiten de context van het OSB?

6. Opzet en uitvoering van het onderzoek De typering van dit onderzoek is een beschrijvend onderzoek. Aan de hand van de onderzoeksvragen die ik heb gesteld, zal ik door middel van literatuurverkenning en uit resultaten van diverse observaties een oordeel vellen over de kwaliteit van het observatie-‐instrument. De eerste deelvraag: welke literatuur is voor handen?, heb ik beantwoord door in eerste instantie de onderzoekers en mijn begeleider te raadplegen. In de map waarin de onderzoekers literatuur hebben verzameld, heb ik diverse artikelen gevonden. Ook heb ik diverse zoekmachines gebruikt en in de catalogus van de UvA-‐schoolbibliotheek gezocht. Verder zullen de notities van de andere observanten nieuwe perspectieven bieden. Tot slot heb ik meer ideeёn opgedaan over wat een formulier kwalitatief beter maakt door het ontwikkelde observatieformulier zelf in gebruik te nemen. Om te testen hoe gebruiksvriendelijk het observatie-‐ instrument is, heb ik zelf het observatie-‐ instrument gebruikt om te scoren in acht lessen. Bij vier docenten heb ik twee keer een les geobserveerd en gescoord in verschillende klassen, dit om er voor te zorgen dat ik zoveel mogelijk docentgedrag per docent kan zien. In een les waarin veel wordt samengewerkt is er natuurlijk ander docentgedrag zichtbaar dan in een les waarin de docent veel klasikaal uitlegt of leerlingen beoordeelt op hun eindproduct of presentatie. De betrouwbaarheid van de observaties worden vastgesteld, omdat ik meerdere observanten dezelfde lessen laat observeren (Baarda & de Goede, 2001). Ik heb alle lessen gefilmd en het filmmateriaal verspreid over de andere observanten. Het tijdspad was hiervoor te kort. Het bleek toch een behoorlijke klus voor de observanten om naast hun eigen werk te scoren. De observanten hebben de filmpjes afzonderlijk gescoord. Van de vier observanten zijn er twee observanten getraind, een observant is nieuw, maar wel bekend met het observeren en

12 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie onderzoek, en voor een observant is het observeren, het instrument en scoren met het instrument nieuw. De getrainde observanten zijn de ontwikkelaars van het instrument. Een observant is nauw betrokken geweest bij de verslaglegging van het onderzoek dat is gedaan naar het instrument, ze heeft echter niet eerder gescoord met het instrument. De observant voor wie het instrument enigszins nieuw is, ben ik. Voordat ik heb gescoord, heb ik me ingelezen over de ontwikkeling van het instrument. Ook heb ik vooraf een les die voor een ander onderzoek was gefilmd gescoord en nabesproken met één van de getrainde observanten. Wij, observanten, zijn in dit geval de onderzochte groep. De laatste vraag, of het instrument bruikbaar is in andere schoolculturen dan de OSB, probeerde ik te beantwoorden door het instrument op vier verschillende middelbare scholen te gebruiken. Ik heb gefilmd op het Montessori Lyceum (Montessori-‐onderwijs), het Spinoza lyceum (Dalton-‐onderwijs), het Hermann Wesselink College en het Bredero College (regulier onderwijs). De onderzochte groep die bij deze vraag horen zijn de vier docenten in een bepaald type onderwijs. Door vier scholen te kiezen heb ik vier schoolculturen kunnen meenemen in het onderzoek. Dit zal leiden tot meer inzichten waarmee ik de laatste deelvraag kan beantwoorden. De hoofdvariabele is het meetinstrument (het observatie-‐formulier). Het obervatie-‐formulier is ontwikkeld om docentgedragingen in kaart te brengen en is afgebeeld op 1 A4 (zie bijlage I). Er zijn vijf indicatoren: Klassenklimaat/management, Instructie, Opdrachten en verwerking, Groeperingsvorm en Evaluatie. Er is onder het formulier de mogelijkheid om “overig differentiatiegedrag” te omschrijven dat mogelijk niet past bij de vijf indicatoren. Bij elke indicator zijn er een aantal “good practice-‐voorbeelden” die de indicator verder toelichten. Het aantal good practice voorbeelden verschilt per indicator, in totaal zijn er 21 good practice-‐voorbeelden waarop gescoord kan worden. Met dit observatie-‐formulier kan er zowel kwalitatief als kwantitatief worden gescoord. Per good practice-‐voorbeeld wordt er aangegeven of iets; helemaal niet, incidenteel of geregeld voorkomt. Hierbij wordt de frequentie aangegeven. Is een gedraging niet zichtbaar, dan is er ook de mogelijkheid te kiezen voor ‘niet van toepassing’. De observator geeft aan of de docent; een leerling, een beginner, een beoefenaar of een expert is, hier wordt de kwaliteit van een indicator aangegeven. Dit wordt per indicator ingevuld (zie bijlage I). Als data-‐analyse heb ik gebruik gemaakt van een gemengde methode. Ik heb zowel kwalitatieve als kwantitatieve data verzameld voor het onderzoek. De kwantitatieve data zijn de scores van de verschillende observanten. De kwalitatieve data bestaat uit de genoteerde bevindingen die elke observant leverde bij de ingevulde observatieformulieren.

13 | P a g e


7. Resultaten 1. Welke kwalitatieve eisen worden in de literatuur genoemd voor observatie-‐ instrumenten? Om deze vraag te kunnen beantwoorden heb ik gekeken naar wat de literatuur zegt over observatie-‐ instrumenten. In het onderstaande tabel staat in kernwoorden de inhoud weergeven die ik in het theoretisch kader uitgebreid heb besproken. Deze inhoud wordt nogmaals kort weergeven en ik zal telkens duidelijk maken wat voor belang er is voor het observatie-‐instrument in kwestie.

Validiteit en betrouwbaarheid

Cohen, Manion & Morrison, 2011 Stuhlman et al, 2011

Heldere formulering

Cohen, Manion & Morrison, 2011

Trainen observatoren

Cohen, Manion, & Morrison 2011 Van de Grift, 2007 Praetorius, 2013 Stuhlman et al, 2010 McClellan

Systematisch opschrijven

Praetorius, 2013

Verschillen tussen observanten

Van de Grift, 2007 Sienders et al, 2010

Tabel1; Geeft de kwalitatieve eisen weer die worden genoemd in de literatuur. In het stukje ‘Theoretisch Kader’ worden ze verder toegelicht.

1.1 Validiteit en betrouwbaarheid Uit de literatuur blijkt dat als de methode van het scoren met een observatie-‐instrument niet eenduidig wordt gebruikt dit gevolgen kan hebben voor de validiteit (Stuhlman et al, 2010). Het gebruik van het instrument voor de observant kan duidelijk worden gemaakt door middel van training of uitleg als inleiding in het instrument. Training en uitleg worden in de volgende paragrafen besproken. De interbeoordelaarsbetrouwbaarheid is bij het observatie-‐instrument in kwestie in twee case-‐ studies getest en bleek in de tweede studie lager dan bij de eerste. Natuurlijk moet er eerst onderzocht worden wat de reden is van dit verschil. 1.2 Heldere formulering

14 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie Het observatie-‐instrument dat is ontwikkeld op de OSB moet items bevatten die helder zijn geformuleerd. Op deze manier is er weinig ruimte voor eigen interpretatie en wordt de interbeoordelaarsbetrouwbaardheid niet in gevaar gebracht (Cohen, 2011). Er is een aantal good-‐ practice-‐voorbeelden in het instrument die nog ruimte open laent voor interpretatie. Deze voorbeelden worden paragraaf 2.3 uitgebreid besproken. 1.3 Training Een training zal garanderen dat de deelnemers het observatie-‐instrument in kwestie beter begrijpen en vaardiger worden in het scoren (Van de Grift, 2007; Praetorius, 2013; Cohen, Manion & Morrison, 2011). De observanten zullen begrijpen wat de good-‐practice-‐voorbeelden betekenen en hoe er zowel kwalitatief als kwantitatief wordt gescoord op het observatie-‐instrument. Als er met observanten wordt besproken hoe het instrument opgebouwd is, of hoe met het instrument om te gaan, zal er minder verwarring zijn tijdens het scoren. De training moet verspreid worden over twee of meer dagen, een paar uur op een dag is niet voldoende (Praetorius, 2013). Er moet tijd en aandacht besteed worden aan het scoren met het observatie-‐instrument, een aantal uur verspreid over twee (of meer) dagen is effectief. De training zorgt er niet alleen voor dat observanten kennis maken met de werkwijze van het instrument, ze worden ook betere observanten (Cohen , Manion & Morrison, 2011). Bovendien zal het scoren met het instrument de observanten meer kennis geven over differentiatie. De mate waarin de observant kennis opdoet in het onderwerp differentiatie is natuurlijk afhankelijk van de expertise van de observant. Dus, een training geeft observanten meer inzicht in de achtergrond en hoe met het instrument om te gaan. Ook wordt de observant vaardiger in het observeren op zich en zal de observant mogelijk meer kennis opdoen over differentiatie. 1.4 Systematisch opschrijven Hoe meer observanten een systematische manier van scoren en observeren toepassen des te betrouwbaarder de uitkomsten zullen zijn (Cohen, Manion & Morrison, 2011; Praetorius, 2013). Op het observatie-‐instrument is duidelijk te zien dat er wordt gescoord op kwaliteit en frequentie, echter moet er een systematische manier van scoren duidelijk worden weergeven op het observatie-‐ instrument. Dit kan door middel van een korte instructie in een paar regels op de bovenzijde van het instrument.

15 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie 1.5 Verschillen tussen observanten Observanten zijn individuele mensen met een verschil in expertise, ervaringen, opvattingen en denkwijzes. Verschillen tussen observanten kunnen de overeenstemming tussen de observaties beϊnvloeden (Van de Grift, 2007; Sienders & Van den Bongaardt, 2010). Het is belangrijk om vast te stellen wat de verschillen zijn tussen observanten die participeren aan een training of observaties voor onderzoek en die meteen te expliciteren. Als deze verschillen eenmaal duidelijk gemaakt zijn en er een eenduidige manier van scoren is afgesproken zal er meer overeenstemming zijn. Is dit niet het geval, dan moet het observatie-‐instrument nogmaals worden geёvalueerd. 2 Hoe gebruiksvriendelijk is het observatie-‐instrument? Er is een aantal onduidelijkheden gevonden die het voor de observant moeilijker maken het fenomeen onafhankelijk te scoren. In dit stuk worden de uitspraken die ik doe over de gebruiksvriendelijkheid uitgebreid besproken.

2.1 Overeenstemming Vier observanten hebben van de acht lessen die zijn opgenomen diverse lessen geobserveerd. De scores zijn naast elkaar neergelegd en aan de hand van de formule die werd gebruikt in beide case-‐ studies zijn de overeenstemmingen weergeven in percentages. Er zijn uiteenlopende verschillen te zien in de overeenstemming die de observanten bereikten (zie tabel 2). De consensus tussen de scores van de observanten is vrij laag, de percentages lopen uiteen tussen 4% tot 32%. Observant 2,3, en 4 bereikten meer consensus, daar werden overeenstemmingen bereikt van 68% en 72%. De expertise van de observanten speelt hier mogelijk een rol in. Dit houdt in: de kennis die de observanten hebben van het instrument, het scoren met een observatie-‐ formulier op zich, of hun eigen expertise in differentiatie. De percentages zijn berekeningen van de overeenkomsten die gevonden zijn, gedeeld door het aantal mogelijke overeenkomsten, maal honderd. De consensus die in de tabel wordt weergeven is niet erg betrouwbaar. Het geeft aan waar wel consensus werd bereikt in een les. Observant 2 en 3 bereiken bij hun observaties van les twee een consensus van 72 procent. Op frequentie komen hun scores 16 van de 20 keer overeen, maar hun scores op kwaliteit komen weinig overeen. Observant 2 en 3 hebben 2 van de 5 keer de docent hetzelfde beoordeeld op kwaliteit. In alle gevallen heeft observant 3 een hogere beoordeling gegeven (zie tabel 3). Observant 3 en 4 bereiken bij hun observaties van les vijf een consensus van 68 procent. Op frequentie is hier ook weer een hoge overeenstemmimg, 15 van de 20 keer kwamen de

16 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie scores overeen. Op kwaliteit werd er door beide observanten 3 keer anders gescoord en is ook hier sprake van een lagere overeenstemming op kwaliteit. Het is duidelijk zichtbaar dat er op frequentie makkelijker overeenstemming te vinden is. Kwaliteit is moeilijker om op te scoren. Hier moet dan ook extra tijd aan besteed worden in een training aan observanten voor wie het observatie-‐ instrument nieuw is. 2.2 Systematisch scoren Uit het commentaar van observant 3 en observant 1, maar ook uit de informele gesprekken met observant 2, 3 en 4 bleek dat er onduidelijkheid was over hoe de scores moesten worden weergeven op het instrument. Observant 1 heeft gescoord door kruisjes in de vakken te plaatsen. Observant 3 heeft bij de frequentie gescoord met de woorden ‘ja’ en ‘nee’. Observant 2 en 4 die getraind zijn in het gebruik van het instrument hebben de frequentie gescoord door in de vakken af te vinken en te turven. Ook was voor observant 1 niet duidelijk of er rekening gehouden moest worden met een bepaalde volgorde. Er was twijfel of er gescoord moest worden aan de hand van de volgorde waarin de items stonden of dat er op basis van het geobserveerde gescoord moest worden. Observant 1 merkte op dat het formulier ook erg talig is, veel good-‐practice-‐voorbeelden werden tussen haakjes toegelicht. Er zal instructie moeten worden gegeven op dit vlak. Observant 4 is mede-‐ontwikkelaar van het observatie-‐instrument. Hij is betrokken geweest bij het bijstellen van het observatie-‐instrument, het evalueren van proefobservaties en het doen van vele observaties. Zijn ervaring leerde dat het tijd kost om een les goed te scoren (minimaal 3 uur per les). Volgens hem dient de observant regelmatig terug te spoelen, fragmenten terug te kijken, stil te zetten, goed te luisteren om zich de omschrijving op het formulier goed te realiseren. Ik merkte zelf ook dat ik niet goed genoeg kon scoren na het filmpje één keer gezien te hebben. Verder constateert observant 4 dat het handig is als de observant de volgende werkwijze hanteert: -‐

de les filmen;

-‐

de opname later scoren;

-‐

eerst de good-‐practice-‐items turven;

-‐

in frequentie na vier keer geturfd te hebben in het vak “ïncidenteel” verder gaan in “geregeld”;

-‐

pas na frequentie kwaliteit invullen (als een soort algehele indruk van de les).

Wat ik hier zelf op basis van mijn eigen ervaring aan kan toevoegen is het volgende:

17 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie -‐

voor het observeren en scoren goed de good-‐practice-‐voorbeelden doornemen, zodat je goed in je hoofd krijgt waar je de docent op beoordeeld.

Deze aanwijzingen kunnen gebundeld en gebruikt worden in een training. Oftewel kan er een korte instructie geschreven worden en als bijlage worden toegevoegd bij het instrument. 2.3 Heldere formulering Observant 1 en 3 vonden dat niet alle good-‐practice-‐voorbeelden even helder geformuleerd zijn (zie bijlage 1). Item f. van Opdrachten en verwerking: “Past verwachtingen en eisen voor producten aan, zodat elke leerling optimaal wordt uitgedaagd”, zorgt voor de nodige verwarring. Een observant heeft snel door wat er in een les gebeurt en wat er verwacht wordt van een leerling. Dit wordt ten slotte bijna altijd benoemd door de docent aan het begin van de les. Echter of er aanpassing aan een product of opdracht wordt gemaakt voor een specifieke leerling is niet altijd in een les te observeren. Bovendien zijn de woorden ‘verwachtingen’ en ‘eisen’ brede begrippen die meer in een interview of ander instrument toepasselijk zijn, omdat ze verder kunnen worden toegelicht. De tijd waarin het voorbeeld is geschreven, suggereert dat dit in de les plaatsvindt, terwijl een docent meestal voorafgaand aan een les nadenkt over de verwachtingen of eisen van een bepaalde opdracht. Het voorbeeld komt sterker nog overeen met item a. van Opdrachten en verwerking : maakt onderscheid in bereik van de opdrachten tussen individuele leerlingen. Observant 4 vindt dat er van de 20 good-‐practice-‐voorbeelden 18 goed en makkelijk observeerbaar zijn. 2 good-‐practice-‐voorbeelden zijn volgens observant 4 lastig te observeren. Item d. van Instructie: Gebruikt verschillende materialen om de leerinhoud te ondersteunen (handelingen, concepten, houdingen, vaardigheden). Ook item b. van evaluatie: Moedigt leerlingen aan gebeurtenissen en situaties op verschillende wijze te interpreteren, vindt hij lastig te observeren. 2.4 Achtergrond informatie Bij de volgende voorbeelden kan er moeilijk gescoord worden, tenzij er meer informatie is van de docent.: “Maakt gebruik van hulpmiddelen en routines die differentiatie ondersteunen (bijv. studiewijzers, nakijkbladen, routeboekje)”. Hier had observant 3 moeite mee, aan het observatieformulier van observant 3 is ook te zien dat er daar verwarring ontstond. Observant 3 plaatste namelijk bij frequentie in plaats van een kruisje een vraagteken, dit geeft aan dat er sprake was van twijfel. Er kan bij een leerling een studiewijzer op tafel liggen en de observant kan aangeven dat er gebruik wordt gemaakt van hulpmiddelen. Maar om aan te geven of een docent echt gebruik maakt van een hulpmiddel, moet duidelijk zijn wat de les inhoudt en wat voor hulpmiddelen worden

18 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie gebruikt. Dit moet de observant weten voordat er geobserveerd wordt, in een les is dit namelijk niet altijd zichtbaar. Observant 3 schrijft in haar commentaar: “Ik vond het erg lastig om het schema in te vullen: de items waarop we moeten scoren vragen toch veel interpretatie, en/of meer informatie van de docent (waarom handelt zij zo?).” Er is meer informatie nodig, observanten gaan de verwarring die er ontstaat zelf proberen op te lossen en dit heeft serieuze gevolgen voor de betrouwbaarheid. Het volgende voorbeeld zorgt ook voor de nodige verwarring. Observant 1 en 3 hadden moeite met item c. van Instructie: “Stemt instructie af op per leerling verschillende leerstijlen (leren door doen, denken, inleving, informatie)”. Om dit te kunnen scoren is er kennis over de leerlingen nodig. Natuurlijk zal er verschil in instructie te zien zijn per leerling. De docent kan tegen de ene leerling zeggen, “bespreek het onderwerp met degene die naast je zit’’ en tegen de andere leerling “maak een mind-‐map”. Om er achter te komen of een docent zijn of haar instructie afstemt op een leerling met een andere leerstijl is het nodig dat de observant weet waarom de docent zo handelt. Heeft de leerling die een mind-‐map gaat maken daadwerkelijk een andere leerstijl dan de leerling die het onderwerp gaat bespreken? Of hebben de leerlingen de opdracht die ze niet kregen de vorige les al gedaan? Observant 4 concludeert dat dit je item c. van instructie het beste kan zien als de docent leerlingen keuzevrijheid geeft. Leerlingen zullen de bij hun “leervoorkeur” passende werkwijze/aanpak kiezen. 3 Wat is er voor nodig om de gebruiksvriendelijkheid van het observatie-‐instrument te vergroten? 3.1 Heldere formulering Een aantal good-‐practices dienen te worden geherformuleerd (vooral de voorbeelden waar de observanten commentaar bij hadden, zie boven). De toelichtingen die in het observatie-‐formulier staan maken het instrument te vol. Ook komen de good-‐practice-‐voorbeelden ‘a’ en ‘f’ volgens observant 1 sterk overeen. 3.2 Achtergrond informatie Observant 1 en 3 ervaren dat er bij een aantal good-‐practice-‐voorbeelden meer achtergrond informatie nodig is om te kunnen scoren. Een pre-‐interview biedt de kans om meer informatie in te winnen (Cassady, 2004). Het is niet direct een antwoord op deze deelvraag, omdat een pre-‐interview niet direct de gebruiksvriendelijkheid vergroot. Een pre-‐interview is een ander instrument op zich. Toch kan een pre-‐interview er indirect voor zorgen dat de observant beter kan scoren met het

19 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie observatie-‐formulier. De vraag is wie het interview moet uitvoeren: zal dit door de observanten gedaan moeten worden? Of krijgen de observanten het interview als instructie? Observant 1 en 3 misten vaak informatie, als achtergrond van de les, leerlingen, lesmateriaal en hulpmiddelen. Uit het commentaar van deze observanten bleek dat ze met meer informatie bepaald docentgedrag beter konden begrijpen. Observant 2 gaf dat dit ook aan in een informeel gesprek, dus ook ervaren observanten ervaren dat ze meer informatie nodig hebben. 3.3 Training Er is een training nodig, zodat het instrument beter in gebruik genomen kan worden door mensen die nog niet met het observatie-‐instrument hebben gescoord. Voor de observanten wordt duidelijk hoe het instrument is opgebouwd, wat de achtergrond is van de constructie en hoe te scoren met het formulier. Als de observanten die deelnemen aan een onderzoek overeenstemmingen en verschillen in een training ook met elkaar bespreken verhoogt dit hun begrip van de constructie van het instrument. De validiteit wordt gewaarborgd en de observanten bereiken een hogere consensus (Van der Grift, 2007). Er is een instructie nodig hoe te coderen. De nieuwe observanten deden dit niet eenduidig; een mogelijkheid is om duidelijk te noteren dat er in het instrument moet worden geturfd. De instructies uit paragraaf 2.2 kunnen hierbij gebruikt worden, deze kunnen mogelijk nog worden aangevuld. Dit zorgt ervoor dat er op een systematische wijze kan worden gescoord. Als observanten op dezelfde wijze coderen wordt de interbeoordelaarsbetrouwbaarheid verhoogd. Kleine verschillen die kunnen ontstaan in de uiteindelijke scores omdat een observant net anders met het instrument omgaat worden hierdoor voorkomen. 3.4 Lay-‐out De lay-‐out van het instrument kan volgens observant 1 ook worden verbeterd. Er moeten spaties komen tussen de zes indicators. Ook moeten de open hokjes bij de indicators van kwaliteit worden weggelaten, de observator heeft dan niet de indruk dat er voor de kwaliteit ook per good-‐practice-‐ voorbeeld gescoord moet worden. Het is te overwegen om alleen te laten turven en pas achteraf de frequentie 1-‐2-‐3 aan te geven. Dit versimpelt ook de lay-‐out. 4 Functioneert het observatie-‐ instrument ook buiten de context van de OSB?

20 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie 4.1 Overzicht observaties 4 scholen Slechts één observant heeft de acht lessen kunnen beoordelen. Er is een lage overeenstemming gevonden tussen de scores van alle observanten. De docenten zijn op een dag op verschillende lesmomenten gefilmd. Dus moet ik met alle voorzichtigheid de volgende uitspraken doen. De observaties van observant 1 laten zowel op kwaliteit als in frequentie geen grote verschillen zien tussen de twee lessen van een docent (zie tabel 4). M.a.w. de scores zijn per docent vrij stabiel. Het is ook niet te verwachten dat de scores sterk veranderen, omdat de docenten geen tussentijdse training hebben gehad om hun differentiatietechnieken te verhogen. Er waren toch verschillen tussen de docenten; er was meer sprake van verschillen tussen de 4 docenten, dan verschillen tussen meerdere lessen per individuele docent. Dit laat voorzichtig zien dat het instrument ook op andere scholen gebruikt kan worden. 4.2 Verschillende schoolculturen Uit het commentaar van observant 1 en 3 bleek dat het formulier te gebruiken was op scholen met diverse schoolculturen. Op momenten dat het voor observant 1 en 3 moeilijk was docentgedrag te observeren , kwam dit juist door de onduidelijkheden in het instrument zelf en niet omdat de school een andere cultuur had dan de OSB (waar het instrument is ontwikkeld). Toch viel het voor observant 1, 2 en 4 op dat er minder differentiatiegedrag van docenten zichtbaar was in de acht lessen dan in lessen op de OSB die zijn opgenomen voor een eerder onderzoek. Dit is wel te wijten aan dingen die inherent zijn aan de OSB. Zoals de kring die door de docent regelmatig gebruikt wordt om vooruit te blikken en de les te evalueren.

8. Conclusie In de loop van het onderzoek ben ik afgeweken van het initiёle plan. Allereerst hebben door diverse omstandigheden de observanten niet alle lessen kunnen scoren. De observanten hadden zelf drukke

21 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie agenda’s en kwamen vaak in tijdnood. Omdat het onderzoeksverslag toch gebonden is aan een deadline moest ik noodgedwongen de observaties die gedaan waren meenemen in het onderzoek. In eerste instantie is geprobeerd de scores te verwerken in SPSS. De observanten hebben allemaal verschillende lessen gescoord, ook is er een verschil in de aantal lessen die de observanten hebben gescoord. Hierdoor bleken de SPSS bestanden te moeilijk en te omvangrijk. De kappa-‐maat die door mijn onderzoeksbegeleider werd voorgesteld bleek een te ingewikkelde maat om overeenstemming uit te rekenen. Ik heb daarom besloten om een andere berekening te maken om te kunnen kijken naar het aantal overeenkomsten namelijk: het aantal overeenkomsten gedeeld door het aantal mogelijke overeenkomsten vermenigvuldigd met 100%. Ook heb ik (Observant 1) zelf niet alle lessen ter plekke gescoord. Ik moest namelijk de lessen ook filmen voor de andere observanten. Waar het mogelijk was kon ik in het lokaal een standaard plaatsen en aan tafel zitten om te scoren. Helaas, lieten de meeste lokalen het niet toe om een standaard neer te zetten. Het feit dat ik hierin heb gevarieerd kan gevolgen hebben voor de betrouwbaarheid van mijn resultaten. Alhoewel je ter plekke wel meer kan zien als observant, moet het instrument zo betrouwbaar en valide worden dat je ook gefilmde lessen moet kunnen observeren. Verder heb ik besloten om geen handleiding te maken. De hoofdoorzaak hiervan was tijdgebrek, ik kreeg vrij laat de observaties van de andere observanten binnen. Verder heb ik mijn begeleider om advies gevraagd en die gaf aan dat als ik mijn aanbevelingen in de resultaten duidelijk maak dit voldoende is. Achteraf gezien is het niet logisch een handleiding te maken voor gebruik. De aanbevelingen die ik in het onderzoeksrapport heb staan zullen aanleiding geven om het observatie-‐ instrument te verbeteren. Een ander punt dat mogelijk invloed gehad heeft kunnen hebben op de betrouwbaarheid is de kwaliteit van het filmmateriaal. Observant 2,3 en 4 schreven in hun commentaar dat de beelden erg schokkerig waren en vele haperingen vertoonden. Dit is mogelijk een resultaat van de vele omzettingen. Ik merkte hier zelf namelijk weinig van. De originele camera cassettes werden omgezet in filmbestanden en op een harde schijf geplaatst, vervolgens werden ze op een dvd en op de harde schijf van de school geplaatst. In vervolg onderzoek is het misschien effectiever om eventueel met meer camera’s en vaste camera’s te werken. Ondanks hetgeen dat niet volgens plan is verlopen heb ik toch kunnen aangeven waar een deel de ruis in het instrument vandaan komt. Er is nu meer inzicht op de good-‐practice-‐voorbeelden die

22 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie geherformuleerd kunnen worden en de taligheid van de formuleringen. Als hier verandering in wordt gemaakt zal er minder ruimte zijn voor eigen interpretatie. Ook zal een training zorgen voor een hogere consensus. Een aangepaste lay-‐out met een systeem van scoren ingebouwd in het instrument zal ervoor zorgen dat observanten op een meer overeenstemmende manier gaan scoren. Er is veel mogelijkheid voor vervolgonderzoek. Ten eerste is er de mogelijkheid om te kijken naar de effecten van een training in gebruik van het observatie-‐instrument. Ook kan er onderzocht worden in hoeverre de aanpassingen die er gedaan worden aan het observatie-‐instrument invloed hebben op de interbeoordelaarsbetrouwbaarheid. De toename in betrouwbaarheid die in dit onderzoek wordt gesuggereerd kan hierdoor worden bevestigd. Tot slot kan er worden onderzocht of het observatie-‐instrument kan fungeren als opleidingsinstrument. Sienders en Van den Bongaardt (2010) maakten duidelijk dat er ook een mogelijkheid is om deelnemers, door te scoren met het observatie-‐instrument, meer kennis te laten opdoen in differentiatie. Zelf merkte ik ook dat ik tijdens het scoren bepaald docentgedrag met betrekking tot differentiatie beter kon zien. Ik heb geleerd differentiatie beter te herkennen door veelvuldig te hebben gescoord aan de hand van het observatie-‐instrument. Het onderzoek doen is een wisselende ervaring geweest met dingen die goed gingen en dingen die niet helemaal volgens plan gingen. Ik heb geleerd keuzes te maken waar het onderzoek niet volgens het plan dreigde te verlopen. Het leukste dat ik persoonlijk heb ervaren is dat het doen van onderzoek nooit is afgelopen. Er kan altijd voortgeborduurd worden op wat er al is ontdekt. Ik ben nu al benieuwd naar het vervolgonderzoek dat gedaan zal worden in het observatie-‐instrument.

23 | P a g e


9. Geraadpleegde literatuur Baarda, D.B., de Goede, M.P.M (2001) Basisboek methoden en technieken: Handleiding voor het opzetten en uitvoeren van onderzoek. Groningen: Stenfert Kroese Bosker, R.J (2005) De grenzen van gedifferentieerd onderwijs. Oratie. Groningen: Rijksuniversiteit Groningen. Cassady, J.C., Speirs Neumeister, K.L., Adams, C.M., Cross, T.L, Dixon, F.A., Pierce, R.L. (2004) The differentiated classroom observation scale. Roeper Review. 26 (3), 139-‐146 Cohen, L., Manion. L., Morrison,K. (2011) Research methods in education. New York: Routledge Cox, S.G. (2008) Differentiated instruction in the Elementary classroom. Education digest, 79(9),52-‐ 54. Kenevski, L. (2011) Deferential Differentiation.What Types of Differentiation Do Students Want? Gifted Child Quarterly, 55, 279-‐299. Retrieved from: http://gcq.sagepub.com/content/55/4/279 Koning de, B. (2010) Differentiëren in de klas – wat doe ik eigenlijk? Ongepubliceerd onderzoeksverslag. Interfactultaire Lerarenopleiding Amsterdam. McClellan, C.A. (2011, mei). Creating a system for valid classroom observation. [PowerPoint slides]. Gepresenteerd op de Putting the pieces together: taking improved teacher evaluation to scale conferentie van het National Center for Teacher Effectiveness, Harvard University. Verkregen via http://www.gse.harvard.edu/ncte/news/NCTE_Conference_ETS_McClellan.zip Oostdam, R.J. (2009) Over maatwerk als kern van goed onderwijs. Tijd voor dikke leerkrachten, Hogeschool van Amsterdam. Praetorius, A.K., Lenske, G., Helmse, A. (2012) Observer ratings of instructional quality: Do they fulfill what they promise? Learning and instruction. 22(6) 387-‐400. Sienders, M. & Van den Bongaardt, J. (2010). Gedifferentieerd onderwijsaanbod in (breed) heterogene groepen). Nonpublished Research Report. Amsterdam: Open Schoolgemeenschap Bijlmer; Research Institute of Child Development and Education Sienders, M. , Schellings,G. , Janssen, T., van den Bongaardt, J (2012) Kijken naar differentiëren in de klas: de constructie van een observatie-‐instrument. Stuhlman, M.W., Hamre, B.K., Downer, J.T., & Pianta, R.C. (2010). A practitioner’s guide to conducting classroom observations: what the research tells us about choosing and using observational systems to assess and improve teacher effectiveness. University of Virginia Center for Advanced Study of Teaching and Learning. Verkregen via http://curry.virginia.edu Tomlinson, C.A. , Cunningham Eidson, C. (2003) Differentiation in practice: A resource guide for differentiating curriculum grades 5-‐9, ASCD

24 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie Tomlinson, C.A. , Strickland, C. A. (2005) Differentiation in practice: A resource guide for differentiating curriculum grades 9-‐12, ASCD Turkey, L. Stable (2002) Differentiation. Phi Delta Kappa. 84(1) Retrieved from: http://www.jstor.org/stable/20440275 Van den Bongaardt, J. , Sienders, M. (2011) Beter leren differentiёren op Openschoolgemeenschap Bijlmer. Een eerste aanzet tot een leergemeenschap Differentiatie ter bevordering van differentiatievaardigheden van docenten. Ongepubliceerd onderzoeksrapport in het kader van de Academische opleidingsschool Amsterdam; Open schoolgemeenschap Bijlmer Van de Grift, W.J.C.M. (2007) Quality of teaching in four European countries: a review of the literature and application of an assessment instrument. Educational Research 49, 127-‐152. Van Tassel-‐Baska, J., Xuemei Feng, J., Brown, E., Bracken, B., Stambaugh, T., French, H., McGowan, S., Worley, B., Quek, C., Bai, W. (2008) A Study of Differentiated Instructional Change Over 3 Years In. Gifted Child Quartely. 52(4) 297-‐312. Verhoeven, N., (2007) Wat is onderzoek? Amsterdam :Boom Lemma Uitgevers Woudbuysen, D, (2007) Pleidooi voor vakinspecteurs.Vakwerk Beter Onderwijs Nederland 2 (3) 5-‐6.

25 | P a g e


10.Bijlages Bijlage I: Het observatie-‐instrument 26 | P a g e

Profielproduct Ontwikkelaar-6243037-Sandra Dadzie 27 | P a g e




30 | P a g e

Profielproduct Ontwikkelaar. Differentiëren in de klas: het in kaart brengen van de validiteit en betrouwbaarheid van een observatie- instrument

Recommend Documents