Assessment van beginnende leraren: De effecten van een gestructureerde peer-discussie met behulp van VIL-resultaten op het reflectieproces

Effecten van structurering van een peer-discussie op het reflectieproces. 1

Assessment van beginnende leraren: De effecten van een gestructureerde peer-discussie met behulp van VIL-resultaten op het reflectieproces.

Assessing beginning teachers: The effects of a structured peer-discussion based on results of the QTI on reflection.

Naam :

Verhestraeten Gilbert

Studentnummer :

838411926

Adres:

Molenlei 54, B-2170 Merksem, België

Opleiding:

Scriptie neergelegd tot het behalen van de graad van Master Onderwijskunde Open Universiteit Heerlen

Begeleiders:

Dr. D. Sluijsmans Dr. J. M. van Bruggen

Datum inlevering :

19 mei 2008

Effecten van structurering van een peer-discussie op het reflectieproces. 2 Samenvatting

Competentiegroei is het belangrijkste doel van het begeleiden van beginnende leraren. Het ‘Voorontwerp van decreet betreffende de lerarenopleidingen in Vlaanderen’ (Ministerie van de Vlaamse Gemeenschap, 2006), dat van start is gegaan op 1 september 2007, voorziet dan ook in maatregelen om beginnende leraren en studenten in opleiding te begeleiden. Door hiervoor extra middelen ter beschikking te stellen benadrukt de Vlaamse overheid haar streven naar kwalitatief onderwijs, waarbij het verwerven van de juiste competenties centraal staat. Ondersteuning en begeleiding bieden, betekent in de eerste plaats zicht hebben op de competenties van de lesgever die wordt begeleid. Traditioneel gaat de begeleider of mentor de beginnende leraar observeren tijdens zijn of haar lesgeven om te weten of hij of zij een bekwame leraar is. Het lerarenberoep heeft echter een dermate breed competentieprofiel dat het een mentor erg veel tijd kost om op basis van observaties een conclusie te trekken over verworven competenties. Tevens is het van belang dat studenten kritisch leren reflecteren op hun professioneel handelen. In deze studie worden twee interventies voorgesteld om enerzijds de taak van de mentor te verlichten en anderzijds de professionele houding en zelfreflectie van studenten te bevorderen: 1) een gestructureerde peerdiscussie waarbij studenten elkaar feedback op het handelen in de klas geven en 2) het gebruik van de Vragenlijst Interpersoonlijk Lerarengedrag (VIL). De effecten van beide interventies op het reflectieproces en het interpersoonlijk handelen in problematische lessituaties worden in deze studie onderzocht via een pretest posttest control group design. In totaal namen 90 beginnende leraren deel (44 in controle groep, 46 in experimentele groep) afkomstig uit 17 Antwerpse scholen voor secundair onderwijs, waar onderzoeksgroepen werden gevormd bestaande uit drie beginnende leraren. De studenten woonden elkaars les bij en gaven hierover feedback tijdens een gestructureerde discussie die geleid werd door de mentor van de school. De experimentele groepen voerden de peerdiscussie op basis van de VIL-resultaten. Volgens de onderzoeksresultaten had de peerdiscussie een matig effect op het reflectieproces van de studenten. Het gebruik van de VIL kon de focus op de interacties met de leerlingen niet verhogen maar bracht wel meer structuur in de discussie. Resultaten op een evaluatievragenlijst voor de mentoren laten zien dat de mate van gestructureerdheid van de peer-discussie de voortgang en de gelijkmatige inbreng van de leden positief beïnvloedt. Een

Effecten van structurering van een peer-discussie op het reflectieproces. 3 andere terugkoppeling van de mentoren liet uitschijnen dat het tijdsbestek van dit onderzoek te kort was om significante resultaten neer te zetten.

Effecten van structurering van een peer-discussie op het reflectieproces. 4 Inhoudsopgave

Samenvatting

2

Inhoudsopgave

4

Voorwoord

5

Lijst van bijlagen

6

Inleiding

7

Theoretisch kader 1. De school als opleidingsinstituut De rol van de overheid Hoe vorm geven aan de school als opleidingsinstituut 2. De beginnende leraar Welke problemen moet de beginnende leraar het hoofd bieden? Hoe de problemen aanpakken 3. Assessmentmethodieken Assessment vandaag Peer-assessment Omschrijving en toepassing Validiteit en betrouwbaarheid van peer-assessment Het belang van zelfbeoordeling De functie van peer-assessment in deze studie 4. Het in deze studie gehanteerde model voor peer-assessment Waarom peer-assessment Werkwijze en randvoorwaarden

9 9 9 10 11 11 13 15 15 17 17 18 18 19 20 20 22

Het onderzoek 1. Onderzoeksopzet Onderzoeksgroep Instrumenten Design en procedure Hypothesen Data-analyse 2. Resultaten

23 24 24 25 26 28 28 30

Conclusie en Discussie

33

Bibliografie

37

Bijlagen

41

Effecten van structurering van een peer-discussie op het reflectieproces. 5 Voorwoord

Dat het begeleiden van beginnende leraren op dit ogenblik een hot item is, blijkt uit de aandacht die van de Vlaamse overheid uitgaat naar de lerarenopleiding en de begeleiding van stageairs en beginnende leraren in de scholen. Voor deze thesis liet ik mij dan ook inspireren door het voorontwerp van decreet betreffende de lerarenopleidingen in Vlaanderen dat op 1 september 2007 van start gaat. Deze studie moet in het licht hiervan gezien worden.

In dit voorwoord wil ik allereerst mijn begeleiders, Dominique Sluijsmans en Jan Van Bruggen, bedanken. Zij hebben me geholpen om deze thesis tot een goed einde te brengen door constant de ingeleverde stukken van opbouwende feedback en nuttige commentaren te voorzien en door, steeds opnieuw en met enthousiasme, mij de moed te geven om door te gaan.

Verder gaat mijn dank ook uit naar de leerkrachten die bereid waren deel te nemen aan het onderzoek en aan de mentoren voor hun enthousiasme en de prettige samenwerking. Zonder hen zou dit onderzoek niet mogelijk zijn geweest.

Tenslotte dank ik mijn collega’s van de scholengemeenschap voor de vele aanmoedigingen waarmee ze me vanaf de start tot aan de eindstreep van dit project hebben gesteund.

Effecten van structurering van een peer-discussie op het reflectieproces. 6 Lijst van bijlagen Bijlage 1: Situationele Beoordelingstest

41

Bijlage 2: Lesobservatieformulier

54

Bijlage 3: Betrouwbaarheidsanalyse van de Situationele Beoordelingstest

55

Effecten van structurering van een peer-discussie op het reflectieproces. 7 Inleiding

Het Voorontwerp van decreet betreffende de lerarenopleidingen in Vlaanderen (Ministerie van de Vlaamse Gemeenschap, 2006), dat van start is gegaan op 1 september 2007, voorziet in maatregelen ter begeleiding van beginnende leraren en studenten van de lerarenopleiding. Door extra middelen voor het zogenaamde mentorschap ter beschikking te stellen, benadrukt de Vlaamse overheid haar streven naar kwalitatief onderwijs, waarbij het verwerven van de juiste competenties centraal staat. De mentoren in de school krijgen hierdoor, bovenop de reeds bestaande begeleidende taken m.b.t. beginnende leraren en stageairs, een aanzienlijke verantwoordelijkheid en bevoegdheid inzake beoordeling en evaluatie. In deze scriptie zal verder overigens enkel over ‘beginnende leraren’ gepraat worden. In het voorontwerp van decreet betreffende de lerarenopleidingen in Vlaanderen worden de taken van het mentorschap als volgt beschreven: “ondersteuning van de student tijdens de stage, de ondersteuning van de leraar-in-opleiding en voor de aanvangsbegeleiding van de beginnende leraar” (Titel II, art. 2, § 2). Voor deze ‘ondersteuning’ moet de mentor informatie verzamelen over het al dan niet competent zijn van de beginnende leraren of studenten die aan hem of haar worden toegewezen. Deze informatieverzameling kan echter op verschillende manieren gebeuren. Voor de school ligt de focus op de concrete beroepspraktijk. Wil de mentor dus weten of iemand goed kan lesgeven, dan ligt het voor de hand om die persoon te gaan observeren tijdens een les. Helaas is bij het lesgeven sprake van een dermate breed competentieprofiel dat het erg veel tijd gaat kosten voordat men op basis van observaties een conclusie kan trekken over de competenties van de lesgever in kwestie. Gezien het uitgebreide takenpakket dat aan de mentor wordt toebedeeld, is die tijd er niet. Er zullen dus ook andere, voor de mentor minder tijdrovende, assessmenttechnieken moeten worden toegepast. Deze scriptie doet daartoe een voorstel dat kadert binnen peer-assessment. Bij dit voorstel zullen volgende onderzoeksvragen leidend zijn: 1) Zal een lesbijwoning door peers gevolgd door een peer-discussie een invloed hebben op de reflectie op het handelen in probleemsituaties; 2) Kan de Vragenlijst voor Interpersoonlijk Lerarengedrag (VIL) hier positief aan bijdragen; 3) Heeft het verloop van de peer-discussie een impact op de effectiviteit van de peer-discussie, met name verhoging van de focus op het interpersoonlijk handelen; 4) Wordt deze effectiviteit nog verhoogd door de gestructureerdheid te combineren met een observatie-instrument.

Effecten van structurering van een peer-discussie op het reflectieproces. 8 De scriptie bestaat uit twee delen: een theoretische onderbouwing en de rapportage van een empirische studie. In de theoretische onderbouwing wordt ten eerste een beknopte schets gegeven van de nieuwe rol van de school in de opleiding van leraren en een overzicht van de problemen waaraan beginnende leerkrachten het hoofd moeten bieden. Tevens wordt beschreven wat dit betekent voor de wijze van beoordelen (‘assessment’) en hoe de betrokkenheid in het beoordelingsproces verhoogd kan worden door peer assessment. Vervolgens worden respectievelijk zelfbeoordeling en zelfreflectie onder de loep genomen. In het laatste deel van de theoretische onderbouwing wordt het assessmentmodel voor de empirische studie beschreven. In het tweede deel van de scriptie wordt een empirische studie gerapporteerd waarin wordt onderzocht welke effect de structuur en het verloop van een peer-discussie hebben op de reflectie over het handelen in probleemsituaties.

Effecten van structurering van een peer-discussie op het reflectieproces. 9 Theoretisch kader

1. De school als opleidingsinstituut

De rol van de overheid

Het Voorontwerp van decreet betreffende de lerarenopleidingen in Vlaanderen (Ministerie van de Vlaamse Gemeenschap, 2006), dat van start is gegaan op 1 september 2007, voorziet in maatregelen om beginnende leraren en studenten in opleiding te begeleiden. Door hiervoor extra middelen ter beschikking te stellen benadrukt de Vlaamse overheid haar streven naar kwalitatief onderwijs, waarbij het verwerven van de juiste competenties centraal staat. Competenties en competentiegericht opleiden staan momenteel dan ook in de belangstelling van onderwijskundig Vlaanderen. Het curriculum van nogal wat beroepsopleidingen, zoals onderwijs, is opgebouwd met technieken die ontleend waren aan behaviouristische denkbeelden op het gebied van leren en instructie, waarbij het geven van onderwijs werd geanalyseerd in reeksen van goed-afgebakende taken in plaats van op een analyse van de taken waarmee beginnende leraren geconfronteerd worden. Leraren die de geïdentificeerde en beschreven taken goed beheersten, waren dus – in theorie – goede docenten. Enerzijds correspondeerden de taken waarvoor ze werden opgeleid niet altijd met de realiteit. Anderzijds bevinden beginnende leraren zich vaak in een ‘professionele woestijn’ waarbij zij vaak het gevoel hebben aan hun lot te worden overgelaten (Gomez ,1990). Bovendien blijkt er echter geen duidelijke relatie te bestaan tussen het correct kunnen uitvoeren van de honderden goed-afgebakende taken in de opleiding en het geven van goed onderwijs (Houston, 1974). Competenties zijn dus meer dan louter uitvoering van taken. Bij competenties gaat om een integratie van vaardigheden, kennis, attitudes en andere persoonlijke eigenschappen. Volgens Gonczi (1994) is van competentie sprake als complexe combinaties van kennis, vaardigheden, attitudes en normen en waarden in een specifieke probleemsituatie worden aangewend om het probleem te begrijpen en tot een oplossing te komen die voldoet aan de geldende kwaliteitsnormen. Bij competentiegericht opleiden wordt het curriculum daarom niet opgebouwd rondom de vaktheorie maar vanuit de concrete beroepspraktijk.

Daarnaast noopte het lerarentekort in Vlaanderen de overheid verkorte opleidingsroutes naar het lerarenberoep te ontwikkelen. Buiten de traditionele stageairs van opleidingsinstituten en

Effecten van structurering van een peer-discussie op het reflectieproces. 10 de natuurlijke instroom van beginnende leerkrachten worden scholen de laatste tijd dan ook nog geconfronteerd met een groot aantal zij-instromers of zogenaamde ‘leraren-in-opleiding’ (LIO), personen met een beroeps- of wetenschappelijke opleiding die als leerkracht in een tijdelijk statuut aan de slag gaan, en daarnaast een opleiding tot leraar volgen aan de universiteit of de hogeschool. Door de instroom van LIO’s neemt het relatieve belang van de initiële lerarenopleiding af en wordt het leren tijdens de functie-uitoefening steeds belangrijker. De school waar de LIO wordt tewerk gesteld, krijgt dus, bovenop het begeleiden van andere beginnende leraren en stageairs, een aanzienlijke verantwoordelijkheid en bevoegdheid inzake het beoordelen van de LIO’s. De school zal samen met de universiteit of hogeschool immers moeten instaan voor ‘voortgangs- en certificeringsbeslissingen’. Door middelen te voorzien voor mentorschap - dat is het begeleiden van LIO’s en andere beginnende leerkrachten - worden scholen door de centrale overheid over het algemeen aangemoedigd en gefaciliteerd om meer werk te maken van eigen beleid inzake opvang en begeleiding van beginnende leraren.

Hoe vorm geven aan de school als opleidingsinstituut?

De opleidingsschool als leerplaats voor beginnende leraren moet aan een groot aantal eisen voldoen, wil er daadwerkelijk sprake zijn van werkplekleren. De coachingsvaardigheden van de mentoren zijn bijvoorbeeld van groot belang om de gewenste leereffecten te laten optreden (Coonen, 2005). Daarnaast moet de opleidingsschool aan inhoudelijke en opleidingsdidactische voorwaarden voldoen. Een belangrijk onderdeel van de opleidingsdidactiek is het beoordelen van leraren. Hamvraag hierbij is hoe de kwaliteit van de in-, door- en uitstroom in verschillende opleidingsroutes kan worden gewaarborgd. Met het oog hierop werd er de afgelopen jaren in verschillende landen gewerkt aan de ontwikkeling van verschillende assessmentinstrumenten en -methodieken. Kasworm en Marienou (1997) verwijzen naar het belang van authenticiteit in de context van opleiding en professionele ontwikkeling: “Assessment of adult learners moves beyond the knowledge of abstract content to the world situated cognition. Here the importance of context in establishing meaningful connections among knowledge, skills, and experiences becomes one of the cornerstones of the creation and implementation of assessment approaches.” (p. 2). Het curriculum bij competentiegericht opleiden zou dan ook niet mogen worden opgebouwd rondom de vaktheorie maar vanuit de concrete beroepspraktijk.

Effecten van structurering van een peer-discussie op het reflectieproces. 11 Praktisch echter is het observeren in de werksituatie niet erg geschikt voor zogenaamde professionele beroepen met een breed competentieprofiel omdat het erg tijdrovend is wil men een voldoende aantal, representatieve observaties verzamelen om een oordeel op te baseren. Vermits die tijd er voor de mentor meestal niet is wegens alsmaar hogere planlast, loopt men het risico dat verkeerde conclusies worden getrokken op grond van een te kleine, nietrepresentatieve steekproef van gegeven lessen, wat de kwaliteitsborging in gevaar brengt. Om aan deze problematiek tegemoet te komen, kan voor het ontwikkelen van een nieuwe assessmentmethodiek rekening worden gehouden met de ‘basiscompetenties voor de beginnende leraar’, zoals geïntroduceerd door de Vlaamse Hogescholen en vastgelegd in het Besluit van de Vlaamse regering betreffende de beroepsprofielen van de leraren (1998). Volgens deze profielen wordt, als gevolg van de eisen van onze moderne, steeds veranderende samenleving, van leraren verondersteld dat zij in staat zijn informatie te analyseren, hun probleemoplossende en communicatieve vaardigheden te verbeteren en te reflecteren over hun rol in het onderwijsleerproces. Om aan de nieuwe rol van de leraar tegemoet te komen en een adequaat beeld te kunnen vormen over de behaalde competenties, zijn er de laatste decennia verschillende alternatieve assessmentmethoden geïntroduceerd zijn in het hoger onderwijs. Nieuwe methoden in het teken van het vormen van autonome, verantwoordelijke en reflectieve individuen zijn bijvoorbeeld zelf-, peer- en co-assessment (Sluijsmans, Dochy & Moerkerke, 1998). Deze vormen van assessment worden dan ook in toenemende mate populair in de context van opleidingen en professionele ontwikkeling (Segers, 2004).

2. De beginnende leraar

Welke problemen moet de beginnende leraar het hoofd bieden?

In het kader van competentieontwikkeling is het voor het lerarenberoep, net zoals voor andere beroepen, belangrijk vast te stellen wat kan omschreven worden als ‘effectieve praktijk’, op welke manier deze ‘effectieve praktijk’ kan overdragen worden op beginnende leraren, en het door de beginnende leraar opnemen van deze ‘effectieve praktijk’ in zijn of haar eigen handelen (Gorrell & Capron, 1991). In het licht van deze professionele eis hebben verschillende onderwijskundige onderzoekers de afgelopen jaren uitgebreide empirische studies verricht die resulteerden in een resem van modellen voor effectieve scholen en goed lesgeven (Zahoric, 1986; Bents en Gardner, 1992). Bovendien is het, ten einde de

Effecten van structurering van een peer-discussie op het reflectieproces. 12 noodzakelijke competenties vast te leggen die nodig zijn om beginnende leraren klaar te stomen voor de beroepspraktijk, door de complexiteit van het lesgeven moeilijk om een duidelijk zicht te krijgen op de taken waarmee leraren in het algemeen, en beginnende leraren in het bijzonder, mee geconfronteerd worden,.

Het starten als leraar is daarnaast niet gewoonweg de overgang van de ene rol naar de andere, maar gaat het over een sociaal proces met complexe interacties tussen verschillende actoren binnen de onderwijsinstelling (Bachrudin, 1995). Onderzoekers stelden dan ook vast dat, vermoedelijk als gevolg van die interacties en de verwachtingen vanwege de beginnende leraar, deze zich de eerste jaren tegenover een hele reeks problemen geplaatst ziet. Varah, Theune en Parker (1986) bijvoorbeeld noemen afstemming met het privé-leven, spanningen als gevolg van de dagelijkse interacties, het motiveren van de leerlingen, ordehandhaving, omgaan met individuele verschillen, het evalueren van leerlingen, het hoofd bieden aan de zware lestaken en de ontoereikende voorbereidingstijd, overeen komen met collega’s, het plannen van de lessen, geschikt instructiemateriaal vinden en dit efficiënt gebruiken, en omgaan met een gevoel van eenzaamheid en onzekerheid. Daarbij komt dat beginnende leraren vaak alleen staan met hun problemen. Gomez (1990) stelde bijvoorbeeld vast dat in de Verenigde Staten de beginnende leraren functioneerden in wat hij noemt een “professionele woestijn”, waar zij enerzijds aan hun lot werden overgelaten door de instituten waar zij werden opgeleid en anderzijds werden verwaarloosd door het overbelaste schoolteam. Het artikel “Leren van je collega’s” (1997) beschrijft de problematiek als volgt: “Vakoverschrijdend werken, elkaars lessen bekijken, samen jaarplannen maken of examens opstellen. Iedereen is ervan overtuigd hoe verrijkend dit kan zijn. Zeker binnen de vakgroepen, ook daarbuiten. Toch komt het er vaak moeilijk van. Het vergt organisatie, vergaderen, coördinatie. En tijd. Vele leerkrachten vrezen inmenging en kritiek. Of ze vinden het al lastig genoeg om de eigen zaken en taken af te handelen.” (Klasse voor Leerkrachten 77, 1997, p. 32-33. In het artikel “Jonge leraars in de woestijn” (2003) worden Coenjaerts, Stevens, Van Horebeek en Van Sanden, die in de jaren negentig mentorschap in de Vlaamse hogescholen introduceerden geciteerd: “De meeste leerkrachten moeten de klus alleen klaren in een schoolcultuur die zeer individualistisch is. Er is weinig gesystematiseerd overleg, teamwerk of praktijkbegeleiding. In het beste geval krijgen ze wel vakgerichte hulp - hulp om een cursus te maken bijvoorbeeld - van iemand met een verwante opdracht en veel goede wil.

Effecten van structurering van een peer-discussie op het reflectieproces. 13 Van structureel uitgebouwd, formeel mentorschap en andere vormen van praktijkbegeleiding als collegiale consultatie, supervisie en intervisie is in het Vlaamse onderwijs nog maar weinig sprake. In sommige (hoge)scholen is er wat schoorvoetend pionierswerk.” (Klasse voor Leerkrachten 135, 2003, p. 36-37). Zich in deze ‘professionele woestijn’ bevindend neemt de beginnende leraar het zekere voor het onzekere en focust hij zich vooral op inhoudelijke en pedagogisch-didactische aspecten van de les om het hoofd te bieden aan de dagdagelijkse bekommernissen. Reflectie over het interpersoonlijk gedrag en de interactie met de leerlingen wordt dan ook vaak over het hoofd gezien (Lourdusamy, Myint en Swe Khine, 2001). Toch is de relatie met de leerlingen even belangrijk als een goed geplande les omdat de manier waarop leraren omgaan met hun leerlingen het leerproces van de leerlingen in hoge mate beïnvloedt. Onderzoek van Wubbels en Levy (1993) wees immers uit dat het interpersoonlijk gedrag van de leraar in de klas voor 70% verantwoordelijk is voor eventuele schommelingen in de leerresultaten bij de leerlingen en voor 55% voor het verwerven van attitudes. Bovendien zijn de interpersoonlijke disposities van de leraar in hoge mate bepalend voor de ordehandhaving in de klas (Créton, Wubbels, & Hooymayers, 1989).

Hoe de problemen aanpakken

Gezien de problemen waarvoor de beginnende leraar zich dagelijks geplaatst ziet, is het niet verwonderlijk dat hij of zij het orde handhaven in de klas ziet als een van de grootste problemen waarmee hij of zij te kampen heeft (Veenman, 1984; Tully & Lian, 1995). Dit heeft tot gevolg dat leerkrachten in het algemeen, en beginnende leraren in het bijzonder, het zekere voor het onzekere nemen en, zoals reeds eerder gezegd, de neiging hebben zich eerder te focussen op de inhoud en de pedagogisch-didactische aspecten van de les dan te reflecteren over hun interpersoonlijk gedrag en de interactie met de leerlingen (Lourdusamy et al., 2001). Hierop aansluitend verwijzen we naar een studie van Huang (2001) waarbij aan hogeschoolstudenten van de lerarenopleiding werd gevraagd te reflecteren over lessen die zij gaven aan hun peers, en hierover een rapport te schrijven. Volgens de rapporten richtte de reflectie zich op acht domeinen binnen de klaspraktijk: (1) karakteristieken van de leraar (82%), (2) wijze waarop instructie wordt gegeven (78%), (3) interactieproces (40%), (4) vakinhoudelijke kennis (25%), (5) vraagtechnieken (23%), (6) hulp bij het instructie geven (15%), (7) studenten (9%), en (8) algemene onderwijskundige aspecten (4%). Op basis van

Effecten van structurering van een peer-discussie op het reflectieproces. 14 deze resultaten concludeerde Huang (2001) dat aan beginnende leraren ondersteuning moet worden geboden op het vlak van reflectief denken, meer bepaald waarop de reflectie zich moet richten en de wijze van reflecteren. Een andere plausibele piste is dat beginnende leraren zoveel tijd en energie steken in ordehandhaving dat van ‘efficient’ lesgeven weinig in huis komt. Er zou tijdens hun opleiding dan ook meer aandacht moeten besteed worden aan het voeren van een efficiënt klasmanagement. Omdat de interpersoonlijke disposities van de leraar in hoge mate bepalend voor de ordehandhaving in de klas (Créton, Wubbels, en Hooymayers, 1989), is het aangewezen dat het reflectieproces zich vooral hierop richt. We illustreren dit aan de hand van een studie naar de relatie tussen de cognitieve en affectieve verwezenlijkingen van leerlingen en de interpersoonlijke stijl van de leraar (Wubbels, Tartwijk en Brekelmans, 1995).

Tabel 1. Effect van de interpersoonlijke stijl van de leraar Fysica op de resultaten en attitudes van leerlingen (Wubbels, Tartwijk en Brekelmans, 1995).

Interpersoonlijke stijl

Effect op resultaten

Effect op attitude

1. Directief

0,17

0,62

2. Autoritair

0,07

0,79

ontbreekt

ontbreekt

4. Tolerant

0,23

0,53

5. Onzeker/tolerant

-0,17

0,51

6. Onzeker/agressief

-0,15

0,20

7. Repressief

0,40

0,38

0

0

3. Autoritair/tolerant

8. Hard werkend

Uit Tabel 1 blijkt dat leerlingen de beste resultaten halen bij leraren met een repressieve stijl, terwijl leraren met een wanordelijk klasklimaat (types 5, 6, 8) relatief lage resultaten genereren bij de leerlingen. Directieve, autoritaire en tolerante leraren bereiken redelijk hoge resultaten. Hoe dominanter de leraar tewerk ging, hoe hoger de verwezenlijkingen van de leerlingen waren. Leidend, behulpzaam en vriendelijk gedrag zijn positief gerelateerd aan de leerlingenresultaten, terwijl loslatend, onzeker en onbevredigd gedrag negatief gerelateerd zijn.

Effecten van structurering van een peer-discussie op het reflectieproces. 15 Ook de literatuur over schooleffectiviteit (Creemers, 1994; Levine & Lezotte, 1990) suggereert dat leerlingen (en in het bijzonder laagpresterende leerlingen) meer voordeel halen uit lespraktijken waarbij de leerkracht interesse toont in de vooruitgang van de leerlingen en waarbij een bepaald prestatieniveau wordt vooropgesteld dat alle leerlingen, met hulp van de leerkracht, dienen te bereiken. Uit het voorgaande komt naar voren dat bij de assessment van beginnende leraren de reflectie op het interpersoonlijk gedrag haar plaats moet krijgen. Hieraan aangepaste assessmentmethodieken dringen zich dan ook op. We laten er verder enkele de revue passeren, waaronder een evaluatietechniek die in deze studie gebruikt werd.

3. Assessmentmethodieken

Assessment vandaag

Stiggins (1986) onderscheidt volgende redenen voor het evalueren van leraren: werving, ontslag, promotie, toekennen van incentives en competentieontwikkeling. In deze studie moet evaluatie of assessment vooral gezien worden in functie van competentieontwikkeling. In competentiegerichte opleidingen, zoals in de lerarenopleiding, is er echter een minder strikte scheiding tussen wat hoger werd genoemd ‘voortgangs- en certificeringsbeslissingen’. Onder voortgangsbeslissingen verstaan we hier alle beslissingen die genomen worden om de beginnende leraar, optimaal te begeleiden bij het verwerven van de benodigde competenties. Dit vereist dat regelmatig vastgesteld wordt of voorwaardelijke kennis aanwezig is en in hoeverre competenties of onderdelen daarvan al beheerst worden (Straetmans & Sanders, 2001). Certificeringsbeslissingen worden traditioneel gezien genomen op basis van een eindproef of examen. Zo’n eindproef heeft de kenmerken van een momentopname en kan met moeite representatief gevonden worden voor de competenties in kwestie. Er zijn veel verschillende manieren waarop informatie verzameld kan worden om een uitspraak te doen over de competentie van een persoon, zoals observaties in de werksituatie, interviews, vaardigheidstoetsen, kennistoetsen, zelfbeoordelingen, stageverslagen en portfolio’s. Deze lijst is gemakkelijk uit te breiden, want het aantal manieren waarop informatie verzameld kan worden, wordt slechts beperkt door de creativiteit. In wezen is er maar één aspect waarop beoordelingsmethoden essentieel van elkaar verschillen en dat is de

Effecten van structurering van een peer-discussie op het reflectieproces. 16 setting waarin het bewijs voor competentie verzameld wordt. Dat kan de werksituatie zijn of een testsituatie (Straetmans & Sanders, 2001). Pelkmans (1998) inventariseerde welke instrumenten in verschillende landen in het onderwijs gebruikt werden bij het beoordelen van leraren en schoolleiders. In de Tabel 2 zijn de resultaten weergegeven van een onderzoek uit 1996 bij 68 grote schooldistricten in de Verenigde Staten naar methoden en instrumenten die gebruikt werden bij het beoordelen van leraren. Uit het schooldistrictenonderzoek blijkt dat overal observatie toegepast werd en dat daarnaast ook, in mindere mate, andere evaluatiemethoden gebruikt werden. De evaluatiemethoden werden bij beginnende leraren ingezet bij indiensttreding en bij leraren in vaste dienst voor het remediëren in geval van onvoldoende functioneren, ten behoeve van professionele ontwikkeling en bij het vernieuwen van aanstellingen. De beoordeling van een leraar werd in de meeste gevallen uitgevoerd door de schooldirecteur.

Tabel 2. Methoden en instrumenten die gebruikt werden bij het beoordelen van leraren in de Verenigde Staten (Pelkmans, 1998).

Gebruikte methoden en instrumenten

Frequentie (%)

Systematische observatie van het lesgeven

94,1

Informele observatie

86,8

Waarderingsscores van collega's

16,2

Waarderingsscores van leerlingen

8,8

Leerlingprestaties

25,0

Schriftelijk examen

1,5

Portfolio van de leraar

23,5

Zelfevaluatie van de leraar

45,6

Eerder hebben we echter gesteld dat het lerarenberoep een dermate breed competentieprofiel heeft dat het erg veel tijd zal kosten om op basis van observaties een conclusie te trekken over verworven competenties. Omdat die tijd er meestal niet is, loopt men het risico dat er verkeerde conclusies getrokken worden op grond van een te kleine, nietrepresentatieve steekproef van gegeven lessen. Om dan toch een zo volledig mogelijk beeld te vormen van de competenties van een persoon wordt in het onderwijs vaak uitgeweken naar methoden zoals zelfbeoordeling die, wanneer voldoende representatief, betrouwbaar en

Effecten van structurering van een peer-discussie op het reflectieproces. 17 valide, efficiënter zijn dan traditionele evaluatiemethoden. Via zelfbeoordeling, al dan niet gecorreleerd met studentoordelen, aangevuld met de beoordelingen van relevante anderen zoals collega’s, direct leidinggevenden en de betreffende mentor, ontstaat een tamelijk compleet beeld van iemands functioneren. Deze methode wordt doorgaans aangeduid met de term 360-graden beoordeling. Dat het sowieso onverstandig is om bij assessment te werken met slechts één assessor, wordt benadrukt door de resultaten van onderzoek naar de invloed van assessoren. Onderzoekers uit verschillende disciplines kwamen namelijk tot de eensluidende conclusie dat de beoordelingsovereenstemming tussen assessoren met betrekking tot de kwaliteit van processen en/of de daaruit voortkomende producten te wensen overlaat (Straetmans, Sluijsmans, Bolhuis en Van Merriënboer (2003). Atkins (1996) stelde vast dat een groot aantal leraren het gevoel hadden dat peer-assessment en mentorschap de professionele groei ten goede zouden kunnen komen. In het licht van nieuwe inzichten over evaluatie evolueren recente programma’s voor lerarenevaluatie naar het gebruik van observaties en mentorschap voor beginnende leraren, en naar lange termijn professionele ontwikkelingsprojecten voor ervaren leerkrachten (Brandt, 1996). Daarnaast is er een tendens om, onder invloed van constructivistische theorieën, de beoordeelden meer te betrekken bij de evaluatie, en dit in een collegiale en collaboratieve setting. Volgens Barth (1990) moet de school gezien worden als een ‘community of learners’, waar leraren steeds op zoek zijn naar wat ‘goed lesgeven’ inhoudt. Zij zijn zowel onderzoekers, als begeleiders, als lerenden die collega’s observeren en helpen. Het is vanuit deze optiek dat in deze studie de assessmentmethodiek dient benaderd te worden, wat ons logischerwijze brengt bij peerassessment.

Peer-assessment

Omschrijving en toepassing

Verwijzend naar Falchikov en Somervell definiëren Sluijsmans, Dochy, en Moerkerke (1998) peer-assessment als het proces waarbij groepen van individuen het werk en inspanningen van hun gelijken beoordelen. Hierbij kan gebruik worden gemaakt van beoordelingsinstrumenten, vragenlijsten of checklists, die door anderen of door de peergroepleden zelf werden ontworpen. Aan de ene kant wordt feedback gegeven van kwalitatieve aard, aan de andere kant bestaat echter het gevaar dat quotering leidt tot een zekere rangschikking.

Effecten van structurering van een peer-discussie op het reflectieproces. 18 Peer-assessment is echter ook een onderdeel van een leerproces waarbij zekere vaardigheden worden ontwikkeld. In verband hiermee zijn Weaver and Cotrell (1986) van oordeel dat “peer evaluation, an alternative term to peer assessment emphasizes skills, encourages involvement, focuses on learning, establishes a reference, promotes excellence, provides increased feedback, fosters attendance, and teaches responsibility” (p. 25). Hoewel voorgaande conclusies het resultaat zijn van studies op het niveau van leerlingen en studenten, paste Yates (1982) reeds ‘wederzijdse peer feedback’ toe in het kader van lerarenopleidingen. Hierbij lag de focus op het verwerven van vaardigheden voor het geven van lovende kritiek aan leerlingen met speciale noden. Hij kwam tot de conclusie dat peerfeedback het gebruik van lovende motiverende kritiek verhoogde. Lasater (1994) liet studentleraren aan elkaar feedback geven gedurende twaalf lessen in een praktijksetting. Na afloop verklaarden de deelnemers meer zelfvertrouwen en minder stress te hebben. Deze manier van feedback geven resulteerde in creatieve brainstormmomenten en optimalisering van de lessen.

Validiteit en betrouwbaarheid van peer-assessment

Over de validiteit en betrouwbaarheid van peer-assessment zijn, vooral in het hoger onderwijs, verschillende studies verricht. In 70% van de onderzochte gevallen werden de validiteit en de betrouwbaarheid als adequaat bestempeld (Topping, 2003). Een kleine minderheid spreekt over variabel omdat de accuraatheid van de scoring door peers beïnvloed wordt door contextuele factoren zoals de moeilijkheidsgraad van een taak, hetgeen geëvalueerd wordt, (on)duidelijkheid over de evaluatiecriteria, de ervaring met peerassessment en de mate van ondersteuning (Topping, 2003). Over het algemeen kan gezegd worden dat peer-assessment minder betrouwbaar is bij gebrek aan opleiding m.b.t. peerassessment, instrumenten, duidelijke toelichting, begeleiding en monitoring (Topping, 2003). Er moet echter gezegd dat tot op heden weinig onderzoek werd uitgevoerd naar het gebruik van peer-assessment in de context van opleidingen en professionele ontwikkeling (Segers, 2004).

Het belang van zelfbeoordeling

Zoals reeds eerder gezegd is, in het kader van competentieontwikkeling, zelfbeoordeling een belangrijk onderdeel van assessment. Zelfbeoordeling verwijst naar de bereidheid van

Effecten van structurering van een peer-discussie op het reflectieproces. 19 lerenden en/of werkenden om als ‘reflective practitioners’ een oordeel te vellen over de waarde en kwaliteit van hun prestaties en afgeleverde producten, alsook over de verwezenlijkingen en de resultaten van hun leerproces (Sluijsmans et al., 1998; Topping, 2003). Literatuur (Bachrudin, 1995; Bullard, 1998; Huang, 2001) toont echter aan dat de validiteit en de betrouwbaarheid van de zelfbeoordeling afhankelijk is van de meta-cognitieve en sociaal-affectieve vaardigheden van de zelfbeoordelaar, de mate van ondersteuning, oefening en feedback die de zelfbeoordelaar te beurt vallen, en in hoeverre de zelfbeoordelaar vertrouwd is met de opgelegde taak. Andere variabelen die van invloed kunnen zijn op de betrouwbaarheid en de validiteit van zelfbeoordeling zijn: de opleiding van de zelfbeoordelaar, het product dat beoordeeld wordt, de assessment criteria, het assessment instrumentarium, en culturele en gender verschillen (Topping, 2003). Zelfbeoordeling is een proces van lange adem. Met eerder verworven kennis en vroegere ervaringen moet een referentiekader worden gebouwd waaraan getoetst kan worden om een oordeel te vormen. Dankzij dit referentiekader kunnen competenties m.b.t. zelfbeoordeling ontwikkeld worden (Topping, 2003). Ook op het vlak van (zelf)reflectie zullen competenties moeten worden opgebouwd. (Zelf)reflectie kan als een belangrijke bekwaamheid worden gezien in het kader van competentieontwikkeling. (Zelf)reflectie kan immers de verdere ontwikkeling van iemands vaardigheden of persoonlijkheid bevorderen door terug te blikken op zijn/haar handelen (ervaringen, activiteiten), gedachten (kennis, inzichten) of houding (emoties, gevoelens). In het licht hiervan zou zelfreflectie, als onderdeel van de zelfbeoordeling, tot de ontwikkeling van interpersoonlijke vaardigheden kunnen leiden: de lerende leert via discussies, gesprekken, e.d. zijn of haar mening te uiten en voor zichzelf op te komen, wat de verwerving van meta-cognitieve vaardigheden en het zelfmanagement van het leren zou kunnen bevorderen.

De functie van peer-assessment in deze studie

De feedback die via peer-assessment wordt verkregen, kan verschillende functies hebben: bevestigen van gekende informatie, toevoegen van nieuwe informatie, fouten herkennen, fouten verbeteren, optimaliseren van het contextueel toepassen van informatie, herstructureren en uitbreiden van theoretische schemata (Topping, 2003). Door middel van vragen, toelichting, verklaring en discussie kan formatieve peer-assessment ook leiden tot

Effecten van structurering van een peer-discussie op het reflectieproces. 20 zelfconceptverheldering, waarmee bedoeld wordt dat iemand in staat is zelf een duidelijk beeld te vormen van zijn functioneren (Topping, 2003). In de context van het voorgaande kan peer-assessment dan gezien worden als een element van het zelfevaluatieproces van beginnende leraren, waarbij duidelijkheid wordt verkregen over de resultaten van de zelfbeoordeling. De bijdrage van peergroepleden kan namelijk een waardevolle input leveren tijdens het zelfevaluatieproces. Doorgaans levert feedback van anderen meer gedetailleerde informatie op. Refererend naar onderzoek van Keaten en Richardson merken Sluijsmans et al. (1998) wel op dat de peergroepleden hierbij eerlijk en accuraat moeten omspringen met hun beoordelingen. Sociale processen, zoals vriendschap, populariteit, machtsverhoudingen, e.a. kunnen immers de betrouwbaarheid en validiteit van peer-assessment in het gedrang brengen. In de litteratuur (Topping, 2003) spreekt men in verband hiermee over “reciprocity effects”. Uit verschillende onderzoeken blijkt echter dat vooral het niet in staat zijn anderen correct te beoordelen en de neiging hebben zichzelf over te waardeerden als problematisch ervaren wordt (Sluijsmans et al., 1998). Initieel is het mogelijk dat zowel de beoordeelde als de beoordelaars hun angst moeten overwinnen om het proces van peer-assessment te doorlopen. Het eerst geven van positieve feedback kan helpen deze angst te overwinnen en kan de bereidheid negatieve feedback te aanvaarden, verhogen. Finaal verhoogt peer-assessment de betrokkenheid, de interactiviteit, het zelfvertrouwen en het empathisch vermogen, zowel bij de beoordeelde als de beoordelaars (Topping, 2003).

4. Het in deze studie gehanteerde model voor peer-assessment

Waarom peer-assessment

Bij de evolutie van beginnende naar ervaren leraar onderscheidt Katz (1977) vier ontwikkelingsfasen: 1) tijdens de eerste fase denken beginnende leraren vooral aan overleven; 2) fase twee kenmerkt zich door leerlinggerichtheid; 3) in fase drie is de leraar geïnteresseerd in competentieontwikkeling; 4) tijdens de laatste fase houdt de leraar zich bezig met vragen van filosofische aard, zoals of de school oplossingen kan bieden voor maatschappelijke problemen. Elke fase vergt een andere ondersteuning van de leraar. In de eerste fase heeft de leraar vooral nood aan een veilige werkomgeving. In fase twee moeten kapstokken worden aangeboden m.b.t. leerlingbegeleiding. Tijdens fase drie moet de leraar in staat worden

Effecten van structurering van een peer-discussie op het reflectieproces. 21 gesteld nascholing te volgen. En tijdens fase vier moet de leraar gelegenheid worden geboden deel te nemen aan conferenties en debatten. Gezien de ontwikkelingsfase waarin beginnende leraren zich bevinden en de problematiek die hiermee gepaard gaat, is het aannemelijk te veronderstellen dat voor feedback over hun functioneren, hetzij formeel, hetzij informeel, beginnende leraren zich vermoedelijk in eerste instantie niet zullen richten tot de leerlingen of ervaren leraren, maar eerder tot ‘gelijken’, met name andere beginnende leerkrachten. Deze aanname wordt verstekt door het feit dat beginnende leraren vaak alleen staan met hun problemen. Zoals reeds eerder gesteld functioneren beginnende leraren in een “professionele woestijn” (Gomez, 1990). In verband hiermee getuigt Peter, leraar in het lager secundair onderwijs, in het artikel in Klasse “Leren van je collega’s” (1997): “In het begin van mijn carrière durfde ik niet te veel vragen stellen aan collega's. Je voelt je een indringer in een bestaande situatie, vijfde wiel aan elke wagen. Je bent vooral bang dat men je vragen zal zien als toegeven van zwakte, dat ze je zullen aankijken op de fouten die je maakt. Dus rommel je zelf maar aan. Je speelt wat mee, maar je kent het team niet goed genoeg om te weten wie verdediger, aanvaller of doelman is. Je zoekt het zelf maar uit. Je voelt je te onwennig om naar iemand toe te stappen. En zelf denken ze er niet aan. Niet uit slechte wil. Gewoon omdat iedereen tenslotte vooral met zichzelf en zijn eigen klassen bezig is. Dat is normaal. Denk je.” (Klasse voor Leerkrachten 77, september 1997, p. 32-33). We merken dan ook dat in de school beginnende leraren elkaar opzoeken tijdens de pauze om ervaringen uit te wisselen. Toch zijn andere, meer ervaren leerkrachten door hun ervaring een rijke bron van informatie, inspiratie en wijsheid. Om dit potentieel te kunnen aanspreken, wordt van beginnende leraren echter verwacht dat zij de eerste stap zetten en zelf de ervaren leraren aanspreken, wat, gezien de eerder aangehaalde problematiek m.b.t. beginnende leraren, geen evidentie is. In die zin is in dit onderzoek dan ook gekozen voor peerassessment. Bij de in dit onderzoek gehanteerde methodiek gaat het erom dat beginnende collega’s feedback uitwisselen over hun functioneren in de klas. Dit gebeurt tijdens een gestructureerde peer-discussie na een lesbijwoning. Deze assessment-methodiek gebeurt niet in functie van evaluatie van het lesgeven, maar in functie van verbetering van het lesgeven.

Effecten van structurering van een peer-discussie op het reflectieproces. 22 Werkwijze en randvoorwaarden

Wil een school de besproken methodiek invoeren, kunnen in ideale omstandigheden collega’s dan onderling afspreken om gedurende een bepaalde periode elkaars lessen bij te wonen en hierop feedback te geven middels een peer-discussie. Het is ook mogelijk om bepaalde aspecten van het lesgeven apart te belichten. Zo kan aan de peers gevraagd worden om enkel hun mening te geven over de inhoud van de les, de gebruikte werkvormen of de didactische aanpak. Naar analogie van deze werkwijze zal in de pilot aan de peers van de experimentele groep gevraagd worden zich te focussen op de interactie met de leerlingen. Idealiter moeten de observeerders voor de les op de hoogte gesteld worden van wat de lesgever met de les wil bereiken en hoe hij of zij dit denkt te doen. Belangrijk is echter ook dat de beginnende leraar op de hoogte wordt gebracht van het doel van deze evaluatievorm, welke instrumenten zullen worden gebruikt en wat met de verzamelde data gebeurt. “Whether examining a mechanical or an organizational system, it is important to understand that the system includes at least three components: data, evaluation, and action (...). A system in which data and evaluation did not influence action would not be a feedback system” (Jackson & Greller, 1998, pp. 2). Deze vorm van peer-assessment moet leiden tot competentieontwikkeling. Wanneer de follow-up echter niet zorgvuldig gebeurt en de beginnende leraar niet in staat wordt gesteld om te werken aan de ontbrekende competenties, zal het evaluatieproces als weinig zinvol worden ervaren door de betrokkenen. Hier is een belangrijke rol weggelegd voor de mentor.

Effecten van structurering van een peer-discussie op het reflectieproces. 23 Het onderzoek

Dit onderzoek past in het kader van competentieontwikkeling en vertrekt vanuit de vooronderstelling dat peer-assessment en mentorschap hierbij een faciliterende rol kunnen spelen (Atkins, 1996). Daarnaast sluit de voorgestelde assessmentmethodiek aan bij de nieuwe inzichten over assessment die reeds resulteerden in programma’s voor de evaluatie van beginnende leraren waarbij gebruik wordt gemaakt van observaties en mentorschap (Brandt, 1996). Bovendien worden onder invloed van constructivistische theorieën de beoordeelden hoe langer hoe meer betrokken bij de evaluatie, en dit bij voorkeur in een collegiale en collaboratieve setting. Volgens Barth (1990) moet de school dan ook gezien worden als een ‘community of learners’. Zij zijn zowel onderzoekers, als begeleiders, als lerenden die collega’s observeren en helpen. Het is vanuit deze achtergronden met betrekking tot assessment van beginnende leraren dat dit onderzoek de volgende drie vragen onderzoekt:

Onderzoeksvraag 1: Zal de wijze van structureren van de peer-discussie, middels een observatie-instrument, helpen om de reflectie op adequaat handelen in probleemsituaties te verbeteren? Tijdens de peer-discussie kan door middel van vragen, toelichting en verklaring, gekende informatie bevestigd worden, nieuwe informatie toegevoegd worden, fouten herkend en verbeterd worden, het contextueel toepassen van informatie geoptimaliseerd worden, en theoretische schemata geherstructureerd en uitgebreid worden (Topping, 2003). In dit onderzoek wordt aan de lesgever gevraagd een oordeel te vellen over zijn of haar functioneren aan de hand van een observatieformulier en die beoordeling te toetsen aan deze van de peers.

Onderzoeksvraag 2: Zal de peer-discussie op basis van de VIL leiden tot meer focus op interpersoonlijk gedrag? Uit onderzoek naar de relatie tussen de cognitieve en affectieve verwezenlijkingen van leerlingen en de interpersoonlijke stijl van de leraar (Créton et al., 1989; Levine & Lezotte,1994; Creemers, 1990) blijkt dat de interpersoonlijke disposities van de leraar in hoge mate bepalend zijn voor de ordehandhaving in de klas. Uit deze studies komt dan ook duidelijk naar voren dat bij de assessment van beginnende leraren de reflectie op het interpersoonlijk gedrag haar plaats moet krijgen.

Effecten van structurering van een peer-discussie op het reflectieproces. 24

Onderzoeksvraag 3: Zal het gebruik van de VIL de structuur van de peer- discussie positief beïnvloeden? In de vragenlijst voor Interpersoonlijk Lerarengedrag ontworpen door Creton en Wubbels (1984) wordt aan leerlingen gevraagd het gedrag van hun leraar te beschrijven door op een 5puntsschaal hun mening aan te geven. De items zijn zodanig opgesteld dat ze voor de leerlingen relevant zijn als kenmerken van leraarsgedrag. Met behulp van de scores van de leerlingen kunnen sectoren van interactieroos worden ingevuld. Daarmee ontstaat een profiel van het leraarsgedrag zoals het door een klas wordt ervaren. In die zin is de VIL veel meer gericht op lerarengedrag en concreter dan het LOF. Deze vraagt een meer algemeen oordeel over het lesgeven.

Onderzoeksvraag 4: Zal de structuur van de peer-discussie een impact hebben op het reflectieproces, met name leiden tot meer focus op interpersoonlijk gedrag? Aan de mentoren werd gevraagd om na de discussie aan vragenlijst in te vullen om een beeld te krijgen van de wijze waarop de discussie verliep. Er wordt namelijk van uit gegaan dat een discussie die ordelijk en gedisciplineerd verloopt, waar iedereen aan bod komt en allen zich enkel op het onderwerp focussen, meer informatie zal verschaffen over de bijgewoonde les, en derhalve het reflectieproces op handelen in probleemsituaties positief zal beïnvloeden.

1.

Onderzoeksopzet

Onderzoeksgroep

Participanten zijn 90 beginnende leraren met maximum 3 jaren dienstanciënniteit, afkomstig uit 17 scholen voor secundair onderwijs van Antwerpen. De onderzoeksgroepen bestaan uit telkens drie beginnende leraren en een mentor van dezelfde school. In totaal zijn er 15 controlegroepen (N=44; n=3) en evenveel experimentele groepen (N=46; n=3). Binnen elke school zal minstens een controlegroep of een experimentele groep worden samengesteld. In 13 scholen is zowel een experimentele als een controlegroep gevormd. In vier scholen kon, wegens onvoldoende beginnende leraren, slechts of een experimentele groep of een controlegroep worden samengesteld.

Effecten van structurering van een peer-discussie op het reflectieproces. 25 Instrumenten

Situationele beoordelingstest. Van alle participanten is als voor- en in nameting de mate van aandacht voor interpersoonlijk gedrag tijdens probleemsituaties in de klas gemeten aan de hand van een Situationele Beoordelingstest (SJT; zie bijlage 1). Deze bestaat uit 33 als lastig omschreven situaties, gebaseerd op de vragenlijst van het STOrend gedrag Onderzoek Caleidoscoop (STOOC) (Magez, et al., 2002). Aan de participanten werd gevraagd 100 punten te verdelen over de vier mogelijke antwoorden per item. Voorbeelden van items zijn: “Door het geroezemoes in de klas gaan de leerlingen luider en luider praten. Hoe los je dit op?” en “In deze klas maken leerlingen er een gewoonte van spullen van elkaar af te pakken en te verstoppen. Wat doe je?”. Vragenlijst Interpersoonlijk Lerarengedrag (VIL). In de vragenlijst voor Interpersoonlijk Leraarsgedrag (VIL) ontworpen door Creton en Wubbels (1985) werd aan de leden van de experimentele groepen gevraagd het gedrag van de lesgever te beschrijven door op een 5puntsschaal hun mening aan te geven. De gehanteerde VIL, zoals gebruikt door de universiteit Amsterdam voor de lerarenopleiding en ontwikkeld door het Interfacultair Instituut voor Lerarenopleiding, Onderwijsontwikkeling en Studievaardigheden, bestaat uit 77 items die ingedeeld kunnen worden in 8 gedragswijzen. Hoewel er verschillende versies van de VIL ontwikkeld werden (Lourdusamy & Khine, 2001; Wubbels et al., 1995) en in omloop zijn, werd voor de betreffende uitvoering gekozen omwille van het taalgebruik en de herkenbaarheid van de beschreven gedragingen voor beginnende leraren. Bovendien sluit deze versie van de VIL nauw aan bij de oorspronkelijke, reeds uitgebreid beproefde (den Brok, Fisher, Brekelmans, Rickards, Wubbels, Levy & Waldrip, 2003), versie zoals gepercipieerd door Wubbels et al. (1985). Lesobservatieformulier (LOF). Dit instrument is een onderdeel van een per collegebesluit geformaliseerd waarderingssysteem, ontwikkeld binnen het stedelijk secundair onderwijs van de stad Antwerpen. Het is een standaardformulier dat, in het kader van evaluatie van leraren, gehanteerd wordt door leidinggevenden en mentoren voor de beoordeling van lessen. Dit document bevat volgende onderdelen: 1) Lesverloop, 2) Vakdidactische bekwaamheid, 3) Pedagogische bekwaamheid, en 4) Werkpunten. Evaluatieformulier m.b.t. de peer-discussie. Om een beeld te vormen over het discussieproces werd aan de mentoren gevraagd de discussie op band (audio) op te nemen, ten

Effecten van structurering van een peer-discussie op het reflectieproces. 26 einde deze later te kunnen analyseren om via een evaluatieformulier een antwoord te formuleren op de volgende statements: ‰

De discussie verliep ordelijk (er werd naar mekaar geluisterd en er werd niet door elkaar gepraat).

‰

Alle groepsleden kwamen evenveel aan bod.

‰

Iedereen bleef bij het onderwerp, er werd niet uitgeweid.

Per bovenstaande item kon de mentor kiezen uit vijf antwoorden, variërend van ‘volledig van toepassing’ tot ‘helemaal niet van toepassing’. In deze studie is met de audio verder niets gebeurt. Deze diende enkel als geheugensteuntje voor de mentor om later het evaluatieformulier terdege in te vullen. Persoonlijkheidstest (Big Five). Voor de start van het onderzoek is aan alle participanten gevraagd een persoonlijkheidstest in te vullen. Het doel van deze test is de invloed te onderzoeken van vijf verschillende persoonlijkheidskenmerken, met name de mate van ‘extraversie’, ‘vriendelijkheid’, zorgvuldigheid’, ‘emotionele stabiliteit’ en ‘openheid’. Deze persoonlijkheidsdimensie wordt gemeten met 60 items uit de Nederlandstalige versie van Goldberg’s Big Five-vragenlijst (Goldberg, 1992; Van Heck, Peruginni, Caprara en Froeger, 1994).

Design en procedure

Dit onderzoek wordt opgezet volgens een pretest-posttest control-group design. Als pretest is het ‘handelen in probleemsituaties’ door de beginnende leraren gescoord via een situationele beoordelingstest (SJT). Nadat alle participanten de SJT voorafgaand aan het onderzoek hadden ingevuld, werd zowel in de controlegroep als in de experimentele groepen een proefles gegeven door één van de groepsleden. De andere leden van de groep observeerden de les. Aan de mentoren werd gevraagd om de les in een zogenaamde moeilijke klas, waar het probleem van ordehandhaving zich duidelijk stelde, te laten plaats vinden. Uit latere interviews bleek echter dat dit, om organisatorische redenen, niet mogelijk was. De klassen werden in alle scholen namelijk geselecteerd op basis van beschikbaarheid. Direct na de proefles vulden zowel de lesgever als de twee observatoren van de experimentele groepen de Vragenlijst Interpersoonlijk Lerarengedrag (VIL) in, en werd het lesobservatieformulier (LOF) ingevuld in de controlegroep. De resultaten van de vragenlijsten worden ter bespreking

Effecten van structurering van een peer-discussie op het reflectieproces. 27 meegenomen naar de peer-discussie, die plaatsvond in zowel de controle- als experimentele groepen. De peer-discussie verliep volgens de ’intervisie methode’, waarbij in alle onderzoeksgroepen het interpersoonlijk handelen van de lesgever werd besproken. Zowel de lesgever als de observatoren geven hierover hun visie. In de experimentele groep fungeerde de VIL als basis voor de discussie, in de controlegroep werd het LOF gehanteerd. Het verschil tussen de experimentele en controlegroep bestaat er dus in dat tijdens de discussie de experimentele groep de VIL gebruikt als interpretatiekader, terwijl dit voor de controlegroep het LOF is. Hierdoor kan met de VIL specifiek gestuurd worden op reflectie over de probleemsituatie te wijten aan specifiek gedrag, terwijl we ervan uitgaan dat in de controlegroep gezocht zal worden naar oorzaken van pedagogisch-didactische aard. De structuur van de discussie werd bepaald door de volgorde van de items van het gebruikte instrument, respectievelijke de VIL en het LOF. De discussie duurde 40 minuten. De mentor intervenieerde alleen als de discussie dreigde stil te vallen, studenten te oppervlakkig antwoordden, of als de mentor merkte dat een leraar zich aan het proces onttrok. Na de peer-discussie vulden alle respondenten nog een keer de SJT in als posttest. Tussen de pre- en posttest verliepen vijf dagen. Om onzuiverheden in het onderzoek te vermijden, werd aan alle deelnemende scholen gevraagd om de proeflessen te plannen in de voormiddag en de peer-discussie in de namiddag. Samengevat verliepen de fasen van het onderzoek als volgt (zie Figuur 1): 1) toelichting en kaderschepping naar de onderzoeksgroepen toe, 2) voormeting, 3) proeflessen, 4) invullen van de VIL in de experimentele groep, 5) terugkoppeling naar onderzoeksgroepen tijdens gestructureerde discussie, 6) reflectie resulterend in een natest.

Experimentele groep

Pretest

Oefenles met lesobservatie door peers

Gestructureerde discussie met peers

VIL

Posttest

Effecten van structurering van een peer-discussie op het reflectieproces. 28 Controlegroep Oefenles met lesobservatie door peers

Pretest

Gestructureerde discussie met peers

LOF

Figuur 1. Procedure in controle en experimentele groepen

Hypothesen

De te onderzoeken hypothesen zijn: 1. Het structureren van de peer-discussie middels een observatie-instrument zal helpen om de reflectie op adequaat handelen in probleemsituaties te verbeteren. 2. Het gebruik van de VIL heeft een impact op het reflectieproces, met name de focus op interpersoonlijk gedrag. 3. Een peer-discussie op basis van de VIL zal leiden tot meer structuur in de discussie. 4. De structuur van de peer-discussie heeft een impact hebben op het reflectieproces, met name meer focus op interpersoonlijk gedrag.

Data-analyse

Om de hypothesen te toetsen werd eerst een vergelijking gemaakt tussen de gemiddelden, met name de gemiddelde reactie op probleemsituaties, van de voor- en de nameting, en dit voor alle groepen samen. De afhankelijke variabele (focus op interpersoonlijk handelen in probleemsituaties) komt tot uiting door het verschil in scores voor het ‘interpersoonlijke’ per antwoordmogelijkheid van de SJT’s onderling te vergelijken. Er werd namelijk aan de onderzoekspersonen gevraagd, per item van de SJT, 100 punten te verdelen over de vier antwoordalternatieven. De situatie die zij zouden kiezen, krijgt de meeste punten en de situatie die het minst voor hem/haar voor de hand ligt, krijgt de minste punten. Het verschil tussen de voor- en nameting binnen de totale onderzoeksgroep (experimentele - en controlegroep samen) moet duidelijkheid verschaffen over de impact van de peer-discussie op het reflectieproces.

Posttest

Effecten van structurering van een peer-discussie op het reflectieproces. 29 We gaan er in deze studie echter van uit dat de afhankelijke variabele, met name de scores voor het ‘interpersoonlijke’ in de nameting, beïnvloed wordt door enkele onafhankelijke variabelen en covariabelen. Voorspellingen zijn mogelijk door de volgende variabelen in beschouwing te nemen: 1. De voormeting. Dit is een covariaat om te controleren voor de neiging om via interpersoonlijk handelen te reageren.. 2. Het gebruik van de VIL (experimenteel) of het LOF (controle), verder genoemd de conditie. We verwachten dat de VIL-conditie zal leiden tot meer aandacht voor het interpersoonlijk handelen in de nameting. 3. De wijze waarop het verloop van de peer-discussie is waargenomen, verder genoemd de structuur. We verwachten dat een discussie die ordelijk en gedisciplineerd verloopt tot effectievere resultaten m.b.t. het reflectieproces zal leiden. Vooral bij het gebruik van de VIL zal de aandacht bij het ‘interpersoonlijke’ kunnen gehouden worden. 4. De interactie tussen conditie en structuur . Er wordt verwacht dat het gebruik van de VIL meer structuur brengt in de peer-discussie.

Voor de analyse van de impact van de onafhankelijke variabelen wordt gebruik gemaakt van een regressie-analyse. De volgorde waarin de variabelen in de regressievergelijking worden opgenomen, is cruciaal voor de toetsing van de hypothesen In een bloksgewijze analyse komt eerst de voormeting aan bod, dan het observatie-instrument, daarna het verloop van de discussie gevolgd door de interactie tussen instrument en discussie. Ten slotte wordt de extraversie in ogenschouw genomen. Schematisch kan de analyse als volgt voorgesteld worden: Voormeting SJT Conditie

Interactie

Structuur Extraversie Figuur 2. Variabelen in de studie en de veronderstelde relaties.

Nameting SJT

Effecten van structurering van een peer-discussie op het reflectieproces. 30

2.

Resultaten

Tabel 3. De gemiddelden van de antwoorden op het interpersoonlijk gedrag op de voor- en nameting voor de experimentele - en controlegroep afzonderlijk.

Focus op interpersoonlijk gedrag Controlegroep Experimentele groep

N

Voormeting M SD

N

Nameting M

SD

44

37,72

9,61

44

39,59

10,34

46

37,40

7,02

46

38,57

8,06

Uit Tabel 3 blijkt dat er inderdaad een effect gevonden wordt voor wat betreft de antwoorden met focus op interpersoonlijk gedrag. Inspectie van de relevante gemiddelde van voor- en nameting laat zien dat de focus op interpersoonlijk gedrag binnen heel de onderzoeksgroep duidelijk wijzigt. Er is echter enkel een klein verschil tussen de controle- en experimentele groep. Bij de controlegroep (M/Intvoor = 37,72; M/Intna = 39,59) stijgt de ‘focus op interactie’ sterker dan bij de experimentele groep (M/Intvoor = 37,40; M/Intna = 38,57). Dit impliceert dat hypothese 3, “het gebruik van de VIL heeft een impact op het reflectieproces, met name de focus op interpersoonlijk gedrag”, in dit onderzoek niet kan worden weerhouden.

Tabel 4. Waargenomen structurering in de peergroepen.

discuss N

M

SD

Std. Error Mean

Experimenteel

46

14,00000

1,445299

,213098

Controle

44

9,59091

2,951690

,444984

groep

discuss

Equal variances assumed

t

df

Sig. (2-tailed)

9,061

88

.000

Effecten van structurering van een peer-discussie op het reflectieproces. 31 In hypothese 3 wordt gesteld dat het gebruik van de VIL de structuur van de discussie positief zou beïnvloeden. Deze hypothese wordt door bovenstaande resultaten ondersteund. Binnen de experimentele groep gaf een significant groter aantal (p < 0.05) peergroepsleden inderdaad te kennen dat hun discussie gestructureerd verliep.

Om de hypothesen in het algemeen te toetsen is een regressie-analyse uitgevoerd waarin de predictoren bloksgewijs aan de regressievergelijking zijn toegevoegd. De volgende tabel geeft aan in welke mate toevoeging van predictoren leidt tot een (statistisch) significante verbetering van de voorspelling.

Tabel 5. De resultaten van de regressie-analyse. Mate waarin de hypothesen worden ondersteund. Change Statistics Model

Adjusted R Std. Error of R Square R Square Square the Estimate Change F Change df1 df2

R

Sig. F Change

1

,876a

,768

,766

4,459574

,768

288,325

1

87

.000

2

b

,770

,764

4,471896

,001

,521

1

86

.472

c

,776

,768

4,437840

,006

2,325

1

85

.131

,776

,765

4,461893

,000

,086

1

84

.770

3

,877

,881

4 ,881d Blok 1: voormeting

Blok 2: voegt toe experimentele conditie (groep) Blok 3: voegt toe waargenomen structurering Blok 4: voegt toe interactie tussen conditie en waargenomen structurering

De voormeting (sjtvm) alleen al verklaart 77% van de variantie in de nameting. Geen van de overige predictoren - groep (experimenteel vs controle), p > 0.05; discuss (mate waarin de discussie als gestructureerd wordt waargenomen), p > 0.05; en de interactie (interact) tussen conditie en waargenomen structuur, p > 0.05 - voegt statistisch significant meer verklaarde variantie toe.

Effecten van structurering van een peer-discussie op het reflectieproces. 32 Tabel 6. Regressiecoëfficiënten.

Standardized Unstandardized Coefficients Coefficients Model

B

(Constant)

Std. Error

-1,045

3,773

sjtvm

,984

,058

groep

-2,600

discuss interact

t

Beta

Sig.

-,277

.783

,892

16,897

.000

2,203

-,142

-1,180

.241

,319

,210

,111

1,522

.132

,006

,020

,032

,293

.770

Afhankelijke variabele: nameting (sjtnm) Voor het model als geheel geldt dat behalve bij de voormeting geen der regressiecoëfficiënten significant groter dan nul is.

De in de volgende tabel weergegeven correlaties bevestigen het beeld dat er een sterke correlatie is tussen de resultaten van de voor- en nameting, maar dat de correlatie met de groep, de structuur en de interactie tussen groep en structuur te verwaarlozen is.

Tabel 7. Pearson correlaties.

sjtnm

sjtvm

groep

discuss

interact

sjtnm

1.000

.876

-.045

-.090

-.077

sjtvm

.876

1.000

-.009

-.136

-.057

groep

-.045

-.009

1.000

.693

.878

discuss

-.090

-.136

.693

1.000

.609

interact

-.077

-.057

.878

.609

1.000

Effecten van structurering van een peer-discussie op het reflectieproces. 33 Conclusie en discussie In het zog van de in dit werk eerder aangehaalde onderwijsontwikkelingen was het doel van dit onderzoek na te gaan of een peer-discussie tussen beginnende leraren, naar aanleiding van een lesobservatie, het reflectieproces van deze leraren beïnvloedt. Daarnaast is onderzocht of het gebruik van de Vragenlijst Interpersoonlijk Lerarengedrag (VIL) (Wubbels, Créton en Hooymayers, 1985) de focus op de interactieprocessen met de leerlingen verhoogt.

Hypothese 1 waarin werd gesteld dat het structureren van de peer-discussie middels een observatie-instrument zal helpen om de reflectie op adequaat handelen in probleemsituaties te verbeteren, wordt door de resultaten ondersteund. Zowel in de experimentele als in de controlegroep stijgt de focus op interpersoonlijk handelen. Hypothese 2 stelde dat het gebruik van de VIL de focus op interpersoonlijk gedrag verhoogt. Deze hypothese is getoetst middels blok 2 waaruit blijkt dat dit blok geen statistisch significante toename van de verklaarde variantie voor zijn rekening neemt. Uit deze bevinding kan dan ook afgeleid worden dat de peer-discussie op basis van de VIL de focus op interpersoonlijk gedrag niet significant verhoogt. Dit in contrast tot eerder onderzoek (Lourdusamy en Khine, 2001; Wubbels et al., 1995) waarin het gebruik van de VIL de focus op interactiepatronen in de klas positief beïnvloedde. Hypothese 3 stelt dat een peer-discussie op basis van de VIL zal leiden tot meer structuur in de discussie. Deze hypothese wordt door de resultaten bevestigd. Hypothese 4 wordt echter niet ondersteund door de onderzoeksresultaten. In deze studie heeft de structuur van de discussie geen significante invloed op het reflectieproces, met name de focus op interpersoonlijk handelen.

We kunnen dus stellen dat het structureren van een peer-discussie middels een vragenlijst een positieve impact heeft op het reflectieproces m.b.t. het interpersoonlijk handelen. Daarnaast nemen de experimentele groepen de discussies als meer gestructureerd waar. Dit vertaalt zich echter niet direct in hogere scores op de nameting. We kunnen ons hierbij afvragen of het contrast tussen de experimentele en de controle condities wel groot genoeg was. Door tijdsdruk en de bekommernis om de scholen niet te veel planlast te bezorgen, bestond immers het gevaar dat de onderzoeksgroepen overhaast en onzorgvuldig werden samengesteld.

Effecten van structurering van een peer-discussie op het reflectieproces. 34 Verder is het gebruikte instrument (SJT) zelf ontworpen, maar wegens de hierboven genoemde redenen nooit vooraf uitgeprobeerd wat de validiteit van het instrument in vraag stelt. In alle onderzoeksgroepen werd er in de voormeting reeds opvallend veel voor het “interpersoonlijk (IP) alternatief” gekozen. Waar idealiter de IP score op 25% zou moeten liggen, blijkt hij in dit onderzoek op 40% te zitten. De vooropgestelde alternatieven hadden blijkbaar niet dezelfde aantrekkingkracht. Dit duidt op twee tekortkomingen: (a) er zijn nauwelijks echte alternatieven, m.a.w. de test discrimineert onvoldoende. Of dat nu komt door sociale wenselijkheid of door andere factoren is niet duidelijk. (b) het onderzoek loopt tegen een plafondeffect aan: de IP scores in de voormeting zijn al heel hoog; ze kunnen nauwelijks nog hoger worden in de nameting.

Bovenstaande bedenkingen moeten zeker meegenomen worden bij vervolgonderzoek. Dit betekent dat de experimentele en controlesettings nauwkeuriger moeten ingericht worden met het oog op meer contrasterend effect. Verder moet ook aandacht gaan naar de SJT. De antwoordmogelijkheden per item moeten minder doorzichtig geformuleerd worden en een meer discriminerend karakter ten opzichte van elkaar hebben.

Naast de hoger beschreven aantoonbare factoren, zou ook de deskundigheid van de mentor, bijvoorbeeld belangrijk voor de peer-discussie, en de schoolcultuur (open versus gesloten) dit onderzoek kunnen hebben beïnvloed. Dit werd echter niet verder onderzocht. Uit de verzamelde data komt overigens naar voren dat het verloop van de peer-discussie sterk varieert tussen de scholen. Daarnaast moet opgemerkt worden dat de beginnende leraren, die aan huidig onderzoek deelnamen, echter ad random waren gekozen op basis van dienstanciënniteit en beschikbaarheid. Het is dan ook niet ondenkbaar dat deze leraren niet over de benodigde vaardigheden en ervaring m.b.t. peer-assessment beschikten om volwaardig aan de peer-discussie te participeren. Met betrekking tot de betreffende studie gaven de aan het onderzoek participerende leerkrachten tijdens gesprekken aan dat de tijd die werd voorzien voor de peer-discussie (40’) te kort was om voldoende informatie te verstrekken om het reflectieproces te beïnvloeden. Verder kan het tijdstip waarop het onderzoek plaats vond in vraag worden gesteld. De maand maart was volgens sommigen niet geschikt omdat het schooljaar dan reeds ver gevorderd is, en het dan ook niet ondenkbaar is dat, in het kader van mentorschap, de beginnende leraren

Effecten van structurering van een peer-discussie op het reflectieproces. 35 reeds enkele bijsturingen achter de rug hebben waardoor het gevaar bestond dat tijdens de peer-discussie geen nieuwe informatie werd aangedragen. Verder is met betrekking tot de in deze studie voorgestelde methodiek enige terughoudendheid op z’n plaats. Peers mogen dan in staat zijn waardevolle feedback te geven over de manier van lesgeven van collega’s, omwille van subjectiviteit is hun zienswijze op dat vlak niet altijd even betrouwbaar. Bovendien zullen collega’s, gezien de tijdsinvestering, nooit het aantal lessen, nodig voor een behoorlijke evaluatie, kunnen bijwonen, en bestaat het gevaar dat de lesgever zich anders zal gedragen door de aanwezigheid van andere leraren. Anderzijds zijn collega’s dan weer goed geplaatst om commentaar te geven op de lesvoorbereiding, het ontwerp, de wijze van evalueren en andere aspecten van het klasmanagement.

Op basis van het voorgaande kunnen we ons afvragen of de resultaten van het onderzoek m.b.t. het gebruik van de VIL of een ander observatie-instrument tijdens een peer-discussie mogen gegeneraliseerd worden naar alle scholen in het secundair onderwijs, en of er dus sprake kan zijn van externe validiteit. Vooreerst is de steekproef vrij beperkt. Het onderzoek werd slechts uitgevoerd in zeventien scholen, die op vrijwillige basis geselecteerd werden op basis van de aanwezigheid van voldoende beginnende leraren. Andere selectiecriteria zoals ‘deskundigheid van de mentor’, ‘ervaring met peer-assessment’ en ‘effectiviteit van de school als leeromgeving’ werden niet gehanteerd wegens het niet halen van de noodzakelijke quota m.b.t. de onderzoekseenheden. Daarnaast is het gevonden effect bij gebruik van de VIL tijdens de discussie in zekere mate afhankelijk van de gebruikte meetinstrumenten. Voor de effectmeting werd gebruik gemaakt van een situationele beoordelingtest. Het gebruik van dit meetinstrument brengt zekere risico’s met zich mee. Duidelijke richtlijnen voor het ontwikkelen van SJT’s zijn er immers niet (Lievens en Coetsier, 2002). Zo is er bijvoorbeeld een validiteitsprobleem. Percipiëren opsteller en respondenten de beschreven situaties wel op dezelfde wijze? Welke rol spelen cultuurverschillen, opvoeding, opleiding of andere contextuele factoren hierbij? (McDaniel en Nguyen, 2001). We kunnen echter zeggen dat de bevindingen in dit onderzoek toch van belang kunnen zijn voor het begeleiden en ondersteunen van beginnende leraren. We gingen namelijk na of een peer-discussie na een lesobservatie, al dan niet op basis van de VIL, het reflectieproces van de peers beïnvloedt. Het effect dat uit deze studie naar voren kwam, is dat de VIL

Effecten van structurering van een peer-discussie op het reflectieproces. 36 structurerend werkt m.b.t. de peer-discussie. Dit kan van belang zijn wanneer scholen beslissen om peer-discussies toe te passen waarbij leraren elkaar feedback geven over hun functioneren. Immers, bij onderzoek rond ‘intervisie’ werd vastgesteld dat structuur de effectiviteit van een discussie verhoogt (van Tilburg en Gielen, 2005). Hoewel de huidige studie niet de verwachte resultaten opleverde, moet de tijdens het onderzoek gehanteerde methodiek niet zomaar verworpen worden. Door beginnende leraren onderling te laten afspreken om gedurende een periode elkaars lessen bij te wonen en hierop feedback te geven, krijgt de mentor immers meer tijd voor competentieontwikkeling en begeleiding van de beginnende leraren in plaats van het louter evalueren. Daarnaast leverde gesprekken met de participanten, met betrekking tot de assessmentmethodiek, met name het bijwonen van elkaars lessen en hierop feedback geven, over heel de lijn positieve feedback op. Omdat de assessment niet gebeurde in functie van evaluatie van het lesgeven maar in functie van verbetering van het lesgeven, werden vooral de sfeer van vertrouwen en de open dialoog tijdens de peer-discussie enorm geapprecieerd. Op de vraag of ze bereid zijn de gehanteerde methodiek in de toekomst verder te zetten, werd door de meeste respondenten positief geantwoord

Ten slotte kan deze studie enigszins vernieuwend worden genoemd. In de participerende scholen beperkte peer-assessment zich in het verleden slechts tot enkele samenkomsten van de beginnende leraren per jaar om, onder leiding van de mentor, problemen met het lesgeven te bespreken. Het bijwonen van elkaars lessen en hierop feedback te geven middels een gestructureerde discussie is dus een nieuw gegeven. Dankzij deze methodiek is het overigens mogelijk om bepaalde aspecten van het lesgeven apart te belichten. Zo kan aan de peers gevraagd worden om enkel hun mening te geven over de inhoud van de les, de gebruikte werkvormen, de didactische aanpak of, zoals in deze studie het geval was, de interactie met de leerlingen.

Effecten van structurering van een peer-discussie op het reflectieproces. 37 Bibliografie Atkins, A. O. (1996). Teacher’s opinions of the teacher evaluation process. ERIC Document Reproduction Services No. ED 398 628. Bachrudin, M. (1995). Assessing and Assisting Novice Teachers: A Framework for Staff Development. Ohio: The Ohio University. Barth, R. S. (1990). Improving schools from within. San Francisco, Josey-Bass. Bents, M., & Gardner, W. (1992). Good teaching: Some views and prototypes. Action in Teacher Education, 14(2), 38-42. Brandt, R. (1996). On a new direction for teacher evaluation: A conversation with Tom McGreal. Educational Leadership, 53(6), 30-33. Bullard, B (1998). Teacher Self Evaluation. Paper presented at the annual meeting of the Mid-South Education Research Association, New Orleans, LA, November 6. Coonen, H. W. A. M. (2005). De leraar in de kennissamenleving. Heerlen, The Netherlands: Open University of the Netherlands. Creemers, B. (1994). The Effective Classroom. London: Cassell. Créton, H. A., Wubbels, T., & Hooymayers, H. P. (1989). Escalated disorderly situations in the classroom and the improvement of these situations. Teaching and Teacher Education, 5, 205-215. De Man, H., Coun, M., & Karsten, L. (1998). Organisatie en management: Kennismaking met de organisatiekunde. Utrecht: Lemma. Den Brok, P., Fisher, D., Brekelmans, M., Rickards, T., Wubbels, T., Levy, J., & Waldrip, B. (2003). The Cross national Validity of Students’ Perceptions of Science Teachers’ Interpersonal Behavior. Paper presented at the annual meeting of the National Association for Research in Science Teaching, Philadelphia, PA, March 23-26. Goldberg, L.R. (1992). The development of markers for the big-five factor structure. Psychological Assessment, 4, 26-42. Gomez, M.L. (1990). Reflections on research for teaching: Collaborative inquiry with a novice teacher. Journal of Education for Teaching, 16(1), 45-55. Gonczi, A. (1994). Competency based assessment in the professions in Australia. Assessment in Education,1(1), 27-44. Gorrell, J. & Capron, E. (1991). Cognitive modeling and self-efficacy: Effects on preservice teachers’ learning of teaching strategies. Journal of Teacher Education, 41(4), 3-14. Houston, W.R. (1974). Exploring Competency Based Education. Berkeley (CA): McCutchan.

Effecten van structurering van een peer-discussie op het reflectieproces. 38 Huang, H.-J. (2001). Professional development through reflection: A study of pre-service teachers’ reflective practice. International Electronic Journal for Leadership in Learning, 5(6), 47-59. Jackson, J. H., & Greller, M. M. (1998). Decision elements for using 360 degree feedback. Human Resource Planning, 21(14), 1-2. Jonge leraars in de woestijn. (2003). Klasse voor Leerkrachten, 135, p. 36-37. Kasworm, C., & Marienau, C. A. (1997). Principles for assessment of adult learning. New Directions for Adult and Continuing Education, 75, 5-16. Katz, L. (1977). Talk with teachers. Washington, D.C.: National Association for the Education of Young Children. Lasater, C. A. (1994). Observation feedback and analysis of teaching practice: Case studies of early childhood student teachers as peer tutors during a preservice teaching practicum. Dissertation Abstracts International, 55, 1916. Leren van je collega’s (1997). Klasse voor Leerkrachten, 77, p. 32-33. Levine, D.U., & Lezotte, L.W. (1990). Unusually Effective Schools: A review and Analysis of Research and Practice. Madison, WI: National Center for Effective Schools Research and Development. Lievens, F. & Coetsier, P. (2002). Situational tests in student selection: An examination of predictive validity adverse impact, and construct validity. International Journal of Selection and Assessment, 10(4), 245-257. Lourdusamy, A., & Khine, M. S. (2001). Self-evaluation of interpersonal behaviour and classroom interaction by teacher trainees. Paper presented at the International Educational Research Conference, University of Notre Dame, Fremantle, Western Australia, December 2-6. Magez, W., Wuyts, R., & Graindourze, L. (2002). Ze zijn zo lastig, meneer: Storend gedrag in de klas bekeken door de bril van leerlingen en leraars. Caleidoscoop, 16(4), 2-9. McDaniel, M.A., & Nguyen, N.T. (2001). Situational judgement tests: A review of practice and constructs assessed. International Journal of Selection and Assessment, 9, 103-113. Ministerie van de Vlaamse Gemeenschap (1998). Besluit van de Vlaamse regering betreffende de basiscompetenties van de leraren. Brussels, Belgium: Ministerie van de Vlaamse Gemeenschap.

Effecten van structurering van een peer-discussie op het reflectieproces. 39 Ministerie van de Vlaamse Gemeenschap (2006). Voorontwerp van decreet betreffende de lerarenopleidingen in Vlaanderen. Brussels, Belgium: Ministerie van de Vlaamse Gemeenschap. Pelkmans, A. (1998). Evaluatie van leraren en schoolleiders. Wageningen: Vakgroep Agragische Onderwijskunde. Segers, M. (2004). Assessment en leren als een twee-eenheid: Onderzoek naar de impact van assessment op leren. Tijdschrift voor Hoger Onderwijs, 22(4), 188-219. Stiggins, R. J. (1986). Teacher evaluation: Accountability and growth system-different purposes. NASSP Bulletin, 70, 51-58. Straetmans, G. J. J. M., & Sanders, P. F. (2001). Beoordelen van competenties van docenten. [The assessment of teachers’ competencies]. Brochure uitgegeven door het Landelijk Programmamanagement Educatief Partnerschap van de HBO-raad. Straetmans, G., Sluijsmans, D., Bolhuis, B., & Merriënboer, J. van.(2003). Integratie van instructie en assessment in competentiegericht onderwijs. [Integrating instruction and assessment in competency-based education]. Tijdschrift voor Hoger Onderwijs, 21(3), 171-197. Sluijsmans, D., Dochy, F., & Moerkerke, G. (1998). Creating a learning environment by using self-, peer- and co-assessment. Learning Environments Research, 1, 293-319. Tilburg, M. van, & Gielen, E. (2005). Reflectie door intervisie. Onderwijsinnovatie, 1, 36-38. Topping, K. (2003). Self and peer assessment in school and university: Reliability, validity and utility. In M. Segers, F. Dochy, & E. Cascallar, (Eds.). Optimizing new modes of assessment: In search of qualities and standards (p. 55-87). Dordrecht, The Netherlands: Kluwer Academic Publichers. Van Heck, G. L., Perugini, M., Caprara, G. V., & Froeger, J. (1994). The Big Five as tendencies in situations. Personality and Individual Differences, 16, 715-731. Varah L. J., Theune W. S., & Parker L. (1986). Beginning teachers: Swim or sink? Journal of Teacher Education (January-February), 30-34. Veenman, S. A. M. (1984). Perceived problems of beginning teachers. Review of Educational Research, 54, 143-178. Weaver, R., & Cotrell, H. W. (1986). Peer evaluation: a case study. Innovative Higher Education, 11(1), 25-39. Wubbels T., Créton, H. A., & Hooymayers, H. P. (1985). Discipline problems of beginning teachers, interactional behaviour mapped out. Paper presented at the American

Effecten van structurering van een peer-discussie op het reflectieproces. 40 Educational Research Association annual meeting, Chicago. Abstracted in Resources in Education, 20( 12), 153. Wubbels, T., & Levy, J. (Ed) (1993). Do You Know What You Look Like? Interpersonal Relationships in Education. United kingdom: The Falmer Press. Wubbels, T., Tartwijk van, J., & Brekelmans, M. (1995). An interpersonal perspective on teacher behaviour in the classroom. Paper presented at the European Conference on Educational Research (ECER), Bath, UK. Yates, J. A. (1982). The effects of peer feedback and self-monitoring on student teachers’ use of specific praise. Dissertation Abstracts International, 43, 2321. Zahoric, J. A. (1986). Acquiring teaching skills. Journal of Teacher Education, March-April, 21-25.

Effecten van structurering van een peer-discussie op het reflectieproces. 41

Bijlagen Bijlage 1: Situationele beoordelingstest

Geslacht: V / M (schrappen wat niet past) Leeftijd: ………… Aard van het vak:

AV

/ TV en/of PV

(schrappen wat niet past)

Hieronder vind je 33 (lastige) klassituaties die de ordehandhaving in de klas kunnen beïnvloeden. Geef aan, door honderd punten te verdelen over de vier alternatieven (de meeste punten geef je aan de reactie die het dichtst bij jou manier van werken aanleunt), hoe je tegenover de verschillende handelingswijzen staat. Situatie 1: Vrijdagnamiddag, het laatste uur, zijn de leerlingen meestal uitgelaten. Hoe pak je dit aan om toch aan de les te kunnen beginnen?



Het is het laatste uur van de schoolweek. Je zet een filmpje op.



Je zoekt even een collega op om uit te zoeken hoe hij/zij dit aanpakt.



Je organiseert groepswerk.



In het verleden stelde je je nogal slap op t.o.v. zulke situaties. Je besluit strenger op te treden.

Situatie 2: Een leerling is aan het sms’en. Na een opmerking van jou doet hij toch nog verder en weigert z’n gsm af te geven. Hoe reageer jij?



Na de les vraag je de leerling te blijven voor een gesprek.



Je laat de directeur halen.

Effecten van structurering van een peer-discussie op het reflectieproces. 42



Je schrijft een nota voor de ouders in de agenda van de leerling.



Je laat de betrokken leerling het schoolreglement lezen.

Situatie 3: Hoe vermijd je dat leerlingen onder elkaar gaan praten tijdens de les.



Je zet de lastige leerlingen alleen aan een bank.



Wanneer dit zich voordoet, introduceer je andere werkvormen die de les boeiender maken.



Je maakt samen met de leerlingen een gedragscode met duidelijke afspraken.



Je verandert de opstelling van de banken zodat dit moeilijk wordt.

Situatie 4: Met de leerlingen wordt afgesproken hun hand op te steken wanneer ze iets willen vragen. Toch zijn er verschillende leerlingen die voortdurend door de klas blijven roepen. Hoe pak je dit aan?



Je zet de roepende leerlingen aan een bank vooraan in de klas.



Je zoekt uit of de leerlingen ook in andere lessen hun hand moeten opsteken.



Je herhaalt gewoon de afspraak en wijst op de gevolgen bij overtreding.



Je verwijdert de leerlingen die roepen.

Situatie 5: Er is een leerling die de bank vol schrijft. Wat doe je?



Je vraagt de leerling er mee op te houden en legt uit waarom het ongepast is op de bank te schrijven.

Effecten van structurering van een peer-discussie op het reflectieproces. 43



Je wacht tot na de les en laat dan de bank schoonmaken door de leerling.



Je laat de leerling achteraan in de klas rechtstaan.



Je negeert de situatie, het zijn toch oude banken.

Situatie 6: Een moeilijke klas. Altijd bereid lol te trappen. Wie z’n best doet, wordt uitgelachen. Hoe reageer je hierop?



Je geeft elke leerling zelf een plaats in de klas.



Je houdt elke les een toets.



Je vraagt de leerlingen op te schrijven waarom ze zich zo gedragen.



Lawaaimakers moeten nablijven.

Situatie 7: Hoe vermijd je dat tijdens individueel werk je schrijftafel voortdurend wordt ingesloten door wachtende leerlingen.



Je besluit rond te wandelen in de klas.



Je geeft minpunten voor wie aan je tafel staat.



Je geeft extra werk voor wie klaar is.



Je verwittigt de leerlingen niet meer te zullen reageren op wie aan je schrijftafel staat.

Situatie 8: De leerlingen zijn aan het werk, individueel of in groep, maar nu wil je dat ze ophouden. Zelfs na enkele verwittigingen, blijven sommige leerlingen verder werken. Wat doe je?

Effecten van structurering van een peer-discussie op het reflectieproces. 44



Wie nog verder werkt, krijgt extra huiswerk.



Je gaat gewoon verder met de les.



Je herhaalt je vraag op een andere plaats in het klaslokaal.



Je legt uit dat ze later nog tijd krijgen om verder te werken.

Situatie 9: Je geeft instructies voor een opdracht. Een van de leerlingen vraagt voor de derde keer wat nu precies van hem wordt verwacht. Hoe reageer je hierop?



Je schrijft de opdracht op het bord.



Je vraag wat de leerling in kwestie niet begrijpt.



Je geeft een andere (gemakkelijkere) opdracht aan deze leerling.



Je negeert de leerling omdat je vindt dat hij zich aanstelt.

Situatie 10: Door het geroezemoes in de klas gaan de leerlingen luider en luider praten. Hoe los je dit op?



Je legt de les stil en wacht tot het geroezemoes stopt.



Je gaat zelf luider praten zodat iedereen je zou horen.



Je geeft de leerlingen individueel werk voor punten.



Je reageert niet.

Situatie 11:

Effecten van structurering van een peer-discussie op het reflectieproces. 45 Hoe speel je in op een klas die nooit meewerkt en waarvoor elke moeite te veel is?



Je organiseert zoveel mogelijk groepswerk.



Je organiseert een kringgesprek om te weten te komen wat de leerlingen dwars zit.



Je geeft extra huiswerk .



Je schrijft dan maar telkens het bord vol en laat de leerlingen alles overschrijven.

Situatie 12: Terwijl je een leerling voorthelpt, beginnen andere leerlingen te praten. Wat doe je?



Je verwittigt de leerlingen dat er straf volgt als ze niet zwijgen.



Je zet de pratende leerlingen uit elkaar.



Je geeft de pratende leerlingen extra werk.



Je negeert ze.

Situatie 13: Hoe zorg je ervoor dat alle leerlingen hun huiswerk maken?



Je maakt duidelijk wat de gevolgen zijn als huiswerk niet wordt gemaakt.



Je vindt huiswerk niet noodzakelijk.



Je geeft geen te moeilijke opdrachten.



De leerlingen mogen het huiswerk in de klas maken.

Situatie 14: De leerlingen van deze klas komen systematisch «en bloc» te laat binnen. Hoe zorg je ervoor

Effecten van structurering van een peer-discussie op het reflectieproces. 46 dat dit verandert?



Je zoekt uit wat de reden is voor het te laat komen.



Je denkt na over hoe je je lessen boeiender kan maken.



De haalt de leerlingen op na de vorige les.



Je laat de leerlingen nablijven als ze te laat zijn.

Situatie 15: Een leerling vraagt om uitleg, maar luistert niet naar het antwoord dat je geeft. Hoe reageer je?



Je vraagt de leerling om je antwoord te herhalen.



Je wandelt tot bij de leerling en herhaalt je antwoord.



Je gaat ervan uit dat deze leerling haantje-de-voorste wil zijn en je doet of je het voorval niet gezien hebt.



Je schrijft het antwoord op het bord.

Situatie 16: Het staat in het schoolreglement dat het dragen van hoofddeksels verboden is. Toch is er een leerling die z’n pet op houdt in de les. Wat doe je?



Je reageert niet omdat je vindt dat het schoolreglement moet worden aangepast.



Je wijst de leerling op de afspraken in het schoolreglement.



Je laat de leerling het schoolreglement overschrijven.

Effecten van structurering van een peer-discussie op het reflectieproces. 47



Je stuurt de leerling naar de directie.

Situatie 17: Hoe regeer je als plots twee leerlingen elkaar beginnen uit te schelden?



Je stuurt hen elk afzonderlijk naar een collega tot na de les en roept ze dan terug voor een gesprek.



Je roept de hulp van een andere leraar in.



Je reageert niet om erger te voorkomen.



Je deelt strafwerk uit.

Situatie 18: Een leerling is jarig. Hij heeft gebak bij en vraagt of hij dit mag delen met de andere leerlingen. Wat doe je?



Je zegt dat eerst de leerstof van vandaag moet afgewerkt zijn.



Je onderbreekt de les en organiseert een klein verjaardagsfeestje.



Je gaat niet in op de vraag van de leerling om niet voor overlast te zorgen.



Je neemt het gebak in bewaring tot na de les.

Situatie 19: Aan deze leerling heb je al honderd keer dezelfde opmerking gegeven. Het helpt telkens maar voor even. Hoe los je dit op?



Je verwittigt de leerling dat er sancties zullen volgen.



Je roept de hulp van het CLB in.

Effecten van structurering van een peer-discussie op het reflectieproces. 48



Je geeft het op, je opmerkingen hebben toch niet het gewenste resultaat.



Je zet de leerling vooraan in de klas.

Situatie 20: Wanneer leerlingen in groep werken, bestaat de kans dat dit rumoerig en rommelig verloopt. Hoe vermijd je dit?



Je organiseert zo weinig mogelijk groepswerk.



Dit is inherent aan groepswerk. Zolang de leerlingen goed werk leveren, grijp je niet in.



Je verandert de opstelling van de banken.



Je vindt dit niet erg, je bent zelf chaotisch van aard.

Situatie 21: Als je een leerling vraagt om te zwijgen, reageert deze verontwaardigd. Wat doe je?



Je reageert niet, je vindt dat het probleem bij de leerling ligt.



Telkens als de leerling praat, roep je deze aan het bord voor een oefening.



Je besluit de leerling op een andere manier het zwijgen op te leggen, bijvoorbeeld met een grapje.



Je zet een nota in de agenda van de leerling.

Situatie 22: Een leerling boert opzettelijk in de klas, snuift meermaals: hij beseft niet wat kan en wat niet kan. Hoe speel je hierop in?



Je maakt aan de leerling duidelijk dat zijn gedrag ongepast is.

Effecten van structurering van een peer-discussie op het reflectieproces. 49



Je zet de leerling aan de deur.



Je negeert zijn gedrag, hij beseft immers niet dat dit niet kan.



Je stuurt de leerling naar de leerlingenbegeleider.

Situatie 23: Het gebeurt al eens dat leerlingen de gewoonte hebben bij het belsein de boeken te sluiten, zelfs als de les nog niet is afgelopen. Hoe vermijd je dit?



Je besluit de leerstofonderdelen in te korten.



Je maakt aan de leerlingen duidelijk wie bepaalt wanneer de les is afgelopen, en waarom.



Je vindt dat de leerlingen gelijk hebben, het belsein betekent inderdaad het einde van de les.



Je let goed op de tijd.

Situatie 24: In deze klas maken leerlingen er een gewoonte van spullen van elkaar af te pakken en te verstoppen. Wat doe je?



De leerlingen mogen niets meer op de bank laten liggen.



Je stelt de directie hiervan op de hoogte.



Wie betrapt wordt, wordt gesanctioneerd.



Via een leergesprek probeer je de leerlingen bewust te maken van het hinderlijke van dit gedrag.

Effecten van structurering van een peer-discussie op het reflectieproces. 50 Situatie 25: Telkens je een opdracht geeft, vragen enkele leerlingen: “Is het voor punten?” Wat doe je hier aan?



Al wie dit vraagt, krijgt minpunten.



Je spreekt af vooraf te zeggen of er punten worden gegeven.



Je besluit voor alle opdrachten punten te geven.



Je antwoordt niet op deze vraag.

Situatie 26: Leerlingen lokken steeds een discussie uit als je opmerkingen maakt. Hoe maak je hier een einde aan?



Je maakt hier geen einde aan. Je vindt dat ieder recht heeft op een mening.



Je reageert niet.



Leerlingen die een discussie willen starten, zet je voor schut.



Je maakt duidelijk dat zulke discussies na de les moeten.

Situatie 27: Het kan gebeuren dat het lang duurt voor een les kan beginnen omdat de leerlingen niet uit eigen beweging zwijgen. Hoe anticipeer je hierop?



Wanneer ze wel uit eigen beweging zwijgen, mogen de leerlingen film kijken.



Voor ze de klas binnen komen, wordt nogmaals aan de leerlingen duidelijk gemaakt wat van hen wordt verwacht.



De leerlingen mogen niet gaan zitten voor ze zwijgen.

Effecten van structurering van een peer-discussie op het reflectieproces. 51



Je begint de les met een onverwachte toets.

Situatie 28: Wat doe je met leerlingen die onbeleefd reageren?



Hen attent maken op de gevolgen van hun gedrag.



Negeren.



Strafwerk geven.



De deur wijzen.

Situatie 29: Twee leerlingen zitten met de rug naar het bord. Nadien vraagt een van de leerlingen uitleg over iets wat je vertelde terwijl zij zaten te praten. Wat doe je?



Je zet de leerlingen op een andere plaats zonder een antwoord te geven.



Je verwijst naar het hoofdstuk waar meer uitleg kan gevonden worden.



Je beantwoordt de vraag van de leerling zonder meer.



Je negeert de vraag.

Situatie 30: Hoe reageer je op een klas waar de leerlingen zich gedragen alsof je onzichtbaar bent, en waar je gewoon geen vat op hebt?



Je laat de leerlingen veel schrijven.



Je vraagt aan de leerlingen waarom zij zich zo gedragen.

Effecten van structurering van een peer-discussie op het reflectieproces. 52



Je geeft meer groepswerk dan in andere klassen.



Je vraagt collega’s om raad.

Situatie 31: Hoe vermijd je dat leerlingen hun boeken en schriften vergeten?



Wie zijn boek of schrift vergeet moet alles later over schrijven.



De leerlingen mogen hun schriften en boeken in de klas laten.



Hierover worden in het begin van het schooljaar duidelijke afspraken gemaakt.



Dit is niet te vermijden. Leerlingen zijn nu eenmaal vergeetachtig.

Situatie 32: Hoe pak je leerlingen aan die elke keer als ze van jou les hebben naar het toilet moeten?



Je maakt duidelijk dat de leerlingen naar het toilet voor de les.



Je consulteert het CLB of er problemen zijn met deze leerling.



Je laat ze gewoon gaan tijdens de les.



Om de orde niet te verstoren mag niemand naar het toilet gaan tijdens de les.

Situatie 33: Er vliegen geregeld gommen, pennen en andere projectielen door de klas. Hoe ga je dit aanpakken?



Je wandelt veel door de klas en kijkt de leerlingen aan.



Strafwerk voor wie betrapt wordt.

Effecten van structurering van een peer-discussie op het reflectieproces. 53



Je schrijft niet meer op het bord, maar dicteert alles.



Je spreekt met de directie af geen les meer te geven zolang deze situatie aanhoudt.

Effecten van structurering van een peer-discussie op het reflectieproces. 54

Bijlage 2: Lesobservatieformulier (LOF)

1. Lesverloop Lesstructuur: introductie opbouw en afsluiting Klasmanagement –leraar als regisseur: instructie – activerende werkvormen beheersing tijd en taal leiding en gezag: tucht-organisatie stiptheid houding leraar Interactie met leerlingen:

2. Vakdidactische bekwaamheid Beheersing van de leerstof: leerstof aanbrengen van de leerstof vakoverschrijdend aanpak Gebruik van beschikbare didactische middelen: bordschikking ICT /multimedia /audio-video /overhead cursus /handboeken / toestellen / aanschouwelijk mat.erieel 3. Pedagogische bekwaamheid Leerlinggerichtheid: aandacht voor leerlingen motiveren van leerlingen Bevorderen van actief leerproces: stimuleren van het actieve leerproces stimuleren van individuele leerling stimuleren kritisch denken Omgaan met verschillen: competenties taal Evaluaties: evaluatieproces correctie en remediëring 4. Lesbespreking Positieve aspecten:

opmerkingen 1 1

2 2

3 3

4 4

1 1 1 1 1

2 2 2 2 2

3 3 3 3 3

4 4 4 4 4

1

2

3

4

1 1 1

2 2 2

3 3 3

4 4 4

1 1 1

2 2 2

3 3 3

4 4 4

1 1

2 2

3 3

4 4

1 1 1

2 2 2

3 3 3

4 4 4

1 1

2 2

3 3

4 4

1 1

2 2

3 3

4 4

Werkpunten:

Effecten van structurering van een peer-discussie op het reflectieproces. 55 Bijlage 3: Betrouwbaarheidsanalyse van de Situationele Beoordelingstest (SJT).

A - Itemanalyse van de Situationele Beoordelingstest: output SPSS-viewer – 33 items R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) Mean

Std Dev

Cases

1.

STJ1VMD

25,2326

20,6641

86

2.

SJT2VMA

44,2442

18,5269

86

3.

SJT3VMC

32,2674

20,8024

86

4.

SJT4VMC

51,2209

18,0837

86

5.

SJT5VMA

44,9419

17,3459

86

6.

SJT6VMC

24,2442

19,4107

86

7.

SJT7VMD

14,4767

15,5682

86

8.

SJT8VMD

42,7907

23,7215

86

9.

SJT9VMB

49,5930

18,3946

86

10.

SJT10VMA

43,7209

19,9291

86

11.

SJT11VMB

42,9651

23,6814

86

12.

SJT12VMA

29,1047

20,7818

86

13.

SJT13VMA

43,5465

21,3908

86

14.

SJT14VMA

44,9419

19,2735

86

15.

SJT15VMA

41,4535

20,7204

86

16.

SJT16VMB

55,0000

16,8558

86

17.

SJT17VMA

37,5000

19,6551

86

18.

SJT18VMA

36,1047

20,9678

86

19.

SJT19VMA

36,2209

21,5015

86

20.

SJT20VMB

45,7558

19,6815

86

21.

SJT21VMC

41,2791

21,1880

86

22.

SJT22VMA

49,0698

18,3834

86

23.

SJT23VMB

41,2209

22,7381

86

24.

SJT24VMD

37,7326

21,9445

86

25.

SJT25VMB

39,0116

22,7237

86

26.

SJT26VMD

42,9070

21,0247

86

27.

SJT27VMB

49,7674

22,2672

86

28.

SJT28VMA

42,8488

20,4729

86

29.

SJT29VMB

42,5581

23,5615

86

30.

SJT30VMB

30,5233

20,8500

86

Effecten van structurering van een peer-discussie op het reflectieproces. 56 31.

SJT31VMC

39,1860

22,4376

86

32.

SJT32VMA

25,2907

23,8790

86

33.

SJT33VMA

41,5698

24,4018

86

Statistics for SCALE

Mean

Variance

Std Dev

N of Variables

1308,2907

37084,6792

192,5738

33

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) Item-total Statistics Scale

Corrected

Mean

Variance

Item-

Alpha

if Item

if Item

Total

if Item

Deleted

Deleted

Correlation

Deleted

STJ1VMD

1283,0581

37303,4672

-,0809

,6490

SJT2VMA

1264,0465

34990,7743

,2526

,6212

SJT3VMC

1276,0233

34611,3406

,2636

,6194

SJT4VMC

1257,0698

35442,1833

,1932

,6260

SJT5VMA

1263,3488

35950,8181

,1266

,6310

SJT6VMC

1284,0465

34353,2449

,3272

,6146

SJT7VMD

1293,8140

35469,2120

,2342

,6238

SJT8VMD

1265,5000

33520,5588

,3455

,6099

SJT9VMB

1258,6977

39498,8016

-,3765

,6680

SJT10VMA

1264,5698

33127,5657

,4907

,5998

SJT11VMB

1265,3256

40140,2927

-,3811

,6795

SJT12VMA

1279,1860

36239,9179

,0522

,6379

SJT13VMA

1264,7442

33592,5691

,3870

,6076

SJT14VMA

1263,3488

33235,7592

,4948

,6004

SJT15VMA

1266,8372

33871,2202

,3650

,6102

SJT16VMB

1253,2907

38559,0321

-,2656

,6577

SJT17VMA

1270,7907

35297,6498

,1897

,6260

SJT18VMA

1272,1860

33745,3297

,3764

,6090

SJT19VMA

1272,0698

34102,7715

,3173

,6141

SJT20VMB

1262,5349

36628,9576

,0091

,6408

SJT21VMC

1267,0116

33635,4234

,3861

,6079

SJT22VMA

1259,2209

34242,3153

,3681

,6121

Effecten van structurering van een peer-discussie op het reflectieproces. 57 SJT23VMB

1267,0698

39270,8892

-,3000

,6706

SJT24VMD

1270,5581

32823,9672

,4753

,5984

SJT25VMB

1269,2791

33235,1683

,4023

,6049

SJT26VMD

1265,3837

35515,9569

,1422

,6302

SJT27VMB

1258,5233

37519,4289

-,1079

,6531

SJT28VMA

1265,4419

33361,9672

,4417

,6035

SJT29VMB

1265,7326

35162,2688

,1547

,6294

SJT30VMB

1277,7674

35716,8865

,1184

,6322

SJT31VMC

1269,1047

33937,2948

,3198

,6133

SJT32VMA

1283,0000

37084,1176

-,0619

,6507

SJT33VMA

1266,7209

32714,8153

,4276

,6006

Analysis of Variance Source of Variation

Sum of Sq.

DF

Between People

95521,1434

85

1123,7782

327440,5455

2752

482,3548

209424,3051

32

6544,5095

Residual

1118016,2403

2720

411,0354

Total

1422961,6889

2837

501,5727

Within People Between Measures

Grand Mean

Mean Square

F

Prob.

15,9220

.0000

39,6452

Reliability Coefficients N of Cases =

86,0

N of Items = 33

Alpha = .6342 Om de betrouwbaarheid te verhogen worden alle items met negatieve correlatie geëlimineerd, waardoor slechts 26 items in de analyse zullen worden opgenomen. De verwijderde items zijn: item 9: Je geeft instructies voor een opdracht. Een van de leerlingen vraagt voor de derde keer wat nu precies van hem wordt verwacht. Hoe reageer je hierop?; item 11: Hoe speel je in op een klas die nooit meewerkt en waarvoor elke moeite te veel is?; item 16: Het staat in het schoolreglement dat het dragen van hoofddeksels verboden is. Toch is er een leerling die z’n pet op houdt in de les. Wat doe je?; item 20: Wanneer leerlingen in groep werken, bestaat de kans dat dit rumoerig en rommelig verloopt. Hoe vermijd je dit?; item 23: Het gebeurt al eens dat leerlingen de gewoonte hebben bij het belsein de boeken te sluiten, zelfs als de les nog niet is afgelopen. Hoe vermijd je dit?; item 27: Het kan gebeuren dat het lang duurt voor een les kan beginnen omdat de leerlingen niet uit eigen beweging zwijgen.

Effecten van structurering van een peer-discussie op het reflectieproces. 58 Hoe anticipeer je hierop?; en item 32: Hoe pak je leerlingen aan die elke keer als ze van jou les hebben naar het toilet moeten?

De analyse van de SJT zonder de items met negatieve correlatie is als volgt:

B - Itemanalyse van de Situationele Beoordelingstest: output SPSS-viewer – na eliminatie: 26 items R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) Mean

Std Dev

Cases

1.

STJ1VMD

25,2326

20,6641

86

2.

SJT2VMA

44,2442

18,5269

86

3.

SJT3VMC

32,2674

20,8024

86

4.

SJT4VMC

51,2209

18,0837

86

5.

SJT5VMA

44,9419

17,3459

86

6.

SJT6VMC

24,2442

19,4107

86

7.

SJT7VMD

14,4767

15,5682

86

8.

SJT8VMD

42,7907

23,7215

86

9.

SJT10VMA

43,7209

19,9291

86

10.

SJT12VMA

29,1047

20,7818

86

11.

SJT13VMA

43,5465

21,3908

86

12.

SJT14VMA

44,9419

19,2735

86

13.

SJT15VMA

41,4535

20,7204

86

14.

SJT17VMA

37,5000

19,6551

86

15.

SJT18VMA

36,1047

20,9678

86

16.

SJT19VMA

36,2209

21,5015

86

17.

SJT21VMC

41,2791

21,1880

86

18.

SJT22VMA

49,0698

18,3834

86

19.

SJT24VMD

37,7326

21,9445

86

20.

SJT25VMB

39,0116

22,7237

86

21.

SJT26VMD

42,9070

21,0247

86

22.

SJT28VMA

42,8488

20,4729

86

23.

SJT29VMB

42,5581

23,5615

86

24.

SJT30VMB

30,5233

20,8500

86

25.

SJT31VMC

39,1860

22,4376

86

26.

SJT33VMA

41,5698

24,4018

86

Effecten van structurering van een peer-discussie op het reflectieproces. 59

Statistics for SCALE

Mean

Variance

Std Dev

N of Variables

998,6977

50033,9781

223,6828

26

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) Item-total Statistics Scale

Scale

Corrected

Mean

Variance

Item-

Alpha

if Item

if Item

Total

if Item

Deleted

Deleted

Correlation

Deleted

STJ1VMD

973,4651

49344,7223

,0286

,8159

SJT2VMA

954,4535

47355,9213

,2896

,8045

SJT3VMC

966,4302

47171,3304

,2689

,8056

SJT4VMC

947,4767

48924,2524

,0978

,8118

SJT5VMA

953,7558

49344,1867

,0505

,8132

SJT6VMC

974,4535

46630,1566

,3611

,8016

SJT7VMD

984,2209

47902,1977

,2773

,8051

SJT8VMD

955,9070

44760,9795

,4693

,7959

SJT10VMA

954,9767

44618,7524

,5960

,7913

SJT12VMA

969,5930

49340,1265

,0284

,8160

SJT13VMA

955,1512

46210,0828

,3660

,8012

SJT14VMA

953,7558

45430,3044

,5151

,7951

SJT15VMA

957,2442

45053,4808

,5174

,7944

SJT17VMA

961,1977

47557,2428

,2438

,8065

SJT18VMA

962,5930

45047,8912

,5108

,7946

SJT19VMA

962,4767

45934,2524

,3947

,7999

SJT21VMC

957,4186

45324,0109

,4723

,7963

SJT22VMA

949,6279

46840,2599

,3589

,8018

SJT24VMD

960,9651

45153,7517

,4716

,7962

SJT25VMB

959,6860

45610,1238

,4026

,7994

SJT26VMD

955,7907

47487,6498

,2296

,8074

SJT28VMA

955,8488

44549,4945

,5861

,7914

SJT29VMB

956,1395

47324,2627

,2102

,8091

SJT30VMB

968,1744

49415,4398

,0198

,8164

SJT31VMC

959,5116

45137,0999

,4608

,7966

SJT33VMA

957,1279

44470,7011

,4827

,7951

Effecten van structurering van een peer-discussie op het reflectieproces. 60

Analysis of Variance Source of Variation

Sum of Sq.

DF

Mean Square

Between People

163572,6208

85

1924,3838

Within People

928228,8462

2150

431,7343

Between Measures

146329,4902

25

5853,1796

Residual

781899,3560

2125

367,9526

1091801,4669

2235

488,5018

Total

Grand Mean

38,4114

Reliability Coefficients N of Cases =

86,0

Alpha = .8088

N of Items = 26

F

Prob.

15,9074

.0000