M’n Stipje
M ’n stipje
Bert P.M. Creemers Rijksuniversiteit Groningen Groningen, 2007
Inhoudsopgave 7 Om de kwaliteit van het onderwijs enige persoonlijke overpeinzingen 21 For Educational Quality - Some Personal Reflections: A summary of my valedictory lecture 25 Omzien bij mijn vertrek 31 Handbook of Research on Teaching. Four editions as companions of my academic life
Deze bundel en de prent ‘Chaos-Structuur-Chaos’ zijn verschenen ter gelegenheid van het afscheid van Prof. Dr. Bert Creemers van de Rijksuniversiteit Groningen op 7 september 2007. De prent ‘Chaos-Structuur-Chaos’ is gemaakt door Peter Lazarov (Bulgarije, 1958, www.lazarov.nl). De voor de prent gebruikte techniek is een combinatie van houtsnede en houtgravure. Voor de omslag van de bundel is gebruik gemaakt van een detail uit het kunstwerk. Grafisch ontwerp: Klaas Huizenga, Arjan Grooten
Om de kwaliteit van het onderwijs – enige persoonlijke overpeinzingen In mijn jeugd bestonden nog fotoalbums waarin herinneringen aan bijzondere gebeurtenissen op postzegelformaat werden bewaard. Bij een feestelijke gelegenheid, zoals verjaardag of eerste communie, ontving je een eigen fotoboek waarin naast wat overblijvertjes uit het familie-album vervolgens jouw specifieke herinneringsfoto’s werden ingeplakt. Je moet over een flinke dosis zelfvertrouwen beschikken om later zonder gêne de foto’s terug te zien. Zo circuleert er in mijn familie een fotootje genomen voor een school, waarop ik met hoog opgetrokken knieën in een te klein autootje zit dat daar door de beroepsfotograaf was neergezet om kinderen te verlokken om foto’s van zichzelf te laten nemen die later door de ouders tegen betaling van een behoorlijke losprijs uit de etalage konden worden verlost. Menige prille verliefdheid is met deze foto gesneuveld. Er is verder een foto van een jongetje in de vijfde klas van de lagere school dat met de mond half open, een kenmerk uit onze familie, wat verlegen, leeg, en een beetje bangelijk de camera inkijkt. De linkerhand netjes op het schrift, in de rechterhand een pennetje een halve centimeter boven het schrift, want daar mocht niet in geschreven worden, en op de achtergrond de fameuze historische plaat. De vraag die me tot op de dag van vandaag bezighoudt is ‘wat bezielde dat jongetje, wat deed dat jochie op school en wat heeft hij eraan gehad’. Natuurlijk, hij zat op school, hij was daar om te leren, maar wat leerde hij en waardoor leerde hij? Als je, zoals ik, onderwijskundige of onderwijsonderzoeker bent, kun je je beroepshalve met dit soort vragen bezighouden, en je wordt daar nog voor betaald ook. Dat heb ik de afgelopen veertig jaar gedaan, en ik wil daarover vanmiddag kort de balans opmaken en aangeven wat naar mijn mening interessante uitdagingen voor de toekomst zullen zijn. Tussen pedagogisch ideaal en onderwijseffectiviteit In het grote perspectief van de wetenschappelijke ontwikkeling is mijn verhaal slechts een momentopname van iemand die in de loop van de tijd er op een bepaald tijdstip voor een tijdje was. Die aanwezigheid betreft niet alleen de geschiedenis van de mensheid in het algemeen, maar ook de beperkte geschiedenis van mijn familie in het onderwijs. Mijn ouders hadden beiden de onderwijzersopleiding gevolgd. Mijn moeder voedde daarmee de kinderen op, en mijn vader verzamelde
aktes en maakte carrière in het onderwijs. Hij beëindigde die als directeur van de kweekschool in Eindhoven. Zijn scriptie voor het MO-B Pedagogiek, die hij naderhand nog uitwerkte tot een doctoraalscriptie, handelde over de persoonlijkheid van de onderwijzer-opvoeder en diens pedagogische vorming op de kweekschool. De titel geeft meteen duidelijk aan dat het op school om meer gaat dan onderwijzen. Onderwijs had een pedagogische functie. Dat was in de jaren ’50 en ’60 van de vorige eeuw de opvatting van Langeveld en de Duitse Pedagogiek waarop zijn denkbeelden grotendeels gebaseerd waren. In termen van Langeveld ging het om zelfverantwoordelijke zelfbepaling, ‘Werden wer du bist’, of andere tegeltjeswijsheden. Onderwijsgevenden kwamen er al snel achter, zoals ook mijn vader deed, dat het uiteindelijk toch meer ging om didactische bekwaamheden, om goed te onderwijzen in (te) grote klassen aan verschillende leerlingen. Die spanning die mijn vader constateerde tussen pedagogische idealen en onderwijswerkelijkheid ondervond mijn zoon, ook onderwijskundige, zo’n 40 jaar later in zijn doctoraalonderzoek. Hij vroeg aan toekomstige onderwijzers wat ze deden en wat ze het belangrijkste vonden. Ze hielden zich bezig met leren te onderwijzen, maar het belangrijkste vonden ze het bijdragen aan de opvoeding en de groei van jongeren. Wat is mijn plaats temidden van die opvoedingsromantiek in het onderwijs? Ik heb me sinds 1970 beziggehouden met de vraag welke factoren bijdragen aan resultaten in het onderwijs. Die vraag kwam in uiteenlopende onderzoeksonderwerpen aan de orde: het gedrag van leraren in het leesonderwijs, de effecten van curricula en leerboeken en de resultaten van onderwijsvernieuwing. Vooral na de teleurstellende resultaten van de onderwijsinnovaties in de jaren zeventig en tachtig van de vorige eeuw, toen bleek dat goede bedoelingen, nee, zelfs de beste bedoelingen, niet werken in het onderwijs, ontstond in het onderwijs een pessimistische houding ten aanzien van de mogelijkheden tot het beïnvloeden van prestaties van leerlingen. Internationaal trok het onderzoek naar de effectiviteit van scholen dan ook, zeker in het begin (1980-1990) de aandacht, omdat het liet zien dat scholen met een vergelijkbare studentenpopulatie toch sterk verschilden in prestaties die te herleiden waren – min of meer – naar condities voor processen in die scholen. Na een aarzelend begin hebben we ons vanaf 1985 in het RION, nu GION, beziggehouden met dit onderzoek, en dat redelijk succesvol. Het onderzoek in de onderwijseffectiviteit in het algemeen was in de beginjaren tamelijk banaal, en er mankeerde nogal wat aan, zowel
theoretisch als onderzoeksmatig. Zeker de afgelopen jaren is de aandacht voor theorievorming op dit terrein en het toetsen van theorieën toegenomen. Het gaat er niet alleen om vast te stellen ‘wat werkt’ in het onderwijs, maar ook om daar een verklaring voor te vinden. Omdat het in de theorievorming gaat om de verklaring van de verschillen in leerprestaties, richten de theorieën zich op de primaire processen van het onderwijs: leren en onderwijzen. Naast de processen in de klas en op schoolniveau, kunnen ook input-variabelen en de context van het onderwijs, de systeemvariabelen, de opbrengsten beïnvloeden. Ik wil in deze afscheidsrede niet de gelegenheid te baat nemen om degenen die zich de afgelopen jaren niet wilden of hoefden te verdiepen in onderwijseffectiviteit alsnog een uitgebreid exposé over dit onderwerp op te dringen nu men in afwachting van de receptie gedwongen is mijn afscheidsrede uit te zitten. Maar een verkorte inleiding wil ik hen niet onthouden. Effect waarop? Er is recentelijk een omvangrijk International Handbook over onderwijseffectiviteit verschenen. (Townsend, ed., 2007). Gezien het aantal pagina’s dat dit handboek aan de ontwikkelingen in landen als Iran, Zuid-Afrika en Turkije en continenten als Zuid-Amerika besteedt, zou men de indruk kunnen krijgen dat daar de toekomst van het effectiviteitsonderzoek ligt, in plaats van in Vlaanderen, Nederland en Cyprus, naast de UK, de USA en Australië. Deze laatste drie krijgen uitgebreid aandacht in afzonderlijke hoofdstukken, terwijl de eerstgenoemden het moeten doen met een vermelding in een beknopt hoofdstuk over Mainland Europe, terwijl toch in deze landen de afgelopen tien jaar empirische studies zijn verschenen die duidelijk hebben bijgedragen aan ons kennisbestand. In het kader van deze terugblik wil ik een aantal aspecten behandelen dat mij de afgelopen tijd heeft beziggehouden en waaraan ik misschien in de toekomst nog een bijdrage kan blijven leveren. Dat is op de eerste plaats de discussie over de beoogde opbrengsten van het onderwijs, het criterium voor onderwijseffectiviteit. Wanneer we met onderwijseffectiviteit bedoelen de waarde die het onderwijs toevoegt aan datgene wat reeds aanwezig is in de leerling dan leidt dat onmiddellijk tot de vraag wat die waarde is. Anders geformuleerd: op welke gronden stellen wij vast dat de ene klas effectiever is dan de andere, de ene school effectiever dan de andere, of het ene onderwijssysteem effectiever dan het andere. Over het algemeen wordt in onderwijseffectiviteitsonderzoek
gebruik gemaakt van toetsen en tests op het terrein van taal, rekenen en andere scholingsgebieden. Dit leidt onmiddellijk tot de kritiek dat dit slechts een beperkte opbrengst is van onderwijs, waaraan dan een waarde-oordeel over het onderwijs, de school, de klas wordt toegekend. Het effectiviteitsonderzoek zou traditionele onderwijsopbrengsten klakkeloos als criterium hanteren en ze daardoor benadrukken, en zich te weinig laten leiden door veranderde inzichten in de opbrengsten van onderwijs. Wellicht hebben onderzoekers en theoretici op het terrein van onderwijseffectiviteit zich wat te gemakkelijk aan de discussie over onderwijsopbrengsten en beoogde doelstellingen onttrokken. Dat gebeurde zowel in de acceptatie van deze traditionele doelstellingen op het terrein van basiskennis en basisvaardigheden, alsook in het even gemakkelijk overnemen van de kritiek daarop en het met de mond of op schrift belijden van de alternatieve doelstellingen op het gebied van de emotionele ontwikkeling en sociaal gedrag, kunstzinnige vaardigheden, gymnastiek en de religieuze vorming. De primaire taak van het onderwijs is gelegen op die gebieden waar het onderwijs de voornaamste en soms enige aanbieder is, dat wil zeggen dat de taken niet of in onvoldoende mate door andere opvoedingsinstanties zoals familie, kerk, het internet en de straat worden aangeboden. Daarnaast, omdat onderwijs binnen een bepaalde setting plaatsvindt, is het ook de enige situatie waarin op gestructureerde wijze aan het bereiken van leerdoelen aandacht wordt besteed. Deze doelstellingen liggen vooral op het terrein van de cognitieve ontwikkeling en de ontwikkeling van academische vaardigheden. Natuurlijk dragen ook andere situaties daaraan bij, de school echter is de plaats waar dat systematisch en gestructureerd plaatsvindt, terwijl dat in andere situaties vaak meer incidenteel gebeurt. Daar staat tegenover dat andere plaatsen, zoals de straat, de buurt, het gezin, de plekken zijn waar de andere aspecten van de ontwikkeling zoals emoties en de sociale vorming meer, en waarschijnlijk gemakkelijker, plaatsvinden dan op school. Wanneer het onderwijs een bijdrage aan de ontwikkeling van genoemde gebieden nastreeft, zou naar mijn mening de nadruk vooral moeten liggen op de cognitieve ondergrond van het sociale gedrag, emoties en waarden. De cognitieve ontwikkeling in academische vaardigheden is al moeilijk genoeg en zal zich niet beperken tot de basiskennis en –vaardigheden. Op basis van deze kennis en vaardigheden zullen dan de hogere orde kennis en vaardigheden, de toepassing en evaluatie ervan, de zogenaamde meta-cognitieve vaardigheden en leerprocessen in het onderwijs aan de orde moeten komen. Deze 10
doelstellingen, van basisvaardigheden tot en met meta-cognitie - weten hoe je leert en dat kunnen reguleren - zijn wat mij betreft dan ook de primaire criteria voor onderwijseffectiviteit. Andere aspecten zoals het welbevinden en interesse zijn van belang, zeker als ze direct of indirect de verwerving van de primaire opbrengsten van het onderwijs bevorderen. Nader onderzoek op dit terrein is nodig, omdat tot nu toe niet duidelijk is of het onderwijs een bijdrage levert aan het bereiken van doelstellingen anders dan de cognitie (onderzoek is niet erg positief en eensluidend) en op welke wijze via deze factoren de onderwijsopbrengsten in het cognitieve domein worden beïnvloed. Effect waarvan? Als begin van het onderzoek en de theorie op het terrein van de onderwijseffectiviteit worden vaak de studies van Brookover et al. (1979) in de Verenigde Staten en Rutter et al. (1979) in Groot Brittannië genoemd. Beide studies laten zien dat scholen die met een vergelijkbare groep leerlingen van start gaan toch grote verschillen in resultaten vertoonden, zowel ten aanzien van cognitieve als van andere – psycho-sociale – uitkomsten. Door deze studies is een stroom van onderzoek op gang gekomen naar de verschillen tussen effectief en minder effectief onderwijs, effectieve scholen en minder effectieve scholen. Het aanvankelijke model beperkte zich tot variabelen op leerling- en schoolniveau in relatie tot onderwijsopbrengsten. Zeker nadat in de jaren negentig van de vorige eeuw een uitbreiding van het model plaats bood aan variabelen op klas- en systeemniveau, gecombineerd met de technische vooruitgang in het onderzoek en de analyse van gegevens, kregen we langzamerhand meer inzicht in de factoren die voor de kwaliteit van het onderwijs van belang zijn (en hoe lastig het is om die kwaliteitsbepalende factoren te beïnvloeden). Dit kunnen de ingangsvariabelen van leerlingen zijn, van leerkrachten, de achtergrondvariabelen van buurt, gezin, en leergroep, klas- en schoolvariabelen en factoren op het niveau van het systeem. Kortom: onderwijseffectiviteit kan op deze schouders steunen en als een soort convergentie van diverse (deel)theorieën op het terrein van onderwijs worden beschouwd. Aanvankelijk was er veel aandacht voor effectiviteitsonderzoek, zeker toen de boodschap nog vrij simpel in de vorm van eerst vijf, en later zeven, negen of meer factoren kon worden geformuleerd. Toen het allemaal wat ingewikkelder werd en ook de hooggespannen verwachtingen over de mogelijkheden het onderwijs en de prestaties te beïnvloeden door het onderzoek niet konden worden gerealiseerd, liep de belangstelling 11
in het onderwijsbeleid en later misschien ook wel in een groot deel van de onderwijspraktijk terug. Dat werd ook nog in de hand gewerkt door de opkomst van nieuwe modes in het onderwijs, zoals bijvoorbeeld ‘het nieuwe leren’, die ook aandacht verdienden. Tegenwoordig wordt in de congressen van de ICSEI (International Congress of School Effectiveness and Improvement) en publicaties in School Effectiveness and School Improvement gepleit om deze discrepantie tussen praktijk en beleid inzake onderwijs en onderwijsontwikkeling enerzijds, en theorievorming over en onderzoek naar de verklaring van effectief onderwijs anderzijds te verminderen of zelfs op te heffen. Dat kan door het onderwijseffectiviteitsonderzoek en de opbrengsten daarvan in dienst te stellen van de onderwijspraktijk inclusief het beleid door uitdrukkelijk aan te geven op welke wijze resultaten kunnen worden gebruikt, zowel in de onmiddellijke toepassing als in de ontwikkeling van strategieën ter verbetering van praktijk en beleid. Als we het terrein overzien kan geconstateerd worden dat theorievorming en onderzoek ten aanzien van onderwijseffectiviteit redelijk succesvol zijn geweest. We kennen de factoren die in het algemeen een bijdrage kunnen leveren aan de verhoging van de effectiviteit. Het dynamisch model; hoe wordt onderwijseffectiviteit verklaard? In de jaren negentig van de vorige eeuw werd in voornamelijk Europese overzichten en analyses van het onderzoek gevraagd om een meer theoretische aanpak van het onderzoek om er daarmee niet alleen achter te komen wat werkt maar ook te achterhalen waarom bepaalde variabelen de effectiviteit kunnen bevorderen. Dit heeft geleid tot de ontwikkeling van theorieën en modellen voor theorieën waarin onderscheid werd gemaakt tussen de diverse niveaus in het onderwijs die direct of indirect zouden kunnen leiden tot opbrengsten in het onderwijs c.q. een verklaring zouden kunnen vormen voor de verschillen in de resultaten van leerlingen. En die theorieën kwamen er (zie Scheerens, 1992; Teddlie, 1994; Slater & Teddlie, 1992; Creemers, 1994; Cheng, 1996). Hoewel ze alle het hele systeem omvatten, zijn er verschillen. Sommigen plaatsen het accent op de kwaliteit van het onderwijzen, anderen op de organisatie en het systeem en de school. Deze modellen zijn in onderzoek aangewend en gebruikt in de opzet en uitvoering van evaluatieonderzoek. De variabelen die het merendeel van de verschillen in prestaties verklaarden, waren die op het niveau van de individuele leerlingen. Het gaat daarbij om factoren als aanleg, begaafdheid, de sociaal-economische achtergrond, 12
motivatie c.q. interesse en persoonlijkheidsfactoren. De variabelen op het niveau van de klas, dat wil zeggen de kwaliteit van het gegeven onderwijs, verklaarden grotendeels de overgebleven variantie, daarna volgden die op de niveaus nog verder afgelegen van het leerproces. Voor Leonidas Kyriakides, mijn collega en vriend in Cyprus, en mij vormden de resultaten van het onderzoek van deze theorieën en de ontwikkelingen in het onderwijs, zoals de opkomst van het nieuwe leren en andere vormen van student-geleid leren, de aanleiding om een dynamisch model voor onderwijseffectiviteit te ontwikkelen. Ik zal het hier niet volledig beschrijven, maar alleen een aantal belangrijke kenmerken ervan, en een aantal onderzoeksmogelijkheden behandelen. Het dynamisch model wil zoals gezegd als uitgangspunt nemen de huidige situatie in het onderwijs en daarmee ook de vernieuwingen in het leren en het onderwijzen. Het model is multi-level van aard, hetgeen betekent dat aandacht wordt besteed aan de context van het onderwijs, het systeem-niveau, en daarnaast het niveau van de school, de klas, met name het onderwijzen van de leerkracht en het individuele niveau van de leerling. Aan twee aspecten die ontbraken in de oude theorie wordt in het dynamische model meer aandacht besteed, namelijk de mogelijkheid van niet-lineaire relaties tussen variabelen en de opbrengsten van het onderwijs en de mogelijkheden van groepering van factoren binnen niveaus en tussen niveaus (dit element zat ook in het oude ‘Comprehensive’ Model, in de vorm van formele karakteristieken zoals de consistentie, de cohesie, de constantie en de controle, maar onderzoek leverde weinig ondersteuning). In de vormgeving van het model wordt tevens gebruik gemaakt van de bestaande modellen voor onderwijseffectiviteit, met name het Comprehensive Model, in zijn aandacht voor het niveau van de onderwijs-leersituatie, maar het is daarnaast ook simpeler omdat het zich niet richt op het curriculum binnen de klas, de tekstboeken, noch op de organisatie, maar zich concentreert op het handelen van de leerkracht. Daarnaast wordt geen gebruik meer gemaakt van de formele karakteristieken van effectiviteit - deze zijn nu onderdeel van de variabelen zelf geworden. Variabelen namelijk worden, in tegenstelling tot in het onderzoek dat tot nu toe heeft plaatsgevonden, niet op één enkele dimensie (vaak frequentie) onderzocht, maar er wordt aandacht besteed aan de kwaliteit van de uitvoering van de factor, de focus waarop de betreffende factor is gericht (één specifieke doelstelling of meerdere doelstellingen), de fase in de les of het jaar waarin de betreffende factor wordt ingezet in het onderwijsproces en de mate waarin de betreffende factor gedifferentieerd wordt naar de 13
diverse en verschillende kenmerken van leerlingen en leerlinggroepen. Figuur 1 geeft globaal inzicht in de opbouw van het dynamische model (Creemers & Kyriakides 2006 en Creemers & Kyriakides 2007, verschijnt binnenkort).
National/Regional policy for education Evaluation of policy The educational environment
School Policy on teaching and the learning environment Evaluation of School Policy
Quality of teaching - Orientation - Structuring - Modelling - Application - Questioning - Assessment - Management of Time - Classroom as a learning environment
Aptitude Perseverance Time on task Opportunity to learn
14
SES Gender Ethnicity Personality traits
Expectations Thinking style Subject motivation
Figure 1 - The dynamic model of educational effectiveness 1
Outcomes Cognitive Affective Psychomotor New learning
Het vertrekpunt zijn de leerlingkarakteristieken. Sommige zijn een gegeven, andere zijn ook min of meer beïnvloedbaar door het onderwijs, vandaar dat er een dubbele pijl staat tussen uitkomsten en deze leerlingkarakteristieken, en tussen de processen en de leerlingvariabelen. Het betreft hier variabelen als sociaal milieu, gender, ethniciteit, persoonlijkheidskenmerken en verwachtingen, leerstijlen en de motivatie voor het betreffende onderwerp. Voor de kwaliteit van het onderwijzen op het niveau van de klas worden diverse factoren onderscheiden, zoals de motivatie die door de leerkracht voor het onderwijs wordt gegeven in de introductie van het onderwerp, de wijze waarop de leerkracht structureert en de denkprocessen modelleert – één van de karakteristieken van het nieuwe leren (en door ons ook gezien als iets dat voortbouwt op de bestaande onderwijsvormen die in het onderwijs al voorhanden zijn) - de toepassing van het geleerde, het stellen van vragen en de behandeling van de antwoorden en de evaluatie van het geleerde. En verder twee factoren die meer met het management van de klas te maken hebben, het managen van tijd en de leerkracht als manager van de klas als een leeromgeving. Op schoolniveau gaat het om het beleid dat de school voert ten aanzien van de kwaliteit van het onderwijzen (niet alleen op papier, maar ook in de praktijk, met evaluatie en eventuele verbeteringen). Het beleid ten aanzien van de kwaliteit van het onderwijzen heeft te maken met de onderwijstijd, de inhoud (curriculum, herhalingen en dergelijke), en de selectie, opleiding en begeleiding van leerlingen. Het beleid ten aanzien van de school als leeromgeving betreft het gedrag van de leerling buiten de klas, de samenwerking tussen leraren, de relatie die de school aangaat met anderen, de voorzieningen voor leerlingen en de waarde die aan het onderwijs wordt gehecht. Op het systeemniveau worden dezelfde aspecten weer onderscheiden, dat betekent dus het beleid dat gericht is op de kwaliteit van het onderwijs, en de verwachtingen van de diverse stakeholders met betrekking tot het onderwijs. En nog feiten ook De afgelopen jaren hebben Kyriakides en ik geprobeerd onze ideeën te verkopen in presentaties en publicaties. Ook al weten we dat je een aardig idee meestal beter niet kunt onderzoeken - de kans is groot dat van het idee niet zoveel overblijft – toch hebben we gemeend een eerste test van onze ideeën uit te voeren, niet om daarmee een ultiem antwoord op de houdbaarheid van de theorie te verschaffen, maar om na te gaan en te laten zien of onze ideeën inderdaad te onderzoeken zijn. 15
We hebben op een vijftigtal scholen op Cyprus een onderzoek gedaan, waaraan 2500 leerlingen hebben deelgenomen. We hebben resultaten van het onderzoek op het niveau van de klas en de school. Het goede nieuws is: het model is te onderzoeken en heeft empirische ondersteuning gekregen. Het minder goede: er is minder ondersteuning dan we gehoopt hadden. Daarnaast hebben we de resultaten gepubliceerd van een meta-analyse van factoren die op schoolniveau spelen, om na te gaan of datgene wat wij nu hebben onderscheiden met betrekking tot beleid op schoolniveau ten aanzien van het onderwijzen en het beleid ten aanzien van de school als leeromgeving door empirische gegevens wordt ondersteund. Dat was met name van belang omdat, zoals de toehoorders al hebben opgemerkt, in ons model niet wordt gesproken over de persoon van de leerkracht, noch over de persoon van de schoolleider, laat staan de stijl van de schoolleider. We gaan er vanuit in dit model, evenals in het Comprehensive Model, dat niet de participanten in de school, zoals onderwijzers en directeuren, maar hun activiteiten effect hebben. Dit wordt door de meta-analyses grotendeels ondersteund. De kleine effectgroottes van de factor schoolleider en diens stijl van leidinggeven rechtvaardigen in elk geval niet de begeleidingsindustrie. Daarvoor zal veel nauwkeuriger moeten worden aangegeven welke activiteiten ten behoeve van de kwaliteit van het onderwijzen en de school als leeromgeving door de schoolleider kunnen worden uitgevoerd en wat het effect hiervan is. De opbrengsten van het dynamisch model Wat zijn de resultaten van de studies die we tot nu toe hebben gedaan. Ik licht er een aantal toe, meer uitvoerig wordt er op ingegaan in zowel het boek alsook in tijdschriftpublicaties. (Maar daar gaat het vandaag even niet om.) 1. De dimensies ten aanzien van de diverse factoren, zowel op klas- als schoolniveau, zijn te onderzoeken, we hebben daar instrumenten voor. En via deze dimensies op het niveau van de klas (allemaal) en op het niveau van de school (bijna allemaal) kunnen we ook meer variantie verklaren. Wanneer we alle vijf dimensies gezamenlijk in beschouwing nemen, dan verklaren deze de meeste variantie in leerlinguitkomsten. 2. Factoren op klas- en schoolniveau. Dit betekent dus ook dat de verklaring van leerlinguitkomsten op het niveau van de klas en op het niveau van de school toeneemt. Dit is duidelijk het geval op het niveau van de klas. Op dit niveau hebben we tot nu toe alleen naar het gedrag van de leraar gekeken. Van de 15 procent variantie op het niveau van 16
de klas bij taal en rekenen, verklaren we via het model en de dimensies meer dan 70 procent. Bij godsdienstige vorming, waar we zowel de cognitieve als affectieve leerresultaten hebben gemeten, is dat lager, namelijk ongeveer 65 procent. Overigens is de te verklaren variantie daar ook kleiner (13,2 procent voor cognitieve - en 10,4 procent voor affectieve opbrengsten. Zie Kyriakides & Creemers, 2007). In de studie naar de variabelen in het model op het niveau van de school konden we voor taal (ongeveer 9 procent van de totale variantie), rekenen (10,2 procent van het totaal), godsdienstige vorming (cognitief 8,5 procent van het totaal en affectief 7 procent van het totaal) ongeveer 85 procent van de variantie op schoolniveau verklaren (Creemers & Kyriakides, 2007). Dat betekent dus dat de factoren als zodanig op het niveau van de klas, het onderwijzen, en op het niveau van de school met wat wijzigingen het goed doen. Ik zeg ‘met wat wijzigingen’. Het model, dat we zo simpel mogelijk wilden ontwerpen maar dat in zijn uiteindelijke vorm zeker niet was, kan spaarzamer worden wanneer een aantal gegevens uit het eerste onderzoek wordt bevestigd door vervolgonderzoeken. Dat zou kunnen leiden tot bijvoorbeeld reductie van het aantal dimensies in het algemeen of bij bepaalde factoren, of eventueel de combinatie van bepaalde factoren. Zo zouden de dimensies focus, stage, en differentiation mogelijk aspecten van andere dimensies kunnen worden. 3. Onderwijsfactoren. De resultaten van ons onderzoek met het dynamische model bevestigen de eerdere opmerking dat onderwijsfactoren het het beste doen op het cognitieve niveau. De bijdrage aan de verklaring van de variantie in leerlingprestaties bij affectieve doelstellingen in religieus onderwijs, dat naast taal en rekenen in het onderzoek is opgenomen, was veel minder. 4. We hadden grote verwachtingen over de niet-lineaire verbanden in het onderzoek. Er zijn enkele gevonden op het niveau van de klas – en minder duidelijk op het niveau van de school. Zo was er een curvilineair verband tussen evaluatie en leerlingprestaties bij religieuze vorming. Dat betekent dat evaluatie een positief verband vertoont met prestaties tot een bepaald niveau, waarna het verband negatief wordt. De empirische evidentie in dit onderzoek is dus aan de magere kant. Het zou kunnen zijn dat we daarvoor meer variantie nodig hebben, wat zou kunnen pleiten voor uitbreiding van het onderzoek naar andere landen waar misschien meer variantie op dit punt te verwachten is, en eventueel ook experimenteel onderzoek waar diverse varianten van de factoren en de dimensies waarmee ze gemeten worden kunnen worden gemanipuleerd. 17
5. We hebben echter ook nog wat problemen op te lossen, zoals het gebruik en de analyse van het kwalitatieve materiaal, zoals verslagen van vergaderingen en richtlijnen, op het niveau van de school. Die blijken vaak te weinig informatief en vertonen nauwelijks de door onderzoekers zo gewenste variantie. Verder hebben we een theoretisch en technisch probleem met betrekking tot de groepering van factoren. Welke combinaties zijn theoretisch zinvol en op welke wijze kan dan vervolgens technisch de analyse plaatsvinden. Toekomstig onderzoek naar onderwijseffectiviteit Het zal duidelijk zijn dat er in de toekomst nog wel het één en ander te doen valt. Ik noem een aantal aandachtspunten: 1. Onderzoek naar de factoren op de diverse niveaus en de opbrengsten in termen van leerresultaten van studenten. 2. Het onderzoek, theoretisch en empirisch, naar de groepering van factoren die meer variantie in de leeruitkomsten zouden kunnen verklaren. 3. Het onderzoek op het niveau van het systeem, de systeemfactoren en hoe deze doorwerken in het onderwijs. Dit zal met name internationaal vergelijkend onderzoek nodig maken. 4. Het onderzoek naar de nieuwe doelstellingen van het onderwijzen, naar de leerlingresultaten. Ik denk daarbij aan de hogere cognitieve uitkomsten en de niet-cognitieve opbrengsten in relatie tot nieuwe en oude onderwijsvormen.5. Inhoudelijk is de vraag waar we in de toekomst nog iets kunnen verwachten voor de verklaring van variantie. Ik vermoed dat variabelen op het niveau van de context, verschillen tussen de landen onderling ten aanzien van beleid en de implementatie daarvan op het terrein van de kwaliteit van het onderwijzen, en de omgeving die onderwijzen en leren ondersteunen, wel duidelijker bijdragen aan de verklaring van leerlingresultaten. Die verklaring zou eventueel zelfs ten koste kunnen gaan van de hoeveelheid variantie op het niveau van de school, maar wel de uiteindelijke verklaring van de verschillen in leerprestaties en factoren in onderwijs op de diverse niveaus kunnen vergroten. 6. Daarnaast constateren alle onderzoeken dat toch nog 30 procent van de variantie op leerlingniveau niet verklaard werd. Daar is nog verdere voortgang te verwachten. Die zou kunnen liggen op het terrein van de interactie tussen leerkracht en leerling, variabelen die met inzet, motivatie, interesse voor leren, onderwijzen en onderwijs in het algemeen te maken hebben. Dit zou bovendien ondersteund 18
kunnen worden door de visie van de school en de opvattingen in de samenleving over het belang van onderwijs. 7. Ik denk dat er op die manier ondersteuning te verwachten is voor een idee dat ik een aantal jaren geleden heb geopperd, en dat toen onmiddellijk in een groot zwart gat is gevallen, namelijk het idee dat uiteindelijk de opvattingen en het belang dat mensen hechten aan onderwijs en presteren, echter wel gekoppeld aan datgene wat werkt in het onderwijs, tot verklaring van de resultaten zou kunnen leiden. Want goede bedoelingen en motivatie zullen slechts via concrete activiteiten tot resultaten kunnen leiden. Binnen het dynamische model zouden we er wellicht de instrumenten voor kunnen ontwikkelen om dat inderdaad na te gaan. Er is dus nog een hoop werk te doen. En dat zal gebeuren. Collega’s, vrienden van mij, zijn in veel landen bezig met effectiviteitsonderzoek. Ik hoop daarin, al is het in een andere versnelling en in elk geval in een andere positie, nog een tijdje te kunnen participeren. Ik denk dan vooral aan het internationaal vergelijkend en longitudinaal onderzoek, experimenteel onderzoek hier en in Cyprus, en class-, school- and system improvement projecten hier en elders. En ten slotte, dat jochie waar ik het in het begin over had. Ik ben gaan inzien, wat ie daar deed, hoe en waardoor ie leerde. Ik begrijp hem ondertussen wel, maar kennen doe ik hem nog steeds niet. Referenties Brookover, W.B., Beady, C., Flood, P., & Schweitzer, J. (1979). School Systems and Student Achievement: Schools make a Difference. New York: Praeger. Cheng, Y.C. (1996). School Effectiveness and School-Based Management: A Mechanism for Development. London: The Falmer Press. Creemers, B.P.M. (1994). The Effective Classroom. London: Cassell. Creemers, B. P. M., & Kyriakides, L. (2006). Critical analysis of the current approaches to modelling educational effectiveness: The importance of establishing a dynamic model. School Effectiveness and School Improvement, 3, 347-366. Creemers, B. P. M., & Kyriakides, L. (2007, in press). Dynamics of Educational Effectiveness. London: Routledge. Creemers, B.P.M., & Kyriakides, L. (2007). ‘School factors explaining student achievement: testing the dynamic model of educational effectiveness’. Paper presented at the AERA, Chicago, April 9-13, 2007. Ingenkamp, K.H. & Parey, E. (eds) (1970-1971). Handbuch der Unterrichtsforschung. Weinheim: Beltz (Teil 1, 1970; Teil 2, 1971; Teil 3, 1972). 19
Kyriakides, L., & Creemers, B.P.M. (2007). ‘Using a multidimensional approach to measure the impact of classroom factors upon student achievement: a study testing the validity of the dynamic model’. Submitted to School Effectiveness and School Improvement, 2007. Rutter, M., Maughan, B., Mortimore, P., & Ouston, J. (1979). Fifteen Thousand Hours. London: Open Books. Scheerens, J. (1992). Effective Schooling: Research, Theory and Practice. London: Cassell. Slater, R.O., & Teddlie, C. (1992). Toward a theory of school effectiveness and leadership. School Effectiveness and School Improvement, 3(4), 247-257. Townsend, T. (Ed). (2007). International Handbook of School Effectiveness and Improvement, New York:Springer.
20
For Educational Quality Some Personal Reflections A summary of my valedictory lecture In my valedictory lecture, I will address some issues that have taken up my interest for many years. I started my academic life as researcher on teacher behaviour in initial reading. My intention was to show that the differences in behaviour of teachers who used the same textbook resulted in different student outcomes, taking into consideration the initial differences between students. The results confirmed my ideas, indicating that it was important to continue research on teaching and the results of instructional behaviour on learning and learning outcomes of students. However, maybe due to the fact that the funding of educational research was based on the specific needs for research evidence in educational policy (and, although to a lesser extent, in educational practice), I moved from research on teaching to research on curriculum development and the implementation of curricula, which resulted again in a confirmation of the importance of teacher behaviour and quality. Later on, together with my colleagues, I did research on different aspects (but mostly related to the outcomes in terms of student achievement goals) of educational improvement at the system and school level. The different topics got a new focus in educational effectiveness theory and research. What started as a little group of researchers who tried to proof that schools matter, gradually developed into a large community of academics interested in theory and research, and policy-makers and practitioners interested in changing and improving education at different levels: the learning level, the school and the system. The criteria for educational effectiveness are continuously debated and criticized. Educational Effectiveness Research (EER) uses mostly outcomes of schooling such as mathematics, reading and language. This is however a restricted set of intended outcomes in the cognitive domain. There are other important school subjects such as science and biology, and subjects like art and physics that help make up a balanced education. The measurement of achievement outcomes should not be restricted to the basic knowledge and skills, but cover also higher academic outcomes like 21
application, reasoning, evaluation and metacognition, and skills such as problem solving and knowing how to organise your own learning. Except for cognitive academic outcomes, one can question the role of education in schools and classrooms in e.g. the socio-affective and physical domains. In my opinion, expressed in several publications (1996-2007), formal education in school should be directed primarily towards cognitive academic outcomes. Generally speaking, this is the domain that is not covered by other social institutions in a structured and focused way. And above this, education in schools is good in this area, or at least it should be. This is for the benefit of the less advantaged, particularly students at risk, but also for the society in general. Educational Effectiveness Research has a relatively short history since, as mentioned, it draws upon theory and research in different areas of educational sciences such as: school learning, teaching, curricular organisation. In this short period, major progress has been made, based on theoretical orientation and empirical research, using new advances in methodology and data analysis. In my lecture, I seize the opportunity to advocate the dynamic model once more (see Figure 1, page 13) and to summarise the research results Kyriakides and I have collected so far (see Creemers & Kyriakides, 2006 and 2007). The most important conclusion is that the dynamic model can be put to the test. Certain elements related to the ‘dynamic’ character of the model, e.g. non-linear relations between factors and student outcomes call for studies in other countries to increase the variance and/or more experimental studies in which the factors will be manipulated. In the future, the model could become more sparsimonious by combining dimensions of the measurement of factors and by reducing the number of factors at school and system level. Personally, I expect that we might increase the explained variance at student level by a more detailed investigation of the relation between external mechanisms in the educational system and student’s motivation and interest. Furthermore, I expect that in international comparative research we might discover that the system (the educational system and the wider educational environment) has a more substantial effect on student’s learning and learning outcomes than we thought before. Maybe that will decrease the explained variance at the school level even further than already happened by introducing the classroom level in the analysis. Finally, I hope that by increasing the empirical evidence for the model we can bridge the gap between EER and policy and practice. When we have elaborated a knowledge base pertaining to educational effectiveness, 22
backed by a theory which not only provides insights in what works but also explains why, we can come up with more concrete suggestions and advice for practice and policy. Furthermore, the close relationship of policy and practice related to educational improvement with research can support, guide and finally evaluate and provide the evidence for educational improvement (and theory, again!). References Creemers, B. P. M., & Kyriakides, L. (2006). Critical analysis of the current approaches to modelling educational effectiveness: The importance of establishing a dynamic model. School Effectiveness and School Improvement, 3, 347-366. Creemers, B. P. M., & Kyriakides, L. (2007, in press). Dynamics of Educational Effectiveness. London: Routledge.
23
Omzien bij mijn vertrek Als je je bij je vertrek tot doel stelt een terugblik te geven op je hele academische carrière dan kan dat voor de toehoorders een lange zit worden. Bovendien zal zo’n terugblik waarschijnlijk een hoog ‘opa vertelt’ karakter krijgen. Ik zal daarom geen volledige beschrijving proberen te geven van mijn gang door de instituties, de universiteiten waar ik heb gewerkt, en de projecten waaraan ik heb deelgenomen en me beperken tot een aantal, voor mij essentiële, ervaringen. Die bijzondere ervaringen waren pieken of piekjes in het werk dat ik de afgelopen jaren heb mogen verrichten. Ik wil benadrukken dat die onderzoeken, de publicaties, de presentaties en de adviescommissies alleen mogelijk waren in samenwerking met vele anderen. Ik kijk daarop met veel dankbaarheid terug. Dankbaar dat er voor de activiteiten die ik graag doe, voor de onderwerpen waarin ik geïnteresseerd was, een naam bestond. Dankbaar voor de hulp, de steun, de raad die ik van velen ontving en de veelal plezierige sfeer waarin ik kon werken. Het pre-RUG tijdperk De start van mijn academische carrière was mijn opleiding in Nijmegen. Ik had het geluk naast een goede opleiding in de psychologie, waar ik geconfronteerd werd met empirisch onderzoek, in de pedagogiek Ben Brus als leermeester te krijgen toen ik in 1963 student-assistent werd. Hij was op dat moment verwikkeld in een discussie met de Utrechtse school van Langeveld en Perquin over taak en doelstelling van de Pedagogiek en Onderwijskunde en pleitte voor een meer empirische benadering. Hij heeft me op het goede pad gezet. Ook belangrijk voor mijn opleiding is geweest dat ik via een Duitse vertaling van Ingenkamp en Parey kennis maakte met het First Handbook of Research on Teaching van Gage. Dat boek was voor mij, opgevoed in de Duitse filosofische traditie van die periode, een revelatie. Ik heb van dat boek meer geleerd dan van mijn middelbare schoolopleiding. Tijdens mijn studie en onmiddellijk na mijn afstuderen werkte ik in de onderwijspraktijk, leraar bij de opleiding van leraren in het nijverheidsonderwijs, de Schooladviesdienst in Eindhoven en de Pedagogische Academie te Sittard. Ik denk dat de Marine een grote bijdrage aan de kwaliteit van deze laatste opleiding heeft geleverd door me na vijf maanden alsnog op te roepen voor het vervullen van mijn 24
25
dienstplicht. Na afloop heb ik nog een paar jaar bij de Schooladviesdienst gewerkt. Een promotieonderzoek, waarover ik ideeën had, was toentertijd, en misschien nu ook nog wel, lastig te combineren met begeleiding omdat het, zoals het bestuur zei, de indruk zou kunnen wekken dat begeleiders ‘niets beters te doen hadden’. Het aanbod om medewerker van de afdeling Schoolpedagogiek van de Universiteit Utrecht te worden heb ik met beide handen aangegrepen. Het bood me de kans onderzoek te gaan doen in een stimulerende academische omgeving. Ook al waren de jaren tussen 1970 en 1974 turbulent, omdat de democratie elk studiejaar opnieuw moest worden uitgevonden, ik heb genoten van de onderzoeksmogelijkheden en de discussies met gelijkgestemden en wat meer gereserveerden, zoals Jan Rispens, Jelle Sixma, Frans Theunissen, Klaas Koster, Wim Nijhof en Henk Franssen. Ook was ik in de gelukkige omstandigheid nu zelf studentassistenten te mogen aantrekken. Wat waren die goed, en wat heb ik veel aan hen, Kees Meijer en Peter Weeda, te danken. Toen ik betrokken raakte bij het project Onderwijs en Sociaal Milieu gaf me dat de mogelijkheid – meer dan mijn kortstondige carrière in de Schooladvieswereld - mijn wetenschappelijke onderzoek te toetsen aan vragen en uitdagingen uit de onderwijspraktijk. Ik ben daarbij erg gesteund en uitgedaagd door Han Leune, Dries van Aarsen en Jan Slavenburg. Het is een fijne tijd geweest, en de ervaringen zijn andere projecten en publicaties over de relatie onderwijsonderzoek en theorievorming enerzijds en onderwijsverbetering anderzijds ten goede gekomen. Onderwijskunde in Groningen; het RION Toen ik na mijn promotie in Groningen kwam, werd ik door de Groningse oriëntatie op de optimalisering van het onderwijs en de dienstbaarheid aan de praktijk gedwongen mijn positie in de verhouding wetenschap en praktijk, theorie en empirie enerzijds en verbetering van en bijdrage aan de praktijk anderzijds te bepalen. Dat gebeurde vooral in discussies binnen de vakgroep, Kuhn, Lakotos, Scriven, Popper, De Groot en Lammert Postma werden goede bekenden. De discussie in de vakgroep Onderwijskunde was soms sterk (wetenschaps)theoretisch gekleurd, maar wel verbonden met de ontwikkelingen in onderwijsbeleid en –praktijk. Voor Van Gelder was dat een belangrijke doelstelling van onderwijskunde en dat werd in projecten, publicaties en vooral discussies uitgewerkt door Hinne Riddersma, John Peters, Klaas Westerhof en Wim Wardekker. In het RION ging het er wat praktischer aan toe, zeker toen eenmaal de conflicten met de Stichting voor Onderzoek van het Onderwijs (SVO), de 26
toenmalige belangrijkste zoniet enige subsidieverstrekker op het terrein van het onderwijs, waren opgelost. Het RION is heel succesvol geworden dankzij die onderzoekers. Het waren turbulente jaren, eerst moest de verhouding met SVO genormaliseerd worden. Toen dat gerealiseerd was, verslechterde de situatie weer, omdat financiering vanuit het ministerie onder druk stond, een proces dat zich de jaren daarna nog herhaaldelijk heeft voorgedaan. Daardoor ging de omvang van de staf nogal op en neer. Er was gelukkig een vaste kern, die soms door de vertrekkenden met afgunst werd gadegeslagen, maar de kern was wel de groep die telkens het RION moest (re)construeren. Wijnand Hoeben heeft een belangrijke bijdrage geleverd aan de opbouw van het RION in de jaren tachtig. Daarnaast speelden de programmacoördinatoren Gerard van den Berg, Sip Jan Pijl, Cor Meyer, Loek Nieuwenhuis, en de leden van de staf, Elisabeth Timmermans, Gerrit Gerritsen en Annelies Weersing een belangrijke rol. In mijn eigen onderzoek en publicaties heb ik in die jaren en in de jaren negentig met veel plezier samengewerkt met Wijnand Hoeben, Greetje van der Werf, Rob de Jong, en vooral Gerry Reezigt. Bij mijn publicaties en werkzaamheden als editor ben ik vele jaren ondersteund door Conny Lenderink. Ik ben allen veel dank verschuldigd. Veel medewerkers slaagden erin te promoveren naast het verrichten van onderzoek, en meerderen zijn al hoogleraar geworden of zijn op weg er naar toe. Het heeft me veel plezier gedaan dat met diversen van hen naderhand de samenwerking gecontinueerd werd. Verder dank ik Roel Bosker, mijn opvolger, en Greetje van der Werf, de nu samen de directie van het GION voeren, voor die langjarige samenwerking en ik hoop onze samenwerking op het terrein van onderwijsonderzoek ook in de toekomst te kunnen blijven voortzetten. Vooral wil ik al mijn studenten, promovendi en RION-medewerkers bedanken, met wie ik kortere of langere tijd heb mogen samenwerken. Ik heb heel veel van hen geleerd en ik heb het contact altijd erg plezierig gevonden. Ik heb me in de loop der jaren op diverse terreinen bewogen, zoals onderzoek naar onderwijzen, leerkrachtgedrag, curriculumproblematiek, onderwijsinnovatie. Het is geweldig om te zien hoe deze deelterreinen als het ware samenvielen in het onderzoek naar de effectiviteit van onderwijs. Veel van het RION onderzoek konden we (kon ik) daarin onderbrengen. Nationale en mondiale samenwerking Het onderzoek naar effectiviteit heeft het RION de mogelijkheid gegeven om internationaal aansluiting te vinden met onderzoek in diverse landen 27
naar factoren op individueel-, klas-, school- en systeemniveau. Ik heb met een groot aantal collega’s in die landen mogen samenwerken in de ontwikkeling van het International Congress of School Effectiveness and Improvement, de tijdschriften School Effectiveness and School Improvement, en Educational Research and Evaluation – ik dank mijn medebestuurders en co-editors voor de samenwerking. Enkelen wil ik in het bijzonder bedanken: Dave Reynolds, mede-oprichter van en gedurende vele jaren co-editor van School Effectiveness and School Improvement, Charles Teddlie, Sam Stringfield, Y.C. Cheng, John Lee, Daniel Muys, en mijn compagnon Leonidas Kyriakides, die mij op de onderzoekrails heeft gehouden tijdens mijn decanaat. Projecten als het International School Effectiveness Research Project (ISERP), het EU project Effective School Improvement (ESI), en het project International Study of Teacher Observation and Feedback (ISTOF) hebben mij laten ervaren dat productiviteit en veel plezier toch kunnen samengaan. Internationale contacten zijn van belang, maar zeker van groot belang is ook de nationale samenwerking. Ik heb het genoegen gesmaakt die mede vorm te mogen geven. Dat begon al met de oprichting van de Vereniging voor Onderwijsresearch, de organisatie van de Onderwijsresearchdagen en later het Tijdschrift voor Onderwijsresearch. Ze hebben hun belang en functie bewezen in de ontwikkeling, de stabilisatie en de internationalisering van de Nederlandse onderwijskunde. We hebben in het onderzoek ook diverse landelijke overleggen gehad, zoals van instituten op het terrein van het onderwijsonderzoek en op het terrein van de onderwijsevaluatie ICO, dat naderhand is uitgegroeid tot een onderzoekschool. In die jaren hebben Jaap Scheerens en ik voor het ICO, het International Journal of Educational Research en de ontwikkeling van het effectiviteitsonderzoek samengewerkt. Het ICO is vervolgens uitgebreid tot alle opleidingen in Nederland en heeft tot een productieve en prettige samenwerking ten behoeve van de opleiding van aio’s en promovendi geleid. Ik hoop dat ook in de toekomst, nu plaatselijke graduate schools tot ontwikkeling komen, landelijke netwerken voor Ph.D. opleiding en onderzoek blijven bestaan. Het decanaat De laatste jaren had ik het genoegen om mijn ideeën over kwaliteit en kwaliteitsbevordering ook nog voor een klein deel te mogen toetsen op facultair niveau. Ik heb met bijzonder veel plezier de functie van decaan vervuld die ik eerder in mijn carrière meende te moeten vermijden. Het was een heel plezierige, productieve tijd. Ik heb me ontzettend gesteund 28
gevoeld door het Bureau van de Faculteit. Ik ben vooral Madelon de Wilde, Jannie Timmer, Rob van Ouwerkerk en hun medewerkers dank verschuldigd. Waar het de uitwerking en uitvoering van mijn ideeën betreft dank ik vooral Ellen Offers, die soms beter begreep wat ik bedoelde dan ik zelf deed. De laatste jaren heeft Cathrynke Dijkstra mij bij mijn publicaties geholpen. Josien Sturing ten slotte bleek onmisbaar bij de organisatie van dit afscheid. Bedankt voor de plezierige samenwerking! Ik heb, ook al heb ik niet alles kunnen bereiken wat ik wilde, met veel genoegen samengewerkt met de Directeuren Onderwijs en Onderzoek binnen de faculteit. Dat er zoveel kon gebeuren dank ik aan hun medewerking. Ik dank mijn collega bestuurders voor hun open houding en ondersteuning: de portefeuillehouders Onderzoek, Jos ten Berge, Trudy Dehue en Henk Kiers, en de portefeuillehouder Middelen, Frank Vleeskens. Ik wist niet dat het decanaat zo’n leuke job was – rol heet dat in de Hay-systematiek, geloof ik. Dat kwam ook door de voornamelijk plezierige bestuurlijke overleggen met het CvB, een van de voordelen van een gezonde financiële positie, maar zeker ook door de goede persoonlijke verhoudingen met Simon Kuipers, Marius Kooyman en later Koos Duppen en Frans Zwarts. Dat gold zeker ook voor het College van Decanen, dat onder leiding van Frans Zwarts een keer per maand de mogelijkheid bood om ervaringen uit te wisselen, oplossingen te vinden en soms ongenoegen en frustratie af te fakkelen. De basis Datgene wat je doet in je wetenschappelijke werk, ook al houd je het tamelijk gescheiden, is ingebed in een persoonlijke omgeving: je gezin, familie, je vrienden en vriendinnen. Winnie, Martijntje, Duco en ik vormen dat gezin, al zo’n 40 jaar. Inmiddels is dat gezin uitgebreid met Siebo en Mattie en een nieuwe generatie Youri en Indy, mijn kleinkinderen. Om in termen van onderwijseffectiviteit te spreken: Met de affectieve basis voor academische vorming zit het dus wel goed. Als oudste van een gezin van twaalf begon mijn managementopleiding al op jeugdige leeftijd in de organisatie van het afwassen en stofzuigen na het eten. Mijn broers hebben wel eens gezegd dat ik daar de voornaamste beginselen van distributive leadership, oftewel laat anderen het werk doen, heb uitgevonden en beproefd. Ik dank mijn gezin, familie en vrienden, ze stonden dicht bij me de afgelopen jaren. We hadden soms kritiek op elkaar, maakten wel eens ruzie en legden het weer bij, maar waren er voor elkaar als het nodig was.
29
Kortom… Uit voorgaande is het duidelijk dat ik met een heleboel dingen bezig ben geweest en dat ik me graag met een diversiteit van onderwerpen bemoeid heb. Het was een soort grand dessert, overal een klein beetje van. Maar er zijn in mijn bemoeienis en keuzes toch wel centrale punten te vinden, hoop ik. Voor de zekerheid wil ik een paar zaken noemen waar ik naar heb omgezien. Dat is in de eerste plaats onderzoek en theorievorming in de Onderwijskunde en het belang en de betekenis van onderwijs. We moeten er naar streven dat het onderwijs, de school, en de onderwijsleerstituatie uitgelezen plaatsen zijn voor cognitieve ontwikkeling. Natuurlijk worden prestaties voor een groot deel bepaald door aanleg en andere achtergrondvariabelen van studenten. Maar hun interesse en motivatie dienen door het onderwijs geprikkeld te worden. En dat is dan een pleidooi voor ambitie, om dat woord maar eens te gebruiken, de inzet van de student voor zijn eigen ontwikkeling, maar ook de ambitie en de inzet van de school en het systeem, het belang dat een maatschappij hecht aan de ontwikkeling van een opgroeiende generatie en de bereidheid om daarin (veel) te investeren. De vraag waar we dan op moeten letten in het onderwijs vanuit een theoretisch-empirisch perspectief blijft me boeien. Ik heb ernaar omgezien de afgelopen jaren, en ik blijf er naar uitzien.
Handbook of Research on Teaching. Four editions as companions of my academic life * The appearance of empirical research in education: Handbook I When I started my studies in the early sixties of the last century psychology was, except for fields as psychotherapy, a predominantly empirical science with emphasis on research methodology and statistics. Education, or Pedagogy as it was called in mainland Europe, was still dominated by philosophy and prescriptive educational theories. When there was any research, it was qualitative in nature only with an emphasis on a phenomenological approach directed on Deutung (interpretation) and Verstehen (understanding) of the nature of education, which surpasses the empirical reality. Interested in education as a field but also in empirical research, my ‘fellows’ and I had to find our own way, in discussions with each other and in debates between us and representatives of the ‘traditional pedagogy’. In that uncomfortable situation, the publication of the first Handbook of Research and Teaching (1963), edited by N.L. Gage, came as a miracle. Actually, in Europe some researchers became aware of this publication through a German translation by Ingenkamp & Parey, the ‘Handbuch der Unterrichtsforschung’ (1970-1972). This can be seen as an indication for the hegemony of German as a language of science in pedagogy and education in that period. The Handbook provided us with a theory of teaching, especially in the chapter written by Gage about the paradigms of research on teaching. The chapter gives not only the central concepts and variables for research on teaching, but was also a plea for a theory of teaching supported by empirical evidence. Part two of the Handbook on the methodologies in research on teaching contains chapters on the ‘basics’ of the methodology for research on teaching. Although the essentials of designs, observations and rating were not new in psychology and sociology, the systematic overview of the use and their application in research on teaching was very practical for our research. That holds especially for the chapter on experimental and quasi-experimental designs by Campbell and Stanley, which was also published separately and has been used in courses on educational * A revised and elaborated version (with more personal notes) of a review, submitted to School Effectiveness and School Improvement.
30
31
research for quite a long time. Furthermore, the chapter on the different instruments for research on teaching ‘Measuring of classroom behavior by systematic observation’, written by Medley and Mitzel became a standard for research such as mine: I was conducting a classroom observation study for my Ph.D. This Ph.D. project addressed the differences in teacher’s instructional behaviour in initial reading. The study collected data about the instructional behaviour of teachers using the same textbook. Teachers could be discerned in groups through different patterns of teaching. The differences could be related to differences in student outcomes. In this specific project, teachers who followed the essential characteristics of the textbook, especially the procedures to be followed in the acquisition of the learning skill, outperformed the other groups. This was one of the arguments to start a new project on curricular development at school level. Another argument was the dominant opinion in the 1970’s of the last century that teachers as professionals should develop their own curricula and textbooks. The curricular strategy developed in the project was an attempt to combine the available knowledge and textbooks with professional knowledge of teachers about their students and classes. The strategy however was rarely used by schools. One reason might be that the strategy was more complicated than the development of the curriculum. Another reason was definitely the disappointing results regarding curriculum development by teachers. The results were poor in comparison with curricula developed by experts and, more important, the development by teachers in a specific school was not a guarantee for better use. The design of the projects in their process-product orientation and in the instrumentation however benefited to a large extent from the first handbook, especially the first two parts. In the third part, major variables and areas of research were presented. Chapters such as ‘Teaching networks’ and ‘Instruments and media of instruction’ presented the state of the art of research at that time. Interesting and influential was the chapter on teacher’s personality and characteristics. In its conclusion, the chapter provided support for the position that it was not so important to investigate the personality of the teacher. Research on teaching has as its central focus student’s learning and the behaviour of the teacher to promote student’s learning. It is interesting to note that another chapter in part three addresses classroom processes like Medley and Mitzel did, but concentrated on the social interaction rather than the learning and teaching. Maybe this was the reason to treat it separately (and to move it to another part). 32
The most important message of the book was the plea for empirical evidence for theories about teaching, which concentrate on processproduct relations. In education, this implies the relation between processes in teaching and the outcomes of student’s learning. Later this process-product model was revised by adding input factors and the context of education. Educational Effectiveness Research: Handbook II Research on teaching and the way it was proposed in this handbook can be seen as the base for educational effectiveness research (EER). The same model, paradigm and theoretical approach as developed in Research on Teaching was further elaborated in EER. EER owes the first Handbook a lot, although in the years after its publication the research using this framework led to the conclusion that the high expectations about the effects of the processes (in the system, school and classroom) did not hold, which resulted in publications about the insignificant effects of teaching and schools. This was not only the case in the USA but also in the Netherlands. In that period (1968 and onwards) it was expected that the society in general and at least education in schools could and should be changed to the benefit of the society and the individuals. The society would become more ‘equal’, and individuals could develop in a harmonious way according to their capacities and needs and especially the less advantageous would achieve better in schools and in society. I moved to the University of Groningen in 1975, and the research institute RION got involved for many years in the evaluation of policy intervention to change and improve education. Mostly we used designs promoted in the Handbooks for Research on Teaching (and of course other methodological and statistical handbooks). The results and conclusions confirmed those reached in the USA and in many other countries. The possibility to change education and to achieve results in terms of student outcomes are limited. After the ‘resurrection’ of the research on the effects of education in the eighties and nineties, when in their studies Brookover et al. (1979) and Rutter et al. (1979) showed that ‘schools could make a difference’, the extended (input – process – product – context) model could be applied again. The impact of the first Handbook on educational research was big. Together with the increase of public spending on education, stimulated by high expectations about the possibilities of education in building an egalitarian society and in compensating weaker student background 33
characteristics. The book was the starting point for an extensive program of research and development in education. As mentioned above with sometimes negative or pessimistic conclusions about the effects. This was recognized by Travers in his introduction to the second Handbook in 1973: ‘Indeed in looking over the collected chapters, one can not help but be concerned about the lack of progress that has been made in relation to the large sums of money invested in the enterprise by the federal government’ (Travers, 1973: vii). Travers also refers to some criticisms on the research made by reviewers of the first Handbook about the lack of relation between the research items and the inability of research to come to a useful set of generalizations. In the first part of the Handbook, this issue is addressed by a chapter on the impact of research on teaching (by Jonçich Clifford), suggesting mechanisms and factors that might increase this impact, such as cultural diffusion and the professional - teachers and researchers - as an elite promoting the impact of research findings. This issue is further elaborated in the chapter on social and political influences on educational research (by Dershimer and Iannacone). Note the change of teaching into education in the title, an indication that teaching encompassed more or is embedded in a broader educational context. For me, the most interesting chapters from a theory based research oriented point of view were the ones on theory construction for research on teaching, by Snow, which I could use later on in the development of the model(s) for educational effectiveness, and the chapter by Rosenshine and Furst about the use of direct observation to study teaching. This chapter was helpful in the development of instruments for classroom observation. Maybe in order to provide a clear message about the implications of research, the majority of chapters addressed topics where research could show a positive impact on the quality of education and the message based on research was evident. It is interesting to see that the chapters on experimental effects and qualitative data follow the line in empirical research: increase the quality (in a quantitative way) of the analysis of data and follow strict procedures. In the parts three and four, which covered the major part of the Handbook, results of research on different subjects and aspects of teaching are presented. In general, although scepticism was voiced in the introduction, the majority of chapters echoed similar messages about empirical research on teaching as the first Handbook, in almost twice as many chapters. At the same time the second Handbook was distributed, the attention in a major part of the research community started drifting. This was 34
partly due to the scepticism based on the results of research on special programs for the disadvantaged, resulting in publications about school, teachers and education in general which did not make a difference. Furthermore, criticism on the process-product approach arose, and related to this the dominance of quantitative research techniques in research on teaching (Garrison & McMillan, 1984; Gage & Needels, 1989). This might be promoted by the attention given to the teacher and teacher professionalism in order to improve education instead of concentrating on the activities carried out by teachers. Gage illustrated this in his satirical sketch of the research between 1989 and 2009 in ‘The paradigm war and their aftermath. A “historical” sketch of research on teaching since 1989’ (Gage, 1989). Sophistication of research methods: Handbook III Although still mostly in line with the traditional view on research on teaching, the third edition of the Handbook (Wittrock, 1986) reflects some of these concerns, especially with regard to the teacher. In the first chapter, ‘Paradigms and research programs in the study of teaching: a contemporary perspective’, Shulman spends much attention on the teacher: teacher cognition, thoughts and (even) feelings. This issue comes back in ‘Teachers’ thoughts and processes’ by Clark and Peterson, and in ‘The cultures of teaching’ by Feiman-Nemser and Floden. For me the chapters on the ‘Syntheses of research on teaching’ (Walberg), ‘Teacher behavior and student achievement’ (Brophy and Good), and ‘School effects’ (Good and Brophy) were important in developing the framework for educational effectiveness research, actually moving in another direction as indicated in the abovementioned chapters by Shulman, Clark and Peterson and Feiman-Nemser and Floden. In EER at that time, at least in mainland Europe, quantitative research was emphasized and qualitative approaches were addressed with attitudes ranging from reservation, suspicion to total declination. This was aggravated by chapters on the ‘Philosophy of research on teaching’ (Fenstermacher), ‘Qualitative methods in research on teaching’ (Erickson), ‘Theory, methods, knowledge and research on teaching’ (Biddle and Anderson), which suggested other areas and ways of research. I, at least, liked to pursue educational effectiveness theory and research. And I was not the only one. In the 1980’s EER was ‘booming’. In the beginning, EER addressed the differences between less and more effective schools, which resulted in a large number of factors that could make a difference (see the reviews by a.o. Levine and Lezotte). Later, due to the criticism from 35
methodological and theoretical points of view, the studies and reviews became more sophisticated. At least the multi-level structure of education was recognized and the effect sizes were taken into consideration (see Sammons, 1999; Scheerens and Bosker, 1997; Creemers and Kyriakides, 2006). In RION as in other places we concentrated on the class/learning level (Creemers, 1994; Kyriakides 2004; Houtveen, Van der Grift and Creemers, 2004, Teddlie and Stringfield, 1993). In the 1990’s this resulted in more theoretical frameworks for EER (Scheerens, 1997; Scheerens en Bosker, 1997; Creemers, 1994; Stringfield, 1994 en 1995; Slater en Teddlie, 1992). The international network, promoted by the establishment of the International Congress of School Effectiveness and Improvement (ICSEI) provided the opportunity to start international comparative research on differences in teaching, schooling and educational systems and their effects on student outcomes (International School Effectiveness Research Project (ISERP), Reynolds et al., 2002; the project Effective School Improvement (ESI), Creemers, Reezigt, Stoll with ESI team, 2007; and International Study of Teacher Observation and Feedback (ISTOF), Teddlie, 2006). In the field of teacher training and the research on ‘the teacher’, instead of teaching, the Handbook was received quite well. It was noticed that more attention was given to the field – the teacher and teacher education – internationally, and that the qualitative methodology got almost the same attention as the quantitative research methods. Choosing the quantitative approach; leaving Handbook IV What, in my view, started with the third Handbook was further explored in the Fourth Handbook (Richardson, 2001). Gage and Shulman presented the paradigms as an evolution of research approaches drawn from work in related social sciences and disciplined by the methodological structures of those fields (Floden 2001, p. 5). Richardson takes a completely different view: “The first emphasis was to attempt to place the field of research on teaching within a larger foundational context, that is, to place research on teaching within the many descriptive and normative ideas about thinking, learning, and action that still are swirling around us. […] The second emphasis was on including research on teaching and pedagogy that is not always described within research on teaching chapters but that might instead be considered multicultural, ethnic, and gender studies.’ (Richardson 2001, p. ix). She states that the handbook is ‘meant to describe research that has already been conducted rather than to explain underdeveloped areas that require more attention.’ (ibid., p. ix). 36
A postmodernist view of the world, and an accompanying penchant for ‘qualitative’ research methods, had found their way to research concerned with teaching, teacher preparation and K-12 learning, and they ‘… raise questions that jar the very foundations of our understanding of research’ (ibid., p. x). As a consequence, only two of the 51 chapters included in Handbook IV focus explicitly upon the contributions to be made through the traditional methods of science, namely ‘Research on effects of teaching: a continuing model for research on teaching’ (Floden, 2001) and ‘Teaching in early childhood education: understanding practices through research and theory’ (Genishi, Ryan & Ochsner, with Yarnall, 2001). The remaining chapters are examples of the diverse directions in which research and theory on teaching, if it still can be captured in those traditional words, has gone. Just a few chapters might be interesting for EER, this time especially in the subject matter. In my view chapters on ‘(mis)understanding Paulo Freire’ (Macedo & Freire), ‘Teaching as communicative action: Habermas and education’ (Coulter, 2001) are exemplary for the fact that research on teaching in this Handbook has drifted away from the original ideas from Gage and others. Ideas advocated in the chapters on for example teaching and teachers are almost the same as those that were common in certain pedagogical circles in Europe in the 1960s and that were criticized by Gage and the contributors to the earlier handbooks. I have the impression that in fourty years we have made a full circle. Maybe this time, my colleagues and I who heartily welcomed Gage’s critique might start the discussion. When, after 1990, the attention moved from the school level variables to the classroom factors that could explain differences in student learning outcomes, the knowledge base provided by research on teaching was guiding the developments of conceptual frameworks and the instruments used in research (see for example Mortimore et al., 1989; Scheerens, 1992; Teddlie and Stringfield, 1993). The comprehensive model of educational effectiveness (Creemers, 1994) takes the Carroll model for learning (Carroll, 1963) as overall frame, and develops the classroom level using the results of teacher effectiveness research as reviewed by Brophy and Good (1986) and others. The research done with this and similar models resulted in new ideas about learning and teaching. The construction of the dynamic model and especially the measurement of teacher factors through more dimensions for frequency (what is done usually), can be seen not only as a further step in the development of a theory about educational effectiveness, but also as the development of a promising 37
theory about teaching, which can guide new research in this area (Creemers and Kyriakides, 2006, 2007). It might be, and I for one hope so, that in EER the original interest in processes in classroom (especially teaching), schools and systems has taken over from the research on teaching. References Brookover, W.B., Beady, C., Flood, P., & Schweitzer, J. (1979). School Systems and Student Achievement: Schools make a Difference. New York: Praeger. Brophy, J., & Good, T.L. (1986). Teacher behavior and student achievement. In M.C. Wittrock (Ed.), Handbook of Research on Teaching (3rd ed, pp. 328-375). New York: MacMillan. Carroll, J.B. (1963). A model of school learning. Teachers College Record, 64, 723-733. Creemers, B.P.M. (1994). The Effective Classroom. London: Cassell. Creemers, B. P. M., & Kyriakides, L. (2006). Critical analysis of the current approaches to modelling educational effectiveness: The importance of establishing a dynamic model. School Effectiveness and School Improvement, 3, 347-366. Creemers, B. P. M., & Kyriakides, L. (2007, in press). The Dynamics of Educational Effectiveness. London: Routledge. Creemers, B.P.M., Reezigt, G., Stoll, L. and ESI team (2007). Effective School Improvement – Ingredients for Success: The Results of an International Comparative Study of Best Practice Case Studies. To be published in Townsend, T. (Ed)., International Handbook of School Effectiveness and Improvement, New York:Springer, pp. 825-838. Gage, N.L. (1963). Handbook of Research on Teaching. Rand McNally & Company: Chicago Gage, N.L. (1989). The Paradigm Wars and Their Aftermath A “Historical” Sketch of Research on Teaching Since 1989. Educational Researcher, Vol. 18, No. 7, 4-10. Gage, N.L., & Needels, M. (1989). Process-product research on teaching. Elementary School Journal, 89. Houtveen, A.A.M., Grift, W.J.C.M. van de & Creemers, B.P.M. (2004), Effective school improvement in mathematics. In B.P.M. Creemers & D. Reynolds, School Effectiveness and School Improvement, Lisse: Taylor & Francis. Ingenkamp, K.H. & Parey, E. (eds) (1970-1971). Handbuch der Unterrichtsforschung, Weinheim: Beltz (Teil 1, 1970; Teil 2, 1971; Teil 3, 1972). Kyriakides, L. (2004). ‘Differential school effectiveness in relation to sex and social class: some implications for policy evaluation’. Educational Research and Evaluation 10(2), 141-161. Mortimore, P., Sammons, P., Stoll, L., Lewis, D., & Ecob, R. (1989). A study of effective junior schools. International Journal of Educational Research, 13(7), 753-768. Reynolds, D., Creemers, B., Stringfield, S., Teddlie, C. & Schaffer, G. (Eds.) (2002). 38
World Class Schools. London: Routledge Farmer. Richardson, V. (2001). Handbook of Research on Teaching. Fourth Edition. American Educational Research Association: Washington, DC. Rutter, M., Maughan, B., Mortimore, P., & Ouston, J. (1979). Fifteen Thousand Hours. London: Open Books. Sammons, P. (1999) School Effectiveness: Coming of Age in the Twenty-First Century. Lisse, the Netherlands: Swets & Zeitlinger. Scheerens, J. (1997). Conceptual models and theory embedded principles on effective shooling. School Effectiveness and School Improvement, 8,3, pp.269-310. Scheerens, J., & Bosker, R.J. (1997). The Foundations of Educational Effectiveness. Oxford: Pergamon. Slater, R.O., & Teddlie, C. (1992). Toward a theory of school effectiveness and leadership. School Effectiveness and School Improvement, 3(4), 247-257. Stringfield, S. (1994). A model of elementary school effects. In D. Reynolds, B.P.M. Creemers, P.S. Nesselrodt, E.C. Schaffer, S. Stringfield, & C. Teddlie (Eds.), Advances in School Effectiveness Research and Practice (pp. 153-187). Oxford: Pergamon Press. Teddlie, C. , Creemers, B.P.M., Kyriakides, L., Muijs, D. & Yu, F. (2006). The international system for teacher observation and feedback: evolution of an international study of teacher effectiveness constructs. Educational Research and Evaluation 12(6), pp. 561-582. Teddlie, C., & Stringfield, S. (1993). Schools make a Difference: Lessons Learned from a 10-year Study of School Effects. New York: Teachers College Press. Travers, R.M.W. (1973). Second Handbook of Research on Teaching. Rand McNally & Company: Chicago. Wittrock, M.C. (1986). Handbook of Research on Teaching. Third Edition. McMillan Publishing Company: New York.
39
