Protocol Evaluatie en Effectmeting MARCHET Modules Augustus 2011 B. Rienties, D. Townsend, N. Brouwer, W. Kaper
INHOUD
1
Inleiding........................................................................................................................................... 3
2
Doel Protocol ................................................................................................................................... 4
3
Protocol Evaluatie MARCHET modules .............................................................................................. 5 3.1 Opzet evaluatie .............................................................................................................................. 5 3.2 Doelgroep en focus ........................................................................................................................ 5
4
Protocol Effectmeting MARCHET Modules ........................................................................................ 6 4.1 Opzet effectmeting ........................................................................................................................ 6 4.2 Theoretische onderbouwing .......................................................................................................... 6 4.2.1 Vier niveaus van Kirkpatrick .................................................................................................. 6 4.2.2 Samenhang van de didactische kenmerken van de module en het model van Kirkpatrick ..... 7 4.3 Effectmeting Instrumenten ............................................................................................................ 8 4.3.1 Pre-meting ........................................................................................................................... 8 4.3.2 Post-meting .......................................................................................................................... 9 4.3.3 Semi-gestructureerde interviews (longitudinal effect) ........................................................ 10 4.3.4 Impact op studenttevredenheid en studierendement ......................................................... 10 4.3.5 Eindconferentie (focus groep discussies) ............................................................................ 11
5
Referenties .................................................................................................................................... 12
6
Bijlagen.......................................................................................................................................... 14
1
2
1 Inleiding In de wereld van docentenprofessionalisering is er een toenemende vraag naar trainingen die effectief gebruik van ICT voor docenten in hun onderwijs aanbieden. De toename in ICT en de mogelijkheden ervan worden over het algemeen positief ontvangen maar de verandering die dit van de docent vraagt, wordt nog mondjesmaat onderkend en ondersteund (Volman, 2005). “Online” docenten worden uitgedaagd om de digitale middelen te begrijpen en toe te passen, krachtige leeromgevingen te creëren, waarbij docenten en studenten betrokken ‘learners’ worden en verantwoordelijkheid dienen te nemen voor hun eigen leren en tegelijkertijd meebouwen aan deze kennis (Koehler & Mishra, 2005a; Mishra & Koehler, 2006). De online docent is de supervisor, facilitator en coach van het leerproces in plaats van degene die de kennis overbrengt (Anderson, Rourke, Garrison, & Archer, 2001; Gunawardena, 1995; Mazzolini & Maddison, 2003; Mishra & Koehler, 2006; Vonderwell, 2003). Traditioneel was de rol van de docent in het hoger onderwijs gericht op het overdragen van kennis en inzicht aan de student, oftewel docent-gecentreerd leren (Gow & Kember, 1993; Kinchin, Lygo-Baker, & Hay, 2008; Löfström & Nevgi, 2008; Prosser & Trigwell, 1999; Struyven, Dochy, & Janssens, 2011). Mazzolini en Maddison (2003) zeggen dat de rol van de online docent verandert van een “sage on the stage”, waarbij de docent het gehele onderwijs frontaal aanbiedt aan studenten die passief leren, naar een “guide on the side”, waarbij de docent een faciliterende rol heeft in het begeleiden van het leerproces van studenten in bijvoorbeeld een discussieforum. Naast kennis en didactiek zijn leiderschapskwaliteiten voor zowel docenten als studenten van steeds groter belang (Gow & Kember, 1993; Prosser, Ramsden, Trigwell, & Martin, 2003; Struyven, et al., 2011). In student-gecentreerd leren verandert de rol van de docent van een docent-gecentreerde rol van kennisoverdracht naar student-gecentreerd of gefaciliteerd leren (Biggs & Tang, 2007; Kember & Gow, 1994; Löfström & Nevgi, 2008). Dit betekent dat docenten moeten leren om in een team te werken, om te organiseren, te plannen, te coachen, te reflecteren, en te onderhandelen (Barron, 2003; Van den Bossche, Gijselaers, Segers, & Kirschner, 2006; Volman, 2005). Ondanks een toename in de kennis en inzichten over hoe studenten effectief leren (Ferla, Valcke, & Schuyten, 2009; Fyrenius, Wirell, & Silén, 2007), in het bijzonder in student-gecentreerd leren ondersteunt door ICT, blijven er nog veel vragen over. Veel innovaties in het hoger onderwijs, en ICT in het bijzonder, hebben niet geleid tot fundamentele veranderingen in de manier van lesgeven (Mishra & Koehler, 2005; Resta & Laferrière, 2007; Rienties, et al., 2011). Onderzoek heeft juist aangegeven dat de toepassing van ICT in het onderwijs niet per se leidt tot beter onderwijs, studieprestaties of studievoortgang. (Giesbers, Rienties, Gijselaers, Segers, & Tempelaar, 2009; Valcke & Martens, 2006). Dit wordt met name toegeschreven aan een gebrek aan organisatorische inbedding van innovatie en ICT (Resta & Laferrière, 2007; Rienties, et al., 2011), een gebrek aan inzicht in de essentiële onderdelen van effectief onderwijs met ICT (Mishra & Koehler, 2005; Rienties, et al., 2011; Valcke & Martens, 2006), en een gebrek aan goede training van docenten om effectief onderwijs te ontwerpen en te implementeren (Lawless & Pellegrino, 2007; Löfström & Nevgi, 2008). Verschillende onderzoekers hebben aangegeven dat hoger onderwijsinstellingen meer adequate training en support moeten geven aan docenten om hun bewustzijn van de complexe interactie tussen ICT, didactiek en disciplinaire kennis te verhogen (Lawless & Pellegrino, 2007; Löfström & Nevgi, 2008; Rienties & Townsend, 2011). In het bijzonder is het belangrijk dat deze training ingebed is binnen de dagelijkse praktijk van de docent (Lawless & Pellegrino, 2007; Löfström & Nevgi, 2008). Tegelijkertijd laat veel onderzoek zien dat er tot op heden relatief weinig onderzoek is gedaan naar het effectief meten van de relevantie van docentprofessionalisering (Lawless & Pellegrino, 2007; Webster-Wright, 2009), in het bijzonder hoe docentprofessionalisering effectief vorm kan gegeven worden in een online context. 3
2 Doel Protocol In het project MARCHET zijn we geïnteresseerd in het effect van de professionalisering van docenten door middel van de modules die we hebben ontwikkeld op het studiesucces/studierendement van studenten. In de literatuur zijn er geen kant en klare evaluatieprotocollen beschikbaar om de effectiviteit van docentprofessionalisering in een online context te meten. We hebben daarom op basis van een aantal internationaal gevalideerde instrumenten, in combinatie met eigen ontwikkelde instrumenten, een protocol opgezet om zo effectief en efficiënt mogelijk de impact van de MARCHET modules in de praktijk van de docent te meten. Het Protocol Evaluatie en Effectmeting MARCHET Modules geeft de richtlijnen voor het meten van het succes van de verschillende interventies in het onderwijs en het bepalen van impact van de modules op verschillende stakeholders zodat valide uitspraken kunnen worden gedaan over de kwaliteit van de modules. Dit protocol is onderverdeeld in twee protocollen: Protocol Evaluatie MARCHET modules en Protocol Effectmeting MARCHET modules. De modules waarvan effect wordt gemeten worden in het MARCHET project ook ontwikkeld. Het doel van het evaluatieprotocol is in eerste instantie het ondersteunen en het sturen van het ontwikkelingsproces van de modules om efficiënt tot een optimaal moduleontwerp te komen. Het doel van het effectmetingprotocol is het meten van het effect van een module op het onderwijs gegeven door de deelnemers (HO docenten) of met andere woorden het effect van docentprofessionalisering op de kwaliteit van het onderwijs. In de uitvoering vullen het effectmetingprotocol en het evaluatieprotocol elkaar naadloos aan en overlappen deze op het punt dat over de tevredenheid van de deelnemers over de module gaat.
4
3 Protocol Evaluatie MARCHET modules 3.1 Opzet evaluatie In dit protocol wordt beschreven hoe een MARCHET module, voor het professionaliseren van docenten om verantwoord keuzes te maken in ICT, geëvalueerd wordt. Het evaluatieprotocol is gericht op het meten van tevredenheid over het onderwijsontwerp van modules. De hoofdvraag is: Voldoet de module aan de verwachtingen van de stakeholders en zo nee op welke punten moet deze aangepast worden? Dit protocol wordt ingezet tijdens het ontwikkelproces van de modules en gebruikt bij het evalueren van de pilots. In het MARCHET project worden de modules in meerdere elkaar opvolgende pilots uitgevoerd en op basis van de evaluatie herontworpen of geoptimaliseerd. Voorbeelden van vragen die we met behulp van dit Evaluatieprotocol modules willen behandelen zijn: • Zijn diverse stakeholders tevreden over de module? • Verliep alles volgens plan? • Was het ontwerp van de module geschikt voor zijn doel? • Was de organisatie van het onderwijs in de modules adequaat volgens de gekozen model? • Was de module voldoende flexibel aangeboden? • Waren de deelnemers actief bij het onderwijs betrokken? • Hoe was de begeleiding georganiseerd? • Waren de ingezette digitale middelen hiervoor voldoende? • Is de module inzetbaar bij de docentenprofessionaliseringtrajecten bij de instellingen?
3.2 Doelgroep en focus Bij de evaluatie van modules wordt rekening gehouden met de ervaringen van drie groepen belanghebbenden: A. deelnemers van de modules (docenten die zich professionaliseren) B. begeleiders (moderatoren) van de modules C. coördinatoren van de professionaliseringstrajecten (bv. BKO, SKO) De tevredenheid over het onderwijsontwerp van de MARCHET module wordt bepaald door te kijken naar: Onderwijsproces in de module Hierbij wordt gekeken naar het didactische scenario (didactische beschrijving) van de module. Er wordt nagegaan of het proces volgens de hypothesen van de ontwikkelaars verliep en of de deelnemers en de begeleiders (moderatoren) dit als prettig hebben ervaren. Aan de moderatoren van de modules wordt gevraagd om hun ervaringen door te geven. Er zijn twee vragenlijsten hiervoor ontwikkeld: een voor de deelnemers en een voor de moderatoren. De vragenlijst voor de deelnemers wordt gebruikt tijdens een van de effectmeting momenten. De vragenlijsten zijn te vinden in bijlagen 2 en 3 van dit document. Inzetbaarheid van de modules Hier wordt geevalueerd of de MARCHET modules in de professionaliseringstrajecten (bv. BKO, SKO) bij de samenwerkende instellingen goed passen. Om dit te bepalen worden de eindtermen vergeleken. Er wordt nagegaan hoe de producten die deelnemers in de modules maken bruikbaar zijn als bewijsmateriaal over de verworven docentcompetenties (qua competentie, qua niveau). 5
4 Protocol Effectmeting MARCHET Modules In dit protocol is de opzet van de effectmeting van de MARCHET modules beschreven en hoe dit concreet in zijn werk gaat. Voor de gemaakte keuzes over de meetinstrumenten wordt een theoretische onderbouwing gegeven.
4.1 Opzet effectmeting Bij de effectmeting van de MARCHET modules zijn we uiteindelijk geïnteresseerd in het effect van de professionalisering van docenten op het studiesucces/studierendement van studenten. Om dit effect te kunnen beargumenteren is het nodig om te weten welk effect hebben de modules op de deelnemers, de HO docenten. Het effect wordt daarom op 2 dimensies gemeten: • Dimensie 1: effect van de interventie in de onderwijspraktijk van de docent: het meten van de verbetering van de kwaliteit van het onderwijs en het vergroten van studiesucces. • Dimensie 2: succes van de modules en de vooruitgang van de docenten op het gebied van effectieve ICT integratie in hun onderwijs (TPACK). In deze meting (interventie op de docent) worden docenten-deelnemers betrokken. De doelgroep van de effectmeting zijn de deelnemers (docenten) aan de modules. De focus in dimensie 2 is het effect van de module op de deelnemers: de verandering van hun Technological, Pedagogical, Content Knowledge (TPACK dimensie) zoals beschreven in Mishra & Koehler (2005, 2006) en verandering van hun gedrag zoals beschreven in Norton e.a. (2005). De focus in dimensie 1 is het effect van het herontwerp (interventie) door de deelnemers in hun onderwijspraktijk.
4.2 Theoretische onderbouwing 4.2.1 Vier niveaus van Kirkpatrick Als conceptueel uitgangspunt voor de effectmeting van de verschillende modules gebruiken we het model van Kirkpatrick & Kirkpatrick (2006). Het Kirkpatrick model geeft aan dat voor het evalueren van (trainings)programma’s en het vaststellen van effecten van trainingsprogramma’s er op 4 niveaus gemeten moet worden, namelijk: Reaction, Learning, Behaviour en Results. Het eerste niveau van Kirkpatrick, Reaction, betreft de percepties en reacties van de docenten op de training. Zijn docenten tevreden over de training, de trainer, de locatie, de inhoud van de training, etc.? Het tweede niveau van Kirkpatrick, Learning, betreft de ontwikkeling van kennis en vaardigheden in ICT gebruik in het onderwijs voor docenten. Hebben docenten geleerd om ICT verantwoord in het onderwijs in te zetten? Het derde niveau, Behaviour, betreft het (gewijzigde) gedrag van docenten in het onderwijs. Passen docenten hun onderwijs daadwerkelijk aan op basis van de training? Het vierde en laatste niveau, Results, geeft het uiteindelijke resultaat op de werkvloer weer. Met andere woorden, zijn studenten na de training meer tevreden over de didactische en ICT vaardigheden van hun docent dan voor de training? Heeft de verbeterde vaardigheid van docenten ook een effect op studieprestaties en rendement van studenten? In feite meten de eerste drie niveaus van Kirkpatrick, Reaction, Learning en Behaviour, Dimensie 2 in de effectmeeting van MARCHET modules en niveau 4 van Kirkpatrick, Results, de Dimensie 1.
6
Het model van Kirkpatrick is een vaak gebruikte standaard in het evalueren van trainingsprogramma’s in de onderwijspraktijk als mede in het bedrijfsleven (Kirkpatrick & Kirkpatrick, 2006; Ruiz, Mintzer, & Leipzig, 2006; Vernon & Lisa, 2005). In een review van e-learning literatuur geven Ruiz e.a. (2006) aan dat het Kirkpatrick model een geschikt instrument is om de effectiviteit van e-learning programma’s vast te stellen. Uit een meta-review van het gebruik van ICT in medisch onderwijs (Vernon & Lisa, 2005) blijkt dat veel studies slechts op niveau 1 (Reaction) en niveau 2 (Learning) van het model van Kirkpatrick meten, voornamelijk tevredenheidstudies en learning outcome studies. Echter, juist het meten van gedragsveranderingen en het vaststellen van effecten van training in de dagelijks praktijk van professionals (i.e. docenten) is van essentieel belang (Kirkpatrick & Kirkpatrick, 2006; Vernon & Lisa, 2005). Een belangrijk kritiekpunt van het model van Kirkpatrick is dat het model meer een taxonomie van uitkomsten is dan een model met gestructureerde en gevalideerde instrumenten van de vier verschillende niveaus (Holton, 1996). Hoewel Kirkpatrick een aantal concrete suggesties per niveau geeft voor de eisen waaraan een instrument moet voldoen, zijn er geen specifiek gevalideerde instrumenten die het effect van docent professionalisering concreet vastleggen. Voor het meten van de verschillende effecten op de vier niveaus is ervoor in dit protocol gekozen om zoveel mogelijk gebruik te maken van bestaande gestandaardiseerde en gevalideerde instrumenten. Zes verschillende meetinstrumenten zijn beschreven in dit protocol. De eerste vier instrumenten meten de gedragsverandering van docenten (Dimensie 2 of Niveau 1-3 in Kirkpatrick), terwijl de laatste twee instrumenten indirect de resultaten op de werkvloer van de docent meten (Dimensie 1 of Niveau 4 in Kirkpatrick).
4.2.2 Samenhang van de didactische kenmerken van de module en het model van Kirkpatrick In het didactisch ontwerp van de MARCHET modules zijn drie karakteristieken die effect kunnen hebben op een van de niveaus van Kirkpatrick. A) Cognitief niveau opdrachten In de modules zijn opdrachten opgenomen waarbij deelnemers de opgedane kennis toepassen door o.a. een onderwijsherontwerp te maken voor de eigen onderwijspraktijk. Het verwachtte leereffect direct na de module wordt zo groter. B) Bruikbare Producten De producten die de deelnemer maakt zijn bedoeld voor zijn/haar onderwijspraktijk. In die zin is de bewustwording en de gedragsverandering deels in de module opgenomen en gaat gelijk op met het leren. Voor een ander deel vindt de gedragsverandering plaats als de docent het onderwijsherontwerp in de praktijk uitprobeert. C) Docent als onderzoeker Een mogelijk belangrijk deel van het leren vindt plaats op basis van de ervaring met het herontwerp in de onderwijspraktijk van de docent (het niveau 4 in het model van Kirkpatrick). Docenten die een MARCHET module hebben gevolgd meten zelf het effect van hun interventie in het onderwijs. Tijdens de module zetten ze een meetinstrument op. Hierbij behoort een beschrijving van de beginsituatie, gedocumenteerd met examenresultaten van vorig jaar en tevredenheid van studenten (uit enquêtes van het onderwijsinstituut). Een uitwisseling van ervaringen (resultaten) van docenten bij een bijeenkomst kan het leereffect nog vergroten.
7
4.3 Effectmeting Instrumenten De effectmeting instrumenten worden ingezet op vastgestelde momenten. We hebben 5 meetinstrumenten ontworpen die gebaseerd zijn op het TPACK model en op Norton’s vragenlijst over beliefs en intenties. De meetmomenten zijn met de gestippelde lijnen aangegeven in Schema 1. Elk meetmoment heeft een specifiek doel en gebruikt zijn eigen meetinstrument.
Schema 1: Conceptueel framework van de effectmeting van de MARCHET module gebaseerd op het model van Kirkpatrick
4.3.1 Pre-meting Met de pre-meting wordt de beginsituatie van de deelnemers vastgelegd (Dimensie 2). a. Teacher beliefs and intentions Om de veranderde rol van de docent in het onderwijs goed vast te leggen is er gekozen voor het Teacher Beliefs and Intentions (TBI) instrument van Norton e.a. (2005). De “teacher beliefs” van docenten over kennisoverdracht en student-gecentreerd leren hebben een sterke invloed op de vormgeving en implementatie van onderwijs (Kember, Charlesworth, Davies, McKay, & Stott, 1997; Kember & Gow, 1994). Daarnaast hebben de intenties van docenten om het onderwijs te vernieuwen een belangrijk effect op toekomstig onderwijs. Norton e.a. (2005) hebben een vragenlijst onwikkeld op basis van Kember & Gow (1994), waarbij 20 “belief items” en 20 “intention items” zijn gedefinieerd. Vervolgens is op basis van een sample van 696 docenten bij 5 hoger onderwijsinstellingen in Engeland een factor analyse gedaan op de 40 vragen. Doordat de vragenlijst bij verschillende instellingen en in verschillende vakdisciplines is afgenomen neemt de validiteit en betrouwbaarheid van het instrument toe. Er wordt onderscheid gemaakt tussen ondersteuning van leren (learning facilitation) en kennisoverdracht (knowledge transmission). Binnen ondersteuning van leren komen er vijf factor uitkomsten uit, namelijk probleem oplossing, interactief onderwijs, ondersteunend onderwijs, pastorale interesse, en motiveren van studenten door de docent. Voor kennisoverdracht zijn er vier factor 8
uitkomsten, namelijk training voor een baan in de arbeidsmarkt, gebruik van media, meegeven van informatie, en domeinkennis. De uiteindelijke vragenlijst van Norton e.a. (2006) bestaat uit 32 vragen. Omdat de vragen allemaal positief geformuleerd zijn (wat Norton e.a. als mogelijk validiteitsprobleem aankaarten), zijn in totaal 12 vragen in een negatieve zinsconstructie herschreven. Twee vragen over het gebruik van media zijn vervangen door de meer uitgebreide versie van TPACK. b. Technology, cognition and pedagogy - TPACK Een belangrijke beperking van de TBI is dat er niet expliciet rekening wordt gehouden met ICT en in het bijzonder met het TPACK model (Koehler & Mishra, 2005a, 2005b; Mishra & Koehler, 2005, 2006). Daarom wordt er naast de TBI een afgeleide van de TPACK vragenlijst afgenomen die cognitieve, didactische en technologische onderwijsprocessen meet d.m.v. 15 vragen (Mishra & Koehler, 2005; Schmidt, Baran, Thompson, Koehler, & Mishra, Submitted). Meetmoment 1 Deze meting wordt gedaan voor de start van de module. Het doel van dit meetmoment is een nulmeting op dimensie 2 waarmee de verwachtingen, de concepties en het gedrag van de deelnemers voor de start van module worden vastgelegd. Meetinstrument 1 (PreM1) Dit meetinstrument is een online vragenlijst over persoonlijke gegevens, TBI en TPACK beleving (bijlage 1). Deze vragenlijst wordt door de deelnemers ingevuld gelijktijdig met de aanmelding voor een module. • Persoonlijke informatie (naam, leeftijd, instelling/instituut, vakgebied, rol/functie, jaren ervaring, email ) • 19 TCPK vragen • 30 vragen uit vragenlijst Norton (Norton e.a. 2006)
4.3.2 Post-meting Met de post-meting wordt de situatie direct na de afloop van de module gemeten (Dimensie 2). a. Tevredenheid van docenten van training/module Aan het eind van de training wordt de tevredenheid van de docent gemeten, wat overeenkomt met niveau 1 (Reaction/Satisfaction) van Kirkpatrick. De deelnemers evalueren stellingen op een 1-5 Likert respons schaal (1 - helemaal mee oneens, 5 - helemaal mee eens) en geven aanvullend hun mening in een open vraag. De lijst vragen is afgestemd met het protocol van de Evaluatie van de MARCHET modules. b. Post-test over TBI and TPACK Aanvullend op de evaluatie-enquête wordt de deelnemers gevraagd om opnieuw de vragenlijst over TBI en TPACK in te vullen. Hiermee wordt de verandering gemeten zoals aangegeven in de eerste twee niveaus in het model van Kirkpatrick (Reaction en Learning). Meetmoment 2 Deze meting wordt gedaan meteen na de afloop (max 1-2 dagen) van de module. Het doel van dit meetmoment is het meten van het succes van de modules in dimensie 2: de tevredenheid (zijn de verwachtingen van de deelnemers uitgekomen), concepties (volgens TPACK model) en gedragmeting (Norton). In deze meting wordt bepaald in hoeverre zijn de leerdoelen en eindtermen van de module gehaald (zie evaluatieprotocol modules). 9
Meetinstrument 2 (PostM2): Dit meetinstrument heeft twee delen: a) de kwantiteit en kwaliteit van ingeleverde producten van de deelnemers wordt vastgelegd door de moderator. Bij voldoende resultaat wordt aan de deelnemer een certificaat uitgereikt. Op het certificaat wordt aangegeven welke competenties de deelnemer heeft geoefend bij het maken van de ingeleverde werkstukken. b) een online vragenlijst waar vragen over tevredenheid over de module worden gecombineerd met de vragen over TBI en TPACK. Een identieke lijst vragen over TBI en TPACK wordt gebruikt als in de pre-test. De vragenlijst wordt aan alle deelnemers voorgelegd die een module zijn gestart. Zie bijlage 2. • 27 stellingen over tevredenheid over de module, realisatie van verwachtingen en persoonlijke leerdoelen • 19 TCPK vragen • 30 vragen uit vragenlijst Norton (Norton e.a. 2006)
4.3.3 Semi-gestructureerde interviews (longitudinal effect) Voor een gedragsverandering is tijd nodig. Daarom worden ongeveer 3 maanden na afloop van een module de deelnemende docenten telefonisch benaderd door een ervaren interviewer (PostM3a, Schema 1). In dit semigestructureerde interview worden open vragen gesteld die gebaseerd zijn op TPACK en die de niveaus 2, 3 en 4 in het model van Kirkpatrick dekken over de onderwijspraktijk, dat wil zeggen het gedrag en van de docent (Dimensie 2) en de resultaten/ervaringen met studenten (Dimensie 1). Door de TBI en TPACK voor aanvang van de trainingsmodule (pre-test), na afronding van de training (post-test) en na drie maanden te meten (longitudinaal effect) kunnen veranderingen op niveau 1-3 van Kirkpatrick worden vastgelegd. Uit verschillend onderzoek over effecten van training komt naar voren dat dynamieken van training niet altijd aan het einde van de training vastgesteld kunnen worden omdat voor een verandering meer tijd nodig is (Kirkpatrick & Kirkpatrick, 2006; Nijman, Nijhof, Wognum, & Veldkamp, 2006). Meetmoment 3 Het doel van dit meetmoment is het effect van de module op de docent te meten (dimensie 2) en vast te leggen wat de verandering in TBI en het gedrag van de docent na 3 maanden is. Meetinstrument 3 (PostM3a) Telefonisch semigestructureerd interview met 10 open vragen (bijlage 3): • 7 vragen gebaseerd op TPACK op het niveau Learning (niveau 2) van Kirkpatrick • 2 vragen specifiek over niveau 3 en 4 (Behaviour en Results) in het model van Kirkpatrick, over de onderwijspraktijk, • 1 vraag voor aanvullend commentaar.
4.3.4 Impact op studenttevredenheid en studierendement Het doel van deze meting is het meten van het effect in Dimensie 1, het effect op studenten, de kwaliteit van het onderwijs en het studiesucces. De impact van het herontwerp op studenttevredenheid
10
en studierendement wordt door de docent zelf gemeten bij de instelling waar een deelnemende docent werkt (mogelijk met een ondersteuning door zijn/haar instelling). Indien mogelijk worden de studenttevredenheid gegevens van de cursus die de docent herontwikkeld heeft vergeleken met de studenttevredenheid gegevens van de cursus voordat de docent de training heeft gevolgd. Door gebruik te maken van het kwaliteitsinstrumentarium dat bij de instellingen aanwezig is wordt getracht om zoveel mogelijk rekening te houden met de instellingsspecifieke context. Indien gewenst en mogelijk worden er nog specifieke vragen toegevoegd aan het kwaliteitsinstrumentarium van de instelling om de effecten van de training van docenten meer specifiek te meten. Indien mogelijk worden de studierendement gegevens (slagingspercentage, gemiddeld cijfer) van de cursus die de docent herontwikkeld heeft vergeleken met de studierendement gegevens van de cursus voordat de docent de training heeft gevolgd. Deze gegevens komen van het administratieve systeem van iedere instelling en vragen ook geen specifieke extra meeting. Meetinstrument 4 (PostM3b) De deelnemers ontwikkelen hun eigen meetinstrument tijdens de module in het kader van een van de opdrachten (bijlage 4). Dit meetinstrument bevat vragen over de studenttevredenheid en studieresultaten/rendement. Een nulmeting (als mogelijk) en een (post)meting worden gedaan. Docenten bepalen zelf wanneer ze hun meetinstrument toepassen.
4.3.5 Eindconferentie (focus groep discussies) Naast de meer kwantitatieve perceptie-onderzoeken van TBI, TPCK en tevredenheid is het ook belangrijk om de leerervaringen van docenten na afloop door middel van focus groups/critical event recalls vast te leggen. Door een combinatie van kwantitatieve en kwalitatieve methodes zoals focus groepen kan er dieper gekeken worden naar de specifieke leerervaringen van docenten (De Laat, Lally, Lipponen, & Simons, 2007; Gülseçen & Kubat, 2006) en studenten (de Leng, Dolmans, Jöbsis, Muijtjens, & van der Vleuten, 2009; Järvelä, Järvenoja, & Veermans, 2008; Schrire, 2006). Bijvoorbeeld, De Laat e.a. (2007) gebruikt de interactiegegevens van discussie fora van docenten om na afloop in focus groepen een critical event recall voor te leggen waarom docenten een bepaalde actie deden/onthielden. Järvelä ea. (2008) gebruikte videobeelden in een focus groep om te reflecteren op cruciale leerprocessen binnen een bepaald team. Tijdens een conferentie worden rondetafelgesprekken georganiseerd om de ervaringen van docenten, deelnemers van de modules, uit te wisselen en te bediscussiëren in het kader van de thema van de module. Een ronde tafel discussie heeft een voorzitter die expertise op het gebied heeft. De moderator die de module heeft begeleid schuift aan bij iedere ronde tafel. Meetmoment 5 In het project MARCHET wordt een conferentie gehouden aan het eind van het project op 3 oktober 2011. Meetinstrument 5 (PostM3c) Een format die de docent gebruikt als basis voor de ronde tafel discussie. Hierin wordt het herontwerp en de resultaten verwoord. Daarnaast discussievragen voor de ronde tafel discussie.
11
5 Referenties Anderson, T., Rourke, L., Garrison, D., & Archer, W. (2001). Assessing teaching presence in a computer conferencing context. Journal of Asynchronous Learning Networks, 5(2), 1-17. Barron, B. (2003). When smart groups fail. The Journal of the Learning Sciences, 12, 307–359. Biggs, J., & Tang, C. (2007). Teaching for quality learning at University (3 ed.). Maidenhead: Open University Press. De Laat, M., Lally, V., Lipponen, L., & Simons, R.-J. (2007). Online teaching in networked learning communities: A multi-method approach to studying the role of the teacher. Instructional Science, 35(3), 257-286. de Leng, B. A., Dolmans, D. H. J. M., Jöbsis, R., Muijtjens, A. M. M., & van der Vleuten, C. P. M. (2009). Exploration of an e-learning model to foster critical thinking on basic science concepts during work placements. Computers & Education, 53(1), 1-13. Ferla, J., Valcke, M., & Schuyten, G. (2009). Student models of learning and their impact on study strategies. Studies in Higher Education, 34(2), 185-202. Fyrenius, A., Wirell, S., & Silén, C. (2007). Student approaches to achieving understanding approaches to learning revisited. Studies in Higher Education, 32(2), 149 - 165. Giesbers, B., Rienties, B., Gijselaers, W. H., Segers, M., & Tempelaar, D. T. (2009). Social presence, webvideoconferencing and learning in virtual teams. Industry and Higher Education, 23(4), 301-310. Gow, L., & Kember, D. (1993). Conceptions of teaching and their relationship to student learning. British Journal of Educational Psychology, 63(1), 20-23. Gülseçen, S., & Kubat, A. (2006). Teaching ICT to teacher candidates using PBL: a qualitative and quantitative analysis. Educational Technology & Society, 9(2), 96-106. Gunawardena, C. N. (1995). Social Presence Theory and Implications for Interaction and Collaborative Learning in Computer Conferencing. International Journal of Educational Telecommunications, 1(2-3), 147-166. Holton, E. (1996). The flawed four-level evaluation model. Human Resource Development Quarterly, 7(1), 5-21. Järvelä, S., Järvenoja, H., & Veermans, M. (2008). Understanding the dynamics of motivation in socially shared learning. International Journal of Educational Research, 47(2), 122-135. Kember, D., Charlesworth, M., Davies, H., McKay, J., & Stott, V. (1997). Evaluating the effectiveness of educational innovations: Using the study process questionnaire to show that meaningful learning occurs. Studies In Educational Evaluation, 23(2), 141-157. Kember, D., & Gow, L. (1994). Orientations to Teaching and Their Effect on the Quality of Student Learning. The Journal of Higher Education, 65(1), 58-74. Kinchin, I., Lygo-Baker, S., & Hay, D. (2008). Universities as centres of non-learning. Studies in Higher Education, 33(1), 89-103. Kirkpatrick, D. L., & Kirkpatrick, J. D. (2006). Evaluating training programs. San Francisco: BerrettKoehler. Koehler, M. J., & Mishra, P. (2005a). Teachers learning technology by design. Journal of Computing in Teacher Education, 21(3), 94-102. Koehler, M. J., & Mishra, P. (2005b). What happens when teachers design educational technology? The development of technological pedogogical content knowledge. Educational Computing Research, 32 (2), 131-152. Lawless, K. A., & Pellegrino, J. W. (2007). Professional Development in Integrating Technology Into Teaching and Learning: Knowns, Unknowns, and Ways to Pursue Better Questions and Answers. Review of Educational Research, 77(4), 575-614. 12
Löfström, E., & Nevgi, A. (2008). University teaching staffs' pedagogical awareness displayed through ICT-facilitated teaching. Interactive Learning Environments, 16(2), 101-116. Mazzolini, M., & Maddison, S. (2003). Sage, guide or ghost? The effect of instructor intervention on student participation in online discussion forums. Computers & Education, 40(3), 237-253. Mishra, P., & Koehler, M. J. (2005). What happens when teachers design educational technology? The development of technological pedagogical content knowledge. Journal of Educational Computing Research, 32(2), 131-152. Mishra, P., & Koehler, M. J. (2006). Technological Pedagogical Content Knowledge: A Framework for Teacher Knowledge. Teachers College Record, 108(6), 1017-1054. Norton, L., Richardson, T., Hartley, J., Newstead, S., & Mayes, J. (2005). Teachers’ beliefs and intentions concerning teaching in higher education. Higher Education, 50(4), 537-571. Prosser, M., Ramsden, P., Trigwell, K., & Martin, E. (2003). Dissonance in Experience of Teaching and its Relation to the Quality of Student Learning. Studies in Higher Education, 28(1), 37 - 48. Prosser, M., & Trigwell, K. (1999). Understanding Learning and Teaching: The Experience in Higher Education. Buckingham, UK: SRHE and Open University Press. Resta, P., & Laferrière, T. (2007). Technology in Support of Collaborative Learning. Educational Psychology Review, 19(1), 65-83. Rienties, B., Kaper, W., Struyven, K., Tempelaar, D. T., Van Gastel, L., Vrancken, S., et al. (2011). A review of the role of Information Communication Technology and course design in transitional education practices. Interactive Learning Environments, 1-19. Rienties, B., & Townsend, D. (2011). Integrating ICT in business education: using TPACK to reflect on two course redesigns. In P. Van den Bossche (Ed.), Advances in Business Education and Training (Vol. 4, pp. XX-XX). Dordrecht: Springer. Ruiz, J. G., Mintzer, M. J., & Leipzig, R. M. (2006). The Impact of E-Learning in Medical Education. Academic Medicine, 81(3), 207-212. Schmidt, D. A., Baran, E., Thompson, A. D., Koehler, M. J., & Mishra, P. (Submitted). Survey of Preservice Teachers' Knowledge of Teaching and Technology. Schrire, S. (2006). Knowledge building in asynchronous discussion groups: Going beyond quantitative analysis. Computers & Education, 46(1), 49-70. Struyven, K., Dochy, F., & Janssens, S. (2011). Explaining students' appraisal of lectures and studentactivating teaching: perceived context and student characteristics. Interactive Learning Environments. Valcke, M., & Martens, R. (2006). The problem arena of researching computer supported collaborative learning: Introduction to the special section. Computers & Education, 46(1), 1-5. Van den Bossche, P., Gijselaers, W. H., Segers, M., & Kirschner, P. A. (2006). Social and cognitive factors driving teamwork in collaborative learning environments. Team learning beliefs & behaviour. Small Group Research, 37, 490-521. Vernon, R. C., & Lisa, F. (2005). A review of evaluation outcomes of web-based continuing medical education. Medical Education, 39(6), 561-567. Volman, M. (2005). A variety of roles for a new type of teacher; Educational technology and the teaching profession. Teaching and Teacher Education, 21(1), 15-31. Vonderwell, S. (2003). An examination of asynchronous communication experiences and perspectives of students in an online course: a case study. The Internet and Higher Education, 6(1), 77-90. Webster-Wright, A. (2009). Reframing Professional Development Through Understanding Authentic Professional Learning. Review of Educational Research, 79(2), 702-739.
13
6 Bijlagen Bijlage 1: Meetinstrument 1 (persoonsinformatie, TBI lijst en TPACK lijst) Bijlage 2: Meetinstrument 2 (deel met 27stellingen over tevredenheid over de module, realisatie van verwachtingen en persoonlijke leerdoelen) Bijlage 3: Meetinstrument 3 (10 open vragen telefonisch semigestructureerd interview) Bijlage 4: Meetinstrument 4 (halffabricaat voor de deelnemers: vragen over de studenttevredenheid en studieresultaten/¬rendement).
14
