2. Onderzoek (3) 3. Discussie. Hulpmiddel gebruik in een cursus. Gebruikersprofielen, studentenfactoren en leereffecten

Hulpmiddel gebruik in een cursus hoger onderwijs: Gebruikersprofielen, studentenfactoren en leereffecten. Griet Lust Lust, Jan Elen Elen, Geraldine Clarebout Centrum voor Instructiepsychologie en Technologie, KU Leuven [email protected]

1. Probleemstelling 2. Onderzoek (3) 3. Discussie

1

1. Probleemstelling 1. Informatie tools 3. Cognitieve tools Leeromgeving = Inhoud + Leertaken + Tools 1.1 Structureren 3.1 Informatie verwerking (hulpmiddelen) bvb., slides, web-opnames bvb. Mindmap tool 1.2 Uitbreiden bvb., weblinks

3.2 Testen bvb. tussentijdse test, oefeningen 3.3 Communicatie Bvb. discussiebord

2. Scaffolding tools

Verschilllende tool-types afhankelijk van het soort 2.1 Conceptueel ondersteuning voor het leerproces (Hannafin, Land, & Oliver, bvb bvb., 1999Advanced 1999; D bb organizer Dabbagh h & Kitsantas, Ki 2005; JJonassen, 1999) 200 2.2 Metacognitief bvb., studietips 2.3 Procedureel bvb., informatie m.b.t. de aanwezige tools

1. Probleemstelling Aanbieden tools in een leeromgeving 1.

Niet-geïntegreerd in de leertaken

2. Geïntegreerd in de leertaken

?: Controle van gebruik = student

? Controle van gebruik = gedeeld

+ Adaptieve ondersteuning + Verhoogde interesse en motivatie + Zelfregulerend leren

+ 100% garantie opmerken tools

(Cordova & Lepper, 1996; Goforth, 1994; Kinzie & Sullivan, 1989; Lepper, 1985; Schnotz and Heiß, 2009; Williams, 1996)

-Tools worden genegeerd & Elen, 2006)

(Clarebout

-Kwalitatief gebruik? (Greene & Land, 2000)

2

1. Probleemstelling Ontwerp hulpmiddel

≠

Implementatie hulpmiddel

Verhoogd, gemotiveerd en zelfregulerend leren

Hulpmiddel gebruik Onder gebruik (Clarebout & Elen, 2006) Verkeerd gebruik (Clarebout & Elen, 2006)

1. Probleemstelling Evidentie voornamelijk in gecontroleerde leeromgevingen 1. Timing Tijd genoeg om de modaliteiten in de leeromgeving te leren kennen?

≠ Realistische, technologieondersteunende 2. Het type leertaak leeromgevingen (Grabinger, 2008) Gemotiveerd genoeg om te leren? 3. De leereffecten Lange termijn effecten van toolgebruik in kaart gebracht?

3

1. Probleemstelling Cursus Hoger Onderwijs - Verhoogde interesse voor en integratie van web-technologieën zoals Toledo (content management system) cf. flexibilisering en schaalvergroting onderwijs

=> Vb. van een technologieondersteunende, realistische, leeromgeving - Kenmerken: - Rijke Rijk ttoolset l t (di (digital it l ttools l en/of / f face-to-face f t f t l ) tools) - Niet-geïntegreerde manier

1. Probleemstelling Evidentie m.b.t. toolgebruik in hoger onderwijs cursus is beperkt! (Lust, Juarez Collazo, Elen, & Clarebout, 2012) - Tools worden vaak genegeerd - Studenten verschillen in toolgebruik - Significante leereffecten Meer onderzoek is noodzakelijk - Focus op de volledige toolset - Focus op gebruikerspatronen of tool-use patronen - Focus op beïnvloedende studentenvariabelen

4

2. Onderzoek

Studentenfactoren

Toolgebruik

Leereffecten

Eerste datacollectie Jan-Jun ‘10

Tweede datacollectie Jan-Jun ‘11

2. Onderzoek: Methodologie Blended leeromgeving Leerinhoud Leertaken --Tools ‘Leren en Instructie’, 1e bachelor pedagogische Examen wetenschappen Feitenkennis - Structurerende informatie tools i.e., slides, webopnames, Begrip colleges -Twee delen : Toepassing - Uitbreidende informatie tools weblinks - Theoretische introductie in i.e., de basisconcepten -- Opdracht Cognitieve testvan tools i.e.,basisconcepten twee tussentijdse - Uitbreiding deze (≠ testen wetenschappelijke bijdragen) - Cognitieve tools e.g.,positie discussieforum Kritischcommunicatie beargumenteren eigen op stelling - Scaffolding tools e.g., DOS sessies, online studietips, online leerondersteuning, feedback tussentijdse test 1, planning, voorbereidende oefeningen DOS sessies

5

2. Onderzoek: Methodologie Meetinstrumenten: Toolgebruik - Face-to-face tools - Colleges: via kleine opdrachten bvb. vragenlijst, tekenopdrachten. - DOS sessies: registratie - Online tools: logfiles

2. Onderzoek: Methodologie Structurerende informatie tools

Slides

Uitbreidende informatie tools

Weblinks

Webopnames

Cognitieve communicatie tool

Discussiebord

Cognitieve test tools

Tussentijdse test 1 Tussentijdse test 2

S ff ldi tools Scaffolding t l

Frequentie = aandacht voor de tool Tijdsduur = intensiteit toolgebruik Manier van bekijken: Non-stop versus strategisch

V b idi DOS Voorbereiding Feedback TT1

- Posten versus lezen - Type bericht: Leer- en studie ondersteuning inhoudelijk, organisatorisch of Planning persoonlijk

6

2. Onderzoek: Analyse 1 1) Tool-use patronen en leereffecten Eerste datacollectie Toolgebruik

Leereffecten

Tool-use patronen

Presteren

2. Onderzoek: Analyse 1 Tool-use patronen Techniek: K-means clusteranalyse met 1000 rotaties in R (Steinley, 2003; Tibshirani, Walther & Hastie, Walther, Hastie 2001). 2001)

Knik bij drie cluster oplossing

7

2. Onderzoek: Analyse 1 Tool-use patronen 1 ⇒ Bepaalde tools werden gemiddeld niet gebruikt Intensieve gebruikers Techniek: - discussiebord (Hammoud et al., 2008; Hoskins & Van Hoof, 2005;

Huon et al., 2007) 0,5 variantieanalyse (MANOVA) met de toolvariabelen als Multivariate => Breed profiel inzake toolgebruik - tussentijdse testen (Huon et 2007; Macfayden & Dawson, 2004) afhankelijke en de clusteroplossing alsal., onafhankelijke variabelen. 0 gebruikers 1. Actieve versus Passieve gebruikers discussiebord C1 ⇒ uit de drie significant hun tool-gebruik, Studentencontrole ?? clusters (Azevedo, 2005) C2 2. Studenten Kort gebruik versusverschillen Intensief gebruik intussentijdse test 1 Wilks’ λ= .06, F(30, 278)= 28.22, p< .001, η2= .75. C3

-0,5

⇒Drie verschillende tool-use patronen i.e., studentenverschillen in

Post-hoc vergelijkingen toolkeuzes -1 1

1. Niet-gebruikers C1 (n= 36) niet gebruikers 2. Selectieve gebruikers (Ellis, Marcus, & Taylor, 2005; Yen & Lee, 2011) Tool-keuze versus Tool-gebruik -1,5 C2 (n= 67) intensieve gebruikers 3. Intensieve gebruikers C3 (n= 53) selectieve gebruikers C1 < C2, C3 C2 > C1, C3

2. Onderzoek: Analyse 1 Leereffecten Niet-gebruikers < Gebruikers 0,4 03 0,3

Significante verschillen tussen diverse vormen van toolgebruik? => Gebruik van hulpmiddelen heeft een educatieve

Techniek Tussentijdse testen meerwaarde 0,2 Significante impact opde descore feitenitems, F(3, p= .05, Multivariate => variantie analyse met op de opdracht, begripsitems, 23% van de studenten profiteerde niet 153)= van de de 2.61, aanwezige 0,1 η²= .05, de toepassingsitems, F(3, 153)= p= .05, η²= de feitenitems, de op toepassingsitems en de totale score 2.73, als afhankelijke leerondersteuning! Niet gebruikers .05, de totale score, als F(3, 153)= 3.32, p= .02, η²= .05. 0 variabelen enen deop tool-use patronen onafhankelijke variabele. Intensieve gebruikers -0,1

Selectieve gebruikers Geen significant verschil tussen selectieve en intensieve gebruikers Intensieve gebruikers > Korte gebruikers => Functionaliteit van enkele online tools bvb. discussiebord, ⇒ Significant effect van het soort tool-use patroon op het leren, tussentijdse testen -0,3 Wilks’- lambda= .85, F(10,300)= 2.58, p= .01, η2= .08. Discussiebord -0 0,4 4 Geen significanteverklaring: effecten opbreed leren,profiel Wilks’van lambda= .93, F(10, => Alternatieve intensieve -0,5 300)= 1.04, η²= .03 gebruikers -0,2

Post-hoc vergelijkingen:

e.g. Discussionbord, actief versus passief gebruik

(e.g. Hoskins &

Van Hooff, 2005)

e.g. Tussentijdse testen, kort versus intensief gebruik

(e.g.,

Macfayden & Dawson, 2004)

8

2. Onderzoek: Analyse 2 2) Tool-use patronen en beïnvloedende studentenfactoren Tweede datacollectie

Beperkte aandacht voor beïnvloedende studentenfactoren in huidig onderzoek naar toolgebruik in een hoger onderwijs cursus (Lust, Juarez Collazo, Elen, Clarebout, 2012)

2. Onderzoek: Analyse 2 Perkins (1985), Winne (1982, 2006)

1. Contextuele factor Toolfunctionaliteit Cognitieve belasting

Tools

Verhoogd leren 2. Adaptief gebruik

2.1 Kennis

2.2 Vaardig

2.3 Motivatie

Percepties m.b.t. tool-functionali teit

9

2. Onderzoek: Analyse 2 Hypothese 1:

Positieve toolpercepties hebben een positieve impact op het toolgebruik

Selectieve gebruikers => Positieve percepties m.b.t. slides en DOS sessies Intensieve gebruikers => Positieve percepties m.b.t. slides, DOS sessies, webopnames, tussentijdse testen, discussiebord



Tools


2.1 Kennis Perceptie m.b.t. toolfunctionaliteit

2.2 Vaardig

2.3 Motivatie

Self-efficacy opvattingen (Bandura, 1986)

10

2. Onderzoek: Analyse 2 Hypothese 2: Positieve self-efficacy opvattingen m.b.t. zelfregulerend leren hebben een positieve impact op het toolgebruik (cf. intensieve gebruikers)



Tools


2.1 Kennis Percepties m.b.t. toolfunctionaliteit

2.2 Vaardig Self-efficacy opvattingen (Bandura, 1986)

2.3 Motivatie Doeloriëntatie (Dweck, 1986; Nicholls, 1984)

11

2. Onderzoek: Analyse 2 Hypothese 3: Competentiegerichte doelstellingen hebben een positieve invloed op h t vertonen het t van een intensief i t i f tool-use t l patroon. t

Prestatiegerichte doelstellingen hebben een positieve invloed op het vertonen van een selectief tool-use patroon

2. Onderzoek: Analyse 2 Beïnvloedende studentenfactoren - Via vragenlijstonderzoek g j - Doeloriëntatie (Elliot & Church, 1997; Elliot & McGregor, 2002)

- Self-efficacy voor zelfregulerend leren (Zimmerman & Kitsantas, 2005; 2007)

- Percepties (1) discussiebord, (2) slides, (3) webopnames, (4) tussentijdse testen en (5) DOS sessies (Sarfo, Elen, Clarebout, & Louw, 2010)

Toolpatronen (2de datacollectie)

12

2. Onderzoek: Analyse 2 3 Tool-use patronen 2,5

- Knik bij viercluster oplossing (K-means clusteranalyse)

2 1,5

- MANOVA: Studenten uit de vier clusters verschillen significant in hun toolgebruik, Wilk’s lambda= .03, F(72, 464)= 15.49, p= .00, η²= .71. C1

1

C2 C3

0,5 0

C4

=> Post-hoc vergelijkingen:

-0,5 -1

C1 < C2, C3, C4

C3 < C1, C2, C4 C2 > C1, C3, C4 C4 > C1, C3

2. Onderzoek: Analyse 2 // analyse 1 C1 (n= 79) C2 (n= 19) C3 (n= 57) C4 (n= 27) - Meerderheid studenten is niet-gebruiker Toolkeuzes Webopnames Alle tools F2F tools Alle tools - Grote groep selectieve gebruikers Online tools: (excl. - gebruik slides, online DOS_vb, tools met weblinks, expliciete TT1&2. planning) link face-to-face context Toolgebruik

Frequent Intensief Strategisch

Frequent Intensief

Oppervlakkig gebruik

Oppervlakkig gebruik

- Tool-keuze versus Tool-gebruik => Intensief I t i f actieve ti versus intensief i t i f oppervlakkige l kki gebruikers b ik Niet gebruikers

Intensief actief gebruikers

Selectieve Intensief oppervlakkige gebruikers gebruikers

13

2. Onderzoek: Analyse 2 Kennis Discussiebord Slides

Tool-use p patronen

Webopnames Tussentijdse test DOS sessies Motivatie Doeloriëntatie Vaardigheid Self-efficacy

Multiple logistische regressie analyse

2. Onderzoek: Analyse 2 Kennis Discussiebord

Prestatiegerichtheid -> Selectief versus Intensief oppervlakkig Tool-use p patronen Slides t l use toolpatroon t niet-gebruikers Effect op intensieve gebruikers versus Webopnames Competentiegerichtheid -> Intensief actief versus Intensief oppervlakkig tool-use patroon Tussentijdse test Onverwachte relatie DOS sessies

=> Doeloriëntatie als raamwerk voor hoe studenten ⇒Toolgedrag van studenten werd niet gestuurd door de percepties (Dweck, 1986; Nicholls, 1984) leeromgevingen interpreteren en ervaren m.b.t. de toolfunctionaliteit voor het leren. Motivatie

=>Doeloriëntatie Doeloriëntatie beïnvloedt hoe studenten de leertaken interpreteren en bijgevolg het soort leernoden die ze formuleren Vaardigheid Self-efficacy

14

2. Onderzoek: Analyse 3 Focus = timing toolgebruik Cursus bestaat uit verschillende fases (Perry & Winne, 2006; Hadwin et al., 2001) met diverse verwachtingen t.a.v. de studenten en dus verschillende leerbehoeften.

2. Onderzoek: Analyse 3 Cognitieve ontwikkeling (Shuell, 1990) Domein leren (Alexander et al., 2004) Initiële fase

Intermediaire fase

Finale fase

Verwerven van domeinkennis

Betekenisvol maken verworven kennis

Automatiseren kennis

Oppervlakkige studiestrategieën

Hoger orde strategieën

Beginner

Expert Compensatie voor gebrek aan -Domein kennis - Strategieën

Induceren van: -reflectie, discussie, structuren Uitbreiding domeinkennis

15

2. Onderzoek: Analyse 3 Moment van toolgebruik lijkt belangrijk - Gebruiken van tools die een leertaak niet ondersteunen kan negatieve effecten hebben (Winne, 2006)

Regulatie van toolgebruik i.c., het veranderen van tool-use patroon in functie van de cursus’ fasen, lijkt belangrijk 100% 90% 80% Cognitieve tool

70% 60%

Scaffolding tool

50% 40%

Informatie tool (uitbreidend)

30%

Informatie tool (basic)

20% 10% 0% Initiele fase

Intermediaire fase

2. Onderzoek: Analyse 3 2de datacollectie Meten van toolgebruik - per week - week 10: overgang van fase 1 naar fase 2 Course weeks

Average (standardized) freqquency of access

3,5 3

2,5

Basic information 2

Elaborated information Communication

1,5

scaffolding knowledge modelling

1

0,5 0 1

2

3

4

5

6

7

8

9 10 11 12 13 14 15 16 17 18

16

2. Onderzoek: Analyse 3 0,8 Tool-use patronen in fase 1 - Knik bij driecluster oplossing (k-means clusteranalyse) 0,6

- MANOVA: Studenten uit de drie clusters verschillen significant in 0,4 hun toolgebruik, Wilks’ Lambda= .24, F(48, 298)= 6.39, p= .00, η²= .51 C1 0,2

C2

Post-Hoc vergelijkingen:

C3

0

-0,2

-0,4

2. Onderzoek: Analyse 3 C1 (n= 119)

C2 (n= 20)

C3 (n= 40)

Toolkeuze

Colleges Webopnames

Alle tools (excl. Webopnames)

Alle tools

Toolgebruik

Intensief Strategisch

Intensief

Intensief gebruik basis informatie en scaffolding tools

Niet gebruikers

Intensieve gebruikers

Selectieve gebruikers

17

2. Onderzoek: Analyse 3 1,5

Tool-use patronen fase 2 - Knik bij viercluster iercl ster oplossing (k (k-means means clusteranalyse) cl steranal se)

1

- MANOVA: De vier clusters verschillen significant in hun toolgebruik, Wilks’ Lambda= .01, F(75, 452)= 19.17, p= .00, η²= .76

0,5

C1 C2

0

C3

- Post-hoc vergelijking:

C4

-0,5

-1

-1,5

2. Onderzoek: Analyse 3

Toolkeuze

C1 (n= 41)

C2 (n= 106)

C3 (n= 15)

C4 (n= 17)

Geen tools

F2F tools

Alle tools

Informatie tools (excl. Colleges)

Intensief

Intensief

Toolgebruik

Niet gebruikers g

Gelimiteerde g gebruikers

Intensieve g gebruikers

Selectieve g gebruikers

18

2. Onderzoek: Analyse 3 Transitiematrix Fase 1

Fase 2

Niet Intensieve gebruikers gebruikers


Niet gebruikers

29%

15%

10%

Gelimiteerde gebruikers

55%

70%

65%


5%

10%

18%


11%

5%

7%

2. Onderzoek: Analyse 3 100% 90% 80% % 70% 60%

Cognitieve tool Scaffolding tool

50%

Informatie tool (uitbreidend) 40%

Informatie tool (basic)

30% 20% 10% 0% Initiele fase

Intermediaire fase

Niet gebruikers -> Intensieve gebruikers Selectieve -> Intensieve gebruikers

19

2. Onderzoek: Analyse 3 Transitiematrix Fase 1

Fase 2



Niet gebruikers

29%

15%

10%


55%

70%

65%


5%

10%

18%


11%

5%

7%

2. Onderzoek: Analyse 3 Per leerfase => ≠ Tool-use patronen Alle studenten reguleren hun toolkeuzes en toolgebruik doorheen de cursus Meest populaire transitie in fase 2 ⇒ Het gelimiteerde tool-use patroon (59%) <-> Hypothetische patroon (7%)

20

2. Onderzoek: Analyse 3 Variabele ‘Tool-regulatie’ Fase 1

Fase 2



Niet gebruikers

1

2

3


4

5

6


7

8

9


10

11

12

2. Onderzoek: Analyse 3

Tool-regulatie Intelligentie

Totaal Opdracht Kennis Begrip Toepassing

Variantie-analyse

21

2. Onderzoek: Analyse 3 Effect op hoger orde leren (opdracht en toepassingsitems) Significant g => Toolregulatie effect g vancategorie toolregulatie g g 3 ((niet op p leren, – intensieve Wilks’ Lambda= gebruikers) g .63, F(55, ) (> 753)=categorie 1.45, p= .02, .09– niet gebruikers), categorie 2 (niet – 1 η²= (niet gelimiteerde gebruikers), categorie 11 (selectieve – Significant effectgebruikers) op score voor de opdracht, F(11, 166)= 2.08, p= .02, intensieve η²= .12, voor de toepassingsitems, F(11, 166)= 2.30, p= .01, η²= .13, en in totaal, F(11, 166)= 2.18, p= .02, η²= .13. => Reguleren van toolgebruik // leerbehoeften van de fases is meest adaptief p voor leren => Slecht een minderheid van de studenten was hiertoe in staat!

3. Discussie Inhoud

Leeromgeving Leertaken

Tools

I Intermediaire di i processen Doeloriëntatie Toolkeuze Toolgebruik Toolregulatie Leren

22

3. Discussie Problemen met 1) Tool Tool-keuzes keuzes - Meerderheid niet-gebruiker of selectieve gebruiker - Mediation deficiency (Reese, 1962) = Onmogelijkheid om media te selecteren in functie van de leerbehoeften => Interventie - Informatie m.b.t. de toolfunctionaliteiten - Informatie m.b.t. de verwachtingen (Butler, 1998; Karabenick, 2004; Newman, 1998)

3. Discussie Problemen met 2) Toolgebruik - Slechts minderheid gebruikt tools correct - Utilization deficiency (Miller & Seier, 1994) = Overslaan van stappen bij het uitvoeren van een cognitieve operatie => Interventie - Training

23

3. Discussie Problemen met 3)

Tool-regulatie Tool regulatie - Minderheid in staat tot reguleren toolgebruik // verwachtingen - Production deficiency (Flavell, 1970) = Fout interpreteren van de hints in de leeromgeving => Interventie - Adaptieve ‘release’ van tool-types // verwachtingen - Externe regulatie // Interne regulatie

3. Discussie Externe validiteit bevindingen - Vergelijkbare profielen in andere opleidingen? Ontwikkelingsperspectief - Vergelijkbare profielen in andere vakken binnen één opleiding? Systematische interventiestudies Object interventie

Motivatie (verwachtingen) versus Percepties tools

Timing interventie

Adaptief versus Gefixeerd

24

2. Onderzoek (3) 3. Discussie. Hulpmiddel gebruik in een cursus. Gebruikersprofielen, studentenfactoren en leereffecten

Recommend Documents