Predictief meten van metacognitieve vaardigheden bij samenwerkend ontdekkend leren Amber Walraven1 & Ard Lazonder2 1 Open Universiteit, OTEC 2 Universiteit Twente, Afdeling Instructietechnologie
Paper gepresenteerd tijdens de Onderwijs Research Dagen 2005, Gent, België
Abstract Dit paper beschrijft de ontwikkeling en validering van een instrument voor het predictief meten van regulatievaardigheden bij samenwerkend ontdekkend leren. Het instrument meet de vaardigheid van leerlingen om hun leerproces te plannen en monitoren. De predictieve validiteit is onderzocht door het gebruik van deze vaardigheden in het instrument én in een ontdekkend leeromgeving te vergelijken. Verwacht werd dat de frequenties van planning en monitoring-activiteiten in beide situaties met elkaar samenhangen. Gevonden correlaties bleken significant. Uit deze resultaten blijkt dat het mogelijk is om prospectief een valide meting te doen van het gebruik van regulatievaardigheden. Het is echter nog te vroeg om te praten over een valide predictieve meting. Deze resultaten geven een goede eerste aanzet, maar dienen uitgebreid te worden.
Inleiding Van leerlingen wordt tegenwoordig verwacht dat zij veelal zelfstandig (kunnen) leren. Docenten zijn steeds minder degenen die kennis overdragen, en steeds meer begeleiders in het leerproces. In de exacte vakken wordt bij deze manier van leren veel gebruik gemaakt van ontdekkend leeromgevingen waarin leerlingen zelfstandig experimenten uitvoeren en (natuurkundige) principes ontdekken. Een voorbeeld van zo’n leeromgeving is Co-Lab. In Co-Lab werken leerlingen uit de laatste klassen van het VWO in drietallen aan authentieke taken op het gebied van watermanagement of klimaatbeheersing in broeikassen. Door zelf experimenten uit te voeren, ontdekken leerlingen natuurwetenschappelijke principes binnen deze domeinen. De aldus verworven inzichten worden weergegeven in een werkend computermodel. Door dit model te vergelijken met de uitkomsten van hun experimenten, kunnen leerlingen hun model verifiëren. Co-Lab ondersteunt deze processen door tools voor experimenteren (simulaties), samenwerken (synchrone chat) en modelleren (modeleditor); de regulatie van het leerproces wordt ondersteund door de Process Coordinator. Deze tool bevat aanwijzingen voor het plannen, monitoren en evalueren van het leerproces. Hoewel deze aanwijzingen door de docent kunnen worden ingevoerd of aangepast, heeft niet elke leerling dezelfde mate van ondersteuning nodig. Anders gezegd: leerlingen beschikken niet in dezelfde mate over regulatievaardigheden.
Om Co-Lab zo effectief mogelijk te maken voor verschillende leerlingen, zou de ondersteuning van regulatievaardigheden (ook wel metacognitieve vaardigheden) aan de leerlingen aangepast moeten worden. Dit vereist een meting van de reeds aanwezige regulatievaardigheden. Dit paper beschrijft de ontwikkeling en validering van een instrument voor het predictief meten van regulatievaardigheden bij ontdekkend leren in Co-Lab. Dit instrument meet de vaardigheid van leerlingen om hun leerproces te plannen en monitoren. De predictieve validiteit is gemeten door het gebruik van deze vaardigheden in het instrument en in de Co-Lab leeromgeving te vergelijken. Verwacht werd dat de frequenties van planning en monitoring-activiteiten in beide situaties met elkaar samenhangen. Theoretisch kader In het traditionele onderwijs, waarin de docent voor de klas staat en de leerlingen voorziet van informatie, was de docent ook verantwoordelijk voor het verloop van het leerproces. De docent bepaalde wat de leerlingen leerden en hoe de leerlingen de leerstof aangeboden kregen. Bovendien hield de docent de vorderingen van de leerling bij. De leerling zelf was in feite alleen verantwoordelijk voor het luisteren naar de docent en het uitvoeren van opgegeven taken, de docent reguleerde het leerproces. In het ‘nieuwe’ leren is de leerling zelf verantwoordelijk voor zijn leerproces en het bijhouden van zijn vorderingen. Met andere woorden de leerling dient zijn eigen proces te reguleren. Reguleren vereist zogenaamde regulatievaardigheden. Voorbeelden van dergelijke vaardigheden zijn plannen en monitoren. Plannen kan plaatsvinden op het niveau van het gehele leerproces of fasen in het proces. Het houdt het maken van een schema voor de te nemen stappen in. Bij planning kan worden gedacht aan het bepalen van de volgorde waarin taken worden gemaakt, het plannen van de tijd die aan de taken wordt besteed, en het plannen van de volgorde van handelingen binnen een taak. Bijvoorbeeld: “Ik begin met het bepalen van de afstand tussen de twee punten. Daarna ga ik berekenen hoe lang de auto over het afleggen van deze afstand doet bij een snelheid van 100 km per uur.” (De Jong, 2002). Monitoring betreft de vaardigheid van de leerling om (de voortgang van) zijn of haar eigen leerproces te bekijken en bij te houden. Leerlingen die goed monitoren zullen van tevoren willen weten wat de opdracht precies is, welke eisen er aan ze gesteld worden en hoeveel tijd er voor staat. Ze zullen bekijken hoeveel ze al van het onderwerp weten. Tijdens het werken aan een opdracht controleren ze in welke fase van het proces ze zijn, of ze beschikken over voldoende gegevens om de taak op te lossen, welke gegevens ze gebruikt hebben, hoeveel tijd ze nog hebben voor de opdracht, of de opdracht moeilijk of makkelijk is. Monitoring kan plaatsvinden op persoonlijk vlak, op proces niveau of op probleem niveau (Berardi-Coletta et al. in Prins, 2002). Bijvoorbeeld: “Zo, eens kijken of we hebben wat we willen hebben.” (De Jong, 2002). Leerlingen die gebruik maken van regulatievaardigheden zijn beter in staat hun leerproces te reguleren. Zij zullen effectiever kunnen werken en beter kunnen omgaan met de verantwoordelijkheid die het nieuwe leren met zich meebrengt. Leeruitkomsten van leerlingen die deze vaardigheden niet gebruiken of ontberen zullen achter blijven op de groep die wel beschikt over deze vaardigheden. Om alle leerlingen even effectief van
het nieuwe leren gebruik te laten maken (door bijvoorbeeld met een leeromgeving als CoLab te werken), zou de ondersteuning voor het gebruik van regulatievaardigheden aan de individuele leerling aangepast moeten worden. Hiervoor is een meting van de reeds aanwezige vaardigheden nodig. Er wordt onderscheid gemaakt tussen drie verschillende soorten metingen. Prospectief (voorafgaand aan een taak of om de vaardigheden in het algemeen te meten), concurrent (tijdens het werken aan een taak) of retrospectief (na afloop). Prospectieve en retrospectieve metingen worden voornamelijk gedaan met behulp van off-line selfreports. Een veelgebruikt instrument voor prospectieve metingen is een vragenlijst, zoals de MSLQ van Pintrich et al. (1993) en de ILS van Vermunt (1992). In haar artikel over het meten van zelf-sturend leren vermeldt Van Hout-Wolters (2000) dat een voordeel van dergelijke vragenlijsten is dat leerlingen niet gestoord worden tijdens het leerproces en dat het verkrijgen van data relatief snel en makkelijk is. Nadelen van deze methode zijn echter de mogelijkheid dat een leerling dingen vergeten is of te onbelangrijk vindt om te vermelden. Mogelijk is de leerling ook niet in staat om te reflecteren op zijn activiteiten. Als laatste zou het ook kunnen zijn dat een leerling de vragenlijst sociaal wenselijk invult. Veenman (in press) heeft na een meta-analyse gevonden dat de predictieve validiteit van vragenlijsten als MSLQ en de ILS te wensen over laat. Concurrente metingen zijn het meest valide, (Veenman, in press) maar hebben als nadeel dat ze tamelijk arbeidsintensief zijn. Bij een think aloud protocolanalyse bijvoorbeeld worden de uitgewerkte protocollen geanalyseerd met behulp van gedetailleerde scoringsschema’s. Een andere vorm van een concurrente meting zijn logfiles. Hierin worden de acties van een leerling in bijvoorbeeld een computerprogramma opgeslagen. Een voordeel van deze on-line registraties is dat ze kunnen worden toegepast op grote groepen leerlingen, in tegenstelling tot de think-aloud protocols (Veenman, in press). Bovendien zijn de logfiles unobtrusive, ze hebben geen invloed op de uitvoering van de taak, omdat een leerling niet weet dat zijn acties gemeten worden en niet bewust meewerkt aan de meting. Een nadeel van log-files is dat ze alleen acties bevatten; de gedachten van de leerlingen worden niet geregistreerd. Een kanttekening die moet worden geplaatst bij concurrente metingen is dat de vaardigheden gemeten worden in interactie met de taak. De taak zou invloed kunnen hebben op het gebruik van de regulatievaardigheden. Bovendien zijn de resultaten pas na het uitvoeren van een taak beschikbaar, zodat ze pas achteraf gebruikt kunnen worden om adaptieve ondersteuning te ontwerpen. Om de invloed van de taak zo veel mogelijk uit te schakelen bij een meting van regulatievaardigheden, moet de taak voldoen aan een aantal eisen. Het gebruik van regulatievaardigheden is gerelateerd aan intelligentie en domeinkennis (Campione & Brown, 1978; Chi, Glaser & Rees, 1982; Sternberg 1985,1988; Zimmerman & MartinezPons, 1990; Elshout & Veenman, 1992; Glaser, Schauble, Raghavan & Zeitz, 1992; Veenman, 1994; Alexander, Carr & Schwanenflugel, 1995; Veenman, Elshout & Meijer, 1997). De samenhang tussen metacognitie, intelligentie en leeruikomsten hangt af van de taakcomplexiteit zoals deze ervaren wordt door de leerling. Intelligentie is gerelateerd aan metacognitie, maar metacognitie heeft ook een zelfstandige bijdrage aan de leeruikomsten (Prins, 2002). Elshout (1987) noemt het taakniveau dat wordt beheerst door de leerling in een bepaald domein de ‘threshold of problematicity’. Als een leerling
een probleem dient op te lossen dat onder deze drempel ligt, is het oplossen ervan een routine taak en wordt er geen gebruik gemaakt van regulatievaardigheden. Ligt een probleem te ver boven de drempel dan zullen de aanwezige kennis en regulatievaardigheden onvoldoende blijken en zal het leerproces stagneren. De ideale situatie doet zich voor wanneer het probleem net iets boven de huidige drempel ligt. De invloed van metacognitie is het grootst wanneer leerlingen werken aan een taak die boven hun threshold of problematicity ligt ( (Prins, 2002). Een effectieve meting van regulatievaardigheden dient gebruik te maken van een taak die boven de threshold of problematicity ligt, om zo de invloed van intelligentie uit te schakelen. Om te controleren voor de invloed van domeinkennis, kan een meting het beste gedaan worden met beginners in een bepaald domein. In eerste instantie zijn metacognitieve vaardigheden van beginners domeingeneriek. Pas wanneer er expertise wordt verkregen in een domein worden de regulatievaardigheden domeinspecifiek (Prins, 2002). Beginners hebben nog geen automatisme ontwikkeld voor het oplossen van problemen binnen een domein en zijn gedwongen gebruik te maken van hun regulatievaardigheden om het probleem op te lossen. Experts zijn in staat een probleem op te lossen op basis van kennis en eerdere ervaring. Beginners zullen het ontbreken van domeinkennis gedeeltelijk kunnen compenseren door goed te plannen en monitoren. Het probleemoplosproces van beginners geeft daarom een beter beeld van aanwezige regulatievaardigheden dan het proces van experts. Samenvattend kunnen we stellen dat het meten van regulatievaardigheden het best concurrent kan plaatsvinden, zonder verstoring van het proces (unobtrusive). De taak die de leerlingen uitvoeren tijdens de meting moet net boven hun threshold of problematicity liggen en leerlingen moeten beginners zijn in het domein waarin de meting plaatsvind. Bovendien moet de meting een predictieve waarde hebben voor het werken in Co-Lab. Het instrument dient daarom enkele overeenkomsten te hebben met Co-Lab, met name op het gebied van het gebruik van regulatievaardigheden. In de volgende paragraven worden achtereenvolgens de regulatieve processen binnen Co-Lab en het ontwikkelde instrument besproken. Regulatie binnen Co-Lab Uit onderzoek is gebleken dat leerlingen in Co-Lab niet reguleren en ondersteuning derhalve nodig is (Manlove en Lazonder, 2004). Deze ondersteuning is toegevoegd in de vorm van de Process Coordinator (PC) (zie figuur 1). Planning wordt in de PC ondersteund door de doelen die leerlingen in de goal try vinden. Leerlingen kunnen onder tabblad Description een omschrijving van die doelen lezen (zie figuur 1, rechterkant). Onder tabblad Hints staat een aantal hints; dit zijn antwoorden op de meest gestelde vragen bij een bepaald doel of subdoel (zie figuur 1, linkerkant). Leerlingen kunnen ook plannen door zelf doelen toe te voegen aan de goal tree. Het monitoren van het proces kan met behulp van het tabblad Notes, hiermee kunnen notities aan een doel toegevoegd worden. Met het tabblad History (zie figuur 2, linkerkant) kan worden teruggekeken op reeds ondernomen acties. De voortgang van het proces kan bijgehouden worden door doelen af te vinken die bereikt zijn.
Als de opdracht afgerond is, kan met behulp van de PC een verslag worden gemaakt. Onder het tabblad Report staat een template voor een verslag dat leerlingen zelf aan kunnen vullen (zie figuur 2, rechterkant). Dit verslag is een vorm van evalueren. Evalueren is ook een regulatievaardigheid maar wordt in dit onderzoek buiten beschouwing gelaten.
Figuur 1: De Process Coordinator
Figuur 2: De Process Coordinator History Tab (links) en Report Tab (rechts)
Met behulp van deze informatie over regulatie in Co-Lab en de voorwaarden uit de literatuur is een instrument ontworpen. Omdat in eerste instantie een voorspelling gedaan wordt over de regulatie binnen Co-Lab moet het meetinstrument ook enige overeenkomst vertonen met Co-Lab. Zo moet er in het instrument een mogelijkheid bestaan tot experimenteren en modelleren. Het instrument heeft de naam Meta gekregen. Dit is een verwijzing naar de metacognitieve vaardigheden die ze meet. In de volgende paragraaf wordt dit instrument besproken.
Meta Meta bestaat uit drie taken die te maken hebben met het theorema van Bayes. Dit theorema ligt ten grondslag aan het zogenaamde drie deuren probleem of Monty Hall probleem. Dit probleem heeft te maken met kansberekening, maar gaat een stap verder dan de kennis die leeringen opdoen tijdens de wiskundelessen. Er wordt verondersteld dat het theorema van Bayes boven de threshold of problematicity van leerlingen uit de laatste klassen van het VWO ligt. De leerlingen hebben slechts de basis van kansberekening gehad en zijn nog beginners in dit domein. Meta bevat een simulatie van het Monty Hall probleem waarmee leerlingen kunnen experimenteren (simulatie-taak), een taak die een uitbreiding betreft op het Monty Hall probleem (uitbreidingstaak) en een taak waarbij leerlingen aan de hand van een aantal gegeven bronnen een Venn-diagram, kansboom en tabel moeten tekenen van het theorema van Bayes (modelleer-taak). De taken zijn beschikbaar via het menu. Meta bevat ook nog een button voor het oproepen van de klok.
Planning De drie taken in Meta worden via een keuzemenu aan de leerlingen gepresenteerd. In dit menu is echter geen volgorde te ontdekken. Leerlingen moeten zelf plannen welke taak ze als eerste uitvoeren. Planning in Meta is het aantal menu keuzes dat een groep doorloopt alvorens aan een taak te beginnen (zie figuur 3)
Figuur 3: Startpagina van Meta met links het menu.
Monitoring Leerlingen kunnen aanvinken welke bronnen ze in de modelleer-taak gelezen hebben. Achter de titels van de bronnen staan hier voor checkboxes (zie figuur 4).
Figuur 4: Tabel met bronnen en checkboxes
Ze kunnen hun voortgang dus controleren en bepalen of ze over voldoende informatie beschikken. De links van de artikelen veranderen niet van kleur. De teksten worden geopend in het rechterframe. Het is dus niet mogelijk meerdere teksten tegelijk te openen. Om deze reden is ook de rechtermuisknop uitgeschakeld, het is dus niet mogelijk de teksten op te slaan op de computer. Wanneer een leerling veel teksten leest en niet aangeeft welke hij heeft gelezen zal hij de draad kwijt raken. Om de voortgang ten opzichte van de tijd in de gaten te kunnen houden, kunnen leerlingen op de button voor de klok klikken. De tijd verschijnt dan gedurende 10 seconden in beeld. De frequentie van het bekijken van de tijd kan worden vastgelegd. Tijdens het experiment is de klok in de taakbalk van de computer verwijderd en moeten leerlingen hun horloges inleveren. De klok in Meta is op deze manier de enige indicatie die de leerlingen van de tijd hebben. Leerlingen die goed reguleren zullen regelmatig de tijd in de gaten houden, minder goed regulerende leerlingen zullen dat vergeten. De simulatie van het Monty Hall probleem (simulatie-taak) laat precies zien welke keuzes gemaakt zijn, door middel van radiobuttons (de radiobutton van de gekozen deur is dan zwart) en het overzicht van de gemaakte keuzes. Na elke simulatie-run (het kiezen van een deur) verschijnt in de vakjes ‘aantal goede keuzes’ en ‘aantal slechte keuzes’ een getal. Wanneer een leerlingen de simulatie tien keer doet, kan er bijvoorbeeld staan 6 goede keuzes en 4 foute keuzes. Een leerling kan dit nakijken en zo de ingestelde variabelen controleren en zijn vorderingen bijhouden. Goed, systematisch experimenteren houdt in dat er een groot aantal runs wordt gedaan, terwijl er systeem zit in de afwisseling tussen wel en niet wisselen van deur. Tabel 1 toont de regulatieve acties in Meta. De maat voor de verschillende acties staat onder de tabel. Tabel 1 :: Regulatieve acties in Meta Planning Monitoring Checkboxes Menu keuzes Klok Experimenten
Er is geteld hoeveel menuopties een groep aanklikt alvorens aan de eerste taak te beginnen. Alle voor het eerst geopende artikelen zijn geteld. Vervolgens is het aantal gebruikte checkboxes bij die artikelen geteld. Daarna is het percentage gebruikte checkboxes bij de artikelen berekend. Geteld is het aantal keren dat de klok is geopend. Geteld is het aantal keren dat de simulatie van het drie deuren probleem gedaan is.
Methode Proefpersonen Proefpersonen waren 61 (16-18 jaar) 5-VWO scholieren uit vier profielen: natuur en techniek, natuur en gezondheid, economie en cultuur. Proefpersonen deden in groepen mee aan het onderzoek, in totaal waren er 19 groepen van drie personen en 2 groepen van twee personen. Omdat werken met Co-Lab wel enige kennis van natuur en techniek vereist, is bij de indeling in groepen gezorgd dat in elke groep ten minste een leerling met een natuur en techniek profiel zat. Vervolgens werden de groepen random verdeeld over twee condities, wat resulteerde in 11 PC+ groepen en 10 PC- groepen. Leerlingen in de PC+ conditie hadden de beschikking over een volledig gespecificeerde PC, in de PC- conditie was alle regulatieve inhoud uit de PC verwijderd (zie figuur 5). In de PC- conditie zijn de goal tree en de tabbladen hints en description leeg. Leerlingen kunnen echter in de PC-conditie, net als in de PC+ conditie zelf doelen en notes toevoegen en zelf een verslag maken.
Figuur 5: Process Coordinator in de PC- conditie
Als gevolg van de indeling in PC+ en PC- groepen wordt verwacht dat de wijze van reguleren tussen de groepen verschilt. Groepen in de PC+ conditie zullen meer plannen en monitoren. De groepen in de PC- zullen echter meer doelen toevoegen dan groepen in de PC+ conditie.
Instrumenten Leerlingen voerden een opdracht uit in Co-Lab en doorliepen vervolgens het ontworpen instrument Meta. Co-Lab werd geïnstalleerd op locale servers. Cliënt machines konden via een local area network toegang tot een van deze servers krijgen. Meta was beschikbaar via het Internet. Bij de Co-Lab sessies had elke leerling de beschikking over een eigen computer en werkten zij online samen. Tijdens de Meta sessie werkten de leerlingen als groep achter één computer. Alle acties in Co-Lab en Meta zijn geregistreerd met log-files. Proefpersonen waren hier niet van op de hoogte en ondervonden er geen hinder van.
Procedure Hoewel Meta een predictieve voorspelling over Co-Lab zou moeten doen en dus voorafgaand aan Co-Lab afgenomen zou moeten worden, hebben leerlingen eerst met Co-Lab gewerkt. Twee tot vier weken later werkten de leerlingen met Meta. Dit had te maken met de roosters op school, maar heeft geen nadelige gevolgen voor het valideringsonderzoek. De opdracht in Co-Lab (zie figuur 6) werd in drie sessies afgenomen. Vervolgens zijn met behulp van logfiles de frequenties van regulatieve acties in Co-Lab op het gebied van planning en monitoring (bijvoorbeeld het toevoegen van een doel aan de PC) gecorreleerd met de regulatieve acties in Meta.
Een eigen zwembad in je achtertuin. Cool! Maar... je moet het zwembad ook schoonmaken, en daarvoor moet eerst al het water eruit. Bij een middelgroot zwembad duurt dit al gauw een hele dag! Dat had professor Pregunta, de hoofdpersoon in deze opdracht, nooit gedacht. Hij wil een zwembad kopen, en vraagt zich nu af hoe lang het duurt voordat een zwembad is leeggestroomd. Omdat de leverancier deze vraag niet kon beantwoorden, is professor Pregunta zelf op onderzoek uitgegaan. Hij heeft zijn buren om informatie gevraagd, en wil van jou weten waarom het ene zwembad sneller leegstroomt dan het andere. Om professor Pregunta goed te kunnen adviseren, moet je begrijpen wat er gebeurt als een zwembad leegstroomt. Natuurlijk, het waterpeil zal dalen. Maar hoe snel gaat dat? En welke invloed hebben factoren als de diameter van het zwembad en de doorsnede van de afvoerpijp? Om deze vragen te beantwoorden ga je experimenteren met een simulatie van een emmer (een soort minizwembadje). Aan het begin van elk experiment vul je het emmertje tot de rand, en draai je de waterkraan dicht zodat er geen water in de emmer stroomt. Door systematisch te experimenteren, kun je ontdekken welke invloed de bovengenoemde factoren hebben op de uitstroom. Gewapend met deze kennis maak je een model dat de relaties tussen de onderzochte factoren beschrijft. Met dit model kan professor Pregunta bepalen wat voor soort zwembad hij wil kopen. Ga nu naar de Meeting room en open de Process Coordinator om een plan van aanpak te maken.
Figuur 6: Opdrachtsomschrijving Co-Lab
Resultaten Regulatie-activiteiten in Co-Lab en Meta Tabel 2 :: Gemiddelden en (standaarddeviaties) van regulatie-activiteiten in Co-Lab PC+ PCPlanning Sessie 1 Sessie 2 Totaal Sessie 1 Sessie 2 Toevoegen .36 (1.20) .22 (00.67) .67 (2.00) 1.78 (2.68) .50 (1.58) doelen Bekijken 33.91 (18.93) 15.89 (18.96) 47.78 (26.47) 2.00 (3.46) .50 (.97) doelen Bekijken 15.09 (15.69) 3.67 (3.64) 20.22 (16.63) 4.11 (3.91) 3.70 (4.79) ‘descriptions’ Bekijken 14.09 (06.82) 5.00 (5.41) 19.78 (9.03) 7.00 (4.36) 4.40 (5.42) ‘hints’ Monitoring Notes 3.45 (5.56) 0.00 (0.00) 3.89 (6.07) 2.67 (3.80) .10 (.32) toevoegen 0.00 (0.00) 0.00 (0.00) 0.00 (0.00) .22 (.67) 0.00 (0.00) Doel afvinken History 9.64 (9.58) 3.67 (2.24) 14.78 (11.30) 7.00 (7.42) 7.00 (8.42) bekijken
Totaal 2.33 (3.00) 2.56 (3.32) 6.78 (4.15) 10.22 (5.26)
2.78 (4.02) .22 (.67) 14.00 (12.21)
In tabel 2 staan de gemiddelde frequenties en bijbehorende standaard deviaties van de regulatieve acties in Co-Lab. De gemiddelden worden zowel per sessie als in totaal gegeven. Zoals vooraf werd verwacht doen groepen in de PC+ conditie meer aan planning en monitoring: de gemiddelden van de PC+ groepen liggen hoger dan die van de PC- groepen. Het toevoegen van doelen vormt hierop een uitzondering: de PC- groepen deden dit vaker dan de PC+ groepen. Ook dit resultaat was conform de verwachtingen, omdat leerlingen in de PC+ conditie de beschikking hadden over een volledige lijst met doelen (zie figuur 1 en 5). Tabel 3 :: Gemiddelden en (standaarddeviaties) van regulatie-activiteiten in Meta Conditie PC+ PCTotale groep t(20) Meta Actie Menu Checkboxes Klok Experimenten
1.91 (2.12) 34.39 (40.09) 2.27 (4.90) 13.55 (16.17)
1.50 (0.97) 42.58 (31.69) 2.50 (3.27) 24.20 (40.18)
1.71 (1.65) 38.29 (35.68) 2. 38 (4.10) 18.62 (29.78)
p
.558 .583 -.516 .612 -.124 .903 -.783 .449
Tabel 3 toont het gemiddeld gebruik van regulatie-activiteiten in Meta. Hoewel het onderscheid naar conditie bij dit deel van het onderzoek geen rol speelde, zijn de resultaten voor de volledigheid onderverdeeld naar PC+ en PC- groepen. Omdat de leerlingen random over de verschillende condities zijn verdeeld, werd aangenomen dat er geen significant verschil bestaat tussen de groepsgemiddelden op de vier Meta variabelen. Om dit te toetsen zijn independent samples t-testen uitgevoerd; de t-waarden en tweezijdige overschreidingskans staan in de laatste kolom van tabel 3. Omdat geen van deze testen een significant verschil laat zien, mag worden aangenomen dat de groepsgemiddelden inderdaad gelijk zijn. Leerlingen uit de PC+ en PC- conditie reguleren even vaak binnen Meta. Er zijn in elke conditie natuurlijk beter en minder goed
regulerende groepen, maar deze verdeling is gelijk in beide condities. Zoals eerder verwacht, heeft de ondersteuning van de PC+ er niet voor gezorgd dat leerlingen in die groepen frequenter gingen reguleren. Hoewel zij in Co-Lab ondersteuning kregen op het gebeid van regulatie door de ingevulde PC, reguleren zij niet vaker in Meta in vergelijking met leerlingen uit de PC- conditie. De standaarddeviaties zijn bij beide condities groot wat duidt op een grote spreiding rond het gemiddelde van de gevonden waarden. We kunnen daarom concluderen dat Meta onderscheidend vermogen heeft.
Samenhang tussen de regulatie-activiteiten in Meta Tabel 4 :: Correlaties tussen de regulatie-activiteiten binnen Meta voor de gehele groep 1 2 3 4 1 Menu 2 Checkboxes .406* 3 Klok .039 -.144 4 Experimenten .172 -.191 .033 * Correlatie is significant op 0.05 niveau (1-zijdig)
In tabel 4 staan de correlaties tussen de variabelen van Meta voor de gehele groep. De correlatie tussen de variabelen menu (planning) en checkboxes (monitoring) is significant. Dit betekent dat groepen leerlingen die het menu vaker doorlopen voordat ze aan een taak beginnen, ook vaker gebruik maken van de checkboxes. Planning en monitoring binnen Meta hangen dus samen. De overige correlaties zijn niet significant. Dit is niet zoals vooraf verwacht werd. Aangenomen werd dat in ieder geval menu, checkboxes en klok hoog met elkaar zouden correleren. Checkboxes en klok zijn beiden monitoring variabelen en planning en monitoring zouden ook een positieve samenhang moeten hebben.
Samenhang tussen de regulatie-activiteiten in Meta en Colab De correlaties tussen Meta en Co-Lab zijn per conditie (PC+ en PC - ) berekend, In de PC+ conditie werd een hoge correlatie verwacht tussen het bekijken van de doelen en het bekijken van het menu in Meta. Bij de PC- conditie werd echter een hoge correlatie verwacht tussen het toevoegen van doelen en het bekijken van het menu in Meta. Wanneer de correlaties worden berekend voor de totale groep wordt geen recht gedaan aan dit verschil. De resultaten zijn per Co-Lab sessie berekend omdat de frequentie van regulatieve acties per sessie kan verschillen. Zo ligt het voor de hand dat in de eerste sessie vaker een beroep wordt gedaan op planningsactiviteiten dan in de tweede sessie. Ook kan de frequentie van monitoringsactiviteiten in de tweede sessie hoger zijn dan in de eerste. Omdat deze mogelijke verschillen een storende invloed kunnen hebben, zijn de analyses op het niveau van afzonderlijke sessies uitgevoerd. De resultaten staan in tabel 5 en 6.
Tabel 5 :: Correlaties Meta en Colab sessie 1 1
2
3
4
5
6
.848* *
1 Bekijken doelen 2 Toevoegen doelen 3 Bekijken ‘hints’ 4 Bekijken ‘description’ 5 Notes toevoegen 6 Doel afvinken 7 Bekijken history
7
8
9
10
11
.541** * .870**
.510* **
.900** .865* *
-.590*
.62 2*
.589 *
-.595*
.795* *
.566*
8 Menu
.683*
9 Checkboxes
.509* **
.474* **
.594*
.569*
.75 1**
.688**
.66 2*
.435***
.938**
.628 *
.474** *
.540 *
.495** *
.436** *
.421** *
10 Klok 11 Experimenten
.570*
Noot:: In de onderste helft staan de resultaten van de PC+ conditie en in de bovenste helft van de PC – conditie. * Correlatie is significant op 0.05 niveau (1-zijdig) ** Correlatie is significant op 0.01 niveau (1-zijdig) *** Correlatie is significant op 0.10 niveau (1-zijdig)
Tabel 6 :: Correlaties Meta en Colab sessie 2 1 1 Bekijken doelen 2 Toevoegen doelen 3 Bekijken ‘hints’ 4 Bekijken ‘description’
2
3
.904* *
.443** *
4
5
.765**
.
.904** .995**
.526** *
.463** *
.940**
6 7
8
9
10
.587*
.795**
.607*
.784**
.918* *
5 Notes toevoegen
11
.471** * .483** *
.619*
6 Doel afvinken 7 Bekijken history
.630*
.568** *
.455** * .495** *
8 Menu 9 Checkboxes
.436** *
.421** *
10 Klok 11 Experimenten Noot:: In de onderste helft staan de resultaten van de PC+ conditie en in de bovenste helft van de PC – conditie. * Correlatie is significant op 0.05 niveau (1-zijdig) ** Correlatie is significant op 0.01 niveau (1-zijdig) *** Correlatie is significant op 0.10 niveau (1-zijdig)
Correlaties PC + groepen In tabel 5 is te zien dat tijdens de eerste sessie de Meta-variabele “menu” correleert met de Co-Lab variabelen “bekijken doelen”, “notes toevoegen” en “bekijken history”. Planning binnen Meta hangt dus positief samen met een gedeelte van de planning in Co-Lab (het bekijken van de doelen) en met twee monitoring variablen in CoLab. De checkboxes correleren significant met het bekijken van doelen, het toevoegen van doelen, het bekijken van hints, het bekijken van description, het bekijken van de history en met het toevoegen van notes. Er is dus een significant positief verband tussen monitoring in Meta en planning en monitoring in Co-Lab. Hoe vaker leerlingen de checkboxes gebruiken, hoe meer ze plannen en monitoren in Co-Lab. De variabele experimenten correleert negatief met planning binnen Co-Lab. Hoe meer experimenten er in Meta gedaan worden, hoe minder er gedaan wordt aan planning binnen Co-Lab. Voor sessie 2 zijn geen significante correlaties gevonden tussen Meta en Co-Lab ( zie tabel 6). Correlaties PC – groepen Bij sessie 1 van de PC- groep (tabel 5) zijn significante negatieve correlaties gevonden tussen experimenten in Meta en het bekijken van hints en descriptions in CoLab. Dit betekent dat wanneer leerlingen in Meta vaak de simulatie van het Monty Hall probleem spelen, zijn binnen Co-Lab weinig hints en descriptions bekijken. Het is opvallend dat er bij de PC- groepen geen significante correlatie is gevonden tussen planning en monitoring in Meta en Co-Lab. Uit de scores van de groepen blijkt dat de PC- groep de PC tijdens de eerste sessie nauwelijks gebruikt heeft. De groepen 2 en 6 zijn hier een goed voorbeeld van (zie tabel 7): Tabel 7 :: Verschil gebruik PC groep 2 en 6 Groep
2 6
Bekijken doelen
Toevoegen doelen
Bekijken ‘hints’
Bekijken ‘description’
Notes toevoegen
Doel afvinken
Bekijken ‘history’
S1 / S2 1/1 0/3
S1 / S2 2/0 1/5
S1 / S2 2 / 11 10 / 10
S1 / S2 0 / 10 4/8
S1 / S2 9/1 0/0
S1 / S2 0/0 0/0
S1 / S2 8 / 29 2 / 12
Op basis van deze score wordt verwacht dat sessie 2 wel de verwachte correlaties geeft. Waarom de PC in deze conditie in de eerste sessie minder gebruikt is dan in de tweede sessie is niet duidelijk. In sessie 2 zijn wel significante correlaties tussen Meta en Co-Lab gevonden. De variabele menu uit Meta correleert significant positief met het bekijken van doelen en met het toevoegen van doelen (zie tabel 6). Dit lag ook in de lijn der verwachting. In de PC- conditie zullen goed regulerende leerlingen plannen door middel van het toevoegen van doelen. De correlaties laten dit ook zien.
Er zijn ook significante correlaties tussen de klok en het bekijken van doelen, het toevoegen van doelen, het bekijken van de hints en het bekijken van descriptions. Hoe vaker leerlingen de klok bekijken, hoe vaker ze doelen toevoegen en hints en descriptions bekijken. Er is ook een significante positieve correlatie tussen experimenten en het toevoegen van notes en het bekijken van de history. Leerlingen die veel de simulatie van Monty Hall spelen in Meta, hebben in Co-Lab veel notes toegevoegd en vaak de history bekeken. De resultaten van beide groepen overziend kan voorzichtig geconcludeerd worden dat planning en monitoring in Meta verband houdt met planning en monitoring in CoLab.Op basis van de resultaten is het echter niet mogelijk een uitspraak te doen over de meting van planning en monitoring apart. Wanneer leerlingen plannen, zullen zij ook monitoren. Het plannen in Meta (het gebruik van het menu) staat in verband met zowel plannen als monitoren in Co-Lab. De aanpak van een groep komt in beide instrumenten overeen en is een maat voor de regulatievaardigheden van de groep. Hoewel de wijze waarin leerlingen kunnen plannen en monitoren in het instrument verschilt, verschilt het gebruik van regulatievaardigheden van een groep niet tussen beide instrumenten. Regulatievaardigheden zijn dus vaardigheden waarover een groep wel of niet beschikt en die niet afhankelijk zijn van de soort opdracht die een groep moet uitvoeren. Uit bovenstaande kan worden opgemaakt dat Meta gebruikt kan worden om een indicatie te geven van het gebruik van regulatievaardigheden voor groepen. Op basis van de gegevens uit dit onderzoek blijkt dat kan worden voorspeld of leerlingen binnen CoLab gebruik zullen maken van de Process Coordinator. Leerlingen die in Meta geconcentreerd werken aan de taken, zullen in Co-Lab eerder gebruik maken van de PC en beter in staat zijn hun leerproces te sturen.
Discussie De resultaten van dit onderzoek laten een overeenkomst zien tussen regulatieve acties in Meta en Co-Lab. Leerlingen die plannen en monitoren in Meta, maken op een goede manier gebruik van de PC in Co-Lab. Het blijkt mogelijk om prospectief een valide meting te doen van het gebruik van regulatievaardigheden. Het is echter nog te vroeg om te praten over een valide predictieve meting. Deze resultaten geven een goede eerste aanzet, maar dienen uitgebreid te worden. Uit eerder onderzoek met Co-Lab is gebleken dat regulatie voor een groot deel via de chat ging en minder via de PC. De regulatieve uitspraken in de chat moeten met de acties in Meta vergeleken worden. Wanneer ook dan overeenkomsten worden gevonden, is de predictieve validiteit sterker. De meting van Meta is gedaan met groepen en niet met individuen. Omdat de leerlingen zowel in Meta als in Co-Lab in groepen werkten, zijn de metingen met elkaar te vergelijken. Het lijkt aannemelijk dat wanneer iemand de leiding in de groep neemt in Co-Lab, deze dat ook in Meta zal doen. Of wanneer er een goede reguleerder in de groep zit, deze zowel in Co-Lab als in Meta goed zal reguleren. Wanneer we de sturing binnen Co-Lab echter aan de individuele leerling willen aanpassen, zal er een predictieve meting
moeten plaatsvinden op individueel niveau. De leerling zal Meta dan alleen moeten doorlopen. Wanneer leerlingen als groep werken is het mogelijk dat degene met het meeste affiniteit met het onderwerp de leiding neemt. Wanneer deze leerling uit zichzelf niet goed reguleert, maar bijvoorbeeld door vragen van zijn mede-leerling(en), die wel goed reguleren, gedwongen wordt dit wel te doen, zal uit de meting blijken dat deze groep goed reguleert. Omdat binnen Co-Lab waarschijnlijk het zelfde groepsproces plaats vindt, zal ook binnen Co-Lab de PC goed gebruikt worden. Wanneer we deze leerlingen apart achter Meta laten plaatsnemen is de kans groot dat de slecht regulerende leerling binnen Meta nu juist slecht reguleert. De meting zal aangeven dat deze leerling hulp nodig heeft bij het reguleren van zijn proces. De overige groepsleden, die misschien normaal gesproken wel goed reguleren maar minder affiniteit hebben met wiskunde en natuurkunde, zouden problemen kunnen hebben met de complexiteit van de taak. Uit de literatuur was al gebleken dat een te complexe opdracht geen kans bied aan reguleren, maar het leerproces juist stagneert (Prins, 2002). Uit de meting van deze leerlingen zal dan hoogstwaarschijnlijk ook blijken dat deze leerlingen baat hebben bij ondersteuning van regulatieve processen. Terwijl het bij deze leerlingen niet aan de regulatie ligt, maar aan de complexiteit van het onderwerp. De sturing binnen Co-Lab van deze leerlingen zou zich dus moeten richten op meer uitleg van het onderwerp en minder op de regulatie. Wanneer Meta gebruikt wordt voor een individuele meting lijkt het zinvol om naast de Meta activiteiten ook een overzicht te hebben van bijvoorbeeld de cijfers van deze leerling op vakken als wiskunde en natuurkunde. Een onderzoek zou moeten uitwijzen of Meta op deze manier nog predictieve voorspellingen kan doen. Verder onderzoek zou zich moeten richten op een meting met behulp van screencams en voice-recording. Op deze manier kan een nog duidelijker beeld worden gevormd van de acties in Meta en kunnen meerdere variabelen gemeten worden. Bovendien kunnen de think aloud protocols dan vergeleken worden met de chatfiles. Referenties
Alexander, J.M., Carr, M. en Schwanenflugel, P.J. (1995). Development of metacognition in gifted children: Directions for future research. Developmental Review, 15, 1-37. Campione, J.C. en Brown, A.L. (1978). Toward a theory of intelligence : Contributions from research with retarded children. Intelligence, 2, 279-304 Chi, M.T.H., Glaser, R., en Rees, E. (1982). Expertise in problemsolving. In R.J. Sternberg (Ed.) Advances of the psychology of human intelligence (Vol. 1): 7-75, Hillsdale, Erlbaum. Elshout, J.J. (1987). Problem solving and education. In E. de Corte, H. Lodewijks, R. Parmentier en P. Span (Eds.), Learning and Instruction. Oxford: Pergemon Books Ltd Leuven: University Press.
Elshout, J.J. en Veenman, M.V.J. (1992). Relation Between Intellectual Ability and Working Method as Predictors of Learning. Journal of Educational Research, 85(3):134143 Flavell, J.H. (1979). Metacognition and cognitive monitoring. American Psychologist, 34, 906-911. Glaser, R., Schauble, L., Raghavan, K., en Zeitz, C. (1992). Scientific reasoning across different domains. E. de Corte, M.C. Linn, H. Mandl, and L. Verschaffel (Eds.), Computer-based learning environments and problem solving (NATO ASI series F, Vol 84, pp. 345-371). Heidelberg: Springer Verlag. Jong, T. de (ed) (2002). Co-Lab Specifications Part 1 Theoretical Background. Manlove, S. & Lazonder, A.W. (2004) Self-regulation and collaboration in a discovery learning environment. Paper presented at the First Meeting of the EARLI-SIG on Metacognition. Amsterdam, The Netherlands. Pintrich, P.R., Smith, D.A.F., Garcia, T. en McKeachie, W.J. (1993). Reliability and predictive validity of the Motivated Strategies for Learning Questionnaire (MSLQ). Educational and Psychological Measurement, 53: 801-813 Prins, F.J. (2002). Search & see, the roles of metacognitive skillfulness and intellectual ability during novice learning in a somplex computer-simulated environment. Ipskamp, Enschede Sternberg, R.J. (1985) General intellectual ability. In R.J. Sternberg (Ed.), Human abilities: An information processing approach. New York: Freeman Sternberg, R.J. (1988) The triarchic mind: A new theory of human intelligence. New York: Viking Van Hout-Wolters, B.H.A.M. (2000). Assessing Active Self-Directed Learning. R.J. Simons et al. (eds.), New Learning, 83-99, Kluwer, the Netherlands Veenman, M.V.J. (1994). Intelligentie en probleemaanpak. De Psycholoog, 29(6): 223228 Veenman, M.V.J. (in press). The assessment of metacognitive skills: what can be learned from multi-method designs? B. Moscher & C. Artelt (eds.), Lernstrategien und metakognition: implikationen für forschung und praxis. Veenman, M.V.J., Elshout, J.J. en Meijer, J. (1997) The Generality vs Domain-Specifity of Metacognitive Skills in Novice Learing Across Domains. Learning and Instruction, 7(2): 187-209
Vermunt, J. D. H. M. (1992). Leerstijlen en sturing van leerprocessen in het hoger onderwijs [Learning Styles and regulation of learning processes in higher education]. Lisse: Swets & Zeitlinger Zimmerman, B.J. en Martinez-Pons, M. (1990). Student Differences in Self-Regulated Learning: Relating Grade, Sex, and Giftedness to Self-Efficacy and Strategy Use. Journal of Educational Psychology, 82(1), 51-59
