COLLABORATIEF INFORMATIE ZOEKEN

COLLABORATIEF INFORMATIE ZOEKEN Amber Walraven, Bastiaan C. van Rootselaar & Ard W. Lazonder* Universiteit Twente, Afdeling Instructietechnologie

Paper gepresenteerd op de Onderwijs Research Dagen Heerlen, 7 – 9 mei 2003

ABSTRACT Bij het zoeken naar informatie op Internet blijken leerlingen slecht in staat te zijn hun eigen zoekproces te reguleren. In dit onderzoek is nagegaan of samenwerking een effectieve manier is om regulatievaardigheden (plannen, evalueren, controleren) te verbeteren. Hiertoe werkten tweetallen en eenlingen aan zes Internet zoekopdrachten. Verwacht werd dat tweetallen betere zoekprestaties leveren en beter in staat zijn hun zoekgedrag te plannen, evalueren en controleren. Beide hypotheses werden bevestigd. Tweetallen beantwoordden meer opdrachten goed en zochten efficiënter. Analyse van het zoekgedrag wees uit dat zij bovendien meer tijd aan planning besteedden, en beter in staat waren de zoekresultaten te evalueren en controleren. Deze bevindingen leiden tot de conclusie dat samenwerking een meerwaarde heeft bij het zoeken naar informatie op Internet.

INLEIDING Studiehuis-leerlingen moeten zelfstandig informatie kunnen zoeken, bijvoorbeeld voor het aanleggen van een leesdossier en het schrijven van een profielwerkstuk. Internet biedt hiertoe een veelheid aan informatie, en is bij leerlingen veruit de populairste informatiebron. Uit onderzoek blijkt echter dat relatief weinig leerlingen effectief en efficiënt informatie kunnen zoeken op Internet (Duijkers, Gulikers-Dinjens & Boshuizen, 2000; Ten Brummelhuis & Slotman, 2000). Hoewel vrijwel alle leerlingen met een browser en zoekmachine kunnen omgaan, zijn zij onvoldoende in staat hun eigen zoekproces te reguleren (Lazonder, 2000). Zelfs leerlingen met ruime Internet ervaring blijken slecht in staat de juiste zoekstrategieën te kiezen (planning), de voortgang van het zoekproces te bewaken (monitoring) en de relevantie van zoekresultaten te bepalen (evaluatie). Verbetering van regulatievaardigheden lijkt derhalve geboden, zeker omdat dit de zoekprestaties zal verbeteren. Hiertoe onderzocht Lazonder (2001) de effectiviteit van twee instructievarianten voor het leren van regulatievaardigheden bij het zoeken naar informatie op Internet. Uit de resultaten bleek dat leerlingen uit beide experimentele condities niet beter presteerden dan leerlingen die geen instructie in regulatievaardigheden kregen. Deze tegenvallende resultaten kunnen deels worden toegeschreven aan het ontwerp van beide instructievarianten. Een alternatieve verklaring is dat de leerlingen de regulatievaardigheden wel hebben geleerd, maar zich niet

————————————————— * Email: [email protected]

realiseren dat of wanneer deze kunnen worden toegepast. Dit probleem van inerte kennis zou voorkomen kunnen worden door het introduceren van samenwerking. Wanneer leerlingen samenwerken, verwoorden zij hun gedachten, hetgeen de regulatie bevordert (Teasley, 1995). Tijdens het zoeken leiden deze verbalisaties ertoe dat leerlingen overeenstemming bereiken over de te hanteren zoekstrategie en de relevantie van zoekresultaten. Daarnaast heeft samenwerking als voordeel dat leerlingen elkaars handelingen kritisch volgen, waardoor eventuele fouten sneller worden ontdekt (Twidale & Nichols, 1998). Samenwerking heeft bovendien een positief effect op leerprestaties. Hiervoor worden twee verklaringen gegeven: peer elaboratie en co-constructie, door Van Boxtel (2000) integratief aangeduid als individuele en collaboratieve elaboratie. Zij vond dat collaboratieve elaboraties belangrijker zijn voor individuele kennisconstructie dat individuele elaboraties. Haar onderzoek toonde verder aan dat zoeken in een externe informatiebron (een tekstboek) moet worden ondersteund, omdat het anders leidt tot minder collaboratieve elaboraties. Om deze ondersteuning te ontwerpen, is meer inzicht nodig in de manier waarop leerlingen samen naar informatie zoeken. Collaboratief informatie zoeken is echter nog nauwelijks onderzocht. Het onderzoek van Blaye en Light (1995) vormt hierop een uitzondering. Zij onderzochten het probleemoplosgedrag van individuen en tweetallen in een hypertext database. Zowel bij kinderen als bij volwassenen bleek dat de tweetallen beter presteerden dan de individuen. Uit procesanalyses bleek dat individuen minder goed in staat waren hun zoektocht binnen de database te organiseren. Tweetallen waren daarentegen beter in staat de informatie uit de database te interpreteren en op basis daarvan hun strategie aan te passen. Hoewel deze resultaten de hierboven geformuleerde verwachtingen ondersteunen, is het de vraag of zij gegeneraliseerd kunnen worden naar het zoeken van informatie op Internet. Een hypertext database is een relatief goed afgebakende en gestructureerde informatieruimte. Het Web is daarentegen veel omvangrijker en minder goed gestructureerd, waardoor gebruikers gemakkelijker het overzicht kwijtraken. Een ander verschil betreft de manier waarop informatie wordt ontsloten. In hypertext databases gebeurt dit door middel van browsing (hyperlinks volgen), terwijl bij Internet zoekmachines het zoeken op trefwoorden of intypen van URLs meer gebruikte strategieën zijn. Bij het zoeken op trefwoorden doet zich bovendien het probleem voor dat zoekmachines geen thesaurus hebben en de classificatie van Websites in de meeste gevallen is geautomatiseerd – alleen van AltaVista is bekend dat Websites ‘met de hand’ worden geïndexeerd. Hierdoor zijn de resultaten van een Internet-zoektocht tamelijk willekeurig en vinden zelfs informatiespecialisten het vrij lastig om specifieke informatie te vinden (Bruce & Leander, 1997). Er is echter nog nauwelijks onderzoek gedaan naar collaboratief informatie zoeken op Internet. Dit is opmerkelijk aangezien leerlingen op school vaak in twee- of drietallen het Web doorzoeken (denk bijvoorbeeld aan WebQuests). Hierdoor is het onbekend of samenwerking inderdaad de kwaliteit van het zoekgedrag en de zoekprestaties bevordert. Om deze veronderstelling te valideren, is een kleinschalig onderzoek uitgevoerd waarin de zoekprestaties en het zoekgedrag van tweetalen en eenlingen zijn vergeleken. Verwacht werd dat tweetallen beter presteerden op zoekopdrachten in termen van kwaliteit, effectiviteit en efficiëntie. Bovendien werd verwacht dat samenwerking een positief effect heeft op het zoekgedrag. Door te overleggen zouden tweetallen beter in staat zijn het zoekproces te plannen en de zoekresultaten te evalueren en controleren.

2

METHODE Proefpersonen Het onderzoek is uitgevoerd bij eerstejaarsstudenten sociale wetenschappen. In totaal waren er 26 deelnemers (16 vrouwen, 10 mannen) met een gemiddelde leeftijd van 20 jaar. De deelnemers konden zich individueel of als tweetal aanmelden. Dit resulteerde in 7 individuen en 9 duo’s. Instrumenten Met een vragenlijst zijn demografische gegevens verzameld en is de computer- en Internetervaring geïnventariseerd. Voor de meting van regulatievaardigheden is de MSLQ afgenomen (Pintrich, Smith, Garcia & McKeachie, 1991, 1993). Deze vragenlijst meet diverse determinanten van zelfregulatie, te weten zelfvertrouwen, motivatie, toetsangst, cognitieve strategieën en regulatiestrategieën. In totaal bevatte de MSLQ 53 vragen, die op een 7-punt Likert schaal zijn gescoord. De betrouwbaarheid van alle schalen was voldoende (Cronbach α > 0.78). Tijdens het onderzoek werkten de deelnemers individueel of in tweetallen aan zes zoekopdrachten (zie Tabel 1). De onderwerpen waarnaar gezocht moest worden waren zeer divers om mogelijke storende effecten van domeinkennis te voorkomen. Zowel de individuen als de duo’s hadden de beschikking over één Pentium 1 computer met Internet Explorer en de zoekmachine Google (www.google.com). De antwoorden op de zoekopdrachten werden in een Word bestand genoteerd. Met het programma HyperCam zijn alle acties en verbalisaties geregistreerd. Dit programma werd door de proefleiders geactiveerd en draaide ‘op de achtergrond’ (voor de deelnemers onzichtbaar) mee. Tabel 1 Zoekopdrachten 1. Wanneer kwam de eerste MS Windowsversie op de markt? 2. Welk uitgestorven diersoort komt in het verhaal van Alice in Wonderland voor? 3. Er zijn heel wat pogingen gedaan om met een hete luchtballon in een vlucht rond de aarde te vliegen. Hoeveel pogingen zijn er gedaan om uiteindelijk de eerste man te zijn die in zijn eentje in een hete luchtballon rond de aarde vloog? 4. Om welke redenen is de Europese Unie opgericht? 5. Zoals iedereen weet wonen indianen in tenten. Binnen en buiten de tent zijn tradities en regels die in acht moeten worden genomen. Zo willen indianen niet ‘direct’ hulp bij het afbreken van hun tent. Waarom is dat? 6. Geef de huidige meningen over een mogelijke oorlog met Irak van drie grote landen van de Europese Gemeenschap.

Procedure Voor elk individu en elk tweetal duurde het onderzoek anderhalf uur (de vragenlijsten werden een week voor het onderzoek ingevuld en via email geretourneerd). Alle sessies vonden plaats in een aparte onderzoeksruimte met één computer. Aan het begin van een sessie kregen de deelnemers een korte uitleg en werd hen gevraagd hardop te denken. De resterende tijd werkten de deelnemers aan de zoekopdrachten. Deze werden één voor één uitgevoerd; de volgorde werd afgewisseld om eventuele leereffecten te voorkomen. Voor elke zoekopdracht gold een tijdslimiet van 15 minuten. Wanneer een opdracht niet binnen de tijd werd beantwoord, werd de opdracht door de proefleider ingenomen en kregen de deelnemers de volgende opdracht. Werd een opdracht wel binnen de tijd afgerond, dan

3

konden de deelnemers de proefleider om de volgende opdracht vragen. Deelnemers konden niet terugkeren naar eerder gemaakte opdrachten. Data analyse De gegevens zijn geanalyseerd aan de hand van de registratiefiles en de Word bestanden. Hierbij is onderzocht of samenwerking een positief effect heeft op zoekprestaties en zoekgedrag. Bij zoekprestaties is gekeken naar de variabelen succes, efficiëntie en effectiviteit. Succes is geoperationaliseerd als het aantal goed beantwoorde zoekopdrachten. Efficiëntie is een samengestelde maat die wordt berekend door het aantal goede opgaven te delen door de tijd voor goede en foute opgaven. Effectiviteit is gedefinieerd als het aantal sites dat wordt bezocht om tot een goed antwoord te komen. Bij het zoekgedrag is gekeken naar de activiteiten die worden verricht bij (1) het bepalen van de zoekstrategie, (2) het evalueren van de zoekresultaten, en (3) het controleren van elkaars handelingen. Deze analyses zijn nog niet afgerond; de resultaten hebben derhalve een voorlopig karakter. Ondanks het betrekkelijk geringe aantal proefpersonen, bleek uit KolmogorovSmirnov testen dat de verdeling van alle variabelen overeenkomt met de normale verdeling. Middels Levene’s testen is nagegaan of de varianties homogeen zijn. Indien dit het geval was, zijn verschillen tussen individuen en duo’s middels enkelvoudige variantie-analyse geanalyseerd. Werd niet aan deze eis voldaan, dan zijn t-testen met separate variance estimates gebruikt.

RESULTATEN Vergelijkbaarheid condities Alle deelnemers werkten minimaal 2 uur per week met de computer en met Internet. Voor de meesten ligt het aantal uren per week echter hoger. Globaal gezien zit eenderde van de deelnemers tussen de 5 en 10 uur achter de PC en surft op Internet. Bij ongeveer de helft van de deelnemers bedraagt dit zelfs meer dan 10 uur per week. Er waren geen verschillen tussen individuen en duo’s voor wat betreft computerervaring ( 2(2)=0.27, p=0.87) en Internetervaring ( 2(2)=0.27, p=0.88). De regulatievaardigheden zijn gemeten met de MSLQ. De gemiddelde scores voor de vijf schalen staan in Tabel 2. Op geen van deze schalen werden significante verschillen tussen individuen en duo’s gevonden, hetgeen betekent dat de regulatievaardigheden tussen beide onderzoeksgroepen niet van elkaar verschilt1. Tabel 2 Gemiddelde MSLQ scores(en standaarddeviaties) Conditie

Zelfvertrouwen

Solo

Duo

F

5.4 (0.7)

5.0 (1.0)

0.79

Motivatie

6.1 (0.9)

5.6 (1.8)

0.51

Toetsangst

2.2 (1.0)

3.1 (1.0)

3.06

Cognitie

4.1 (1.2)

4.5 (0.3)

1.00

Regulatie

5.3 (0.8)

5.1 (0.7)

0.42

†

† t-test met separate variance estimate. 1

Bij de duo’s zijn de scores van beide groepsleden gemiddeld. Deze aanpak leidt tot vergelijkbare resultaten als wanneer de scores van de individuele deelnemers uit beide groepen met elkaar wordt vergeleken.

4

Zoekprestaties Bij zoekprestaties is gekeken naar succes, efficiëntie en effectiviteit. De gemiddelde scores voor deze maten staat in Tabel 3. Conform de verwachtingen waren de duo’s succesvoller dan de individuen. Duo’s hadden gemiddeld meer dan de helft van de opgaven goed beantwoord. Het gemiddeld aantal goede antwoorden bij de solo’s was significant lager. De duo’s waren bovendien significant efficiënter, hetgeen betekent dat zij in kortere tijd meer antwoorden goed wisten te beantwoorden. Uit de effectiviteitscores blijkt dat individuen minder sites bezochten om tot een goed antwoord te komen. Dit verschil was echter te gering om tot statistische significantie te leiden. Tabel 3 Gemiddelden (en standaarddeviaties) voor succes, efficiëntie en effectiviteit Conditie Solo

Duo

F

Succes

2.0 (0.8)

3.2 (1.1)

6.08*

Efficiëntie

5.0 (2.0)

9.0 (3.5)

7.02*

Effectiviteit

4.1 (1.8)

5.3 (2.3)

1.29

* p<.05

Zoekgedrag Bij het zoekgedrag is gekeken naar het bepalen van de zoekstrategie, het evalueren van de zoekresultaten en het controleren van elkaars handelingen. Bij het bepalen van de zoekstrategie is een tijdsverschil gevonden. Duo’s besteedden gemiddeld 5.2% van hun tijd aan deze fase van het zoekproces (SD=1.8). Bij individuen lag dit percentage lager (M=3.6, SD=0.7) en het verschil was significant (t=2.36, p<.05). Bij het evalueren van zoekresultaten is onderscheid gemaakt tussen het evalueren van Websites (aan de hand van de zoekmachine’s hit list) en het evalueren van de informatie binnen een site. Bij deze laatste vorm van evaluatie is een effect van samenwerking gevonden. Bij de eerste poging een antwoord te formuleren, baseerden individuen en duo’s zich relatief even vaak op een irrelevante Webpagina (d.i. een pagina waarop het antwoord niet voorkomt). Echter, duo’s haalden in 2.8% van de gevallen een verkeerd antwoord van een pagina waarop het goede antwoord wél was te vinden. Bij individuen lag dit percentage aanzienlijk hoger (M=18.1, SD=9.8) en het verschil was significant (F(1,14)= 11.44, p<.01). Bovendien bleken duo’s vaker hun voorlopig antwoord te controleren. Door individuen werden in totaal 2 van de 17 incorrecte antwoorden gecorrigeerd; bij de duo’s was dit 6 van de 14.

DISCUSSIE Bij het zoeken naar informatie op Internet blijken leerlingen slecht in staat te zijn hun eigen zoekproces te reguleren. In dit onderzoek is nagegaan of samenwerking een effectieve manier is om regulatievaardigheden (plannen, evalueren, controleren) te verbeteren. Verwacht werd dat tweetallen betere zoekprestaties leveren en dat zij hun zoekgedrag beter plannen, evalueren en controleren. De hypothese dat duo’s betere zoekprestaties zouden leveren, werd door de resultaten bevestigd. Duo’s wisten gemiddeld meer opgaven goed te beantwoorden en

5

gingen hierbij efficiënter te werk. Hieruit kan geconcludeerd worden dat samenwerking een positief effect op zoekprestaties heeft. De conclusies ten aanzien van het zoekgedrag hebben een voorlopig karakter; een deel van de analyses is nog niet afgerond. De beschikbare data geven echter de indruk dat duo’s beter presteren omdat zij de informatie binnen een Website beter evalueren. Dit leidde ertoe dat duo’s minder vaak een foutief voorlopig antwoord gaven, terwijl het goede antwoord wel op de betreffende Webpagina stond. Wanneer een voorlopig antwoord incorrect was, corrigeerden duo’s dit naar verhouding vaker dan individuen. Hieruit kan voorzichtig worden geconcludeerd dat samenwerking bijdraagt aan het vaker en beter controleren van zoekresultaten. Bij de resterende analyses zal worden onderzocht of samenwerking leidt tot betere zoekstrategieën en evaluatie van Websites. Een definitief oordeel over de meerwaarde van samenwerking op zoekgedrag laat dus nog even op zich wachten. Bovendien lijkt verder onderzoek naar collaboratief informatie zoeken noodzakelijk. Hierbij kan in eerste instantie gedacht worden aan een grootschalige replicatie van dit onderzoek. Overwogen kan worden om dit onderzoek bij leerlingen uit het voortgezet onderwijs uit te voeren, hoewel uit de registratiefiles blijkt dat het zoekgedrag van de huidige onderzoekspopulatie niet wezenlijk verschilt van dat van 16- tot 18-jarigen. Verder onderzoek zou zich daarnaast kunnen richten op het gebruik van gevonden informatie. Het zoeken (en vinden) van relevante informatie is slechts een eerste stap. Het vervolg, te weten de transformatie van informatie tot kennis, is minstens zo belangrijk. De relatie tussen samenwerking, zoekgedrag en kennisontwikkeling kan het best worden onderzocht in een probleemgebaseerde online leeromgeving. In zo’n omgeving moeten leerlingen aan de hand van een concrete casus oplossingen voor problemen bedenken (bijvoorbeeld: Wat zou Amerika moeten doen inzake de situatie in Kossovo?). Deze problemen zijn open-ended en ill-defined. Door informatie uit verschillende bronnen met elkaar te combineren, kunnen leerlingen een mogelijke oplossing bedenken. Deze bronnen kunnen deel van de omgeving uitmaken; leerlingen kunnen echter ook andere bronnen (boeken, Internet) raadplegen. Voor de onderwijspraktijk zijn de bevindingen uit dit onderzoek wellicht weinig verrassend: op veel scholen werken twee leerlingen achter één computer. In het basisonderwijs werken leerlingen veelal in groepsverband aan WebQuests. In het voortgezet onderwijs wordt tijdens de ICT lessen ook regelmatig samengewerkt, of helpen leerlingen elkaar. Hoewel samenwerking op sommige scholen wordt ingegeven door praktische randvoorwaarden, blijkt uit dit onderzoek dat deze scholen van een nood een deugd hebben gemaakt.

LITERATUUR Blaye, A., & Light, P. (1995). Collaborative problem-solving with Hypercard : The influence of peer interaction on planning and information handling strategies. In C. O'Malley (Ed.). Computer supported collaborative learning (pp. 3 – 22). Berlin : Springer Verlag. Bruce, C.B., & Leander, K.M. (1997). Searching for digital libraries in education: Why computers cannot tell the story. Library Trends, 45(4), 746 – 770. Duijkers, H.M., Gulikers-Dinjens, M.T.H., & Boshuizen, H.P.A. (2000). Begeleiden van leerlingen bij het zoeken, selecteren en beoordelen van informatie; een praktische studie naar het aanleren van selectievaardigheden in het VWO. Maastricht:

6

Capaciteitsgroep Onderwijsontwikkeling en Onderwijsresearch , Universiteit Maastricht. Lazonder, A.W. (2000). Exploring novice users’ training needs in searching information on the World Wide Web. Journal of Computer Assisted Learning, 16, 326 – 335. Lazonder, A.W. (2001). Minimalist instruction for learning to search the World Wide Web. Education and Information Technologies, 6, 161 – 176. Pintrich, P.R., Smith, D.A.F., Garcia, T., & McKeachie, W.J. (1991). A manual for the use of the Motivated Strategies for Learning Questionnaire (MSLQ). (Tech. Rep. No. 91-B-004). Ann Arbor: University of Michigan, School of Education. Pintrich, P.R., Smith, D.A.F., Garcia, T., & McKeachie, W.J. (1993). Reliability and predictive validity of the Motivated Strategies for Learning Questionnaire (MSLQ). Educational and Psychological Measurement, 53, 801 – 813. Teasley, S.D. (1995). The role of talk in children’s peer collaborations. Developmental Psychology, 31, 207 – 220. Ten Brummelhuis, A.C.A., & Slotman, K.M.J. (2000). ICT monitor 1998/1999: Voortgezet onderwijs. Enschede: OCTO, Universiteit Twente. Twidale, M., & Nichols, D. (1998). Designing interfaces to support collaboration in information retrieval. Interacting with Computers, 10, 177 – 193. Van Boxtel, C.A.M. (2000). Collaborative concept learning. Proefschrift Universiteit Utrecht.

7