Benjamin Blom, S4088816
Proeve Praktijkonderzoek, verslag
Geschiedenis 2.0 Zoekvaardigheden van leerlingen op het internet november 2011
Radboud Universiteit Nijmegen Instituut voor Leraar en School
Opleiding 1e graads docent geschiedenis en staatsinrichting Begeleider: drs. Harry Havekes
1
Inhoudsopgave 1. Inleiding
3
2. Onderzoeksopzet en uitvoering
5
3. Resultaten
10
4. Conclusies
17
5. Discussie
19
6. Reflectie
20
7. Literatuurlijst
21
Bijlage 1 Taak en invulling door leerlingduo
22
Bijlage 2 Transcriptie video
25
Bijlage 3 Screendump browsergeschiedenis leerlingduo
31
Bijlage 4 Scoring sheet Sourcing, Corroboration
32
2
1. Inleiding Op elke school wordt het gebruik van de pc en het internet door leerlingen steeds belangrijker. Zeker ook in het kader van activerend onderwijs. Leerlingen produceren regelmatig een werkstuk en maken daarbij veelvuldig gebruik van internet als informatiebron. Ondanks dat tieners vertrouwd zijn met het gebruik van computers en internet en beschikken over veel technische vaardigheden, blijkt in de praktijk dat veel leerlingen toch grote moeite hebben met het stellen van goede vragen, het zoeken, beoordelen, selecteren en evalueren van informatie, een probleem dat valt onder het domein van informatievaardigheden. Het schoolvak geschiedenis kan door de komst van internet enerzijds enorm profiteren van het beschikbaar komen van een grote hoeveelheid informatie en bronnen in het klaslokaal en anderzijds een grote rol spelen in het ontwikkelen van informatievaardigheden bij leerlingen omdat veel van deze vaardigheden nauw verwant zijn aan elementen van historisch denken, dat wat historici normaal geneigd zijn om te doen. De heuristiek 'Sourcing' is cruciaal bij het aanleren van historisch denken bij leerlingen. Sourcing is het gebruik van informatie óver een bron voor de interpretatie van deze bron (Wineburg 1991, Nokes, Dole, Hacker 2007). Op het internet is broninformatie vaak op een andere manier te vinden dan via schrift of papieren documenten, bijvoorbeeld door de hypertextstructuur en de relatieve nabijheid van relevante informatie op andere websites. In de context van het internet vraagt de heuristiek sourcing meer van leerlingen dan bij papieren bronnen. De heuristiek sourcing moet worden aangevuld met de heuristiek ‘corroboration’, het vergelijken van informatie van verschillende (internet)bronnen, om zinvolle inferenties te kunnen maken over betrouwbaarheid en relevantie van een bron. Corroboration wordt hier verder aangeduid met het Nederlandse woord 'corroboratie'. Het doel van dit onderzoek is om te bekijken of leerlingen uit VWO 5 die domeinspecifieke kennis bezitten, expliciete instructie krijgen over sourcing en die ‘hard scaffolds’ (statische ondersteuning die van te voren kan worden geänticipeerd en gepland, gebaseerd op typische struikelblokken voor leerlingen bij een taak) krijgen aangeboden tijdens het zoekproces, in staat zijn om een holocaustontkenningswebsite te kunnen beoordelen op betrouwbaarheid en relevantie. Deelvragen in dit onderzoek zijn: -
Hoe werkt een taak over de informatievaardigheid ‘sourcing’ bij websites? Welke vragen moeten gesteld worden bij de heuristiek ‘sourcing’? In hoeverre maken leerlingen gebruik van corroboratie bij het toepassen van de heuristiek 'sourcing'? In hoeverre zijn leerlingen in staat om de heuristiek ‘sourcing’ toe te passen met behulp van een werkblad (bijlage 2)?
De gekozen benadering gaat uit van de principes van Designonderzoek (Plomp, Nieveen 2007). Deze benadering gaat uit van een zich herhalende cyclus van theoretische reflectie, conceptuele analyse, kleinschalige curriculum 3
ontwikkeling en klaslokaalonderzoek naar de interactie tussen lesgeven (teaching) en leerprocessen. In het onderhavige document volgt een beschrijving van het onderzoek, een analyse en een bespreking van de resultaten. Er wordt besproken welke mogelijkheden er zijn voor vervolgonderzoek en welke implicaties de resultaten van het onderzoek hebben voor de visie op het schoolvak geschiedenis en het leren van leerlingen. Mijn dank gaat uit naar Harry Havekes, begeleider van het ILS, Jan Stuitje, docent op het Pantarijn, Piet van Ledden van de Anne Frankstichting, vriend Joost Hooghiemstra voor zijn commentaar en mijn Agnieszka Malinowska, onder andere voor haar hulp bij de grafieken.
4
2. Onderzoeksopzet en uitvoering Voor dit onderzoek is een taak ontwikkeld die leerlingen moet helpen bij het toepassen van 'sourcing' op een holocaustontkenningswebsite. Deze taak werd voorafgegaan door een instructie. De taak werd door leerlingen van VWO 5 van het Pantarijn MHV in Wageningen in tweetallen uitgevoerd in een computerlokaal. Voor de taak kregen leerlingen 35 minuten. Holocaustontkenning Waarom is er gekozen voor een holocaustontkenningssite en niet voor een willekeurige website over geschiedenis? De reden voor deze keuze is dat hiermee het belang van kritische omgang met informatie veel scherper wordt. Holocaustontkenning is een reëel probleem (Hondius et al. 2006) en de urgentie van de opdracht wordt daarmee voor leerlingen veel duidelijker. Geschiedenisdocent en ICT trainer Ben Walsh stelde dat het geschiedenisonderwijs niet moet weglopen voor de verantwoordelijkheid om leerlingen te voorzien van de vaardigheden en het juiste intellectuele gereedschap om tactieken van extremistische organisaties die de geschiedenis misbruiken voor hun eigen standpunt te doorzien (Walsh 2008). Het onderzoek is ingebed in een les waarbij ook een nabespreking hoort. In deze nabespreking wordt ruimte geboden voor vragen die zijn ontstaan naar aanleiding van deze site, enkele argumenten op de site worden weerlegd en er wordt verwezen naar de website van de AnneFrankstichting, waar een heel dossier is te vinden over dit onderwerp. Onderzoeksinstrumenten Een klas uit VWO 5 heeft een aantal lessen over de Tweede Wereldoorlog en 2 lessen specifiek over de Holocaust gevolgd en afgerond met een toets. Deze leerlingen beschikten daarom over domeinspecifieke kennis. 28 leerlingen uit deze klas werden ingedeeld in twee groepen. De groepen verschilden op basis van het cijfer van de laatste toets, in ondergemiddeld en bovengemiddeld. Leerlingen konden zelf een partner kiezen uit hun eigen groep. Zodoende werden er zeven duo's gevormd die bij de laatste toets bovengemiddeld en zeven duo's die ondergemiddeld hebben gescoord. Leerlingen moesten samenwerken aan een taak (bijlage 1). Deze taak bestond uit twee opdrachten. In de eerste opdracht konden zeven vragen worden beantwoord over de gepresenteerde website (http://radioislam.org/nederlands/Stierven-er-werkelijk-zes-miljoen/06Auschwitz-en-de-Poolse-Joden.html). In de tweede opdracht moesten leerlingen een essay schrijven van minimaal 100 woorden over de betrouwbaarheid en geloofwaardigheid van de gepresenteerde website en daarbij gebruik maken van de antwoorden op de vragen van de eerste opdracht. Voor het beantwoorden van de vragen moesten leerlingen zoeken op het internet en daarbij ook gebruik maken van tips die op het werkblad stonden. Zogenaamde 'hard scaffolds' (Saye, Brush 2002). Er is tijdens het onderzoek niet ingegaan op inhoudelijke vragen van leerlingen (soft scaffolds) om voor alle leerlingen dezelfde condities te creëren. 5
De taak werd voorafgegaan door een instructie over sourcing van 10 minuten en een instructie op de taak van vijf minuten, waarbij ook werd vermeld dat het hier een revisionistische website betrof en dat revisionistische geschiedschrijving de Holocaust ter discussie wil stellen. De docent, in dit geval ook de onderzoeker, legde uit wat het concept inhield, welke vragen daar bij horen, wat het nut er van is en er werd een voorbeeld gemodelleerd op de beamer. In dit voorbeeld werd gedemonstreerd dat een website (www.suikerinfo.nl) met informatie over suiker die op het eerste gezicht neutraal lijkt, volledig wordt gesponsord door de suikerindustrie. Dit feit is niet op de site zelf te vinden, maar moet worden gezocht door informatie te combineren van verschillende websites. De gecombineerde zoektermen 'pdf' 'suikerstichting' en 'suikerindustrie' leveren bijvoorbeeld een hit op die dit bewijst. Deze sponsoring heeft gevolgen voor de betrouwbaarheid en relevantie van de site. Dat blijkt bijvoorbeeld uit het ontbreken van voor de hand liggende informatie. Zoals een antwoord op de vraag 'hoeveel suiker per dag mag ik consumeren?'. Dit antwoord is op www.suikerinfo.nl nergens te vinden. Transfer De taak is geconstrueerd volgens een aantal principes om transfer te bevorderen. Om te bevorderen dat de geleerde vaardigheden ook in andere situaties worden toegepast (transfer), is immers meer nodig dan alleen een taak. Uiteindelijk gaat het er om dat leerlingen kritisch leren denken. Ten Dam en Volman (2004) stellen dat leerlingen zich moeten ontwikkelen tot kritische burgers die deelnemen aan een gemeenschap. Onderwijs dat kritisch denken bevordert moet volgens hen daarom de volgende karakteristieken hebben: 1. aandacht voor de ontwikkeling van epistemologische opvattingen van leerlingen 2. bevordering actief leren 3. probleem-gestuurd onderwijs 4. stimuleren van interactie tussen leerlingen 5. leren op basis van levensechte situaties
In deze interventie konden niet al deze zaken worden gerealiseerd. In elk geval werden leerlingen door de keuze van een holocaustontkenningssite met een reëel probleem geconfronteerd (probleem-gestuurd), dat ze zelf moesten oplossen door het zoeken van bruikbare informatie, en deze te verwerken tot argumenten (actief), in samenwerking met een andere leerling (interactief). Amber Walraven (2008), die onderzoek deed naar informatievaardigheden, geeft ook een aantal aanbevelingen voor het ontwerp van lessen met informatievaardigheden: do's: -leerlingen extrinsiek motiveren -gebruik van hele taken -tijd nemen voor discussies en evaluaties
don'ts: - gebruik niet alleen maar internet - neem niet teveel nieuwe dingen tegelijk - doe het niet alleen
Ook deze aanbevelingen zijn allemaal verwerkt in de lesuitvoering, behalve de extrinsieke motivatie. Leerlingen kregen geen cijfer voor de uitvoering van de taak omdat dit niet viel in te passen in het voorgeschreven examenprogramma. 6
De taak over informatievaardigheden stond dus niet op zichzelf, maar is onderdeel van een leerproces waarbij diverse factoren invloed hebben op de uitkomst van dat leren. De kwaliteit van de instructie bepaalt hoe goed leerlingen een taak uitvoeren, maar ook leerlingkenmerken als geslacht, leeftijd, niveau en voorkennis hebben invloed op de zoekvaardigheden van leerlingen, evenals de onderwijskundige context, het niveau van de taak, en de aangereikte hulpmiddelen (scaffolds) (Kuiper et al. 2004). De plaats van de taak in het leerproces kan worden weergegeven zoals in onderstaand schema:
Veldtest Voor de uitvoering van het onderzoek is een korte veldtest gedaan met twee leerlingen uit een andere klas, die ook les hadden gekregen over hetzelfde onderwerp. De veldtest besloeg 25 minuten en de instructie was daarbij ingekort. In de veldtest viel op dat leerlingen de opdracht niet goed lazen en vooral in het gepresenteerde document zochten naar informatie, in plaats van informatie buiten het document te zoeken. Het bleek ook dat de geplande tijd te kort was en dat de instructie over het essay onvoldoende duidelijk was: -
benadrukken beperkte tijd rustig de hele opdracht laten lezen benadrukken dat het niet gaat om argumenten in het document zelf, maar om ‘Sourcing’ Uitbreiden instructie essay Duidelijk tijd afbakenen voor schrijven van het essay Meer tijd voor het hele proces
Het werkblad is vervolgens aangepast aan de hand van deze aanbevelingen. 7
Instructie De instructie verliep niet helemaal zoals gepland. Een belangrijke en onjuist ingeschatte oorzaak daarvan was de setting van het computerlokaal. De opstelling in dit lokaal bestaat uit een aantal 'eilanden' met computers waarachter leerlingen zich een beetje kunnen verstoppen. De docententafel voorin is ver weg en het bleek daarom bovengemiddeld moeilijk om de aandacht van leerlingen centraal te krijgen en te houden. Leerlingen werden afgeleid door de computer en daardoor misten sommigen wellicht een deel van de instructie. Het was de bedoeling om tijdens de instructie in te gaan op de tips en mogelijke zoekstrategieën maar dat is niet gebeurd. Tijdens de uitvoering van de taak bleek ook dat begrippen als 'betrouwbaarheid' en 'geloofwaardigheid', 'reputatie' en 'motieven' niet voor alle leerlingen duidelijk waren en eigenlijk meer aandacht nodig hadden gehad in de instructie. Achteraf bleek dat leerlingen in hun essay's vaak maar een vraag hebben beantwoord: die van betrouwbaarheid. De geloofwaardigheid wordt vaak niet genoemd of de twee begrippen worden door elkaar gehaald. Tijdens de opdracht kwam ook twee keer de vraag wat het verschil was tussen een motief en een reputatie. Kennelijk waren deze begrippen niet duidelijk en was meer instructie of 'scaffolding' op dit punt behulpzaam geweest. Uitvoering Tijdens het uitvoeren van de taak is goed gelet op het tijdsverloop. Leerlingen kregen 25 minuten om de antwoorden te zoeken op de vragen. Na 20 minuten werden leerlingen er op attent gemaakt dat ze nog vijf minuten hadden voordat ze aan het essay moesten beginnen en na 25 minuten is duidelijk gezegd dat leerlingen moesten beginnen aan het essay. In de internetomgeving van de school waren een aantal websites geblokkeerd, waaronder Google translate. De aanname was dat leerlingen die moeite zouden hebben met het Engels gebruik zouden kunnen maken van deze tool om hele websites mee te vertalen. Nu was de taal een grotere barrière dan voorzien. Leerlingen hebben niet aangegeven dat dit een knelpunt was, maar wellicht heeft dit toch invloed gehad op de resultaten. Beschrijving data Na afloop van het onderzoek werden de beantwoorde vragen en geschreven essays opgeslagen in een bestand en geupload naar de electronische leeromgeving van de school (Teletop). Behalve dit bestand is ook aan leerlingen gevraagd om een screendump te maken van de browsergeschiedenis, waardoor een reconstructie mogelijk is van het aantal websites dat in het kader van de opdrachten is bezocht. 8
Als derde is het scherm van twee leerlingduo's tijdens de taak gevolgd met camera en microfoon. Van deze opnames is er helaas een mislukt, door een te lage resolutie, teveel omgevingsgeluid en een slechte camera. Van de andere opname die wel is gelukt, is een transcriptie gemaakt. De video-opname is gemaakt in een rumoerige omgeving. Soms is het omgevingsgeluid zo groot dat geen duidelijke transcriptie mogelijk was. Over het algemeen is echter goed te volgen wat de gedachtegang van de leerlingen was. De screendumps van de browsergeschiedenis laten in elk geval zien welke domeinen door leerlingen zijn bezocht. Sommige leerlingen hebben de browsergeschiedenis ook 'uitgeklapt', zodat bijvoorbeeld ook de gebruikte zoektermen zichtbaar zijn. Het aantal bezochte websites ligt tussen de drie en de twaalf, gemiddeld 6,3. Als drie verschillende Wikipedia pagina's zijn geraadpleegd telt dat als een website. Daarnaast zijn de websites die zijn bezocht om de opdracht te downloaden niet meegeteld, evenals de website die enkele leerlingen raadpleegden tijdens het modelleren van het voorbeeld in de instructie. Leerlingen konden de zoekgeschiedenis van de websites manipuleren door zaken te verwijderen. Relatie onderzoeker-object De onderzoeker heeft als leraar-in-opleiding (lio) 5 lessen gegeven aan de VWO 5 klas. De samenwerking met deze klas is door de lio als positief ervaren. De leerlingen waren in een evaluatie van deze lessen positief over deze lessenserie en de docent. Veel leerlingen waardeerden de inzet en motivatie van de docent voor het vak. In de gegeven lessenserie stond het analyseren van bronnen centraal en een aantal leerlingen gaf aan dat ze daar van hadden geleerd. Andere (of soms dezelfde!) leerlingen vond dat het werken met bronnen iets teveel van het goede was. De les waarin leerlingen de taak voor het onderzoek moesten maken, was tegelijk de laatste les.
9
3. Resultaten Om te komen tot beantwoording van de gestelde vragen is een analysemodel ontwikkeld. Dit model is schematisch weergegeven in figuur 1. In dit model wordt gekeken naar sourcing en corroboratie. Sourcing wordt gedefiniëerd als “het stellen van vragen over de geloofwaardigheid van een bron, de beweegredenen van de auteur en diens deelname aan gebeurtenissen op het moment van schrijven en het publiek waar het document voor was bedoeld, voorafgaand aan het bestuderen van de bron en uit deze informatie inferenties maken over de bron. Corroboratie wordt gedefiniëerd als het leggen van verbindingen tussen informatie uit verschillende teksten, met oog voor contradicties en overeenkomsten in deze teksten. (Wineburg 1991, Nokes, Dole, Hacker 2007). Met behulp van een 'scoring sheet', ontwikkeld door Nokes, (supplemental data 2007) is het aantal keren dat sourcing en corroboration in de essays optreedt gemeten en voorzien van een score. Ook is gekeken naar de aard van het optreden van sourcing (zie bijlage 4) door de argumenten te rangschikken in verschillende categorieën: 'author’s position, author’s motivation, author’s participation, evaluation of author, date of production, document type, evaluation of document, other.' Daarnaast zijn het aantal beantwoorde vragen in opdracht 1, het aantal vragen dat is verwerkt in het essay en het aantal bezochte websites gescoord in een tabel. De scores zijn quasistatistisch geanalyseerd en grafisch weergegeven. Daarnaast is een kwalitatieve analyse uitgevoerd van de essays en de videotranscriptie (bijlage 2) om meer inzicht te krijgen in de werking van de taak bij leerlingen. Onderstaand model geeft een beeld van het analyseproces.
10
Figuur 1 Analysemodel
Het valt op dat bij opdracht 1 de meeste leerlingen de vragen allemaal hebben beantwoord, maar dat de kwaliteit van de beantwoording sterk uiteen loopt. Bij opdracht 2 hebben alle leerlingen voldaan aan het criterium dat het essay minimaal 100 woorden moest bevatten. Er zijn maar weinig leerlingen die meer hebben geschreven. De kwaliteit van de essays is nogal uiteenlopend. Alle leerlingen komen tot de conclusie dat de gepresenteerde website onbetrouwbaar en ongeloofwaardig is, maar niet alle leerlingen hebben dezelfde vraag beantwoord in hun essay. 20 leerlingen hebben betrouwbaarheid en geloofwaardigheid niet apart behandeld, maar hebben het alleen over betrouwbaarheid of noemen geen van beide begrippen. Vragen bij sourcing Welke vragen moeten gesteld worden bij de heuristiek ‘sourcing’? Britt en Gabrys (2001) en Drake en Drake Brown (2003) stellen de volgende vragen bij het gebruik van de heuristiek sourcing: 1. wie is de auteur? 2. wat is de reputatie van de auteur? 3. Hoe komt de auteur aan zijn informatie? 4. Wat zijn de motieven van de auteur? 5. wanneer is de bron gemaakt? 6. wat voor type bron is het (genre)? 7. wat is het beoogde publiek? Op basis van de antwoorden op deze vragen kunnen inferenties worden gemaakt over de betrouwbaarheid en geloofwaardigheid van een bron. 11
In figuur 2 en 3 is te zien dat de bovengemiddelde duo's 92 % van de vragen heeft beantwoord en de totale groep heeft 86 % van de vragen beantwoord. Er is daarom geen aanleiding om te veronderstellen dat deze vragen voor leerlingen op zichzelf problematisch zijn. Leerlingen blijken echter niet alle antwoorden op de vragen ook te verwerken in de essays. Leerlingen kiezen daarbij voor verschillende antwoorden die worden verwerkt in de essays. Het antwoord op de vraag 'wat is de reputatie van de auteur?' (antwoord: extreem rechts, veroordeeld door de rechtbank) werd door een groot deel van de leerlingen gebruikt in hun argumentatie terwijl 'wanneer is de bron gemaakt?' (antwoord: 1974) door geen van de leerlingen werd gebruikt om een argument te construeren in het essay. De bovengemiddelde leerlingen hebben wel meer vragen beantwoord in het essay.
Figuur 2
Figuur 3
12
Sourcing met een werkblad In hoeverre zijn leerlingen in staat om de heuristiek ‘sourcing’ toe te passen met behulp van een werkblad (bijlage 1)? Sourcing is gemeten met de scoresheet uit bijlage 4. In alle essays is bij de argumentatie gebruik gemaakt van sourcing. Het gemiddelde aantal keren dat sourcing is gebruikt per essay is 1,6 bij de ondergemiddelde groep en 1,9 bij de bovengemiddelde groep. Het aantal vragen dat is verwerkt in de essays is redelijk in lijn met de mate van sourcing. (figuur 4) Het komt echter voor dat leerlingen informatie verwerken in het essay die niet in de beantwoording van de vragen is te vinden. Bijvoorbeeld het feit dat het boek 'Mein Kampf' is gepubliceerd op de website en dat dit in Nederland een verboden boek is. Dat telt dan wel mee als sourcing, maar volgt niet uit de beantwoording van de vragen. Andersom gebeurt het soms ook dat vragen worden verwerkt in het essay, zonder dat dat tot sourcing leidt omdat de kwaliteit van het argument onvoldoende is. Bijvoorbeeld: 'ze hebben de mening uit het boek gebruikt en dat op de website gezet'.
Figuur 4
In figuur 3 is te zien dat de meeste vragen over sourcing terugkomen in de essays, maar dat leerlingen uiteenlopende keuzes maken voor welke vraag ze verwerken in hun argumenten. Dit bevestigt dat leerlingen in staat zijn om losstaande sourcing antwoorden om te zetten in geldige argumenten in een betoog. Veel leerlingen (57 %) gebruiken niet meer dan een argument, terwijl het mogelijk is om veel meer te zeggen over betrouwbaarheid en geloofwaardigheid. Dit is te verklaren door pragmatisch gedrag zoals tijdsdruk, het ontbreken van een instructie om zoveel mogelijk argumenten te gebruiken en het ontbreken van een beoordeling (extrinsieke motivatie). Een ander opvallend gegeven dat blijkt uit de kwalitatieve analyse van de essays is dat 6 van de 7 duo's uit de ondergemiddelde groep en 1 duo uit de bovengemiddelde groep in het essay ingaat op het uiterlijk van de website. Kwalificaties als 'De site heeft een lelijke opmaak', 'amateuristisch uiterlijk', 'ziet er snel in elkaar gezet uit', 'onprofessioneel door lettertype en kleuren' worden 13
betrokken in een oordeel over betrouwbaarheid en geloofwaardigheid van de site. Kennelijk heeft het uiterlijk van een website grote invloed op het oordeel van leerlingen over de geloofwaardigheid. Dit is vooral het geval bij de groep ondergemiddeld scorende leerlingen. Daarbij komt dat de rol die het uiterlijk van een website speelt niet is benoemd tijdens de instructie. In het algemeen zijn de leerlingen goed in staat geweest om de heuristiek sourcing toe te passen. Bij de kwaliteit van de argumentatie is nog veel winst te behalen. Sourcing en corroboratie In hoeverre maken leerlingen gebruik van corroboratie bij het toepassen van de heuristiek 'sourcing'? Sourcing en corroboratie gaan vaak samen bij internetbronnen. Een internetpagina heeft een netwerkstructuur en moet door de lezer geëxploreerd worden om een goed beeld te krijgen van de opbouw van de site. Daarnaast biedt het internet een schat aan informatie die gebruikt kan worden om inferenties te maken over een bepaalde bron. Leerlingen hebben gemiddeld 6 websites gebruikt bij het beantwoorden van de sourcing opdracht die bestond uit 7 vragen. Bovengemiddeld en ondergemiddeld scorende leerlingen raadplegen gemiddeld evenveel websites. De informatie die leerlingen vinden, komt echter maar beperkt terug in de essay's. In 12 van de 14 essay's wordt corroboratie gebruikt, gemiddeld 1 keer per essay. Opnieuw blijken leerlingen genoegen te nemen met één argument. Leerlingen zoeken wel naar meer informatie, maar verwerken deze vervolgens niet meer expliciet in hun essay of formuleren deze onduidelijk. Er is geen verband te zien tussen het aantal websites dat leerlingen bezoeken en het aantal vragen dat leerlingen beantwoorden en gebruiken in hun essay (figuur 5). Het valt op dat zoektermen die door leerlingen zijn gebruikt in Google, in de gevallen waar dat kon worden nagetrokken, vaak bijna letterlijke vertalingen zijn van de te beantwoorden vraag. Bijvoorbeeld: 'radio islam reputatie', 'radio islam betrouwbaarheid', 'richard harwood bronnen', 'did six million people die? when written'. Leerlingen lijken moeite te hebben om zelf goede zoektermen te formuleren die hen helpen om antwoord te vinden op hun vraag. Wat ook opvalt is dat leerlingen zich beperken tot het resultaat van slechts een of twee zoekopdrachten en vervolgens de hits die deze zoekopdracht oplevert een voor een bekijken, zonder veel andere zoektermen te proberen. Verder is opvallend in de manier waarop leerlingen informatie zoeken dat leerlingen geen duidelijk beeld lijken te hebben van de structuur van de website en van het soort netwerk waar de site onderdeel van is. Er wordt in de essays bijvoorbeeld niet ingegaan op het feit dat de site is opgedragen aan ene Ahmed Rami, iemand die in Zweden is veroordeeld voor haatzaaien. Met een druk op de 'Home knop' die onderaan de pagina te vinden was werd dit al duidelijk. Leerlingen focussen sterk op de deelpagina die werd gepresenteerd in de opdracht, terwijl de essay vraag over de hele website ging. Daaruit blijkt ook dat de vaardigheid sourcing geen vanzelfsprekendheid is. Uit de video observaties blijkt dat de leerlingen beginnen zonder een duidelijke strategie 14
voor het vervullen van de taak. De geobserveerde leerlingen begonnen bijvoorbeeld pas na 20 minuten met het lezen van opdracht 2 en overlegden niet over een te volgen aanpak.
Figuur 5
Figuur 6
Sourcing bij websites Hoe werkt een taak over de informatievaardigheid ‘sourcing’ bij websites? Leerlingen hebben zoals gezien in figuur 2 het grootste gedeelte van de vragen beantwoord, maar hebben moeite om al deze antwoorden te verwerken in een essay over betrouwbaarheid en geloofwaardigheid (figuur 3). Er is wel diversiteit in de keuze van de antwoorden voor het essay. Deze diversiteit blijkt ook uit de scoring sheet als naar de spreiding van de verschillende argumenten wordt gekeken. De argumenten van leerlingen die vallen onder sourcing zijn verschillend van aard. De motivatie van de auteur (antisemitisch, betrokken bij Israël-Palestinaconflict, religieuze overtuiging) wordt het vaakst genoemd. Het 15
feit dat de auteur geen ooggetuige was en dat de bron veel later geschreven is dan de gebeurtenissen waar deze over handelt, wordt helemaal niet genoemd in de essays. Bovengemiddeld scorende leerlingen gebruiken een grotere diversiteit aan argumenten (figuur 7).
Figuur 7
16
4. Conclusies Hoe werkt een taak over de informatievaardigheid ‘sourcing’ bij websites? Deze vraag kan het beste worden beantwoord nadat is vastgesteld welke vragen bij sourcing horen, in hoeverre daarbij gebruik wordt gemaakt van corroboratie en of leerlingen in staat zijn om de vragen te beantwoorden en te verwerken tot geldige argumenten. Er is geen aanleiding om te veronderstellen dat de zeven vragen die gesteld worden bij sourcing, zoals 'wie is de auteur?' en 'wat zijn diens motieven?', voor leerlingen problematisch zijn. Alle Leerlingen hebben op alle sourcing vragen antwoorden gevonden. De kwaliteit van de beantwoording laat soms wel te wensen over. De volgende stap, het verwerken van de antwoorden in een beoordeling over de betrouwbaarheid, kost leerlingen duidelijk veel meer moeite. Leerlingen nemen genoegen met één of twee argumenten waar makkelijk meer argumenten te gebruiken zijn. Er lijkt geen verband te zijn tussen het aantal websites dat leerlingen bezoeken en het aantal vragen dat wordt verwerkt in het essay. Er is, in beperkte mate, in bijna in alle gevallen sprake van corroboratie. Leerlingen lijken moeite te hebben om zelf goede zoekvragen te formuleren die hen helpen om antwoorden te krijgen op hun vragen. Daarnaast cirkelen leerlingen rond een beperkt aantal zoektermen. Er wordt wel informatie gevonden, maar deze komt beperkt terug in de essays en de kwaliteit van de argumentatie is mager. Dit is in lijn met de resulaten van eerder onderzoek waaruit blijkt dat leerlingen meer tijd besteden aan browsen dan aan het gebruik van concrete zoektermen. (Kuiper et al. 2004). Leerlingen moeten dus ook moeten worden getraind in het zoeken naar informatie Leerlingen zijn in staat zijn om de heuristiek sourcing toe te passen na beantwoording van de vragen en trekken een conclusie over de betrouwbaarheid van de website. Het is tekenend dat 85 % van de leerlingen de 'geloofwaardigheid' van de website niet bespreken. Leerlingen verwarren in veel gevallen geloofwaardigheid met betrouwbaarheid of lijken het verschil niet te begrijpen tussen de twee begrippen. Zo vindt de helft van de leerlingen dat de opmaak van de website iets zegt over de betrouwbaarheid van de site, terwijl geloofwaardigheid daar meer op zijn plek was geweest. Meer objectieve criteria die iets zeggen over de betrouwbaarheid worden gemist. Leerlingen uit de bovengemiddelde groep scoren iets beter in hun antwoorden op de vragen, maar zijn vooral beter in staat om antwoorden op de vragen te verwerken in hun essay. De conclusies uit dit onderzoek sluiten aan bij eerdere bevindingen over zoekvaardigheden van leerlingen en het gebruik van sourcing en corroboratie door leerlingen. Bij Kuiper en Volman (2004) wordt duidelijk dat leerlingen uit de 6de groep veel moeite hebben met het formuleren van zoektermen, dat ze niet in staat zijn om informatie die ze op internet tegenkomen te gebruiken voor het beantwoorden van een onderzoeksvraag, dat gezocht wordt met hele letterlijke zinnen en dat weinig wordt geëxploreerd, maar gecirkeld rond enkele websites. Wineburg (1991) en Nokes et al. (2007) lieten al zien dat het niet 17
vanzelfsprekend is dat leerlingen gebruik maken van heuristieken, maar dat deze moeten worden getraind. De onderlinge verbondenheid van de verschillende onderdelen van historisch redeneren worden ook benadrukt door Van Boxtel en Van Drie (2007): vragen stellen, gebruik van bronnen, contextualisering, argumentatie, het gebruik van substantieve en metaconcepten. Dit onderzoek laat zien dat het aanleren van sourcing met een instructie en een taak een goede eerste stap is, maar dat leerlingen ook getraind moeten worden in zoekvaardigheden, corroboratie, het beantwoorden van onderzoeksvragen en argumenteren. Kortom een combinatie van informatievaardigheden en historisch denken lijkt bijzonder zinvol om leerlingen te helpen om kritisch te denken.
18
5. Discussie Zoals in het model op pagina 7 blijkt, zijn er diverse factoren van invloed op de uitkomst van de taak. De afzonderlijke invloeden van deze factoren kunnen niet worden vastgesteld in dit onderzoek. De validiteit van het onderzoek wordt beperkt doordat de instructie niet verliep zoals gepland en omdat een aantal leerlingen was afgeleid tijdens de instructie. Mogelijk hebben niet alle leerlingen de opdracht en het doel daar van goed begrepen en mogelijk is de inzet van leerlingen niet volledig geweest. Door de gekozen methode van dataverzameling via een screendump van de browsergeschiedenis, is het in theorie mogelijk dat leerlingen andere dingen op het internet hebben gedaan en deze websites vervolgens hebben verwijderd uit de browsergeschiedenis. Het ontbreken van extrinsieke motivatie van leerlingen is wellicht ook van invloed geweest op de inzet van leerlingen voor de taak. Amber Walraven (2008) ondervond dat dit een negatieve invloed op het onderzoeksresultaat had. De conclusies die in dit onderzoek zijn getrokken zijn niet significant, door de beperkte grootte van de onderzochte groep leerlingen. Omdat er geen pre- en posttests zijn uitgevoerd kan niet worden vastgesteld of de interventie heeft gezorgd voor toename van het gebruik van sourcing. De keuze voor een extremistische website, ingebed in een lessenreeks waarbij leerlingen voldoende domeinspecifieke kennis hebben opgedaan, een duidelijke instructie en een nabespreking, lijkt geen problematische uitkomsten op te leveren. Vanzelfsprekend kan hier tegenin worden gebracht dat er tijdens de instructie al op gewezen is dat leerlingen te maken zouden krijgen met een revisionistische website en dat leerlingen daarom bevooroordeeld waren en sociaal wenselijke argumenten hebben gebruikt. Leerlingen komen op basis van zeer verschillende argumenten allemaal tot dezelfde conclusie dat deze site niet betrouwbaar is. Het is eigenlijk jammer dat leerlingen niet de tijd en de mogelijkheid hebben gehad om kennis te nemen van elkaars argumenten. Aanbevelingen voor toekomstig onderzoek Toekomstig onderzoek over sourcing en internetwebsites bij het schoolvak geschiedenis zou kunnen gaan over hoe leerlingen kunnen profiteren van elkaars kennis. Leerlingen hebben met elkaar immers een grote diversiteit aan argumenten verzameld. Daarnaast moet worden bezien hoe leerlingen meer kunnen worden uitgedaagd om diepgang in hun argumentatie te leggen, wellicht door elementen van discussie in te brengen waarbij leerlingen elkaar echt moeten overtuigen.
19
6. Reflectie In dit onderzoek is mij persoonlijk opgevallen dat leerlingen erg snel kunnen typen, aardig kunnen omgaan met Engelstalige teksten en dat leerlingen veel goede ideeën hebben over de bruikbaarheid van een websites, maar veel oefening, doordachte opdrachten, duidelijke structuur en goede feedback nodig hebben om zich te kunnen redden in het informatietijdperk. Ik ben er nog meer van overtuigd geraakt dat het schoolvak geschiedenis een geweldige kans heeft om een prominente rol te spelen in de ontwikkeling van kritisch gebruik van internet door leerlingen. Als informatievaardigheden en geschiedenis goed samengaan en het internetgebruik van leerlingen niet alleen oppervlakkig wordt beoordeeld, maar met echte aandacht voor de afzonderlijke onderdelen van de informatievaardigheden en heuristieken, waar 'sourcing' er slechts een van is, zullen leerlingen kritische en vaardige gebruikers kunnen worden van het internet. Dus gewapend met het vak geschiedenis, klaar voor de toekomst!
20
7. Literatuur Britt, M. A. & Gabrys, G.L. (2001) Teaching advanced literary skills for the World Wide Web in: Wolfe, C. R. (Ed.) Learning and teaching on the World Wide Web. Drake, F. D. Drake Brown, S. (2003). A Systematic Approach to Improve Students' Historical Thinking The History Teacher, 36 (4) 465-489. Hondius & Tanja in: Van Donselaar & Rodrigues (2006), Monitor racisme en extremisme. Zevende rapportage. Amsterdam: Anne Frank Stichting p. 77 http://www.annefrank.org/ImageVault/Images/id_11493/scope_0/ImageVaul tHandler.aspx geraadpleegd op 29 september 2011. Kuiper, E., Volman, M., & Terwel, J. (2004). Internet als informatiebron in het onderwijs: Een verkenning van de literatuur. Vereniging voor Onderwijsresearch (VOR). http://hdl.handle.net/1871/16029 Geraadpleegd op 28 september 2011 Nokes, J. D.; Dole, J. A.; Hacker, D. J. (2007) Teaching high school students to use heuristics while reading historical texts. Journal of Educational Psychology 99 (3), 492-504. Plomp, T.; Nieveen, N. eds. (2009) Introduction to Educational Design Research. SLO. Saye, J.W. & Brush, T. (2002) Scaffolding Critical Reasoning about History and Social Issues in Multimedia-Supported Learning Environments Educational Technology Research and Development 50 (3) 77-96. Walraven, A., Brand-Gruwel, S., & Boshuizen, E. (2008). Beoordelen en selecteren van informatie op Internet: twee onderwijsmethodes vergeleken [Evaluating and selecting information on the Internet: two educational methods compared]. Open Universiteit Nederland. http://hdl.handle.net/1820/1839 geraadpleegd op 10 november 2011. Walsh, B. (2008). Stories and their sources: the need for historical thinking in an information age. Teaching History, 133, 4-9. Wineburg, S. (1991). Historical problem solving: A study of the cognitive processes used in the evaluation of documentary and pictorial evidence. Journal of educational psychology 1991, 83(1), 73.
21
Bijlage 1 Taak en voorbeeld Werkblad Sourcing bij 9.7 Holocaust en genocide Sla dit document op met jullie namen, dus zoals BenjaminenJan.doc Lees de opdracht en de tips eerst rustig door. Onderstaande website ontkent de Holocaust. Je moet iets zeggen over de betrouwbaarheid en relevantie van deze website, zonder direct op de inhoud in te gaan, maar door het gebruik van 'sourcing'. Dat betekent: het gebruiken van informatie over de bron om iets te zeggen over de betrouwbaarheid en relevantie van de bron. Deze informatie moet je zoeken op de site of op andere websites. Gebruik daarvoor de tips hieronder. http://radioislam.org/nederlands/Stierven-er-werkelijk-zes-miljoen/06Auschwitz-en-de-Poolse-Joden.html Opdracht 1 Beantwoord zoveel mogelijk van de vragen in de linkerkolom. Gebruik je tijd efficiënt. Noteer de antwoorden in een leeg word-document en gebruik deze straks voor opdracht 2. Belangrijke tips Kijk bij het ‘about’ gedeelte van de site.
1. wie is de auteur? 2 wat is de reputatie van de auteur?
Zorg dat je beeld hebt van de structuur van de website
3. Hoe komt de auteur aan zijn informatie?
Betreft het een organisatie / netwerk / persoon?
4. Wat zijn de motieven van de auteur? 5. wanneer is de bron gemaakt?
Gebruik ook andere websites om te zoeken naar informatie.
6. wat voor type bron is het (genre)?
Gebruik Wikipedia.
7 wat is het beoogde publiek?
In Google translate kan je een webadres invoeren als je de hele website wil vertalen. Kijk ook bij andere talen van Wikipedia. Deze bieden mogelijk meer informatie als de Nederlandse pagina. Let op mogelijke pseudoniemen en andere spelwijzen. kijk ook naar PDF documenten
22
Opdracht 2 Schrijf een essay van minimaal 100 woorden over de vraag: Hoe betrouwbaar en geloofwaardig is de website www.radioislam.org ? Verwerk de antwoorden op de vragen hierboven in je argumenten en sluit af met een duidelijke conclusie.
Als je klaar bent met je essay sla je dit document op en vervolgens lever je het in via de Teletop studiewijzer. Behalve dit document moet je ook een screendump maken van je browsergeschiedenis van het afgelopen uur. Ga daarvoor in Internet Explorer naar favorieten, geschiedenis, vandaag bezocht, sorteer op volgorde van bezoek, een screendump maak je met de knop PrntScrn, vervolgens open je MS Paint, plakken en opslaan met jullie namen, zoals BenjaminenJan.png Dit bestand lever je samen met het opgeslagen werkblad in via de studiewijzer in Teletop.
Voorbeeld van leerlingduo (bovengemiddelde leerlingen, beste scoorders op sourcing)
Opdracht 1 1. Wie is de auteur? Richard E. Harwood
23
2. Wat is de reputatie van de auteur? Hij was voorzitter van het Brits Nationaal Front. Het Nationaal Front was een streng rechtse partij. Alleen blanke mensen waren toegestaan. De politie was niet toegestaan lid te worden van de partij. Het was een fascistische partij en werd vergeleken met het Nazisme. Hij heeft geschiedenis gestudeerd. The Supreme Court of Canada zei dat hij de geschiedenis mis had geïnterpreteerd, citaten van getuigen had verdraaid en autoriteiten verzonnen en hij had eigen bewijzen gemaakt. 3. Hoe komt de auteur aan zijn informatie? Door zijn studie geschiedenis. Zijn lidmaatschap van het Nationaal Front. 4. Wat zijn de motieven van de auteur? 5. Wanneer is de bron gemaakt? Het is gepubliceerd in 1974. 6. Wat voor type bron is het? Het is een boek.
Opdracht 2 Wij vinden de site erg onprofessioneel overkomen op het eerste gezicht , door de lettertypes en kleuren. De auteur Richard E. Harwood heeft een achtergrond bij het Brits Nationaal Front. Die partij was extreem rechts en was fascistisch. Bij het Front heeft hij zijn ideeën kunnen opvatten. Hij was zelf ook antisemitistisch dus het is logisch dat hij ontkent dat het gebeurt is. De site is zelf voor vrijheid van meningsuiting. Ze zeggen tegen rassenleer te zijn maar de Islam en het Jodendom komt wel heel sterk naar voren op de site. Eigenlijk zeggen ze dat oorlog noodzakelijk is als je onderdrukt wordt en ze zeggen dat je, je vijand nu moet aanpakken en niet te lang moet wachten want dat kan je dood worden.
24
Bijlage 2 Transcriptie Video Transcriptie video [leerling 1] en [leerling 2] , VWO 5, opdracht sourcing van een holocaustontkenningswebsite, 26 oktober 2011, 9:00- 9:30. lokaal 1.07. Tijdsaanduidingen corresponderen met de aanduiding in de videoopname en staan tussen vierkante haken '[ ]'. Handelingen van leerlingen die op het scherm te volgen zijn of gebeurtenissen in het klaslokaal worden beschreven tussen vierkante haken '[ ]'. Als een of meerdere woorden onverstaanbaar waren wordt dat weergegeven met '[???]'. In beeld is niet te zien welke leerling wat zegt, daarom is de transcriptie gemaakt als ware er slechts een sprekende leerling. Als er een duidelijke dialoog werd geregistreerd, is dat aangegeven door streepjes '-' bij het wisselen van de spreker. ----------------------------------------------------------------------------------------------------Het staat allemaal op die camera [17:40] Wat moesten we ook al weer doen. Oei oei oei oei. [ll. bekijken doelwebsite] [geroezemoes, onverstaanbaar] 18:40 Richard Harwood [openen nieuw venster] Ja, check op facebook. [onverstaanbaar] [leerlingen googlen en klikken de derde link http://onlinebooks.library.upenn.edu/webbin/book/lookupname?key=Harwood %2C%20Richard%20E.] 'Did six million people really die' [leerlingen klikken terug en openen vierde link [http://resistance.jeeran.com/holocaust/comments.htm] Ho ho, klik hem weg. [leerlingen klikken Arabisch pop-up venster weg] Oh, mijn naam naam [?] Beter niet. [leerlingen scrollen langzaam en lezen tekst] 20:39 [leerlingen klikken terug naar zoekresultaten] [Leerlingen zien Richard E. Harwood op Facebook en klikken naar zijn profiel, dat informatie bevat van Wikipedia] Haha, gewoon een facebookpagina met informatie. Uhhm. [Leerlingen lezen tekst] Hier staat die als Richard Verral.... terwijl, het is Richard Harwood. Misschien is het wel dezelfde persoon. [leerlingen klikken door naar de wikipediapagina Richard Verral] Wikipedia heeft gewoon dezelfde automatisch. Effe lezen. Hohoho. He is best known under the assumed name of Richard Verral. Dankjewel! Bingo! Punten! Hoppaa. Boemboemboemboem. Nou Richard Verral, wat heeftie allemaal gedaan. Oh, hij is Engels, dat is sowieso [???] [????] [Leerlingen lezen de sectie onder written work] [leerlingen scrollen en klikken weer terug]
25
22:55 Zullen we nou effe doorgaan met die vragen want we zijn veel te lang bezig hier. Ik ga nu effe uitzoeken wat [???] allemaal is. [?????] Schrijf dan effe op [leerling wijst naar word document met opdracht] Ten minste ik neem aan dat je dat daar moet schrijven. Hoho, noteer de antwoorden in een leeg word document. [leerling leest deze passage van de opdracht en verwijdert getypte tekst] Bestand, nieuw [leerling opent nieuw word document] Boven, boven, boven. [leerlingen helpen elkaar met het juiste menu vinden] Een leeg document. 1. Richard Verral [leerlingen typen] Richard E.? Nee, schrijf maar gewoon Richard Verral. [???] Wat is de reputatie van de auteur. Ja, dat was ik dus aan het uitzoeken. Ja, hij wordt vergeleken met nazies op facebook. [leerlingen loggen in en kijken hoeveel vrienden hij heeft]. Hij is niet bepaald geliefd [waarschijnlijk afgaand op feit dat 6 mensen ooit op like hebben geklikt]
25:20 Hey, Elke is net online. [leerling typt Hey Elke] Maar Sjaak, ga nou effe, effe focus! [leerlingen lezen weer facebookprofiel] Staat allemaal [????] Waar is Elke. Elke, je moet op facebook komen! [??] Er staat een microfoon. [Docent zegt dat de opdracht becijferd wordt, maar dat deze niet meetelt voor rapport] Ohhh, als het niet meetelt maakt het niet uit.. 26:05 Comments comments comments comments. [leerling wijst op http://resistance.jeeran.com/holocaust/comments.htmen andere leerling klikt] Effe kijken wat mensen er van vinden. Ohh, wegklikken [popup wordt weggeklikt] [Leerlingen scrollen langzaam en selecteren quote van David Irving, British historian I read it with great interest and I must say that I was surprised by the quality of the arguments that it represented] Hey, deze is best positief. [Leerlingen selecteren It uses sources that I personally would not use. in dezelfde alinea en daarna de volgende zin] the entire body... Dus hoe reageren mensen? Dit is... helemaal gebaseerd op tweederangs documenten ' books by other people' [????] We moeten beslissen wat de titel [?] van het boek [??] schrijver. Hoe komt de auteur aan zijn informatie? Bam, die hebben we. [leerlingen gaan naar word document en typen 'Hij gebruikt....[onleesbaar]] Punt NL. [???] Tweederangs boeken. He maar, is het niet een beetje een kort antwoord? [Leerling typt drie regels] Jennifer, heb je de facebookstatus al gecheckt. Wat is de reputatie van die auteur? Zes mensen vinden hem leuk. En hij wordt gerelateerd aan Nazi's. Rechtsonder staat er zo 'nazi'. Dat vind Jacob grappig. [Leerlingen klikken naar http://behindthehoaxes.com/tag/richard-e-harwood/] Wat is een hoaxes? Uhhm. Nepdingen. Nepdingen. Jaah, duidelijk. Je hebt er niet echt een Nederlands woord voor. Leerlingen gebruiken zoekfunctie van de browser om pagina te doorzoeken 30:38 [Leerling leest met geaffecteerde stem de eerste alinea. ]Below is Chapter 1 from the booklet entitled Did Six Million Really Die? by Richard E. Harwood. The chapter focuses on the pre-war era in Nazi Germany, and how, like many European nationalists in the previous millennium, the Nazis endeavored only to expel Jews from their borders, not “to exterminate” them – as was claimed in pre-war Jewish propaganda from 1933-1938. The author’s point is that since 26
Jewish propaganda was guilty of spreading lies that the Germans were exterminating Jews prior to the onset of WWII, then that same propaganda cannot be unquestioningly trusted to tell the truth about the Nazis’ treatment of Jews after the onset of the war." Frozen [woord uit halverwege de pagina] Kunnen we niet op BOl.com kijken ofzo? Bol Bol Bol. [Leerlingen zoeken op "Richard E. Harwood Bol.com] [google zoekresultaat wordt geblokkeerd door internetfilter van de school] OOOwww, bad. [????] [leerlingen klikken in de zoekresultaten op http://radioislam.org/historia/really/05.htm] [website wordt gescand] [???] What the fuck is een motief ook al weer? [???] Meneer, bestaat er een site waar je alle meningen kunt vinden over auteurs? [docent antwoordt: Nee] Facebook is zeker niet zo betrouwbaar hè? [Docent antwoordt: dat moet je zelf bedenken] [Leerlingen klikken vanuit de opdracht weer door naar de doelsite http://radioislam.org/nederlands/Stierven-er-werkelijk-zes-miljoen/06Auschwitz-en-de-Poolse-Joden.html] [Leerlingen selecteren zin "waar de monumenten verkondigen dat ze slachtoffers waren van Duitse troepen in de Tweede Wereldoorlog."] [Docent vraagt: hebben jullie alle tips bekeken?]
O, we hebben tips. Zorg dat je een beeld hebt van de structuur van de website. Betreft het een organisatie of persoon? Gebruik ook andere websites om te zoeken naar informatie. Gebruik wikipedia.. In Google translate kan je een webadres invoeren als je een hele website wil vertalen. Kijk ook bij andere talen van Wikipedia. Deze bieden mogelijk meer informatie als de Nederlandse pagina. Let ook op pseudoniemen en andere spelwijzen. Kijk ook naar PDF documenten. Want daar zitten vaak geheime boodschappen in verborgen. [leerlingen klikken onderaan op Inhoud en komen op http://radioislam.org/nederlands/Stierven-er-werkelijk-zes-miljoen/00-InhoudStierven-er-werkelijk-zes-miljoen.html] Home [Leerlingen klikken op Home en komen op http://radioislam.org/index.html] Deze site is niet betrouwbaar. Waarom niet? Kijk er naar. Dit is denk ik toch wel een van de meest onbetrouwbare site van [???] Oei oei oei. [leerlingen klikken op terug en bekijken de cartoon] Als we nou... Hier hebben we niks aan. [leerlingen klikken weer op Home] Dit is echt alle [leerlingen lezen de links met de verschillende talen en klikken op Nederlands http://radioislam.org/nederlands/nederlands.htm] 34:47 [???] Dit is gewoon echt een haatsite voor de holocaust. [docent zegt: "denken jullie aan jullie tijd. Jullie moeten over een paar minuten beginnen aan het essay"] Dat gaat echt bij lange na niet lukken. Mein Kampf. Hier. [leerling leest alinea] Hey Sjaak, beter gaan we anders even verder met de vragen. Echt een Nazi site. Maar ik snap niet echt waarom dat dan Islam heet. Beter gaan we anders even 27
door met de vragen... Wat zijn de motieven van de auteur. De Holocaust niet ... wacht. Nee gast, even hele zinnen. De Holocaust [leerling typt antwoord op vraag 4] Bij de toets heb ik dat ook niet gedaan kreeg ik ook geen klachten over. Twee twee [leerlingen gaan terug naar vraag twee, die ze nog niet hebben ingevuld] Kijk eens even op die site... Dat gaat nergens over waar moeten we dat ooit vandaan halen. Waar staat dat? Typ gewoon wat die mensen, al die professoren van dat boek vinden. Ze zien hem als een respectabele man die op een logische manier heeft gereageerd op informatie die hij heeft gevonden. [leerlingen typen twee regels tekst bij vraag 2]. Jeetje wat is dit joh. [leerling bekijkt een tekening die wordt doorgeschoven van de buurvrouw] [????] Maar dat heeft Jennifer geschreven, die is een beetje fucked up in haar hoofd. Oh. Hoorde ze dat? Volgens mij niet. [dialoog met buurmeisje] Jacob loopt je tekenkunst te bewonderen. 37:39 [leerlingen klikken weer naar Wikipedia pagina Richard Verral] Wanneer is de bron gemaakt. 1994 [docent zegt: over drie minuten moeten jullie naar het essay] [leerlingen scrollen en lezen het gedeelte 'written work' en de verwijzing naar de titel van het pamflet 'did xix million really die?'] Oh oh oh. Wanneer is het geschreven. Kijk hier [leerlingen wijzen op referenties onderaan de pagina] Nee, er staat toch niet?? [leerlingen klikken op de link http://en.wikipedia.org/wiki/Did_Six_Million_Really_Die%3F en wijzen op de datum 1974] Zoho, wel heel veel overtypen hoor. Yes. [leerling typt als antwoord 1974] Hehe, slim hè, slim hè? Je loopt heel flauw tegen me te doen. Ik vind het helemaal niet leuk om in jouw groepje te zitten geloof ik. -In dit groepje? - Jacob, je loopt allemaal flauwe dingen tegen me te zeggen. - Jij bent degene die hier flauwe dingen zegt. - Wat voor type bron is het? - Boek - Boek, boek. Wat is het beoogde publiek? Iedereen. - mensen tussen de zestien en vierenzeventig jaar? -tachtig? - ja, zoiets. [????????] Het is niet echt een kinderboek. - ik snap hem niet. Volgens mij is het [?????] [????] [leerling leest opdracht 2 hardop] Schrijf een essay van minimaal 100 woorden over de vraag: hoe betrouwbaar is de website radioislam.org. Verwerk de antwoorden op de vragen hierboven in je argumenten en sluit af met een duidelijke conclusie.
28
We gaan het gewoon puur op zijn manier doen, want dat werkt namelijk gewoon. - wat gaan we doen dan? [???] tweederangs bronnen gebruikt. Jacob, dat doe je zo: [leerling typt in google 'Radioislam betrouwbaarheid'] Hier, de bewijzen. [leerling wijst op derde zoekresultaat http://radioislam.org/nederlands/Stierven-er-werkelijk-zes-miljoen/04-Zesmiljoen-Joodse-slachtoffers-documentatie-bewijzen.html] [leerling wijst op de vijfde link http://forums.marokko.nl/archive/index.php/t474140-p-8.html] en leest hardop: ] Ik zag die site van Radio Islam, en de betrouwbaarheid van deze site komt voor mij in het geding... als je meerdere speeches van louis [klikt op de link] louis, louis... [klikt weer terug] Ja maar kijk, het probleem is, die site is gewoon religieus. Dus die hebben gewoon een religieuze mening. -ja. Dat die niet betrouwbaar is? -nee. Zover was ik ook. Dat zie je aan de site zelf. - Ja omdat die religieus [???] [42:57] [???] vind ik echt niet kunnen. - maar gewoon meer dat het daar aan ligt, vind ik echt niet kunnen - o yes. echt niet. - vind ik gewoon niet zo handig gedaan [leerling verandert het lettertype] Dat is Arial, als je een verslag hebt moet je arial... [Docent zegt: Jullie moeten nu allemaal naar het essay toe, want anders krijg je het niet op tijd af.] Essay. - zal ik hem effe fancy shit doen. Weet je hoe je dat doet? -Nee - Alt Insert [???] Control Shift Alt Insert [????] Right. [leerling begint te typen: Gezien het feit dat]. Ik typ gewoon blind heel snel hè? - Ja, Sure. En de t zit natuurlijk heel dicht bij de d. Raak je ook echt met dezelfde vinger aan. [leerlingen typen iets onleesbaars en lachen] Doet geen pijn. [lachen opnieuw] Volgens mij heeft die gast helemaal niks aan de microfoon opnames - Sorry Benjamin. [leerlingen typen vier regels] [46:10] Beetje lullen zodat we de 100 woorden halen. [leerling telt de woorden] Oh, we zitten er al bijna op. - Ik zit nu allemaal onzin te lullen. [?????????????????] -Daarnaast zijn de meningen over veel schrijvers... - Dat is toch een illegaal boek, Mein Kampf?.Maar het gaat om de bron en niet om de site. - OK - [ leerling typt enkele regels en klikt vervolgens op de vijfde link van het zoekresultaat van 'Radioislam betrouwbaarheid' http://www.nujij.nl/algemeen/ik-wil-mein-kampfkunnen-kopen-en-lezen-in-een.12506638.lynkx#axzz1c5hoJXRV. Leerling leest]
29
Het boek verhandelen is namelijk verboden. [leerling typt verder. Andere leerling vraagt:] - Hoe betrouwbaar en geloofwaardig is de site radioislam.org Dus dan mag je het ook niet op internet zetten. - Ja maar dat mag in een ander land toch wel? Dan importeer je het. - Mag nergens. Gewoon in heel Europa niet. Omdat het een heel... [????????????] Kortom, de site is zelfs.. beoefent zelfs illegale activiteiten. Tjaaaaa. [docent zegt: jullie hebben nog drie minuten om het essay af te maken] Huh, sinds wanneer zit er een tijdslimiet op? - Omdat aan het einde de bel gewoon gaat. [?????] [Leerling kijkt weer op http://www.nujij.nl/algemeen/ik-wil-mein-kampfkunnen-kopen-en-lezen-in-een.12506638.lynkx#axzz1c5hoJXRV] Zijn dat honderd woorden? Vast wel. [leerlingen tellen woorden] Twee en negentig. Ok - Groetjes - Daarom is de site www.radioislam.org noch betrouwbaar, noch geloofwaardig. Opslaan. Met vriendelijke groet. - met warme hand - zweethand. Jacob Letz hè? Ja Letz. - Niet spotten met de Lotz. Wij hebben familie eer. 50:50 [leerlingen maken screendump en slaan document op]
30
Bijlage 3 Screendump browsergeschiedenis Deze uitgeklapte screendump maakt ook duidelijk welke zoektermen leerlingen hebben gebruikt. Niet alle leerlingen hebben de screendump zo inzichtelijk gemaakt.
31
Bijlage 4 Scoreblad Sourcing en Corroboration Scoreblad en instructies voor het gebruik van het score schema, overgenomen van (Nokes et al. 2007 Supplemental data)
32
INSTRUCTIONS FOR EVALUATING STUDENT ESSAYS USING THE SCORING RUBRIC
The “Strategies Pretest/Posttest Scoring Rubric” is used to keep a tally of the number of times a student uses a particular strategy in his or her essay or in answering the follow-up questions. When the student uses a strategy, make a mark in the “tally of occurrences” column. Continue to make marks as you evaluate both the essay and the students’ answers to the follow-up questions. After completing the evaluation, count the tally marks and write the total in the “total” column. This paper will define and give examples of each of the strategies that a student might use.
SOURCING: An individual who uses sourcing looks at the source of a document before reading and keeps the source of the document in mind as he or she reads. The reader’s understanding of the document is influenced by the document’s source. Sourcing only occurs when the consideration of the source helps the individual make sense of the document. If the student analyzes two documents together, give two marks (For example, if the student was to write “Both Document 2 and Document 7 are biased because the authors of both documents wanted to blame the other side for the event.”)When evaluating the students’ essays, the following items will be viewed as evidence of the use of sourcing. •
•
•
“author’s position”: Any reference to the occupation, profession, level of training, or other credentials of the author of the document in order to suggest that the document is more or less reliable or in order to understand what the document says, qualifies as sourcing. Examples: “Since Shaw was an officer in the British army, he would have known…”; “The historian who wrote this must have studied a lot to become a historian so…” “author’s motivation”: Any reference to why an author might have written the document in order to suggest that the document is more or less reliable or in order to understand what the document says, qualifies as sourcing. Examples: “Colonel Jackson had a lot to gain by telling his commander about his success, so he may have exaggerated…”; “The author was probably trying to convince people that the Americans did not start the battle, so he wrote…” “author’s participation”: Any reference to the author’s level of participation in an event to suggest that the document is more or less reliable or in order to understand what the document says, qualifies as sourcing: Examples: “Jones was a witness of the battle, so he knew what happened when he wrote.”; “Smith only heard about the incident by word of mouth, so he is less reliable than an eyewitness.” 33
“evaluation of the author”: Any other consideration of the author to suggest that the document is more or less reliable or in order to understand what the document says, qualifies as sourcing. Examples, “It sounds like the author wanted the reader to think that the battle was a good thing, but he doesn’t use a very good argument.”; “Because Simpson admits that he made mistakes, this letter seems more truthful.” “The author admits that he can’t remember, so…” • “date of production”: Any reference to when a document was created, to suggest that the document was more or less reliable or in order to understand what the document says, qualifies as sourcing. Examples: “He didn’t write this until many years after the event, so he might have forgotten…”; “This was written in his journal the day of the event, so it was probably fresh on his mind.” • “document type”: Any reference to the type of document in order to suggest that it is more or less reliable or in order to understand what the document says, qualifies as sourcing. Examples: “This statement was sworn before a justice of the peace, so it was probably truthful.”; “People usually write in their journals to keep a record for themselves, so it wouldn’t make sense for him to write lies in his journal.” • “evaluation of document”: Any specific statement giving a reason why the document is more or less reliable could be considered sourcing. Examples: “textbooks tend to exaggerate the good about a country and leave out the bad, so I really don’t trust this textbook account…” • “other”: Any other reference to the source in an effort to understand what the document says or suggest that it is more or less reliable would qualify as sourcing. NOT SOURCING: Students should NOT be given credit for sourcing if: •
•
•
•
they show an awareness of the type of text, but don’t tell why the type of text is important (unless it is obvious, such as in the case of an eye witness account). For example, if they wrote “Document 3 is most reliable because it is a historical novel” but they don’t explain why historical novels are reliable. However, if they give any legitimate reason, count it as sourcing. they comment on the content of the passage. For example “this document is a good one because it has lots of details or gives good information.” Or “the newspaper account is not very good because it is hard to understand and very confusing” they comment on the syntax of a passage. For example “this document has a lot of misspelled words in it.” Or “This document is one single run-on sentence.”
CORROBORATION: An individual uses corroboration when he or she compares or contrasts information found in two or more specified documents. Credit for corroboration should only be given when it helps the individual make sense of the event. When evaluating the students’ essays, the following items will be viewed as evidence of the use of corroboration. 34
“direct comparison”: When the writer makes a direct connection between similar information that was found in two or more documents, it qualifies as corroboration. Examples: “almost every one of the people said that the shot was fired from behind the stone wall, so I am pretty sure…”; “both Simpson and Smith wrote that …” • “direct contrast”: When the writer points out information that was different in two documents, it qualifies as corroboration. Examples: “The textbook says that 8 Americans were killed, but the letter says that only 5 were killed…”. “Jones’ account of what happened was very different from the others’ accounts.” • “claim of uniqueness”: When the writer points out that information was found in only one source, it qualifies as corroboration. Examples: “Only Valdez wrote anything about hearing the command to fire. None of the others mentioned that.”; “The textbook was the only source that talked about how the Spanish felt.” • “claim of omission”: When a person claims that a source left out an important detail that was found in other sources, it qualifies as corroboration. Examples: “It seems like an eye-witness would have written about hearing the command, yet Smith didn’t say anything about it…”; “Since Harper didn’t include any information about the bad effects of the program, you can tell that he is biased against …” • “other”: If a writer makes any other connection between information in two or more different sources, it qualifies as corroboration. NOT CORROBORATION: Students should NOT be given credit for corroboration if: •
•
• •
information from a document is being compared or contrasted with the student’s background knowledge rather than information from another text. For example, “document 2 disagrees with what I learned in 8th grade about …” Or “My dad is a police officer and what document 3 says is really true about police work” documents are linked in a vague manner. For example, “In the documents it says that …” connections are made between the picture and a document (since students are required to do this to answer the question). For example, “the picture shows the horse jumping, which agrees with document 3 which says that the horse jumped.”
35
