Evaluatie van de proeftuinen leermiddelenmix VO

Evaluatie van de proeftuinen leermiddelenmix VO

Tilburg, april 2012 Irma van der Neut Marian Kat-de Jong

Met medewerking van: Gemma Corbalan (Stichting Leerplanontwikkeling, SLO)

IVA beleidsonderzoek en advies

ii

Proeftuinen leermiddelenmix VO

Uitgever: IVA Warandelaan 2 Postbus 90153 5000 LE Tilburg Telefoonnummer: 013-4668466 Telefax: 013-4668477 IVA is gelieerd aan Tilburg University

© 2012 IVA Het intellectueel eigendomsrecht van deze uitgave berust bij IVA. Publicatie van de producten of resultaten van dit onderzoek door IVA gebeurt altijd na overleg met Kennisnet. Niets uit deze uitgave mag door andere partijen dan Kennisnet worden verveelvoudigd en/of worden openbaar gemaakt door middel van druk, fotokopie, microfilm, of op welke andere wijze dan ook, zonder voorafgaande schriftelijke toestemming van IVA. Het gebruik van cijfers en/of tekst als toelichting of ondersteuning bij artikelen, boeken en scripties is toegestaan, mits de bron duidelijk wordt vermeld.


iii

Inhoudsopgave

Samenvatting.............................................................................................................. 7

1 1.1 1.2 1.3 1.4

Inleiding ..........................................................................................................11 Educatieve Contentketen ...............................................................................11 Proeftuinen leermiddelenmix VO ....................................................................12 Vragen binnen het onderzoek ........................................................................13 Leeswijzer ......................................................................................................14

2 2.1 2.2 2.3

Methode .........................................................................................................15 Proefopstellingen............................................................................................15 Docentenpanels: laboratoriumopstelling gevolgd door focusgroep ................17 Interviews naar ervaringen van betrokken ......................................................17

3 3.1 3.2

Gebruikservaringen van docenten Aardrijkskunde .........................................19 Achtergrond ....................................................................................................19 Zoekscenario A: zoeken via de methode .......................................................20 3.2.1 Procedure ...........................................................................................20 3.2.2 Verwachtingen ....................................................................................21 3.2.3 Zoeken via de methode.......................................................................21 3.2.1 Vinden via de methode: beoordeling van het zoekresultaat ................23 3.2.2 Toekomstig gebruik en aanbevelingen................................................25 Zoekscenario B: Zoeken via inhoud en leerdoelen.........................................26 3.3.1 Procedure ...........................................................................................26 3.3.2 Begrijpelijkheid van de zoektermen ....................................................26 3.3.3 Verwachtingen ....................................................................................26 3.3.4 Zoeken op basis van vakinhoudspecificaties ......................................27 3.3.5 Vinden op basis van vakinhoudspecificaties: beoordeling van het zoekresultaat.......................................................................................28 3.3.1 Toekomstig gebruik en aanbevelingen................................................30 Scenario A vs. Scenario B: meningen van docenten......................................30 3.4.1 Voorkeuren .........................................................................................31 3.4.2 Verwachtingen ....................................................................................31 3.4.3 Verbeterpunten ...................................................................................31

3.3

3.4

4 4.1 4.2

Gebruikservaringen van docenten Wiskunde .................................................33 Achtergrond ....................................................................................................33 Zoekscenario A: Zoeken via de methode .......................................................34

iv

4.3

4.4


4.2.1 Procedure ...........................................................................................34 4.2.2 Verwachtingen ....................................................................................35 4.2.3 Zoeken via de methode.......................................................................35 4.2.4 Vinden via de methode: beoordeling van het zoekresultaat ................37 4.2.5 Toekomstig gebruik en aanbevelingen................................................39 Zoekscenario B: Zoeken op basis van vakinhoudspecificaties.......................39 4.3.1 Procedure ...........................................................................................39 4.3.2 Begrijpelijkheid van de zoektermen ....................................................40 4.3.3 Verwachtingen ....................................................................................40 4.3.4 Zoeken op basis van vakinhoudspecificaties ......................................40 4.3.5 Vinden op basis van vakinhoudspecificaties: beoordeling van het zoekresultaat.......................................................................................41 4.3.6 Toekomstig gebruik en aanbevelingen................................................43 Scenario A vs. Scenario B: meningen van docenten ......................................44 4.4.1 Voorkeuren .........................................................................................44 4.4.2 Verwachtingen ....................................................................................44 4.4.3 Verbeterpunten ...................................................................................45

5

Resultaten discussie extra sessies.................................................................47

6 6.1

6.3

Gebruikservaringen van contentaanbieders en portalinrichters .....................49 Gebruik van scenario A ..................................................................................49 6.1.1 Redenen .............................................................................................49 6.1.2 Werkwijze en ervaringen .....................................................................50 Gebruik van scenario B ..................................................................................51 6.2.1 Redenen .............................................................................................51 6.2.2 Werkwijze en ervaringen .....................................................................52 Ervaringen met het gebruik van het SLO-vocabulaire ....................................54

7 7.1 7.2 7.3 7.4 7.5

Conclusies en aanbevelingen ........................................................................57 Kanttekeningen bij het onderzoek ..................................................................57 Bruikbaarheid van de scenario‟s A en B .........................................................58 Keuzes van aanbieders ..................................................................................59 Gebruik SLO vocabulaire en het proces van metadateren. ............................61 Aanbevelingen................................................................................................62

6.2

Bijlagen ......................................................................................................................65

Overzicht van deelnemers aan de docentenpanels ...................................................65

Gewenste informatie in de „vindlijst‟...........................................................................67


v

Functionele beschrijving proefopstellingen ECK2-project Arrangeren/variëren .........69 Inleiding .....................................................................................................................69 Metadateer- en queryvoorzieningen ...............................................................69 Zoekvoorzieningen Scenario A (zoeken vanuit een methode) .......................69 Zoekvoorzieningen Scenario B (zoeken vanuit vakinhoud) ............................69 Architectuur ...............................................................................................................70 Content...........................................................................................................70 Wiskunde .......................................................................................................71 Aardrijkskunde................................................................................................71 MetaPlus ...................................................................................................................72 Wikiwijs Delen ...........................................................................................................73 Query Builder.............................................................................................................75 De Geo Community (ThiemeMeulenhoff) ..................................................................77 Welkom in onze wijk (Codename Future) ..................................................................79 Getal & Ruimte (EPN/Noordhoff Uitgevers) ...............................................................81 Wikiwijs ......................................................................................................................85 Zoekvoorziening Digischool .......................................................................................88


7

Samenvatting

In het voorjaar van 2012 heeft IVA beleidsonderzoek en advies in samenwerking met SLO een evaluatieonderzoek uitgevoerd van de “proeftuinen leermiddelenmix voortgezet onderwijs”. Deze proeftuinen zijn een onderdeel van het programma Educatieve Contentketen. Dit rapport is een verslag van het onderzoek, de resultaten en de conclusies. Het programma Educatieve Contentketen (ECK) heeft als doel het zoeken, vinden en inzetten van digitaal leer- en toetsmateriaal door en voor de docent te vergemakkelijken. Om dat te bereiken werken educatieve uitgevers en andere aanbieders van al dan niet open leermaterialen met (zoek)portaalaanbieders, met het onderwijsveld, met SLO en Kennisnet samen in een integrale ketenbenadering. Op basis van de bevindingen uit een vooronderzoek zijn proeftuinen ingericht waarin docenten op twee verschillende manieren kunnen zoeken naar digitaal leermateriaal. De proeftuinen betreffen de onderbouw van havo vwo en de vakken Wiskunde en Aardrijkskunde. Er worden twee zoekscenario‟s onderscheiden. Scenario A betreft het zoeken naar materialen op basis van een bestaand compleet leermiddelenpakket, ofwel zoeken via de methode. Docenten kunnen in een methodeportal rechtstreeks zoeken en doorklikken naar aanvullend of vervangend materiaal. Op de achtergrond worden hiervoor de vakinhoudspecificaties gebruikt die door SLO zijn ontwikkeld in het kader 1 van het project “Leerplan in Beeld” . In scenario B zoeken docenten zelf in een zoekportal met behulp van de vakinhoudspecificaties. Binnen het onderzoek zijn de volgende vragen leidend geweest: 



 

1

Welke keuzes maken aanbieders en portalinrichters bij de inbouw van de zoekscenario‟s? Het gaat onder andere om keuzes t.a.v. de collecties (bronnen) waarin mag worden gezocht, het aggregatieniveau waarop wordt gemetadateerd en de getoonde informatie over het gevonden leermateriaal. Zijn de twee zoekscenario‟s bruikbaar voor docenten en leveren ze voldoende op? Het gaat er hierbij onder andere om of docenten vinden dat ze met behulp van de scenario's relevante leermaterialen (zouden) kunnen vinden en of die ook inpasbaar zijn in hun onderwijs. Worden de aangeboden materialen ook daadwerkelijk beter vindbaar? Is de huidige vorm van de vakinhoudspecificaties zoals die door SLO zijn opgesteld (inhoudelijk en technisch) bruikbaar?

Zie: http://leerplaninbeeld.slo.nl/

8


Om antwoord op deze vragen te vinden zijn vier paneltests uitgevoerd met in totaal 21 docenten (12 docenten Aardrijkskunde en 9 docenten Wiskunde verdeeld over 5 scholen). De docenten hebben geoefend met de proefopstellingen, hebben daarover vragen beantwoord en een groepsdiscussie gevoerd. Daarnaast zijn telefonische interviews gehouden met 14 vertegenwoordigers van de partijen die bij het inrichten van de proeftuinen zijn betrokken. Bij de resultaten van het onderzoek moeten enige kanttekeningen worden geplaatst. Allereerst zijn de proefopstellingen beperkt in omvang: er is voor een beperkt aantal onderwerpen leermateriaal vindbaar gemaakt, wat tot gevolg had dat docenten met een gestuurde zoekvraag aan de slag zijn gegaan en niet vrij konden zoeken. Ook was de functionaliteit van sommige opstellingen beperkt. Docenten hadden bovendien beperkt de tijd tijdens de sessies en hebben daarom de gevonden leermaterialen niet kunnen toetsen op kwaliteit en inpasbaarheid. Wel hebben ze aangegeven of ze de kwaliteit en de inpasbaarheid op basis van de getoonde informatie konden inschatten. De resultaten moeten in dit licht worden gezien en dus worden gebruikt als aanknopingspunt voor verdere ontwikkeling en verder (evaluatie)onderzoek. Door de kleine omvang van de groep en de beperkingen aan de opstellingen zoals omschreven kunnen de resultaten niet worden beschouwd als representatief voor de hele docentenpopulatie. Zijn de twee zoekscenario‟s bruikbaar voor docenten en leveren ze voldoende op? Daarover zijn de volgende conclusies geformuleerd: 







Beide zoekscenario's zijn bruikbaar voor docenten. De werkwijzen en doelen van docenten verschillen echter en daardoor hebben docenten wel een voorkeur voor een van de twee zoekscenario's. De docenten beseffen onvoldoende dat de uitgever in scenario A de kwaliteit van het aanvullend leermateriaal niet beoordeeld heeft en alleen op kwaliteit kan sturen door bepaalde broncollecties wel of niet te selecteren en dus doorzoekbaar te maken. De lijst met zoekresultaten bevat voor de meeste docenten onvoldoende informatie om het materiaal te kunnen beoordelen op kwaliteit, inpasbaarheid en/of inhoud. Er is behoefte aan aanvullende informatie over het leermateriaal (metadata). Het is voor gebruikers van scenario A en B belangrijk dat het leermateriaal gratis en vrij toegankelijk is en dat docenten maar één keer hoeven in te loggen om het materiaal te vinden en te gebruiken.

Ten aanzien van de keuzes die aanbieders en portalinrichters maken bij de inbouw van de zoekscenario‟s wordt het volgende geconcludeerd: 

Uitgevers willen docenten de service bieden om binnen de methode aanvullend leermateriaal te vinden, maar leggen de verantwoordelijkheid voor het beoordelen van de kwaliteit van het gevonden leermateriaal bij de docenten. Zij dienen


  

9

wel te beseffen dat docenten verwachten dat aanvullend leermateriaal bij de methode aan kwaliteitseisen voldoet. Het bouwen van query‟s is een strategisch proces. De gemaakte keuzes zijn niet altijd in overeenstemming met verwachtingen en wensen van docenten. De gebruiksvriendelijkheid van de Query Builder kan vergroot worden door aangekruiste kernen / subkernen / vakinhouden zichtbaar te maken. De zoekportaalinrichters hebben de zoekfunctie voor het nieuwe SLOvocabulaire nog in een beperkte vorm ingebouwd in hun portal. Het onderzoek naar het gebruik van dit scenario is dus uitgevoerd in een proefsetting. Het oordeel van docenten is gebaseerd op deze proefopstelling. Als portalinrichters de zoekfunctie uiteindelijk op een andere manier gaan inbouwen, kan dit gevolgen hebben voor het oordeel van docenten.

Is de huidige vorm van de vakinhoudspecificaties zoals die door SLO zijn opgesteld (inhoudelijk en technisch) bruikbaar? 



De SLO-vocabulaire is niet voor iedereen eenduidig. Er is sprake van een behoorlijke complexiteit en dat kan een belemmering vormen voor de uiteindelijke keuze om tot implementatie over te gaan. Naarmate het metadateren meer tijdrovend is, wordt de kans kleiner dat partijen bereid zijn hierin te investeren.

Of de aangeboden materialen ook daadwerkelijk beter vindbaar worden is uit dit onderzoek (nog) niet op te maken. De aanbieders geven aan hierover geen uitspraken te kunnen doen. Het hangt immers af van de docenten: vinden zij het materiaal dat aan hun zoekvraag voldoet? Docenten kunnen hier in dit stadium ook nog geen antwoord op geven, omdat zij niet met een eigen zoekvraag aan de slag zijn gegaan en te weinig tijd hebben kunnen besteden aan het beoordelen van het gevonden materiaal. Naast deze conclusies zijn de volgende aanbevelingen geformuleerd: 







In de lijst met zoekresultaten moet meer informatie over het leermateriaal (metadata) beschikbaar komen. De informatie gaat over: doelgroep (docent / leerling), type opdracht (verrijkend, verdiepend, remediërend), de vorm (bijv. beeldmateriaal, applicaties, teksten), de tijdsduur en de kwaliteit. Er moet een nadere discussie worden gevoerd over vooral het derde niveau van het SLO-vakinhoudspecificatie. Een meer uitgebreide toetsing van de bruikbaarheid van dit vocabulaire is nodig (het onderzoek toont aan dat ook dit vocabulaire de gebruiker soms voor lastige beslissingen plaatst). Het proces van metadateren moet worden versneld en vergemakkelijkt, zodat meer beschikbaar materiaal ook voorzien gaat worden van de metadata. Dit geldt in het bijzonder voor door docenten ontwikkeld materiaal. De docenten moet bewust worden gemaakt van het feit dat zij verantwoordelijk zijn voor het beoordelen van de kwaliteit en inpasbaarheid van aanvullend materiaal. Die verantwoordelijkheid wordt niet overgenomen door de implementaties

10




van de scenario‟s. In vervolgonderzoek moet worden nagegaan hoe docenten bij het samenstellen van de leermiddelenmix ondersteund kunnen worden. Aanvullend onderzoek is nodig om tot een goede besluitvorming te komen t.a.v. het definitief implementeren van een of beide zoekscenario‟s in de ICTvoorzieningen voor docenten.


1

11

Inleiding

In het voorjaar van 2012 heeft IVA beleidsonderzoek en advies in samenwerking met SLO een evaluatieonderzoek uitgevoerd van de “proeftuinen leermiddelenmix voortgezet onderwijs”. Deze proeftuinen zijn een onderdeel van het programma Educatieve Contentketen. Dit rapport is een verslag van het onderzoek, de resultaten en de conclusies. In dit eerste, inleidende hoofdstuk schetsen we de context van het onderzoek en de vragen die in het onderzoek zijn gesteld.

1.1

Educatieve Contentketen Het programma Educatieve Contentketen (ECK) heeft als doel een fundamentele verbetering te realiseren voor de docent zodat hij:  Eenvoudig leermateriaal kan vinden om een verantwoorde leermiddelenmix te maken van methoden-, open en eigen leer- en toetsmateriaal;  Digitaal leermateriaal direct en drempelloos kan inzetten;  De resultaten van zijn leerlingen die werken met digitaal leer- en toetsmateriaal 2 kan gebruiken om het leren te volgen . Om dit te bereiken werken educatieve uitgevers en andere aanbieders van al dan niet open leermaterialen met (zoek)portaalaanbieders, met het onderwijsveld, met SLO en Kennisnet samen in een integrale ketenbenadering. Binnen het programma wordt in verschillende projecten gewerkt aan bovenstaande doelstellingen. Het ECK-deelproject Arrangeren richt zich op de eerste van de hierboven genoemde doelen van de Educatieve Contentketen. Docenten moeten ondersteund worden bij het vinden van het juiste (digitale) leermateriaal om dat vervolgens te gebruiken bij het samenstellen van een verantwoorde leermiddelenmix. Technisch is er binnen het ECK-pogramma inmiddels veel gerealiseerd, waardoor het mogelijk is geworden om binnen proefopstellingen eerst kleinschalig en dan grootschalig in de praktijk uit te vinden of docenten inderdaad op bovenstaande wijze worden geholpen bij het zoeken, vinden en arrangeren van leer- en toetsmateriaal. Zo kunnen aanbevelingen worden geformuleerd voor verdere ontwikkeling en voor verder onderzoek.

2

Bron: Offerteverzoek Evaluatie proeftuinen leermiddelenmix, Kennisnet, december 2011

12

1.2


Proeftuinen leermiddelenmix VO De proeftuinen leermiddelenmix VO vormen één van de onderdelen van het programma Educatieve Contentketen. De proeftuinen zijn ingericht met de volgende be3 vindingen uit het vooronderzoek als uitgangspunt:  Docenten hebben om verschillende redenen behoefte aan het variëren op hun basisleermiddelenpakket (de „methode‟);  Er zijn onvoldoende faciliteiten voor de docent om hem te helpen bij het zoeken naar leermateriaal t.b.v. variëren op het basispakket, de kwaliteit van zowel de zoekvoorzieningen als die van het beschikbare materiaal is onvoldoende;  Er lijken twee basisscenario‟s bruikbaar om docenten te ondersteunen bij het zoeken naar aanvullend en vervangend leermateriaal: zoeken naar leermateriaal vanuit een bestand compleet leermiddelenpakket, de „methode‟ (zoekscenario A) en zoeken op basis van (vak)inhouden en leerdoelen (zoekscenario B);  De SLO inhouden leerdoelspecificaties (uit het project Leerplan in Beeld) vormen de „neutrale kapstokken‟ die kunnen dienen om gesloten, open en eigen leermateriaal met elkaar te verbinden;  Er is voldoende „laaghangend fruit‟: er zijn aanbieders die al voorzieningen t.b.v. het mixen van gesloten, open en eigen materiaal hebben en die goed gebruik kunnen maken van de inhouden leerdoelspecificaties in hun eigen elektronische omgevingen. Op basis van deze uitgangspunten zijn de proeftuinen leermiddelenmix ingericht. In de proeftuinen, waarin verschillende proefopstellingen zijn gebouwd volgens de zoekscenario‟s A en B zoals hierboven omschreven, wordt leermateriaal aangeboden dat is gemetadateerd volgens de SLO vakinhoudspecificaties, aangevuld met informatie over het leerniveau en de bron (collectie) van het materiaal. Dit is gedaan voor enkele vakinhouden in de vakken Aardrijkskunde en Wiskunde en alleen voor de onderbouw havo/vwo. Docenten kunnen materialen in zoekscenario A vinden doordat in de methodesite zoekopdrachten zijn opgenomen die leiden naar extra (open) materialen. In de zoekopdrachten zijn de hiervoor beschreven metadata op het gebied van vakinhoud, leerniveau en bron versleuteld. Er is door de aanbieder van de methodesite, de educatieve uitgever, als het ware een zoekopdracht „voorgekookt‟. In zoekscenario B „bouwen‟ docenten zelf een zoekopdracht. In een zoekportaal als Wikiwijs of Digischool kiezen docenten zelf de vakinhouden, leerniveaus en bronnen waar zij in willen zoeken, vervolgens wordt een zoekopdracht gegenereerd en worden de resultaten weergegeven. In beide gevallen wordt voor het zoeken naar materialen „onder water‟ gebruik ge4 maakt van Edurep , een Kennisnetdienst waarin alle gemetadateerde materialen vindbaar zijn gemaakt.

3

Verbeij, N. (2011) Verslag Onderzoek leermateriaal en het curriculum. ECK 2 project Arrangeren I. Zoetermeer: Kennisnet


13

De proefopstellingen die samen de proeftuinen uitmaken kennen vanwege hun experimentele status wel beperkingen. Zo is slechts van een beperkt aantal vakinhouden materiaal gemetadateerd en is ook het aantal broncollecties nog beperkt. De verschillende ECK-partners, die een rol vervullen van aanbieder van materiaal, inrichter van een methode- of zoekportaal of een gecombineerde rol, hebben bij het inrichten van de verschillende proefopstellingen keuzes gemaakt die de functionaliteit beïnvloeden. Zo is in Digischool alleen materiaal van Digischool zelf terug te vinden (is dus beperkt in de bronnen) en kan in de eerste proefversie van de methodesite van Getal en Ruimte van Noordhoff alleen worden gezocht in de bron „SchoolTV beeldbank‟. Dit zijn geen permanente situaties, maar ze leggen wel beperkingen op aan de mogelijkheden van zoeken in de proefopstellingen door de docenten.

1.3

Vragen binnen het onderzoek Binnen het onderzoek, waarin de proeftuinen zijn geëvalueerd, zijn een aantal vragen leidend geweest: 



 

Welke keuzes maken aanbieders en portalinrichters bij de inbouw van de zoekscenario‟s? Het gaat onder andere om keuzes t.a.v. de collecties (bronnen) waarin mag worden gezocht, het aggregatieniveau waarop wordt gemetadateerd en de getoonde informatie over het gevonden leermateriaal. Zijn de twee zoekscenario‟s bruikbaar voor docenten en leveren ze voldoende op? Het gaat er hierbij onder andere om of docenten vinden dat ze met behulp van de scenario's relevante leermaterialen (zouden) kunnen vinden en of die ook inpasbaar zijn in hun onderwijs. Worden de aangeboden materialen ook daadwerkelijk beter vindbaar? Is de huidige vorm van de vakinhoudspecificaties zoals die door SLO zijn opgesteld (inhoudelijk en technisch) bruikbaar?

In de onderzoeksaanvraag waren nog een aantal aanvullende vragen geformuleerd:   

Wegen de inspanningen (voor de aanbieders van materiaal en de inrichters van portals) op tegen het resultaat? Is men bereid hierin (verder) te investeren? Welke bestaande of nieuwe diensten kunnen door Kennisnet worden ingezet om dit proces te ondersteunen?

Deze vragen zijn in het onderzoek niet als leidend beschouwd (al komen ze hier en daar wel aan de orde). De voornaamste reden is dat om deze vragen te beantwoorden, eerst duidelijk moet zijn hoe docenten de zoekscenario‟s waarderen en of zij vinden dat ze aan hun behoeften tegemoet komen. Immers, pas daarna kan aangegeven worden of dat resultaat die inspanningen waard is en wat er verder aan diensten nodig is.

4

Zie: http://edurep.kennisnet.nl/

14

1.4


Leeswijzer In de volgende hoofdstukken worden de werkwijze, de resultaten en de conclusies uiteengezet. Hoofdstuk 2 beschrijft de gevolgde methode, hoofdstuk 3 t/m 6 laten de resultaten aan bod komen. In hoofdstuk 7 zijn conclusies en aanbevelingen geformuleerd.

15


2

Methode

Om de onderzoeksvragen te beantwoorden zijn twee verschillende werkwijzen gekozen. Allereerst zijn docenten in vier afzonderlijke bijeenkomsten met de proefopstellingen aan de gang gegaan en bevraagd op hun ervaringen. Daarnaast zijn de betrokken ECK-partners geïnterviewd, waarbij hun werkwijze en hun ervaringen met de proefopstellingen ter sprake kwamen. De eerste paragraaf van dit hoofdstuk gaat kort in op de vorm en inhoud van de proefopstellingen. In bijlage 1 zijn de functionele beschrijvingen van de proefopstellingen opgenomen.

2.1

Proefopstellingen In de proefopstellingen worden de volgende twee zoekscenario‟s getest: 

Zoekscenario A: Zoeken naar leermateriaal vanuit een bestaand compleet (basis-) leermiddelenpakket, de „methode‟. Bijvoorbeeld vanuit de inhoudsopgave van de methode naar materiaal uit andere leermiddelenpakketten of databanken. Dit kan de vorm hebben van zoeken naar materiaal vanuit de “inhoudsopgave” van de methode naar aanvullend/vervangend materiaal. Een andere vorm is om in de elektronische omgeving waarin het basispakket wordt beheerd bij elk onderdeel een directe, specifieke zoekopdracht te geven. Het resultaat is een beperkte set van leermateriaal over specifiek dat onderdeel.



Zoekscenario B: Zoeken vanuit vakinhoud Vanuit vakinhouden zoeken naar leermateriaal in verschillende leermiddelenpakketten en databanken. Deze zoekvoorziening kan starten in algemene zoekvoorzieningen zoals Wikiwijs, maar ook vanuit een Elektronische leeromgeving van de school of de aanbieder.

De proeftuinen bestaan uit in totaal zes proefopstellingen die door de ECK-partners zijn ontwikkeld. Het gaat om: Zoekscenario A

Zoekscenario B

Aardrijkskunde De Geo (Thieme Meulenhoff) Welkom in onze wijk (Codename Future)

Wiskunde Getal en Ruimte (Noordhoff)

Digischool

Wikiwijs Digischool

Voor het metadateren van materialen is gebruik gemaakt van de vakinhoudspecificaties zoals die door SLO zijn ontwikkeld in het kader van „Leerplan in Beeld‟. In alle

16


gevallen gaat het om materiaal voor de onderbouw van havo en vwo. De vakinhouden zijn hier op drie niveaus geaggregeerd: vakken zijn ingedeeld in achtereenvolgens kernen, subkernen en vakinhouden. Zowel bij Aardrijkskunde als bij Wiskunde is een selectie gemaakt ten aanzien van de (sub)kernen en vakinhouden die betrokken zijn in de proeftuinen: Vak Aardrijkskunde

Wiskunde

Vakkern Duurzaamheid

Subkern Bronnen van energie

Krachten der aarde Water

Natuurrampen

Meten en meetkunde

Rekenen in de meetkunde

Waterproblematiek

Vormen en Figuren

Inhoud  Energievraagstukken nu en in de toekomst  Ontstaan en gevolgen van natuurrampen  Het natuurlijk aanbod van water  Verschillen in watergerelateerde problemen in en tussen gebieden  Metriek stelsel  Lengte, omtrek, oppervlakte en inhoud  Hoeken  Vaktaal hoeken en symbolen  Kijken  Construeren

Ten tijde van de evaluatie waren in de proefopstellingen materialen beschikbaar van de volgende bronnen: Aardrijkskunde  Codename Future  Digischool  Schooltv Beeldbank  Les 2.0  EduGis

Wiskunde  Freudenthal Instituut  Math4all  Digischool  StudioVO  Schooltv Beeldbank  Les 2.0  Collectie Dalton Voorburg  Collectie Barlaeus Gymnasium

Om de proefopstellingen voor zoekscenario A te realiseren, moesten aanbieders van zoekportals en methodesites zoekopdrachten (query‟s) „bouwen‟. Hiervoor is binnen het ECK-programma een hulpmiddel ontwikkeld, de Query Builder. In de Query Builder kan een aanbieder de gewenste zoektermen (leerniveau, bron en kern, subkern en vakinhoud) aanvinken, waarna een link naar die zoekopdracht in Edurep wordt gegenereerd. Die link kan worden getest en vervolgens worden „geplakt‟ in de proefopstelling op de gewenste plek.

17


2.2

Docentenpanels: laboratoriumopstelling gevolgd door focusgroep Er zijn twee panelbijeenkomsten georganiseerd waarin docenten Wiskunde en Aardrijkskunde ervaring konden opdoen met de twee zoekscenario‟s, uitgewerkt in de verschillende proefopstellingen. Vanwege de tegenvallende opkomst zijn kort daarna nogmaals twee bijeenkomsten georganiseerd, ditmaal op locatie, bij twee verschillende scholen. Deze extra sessies brachten het totaal op 22 docenten (9 docenten Wiskunde van 5 verschillende scholen en 13 docenten Aardrijkskunde van eveneens 5 verschillende scholen. Een overzicht van de profielen van de deelnemende docenten is bij de resultaatbeschrijvingen opgenomen. De zoekscenario's zijn gedemonstreerd en docenten konden er zelf mee oefenen. Voorafgaand aan het oefenen werd hen gevraagd naar hun verwachtingen van elk scenario. Ze werkten met een gerichte, door de onderzoekers aangedragen zoekvraag: vanwege de beperkte omvang en vulling van de proefopstellingen was het niet mogelijk om docenten met een eigen zoekvraag aan de slag te laten gaan. Daarnaast hebben de docenten per zoekscenario een aantal vragen beantwoord, en is gevraagd of de verwachtingen die zij vooraf hadden zijn waargemaakt. Tot slot is er gediscussieerd over beide zoekscenario's.

2.3

Interviews naar ervaringen van betrokken In de tweede fase zijn 14 telefonische semigestructureerde interviews gehouden met betrokkenen in de proeftuinen. Daarin is gesproken met metadateerders (van leermaterialen), beslissers en met inrichters (van methodesites en zoekportalen). De interviews duurden 15-45 minuten en gingen in op de ervaringen van de betrokkenen. Afhankelijk van hun rol werd daarin besproken: de motivatie om deel te nemen aan het project, de (meerwaarde en het gebruik van de) SLO-vocabulaires, het gebruik van de Query Builder, de inschatting van de investering (en of deze „het waard is‟). De respondenten waren verbonden aan de volgende ECK-partners:      

Digischool Noordhoff VO Content Schooltv beeldbank Wikiwijs Les 2.0

     

Studio VO Math United Freudenthal Instituut Codename Future Wikiwijs ThiemeMeulenhoff


3

19

Gebruikservaringen van docenten Aardrijkskunde

In dit hoofdstuk doen we verslag van de meningen van de twaalf docenten Aardrijkskunde over de beide zoekscenario's. Docenten hebben hun mening gegeven over de zoekervaring (de manier van zoeken) en over het zoekresultaat. De meningen van de docenten zijn gebaseerd op een beperkt gevulde proefopstelling. Dit heeft tot gevolg dat het voor docenten lastig is geweest te beoordelen of zij het zoekresultaat kunnen inpassen in hun onderwijspraktijk en of het de gewenste kwaliteit heeft.

3.1

Achtergrond Voorafgaand aan de sessies is docenten gevraagd een aantal algemene vragen te beantwoorden over hun achtergrond en hun zoekgedrag. Hieronder schetsen we op basis daarvan een beeld van de onderzoeksgroep. Twee docenten hebben de algemene vragen niet beantwoord. Vak Aardrijkskunde Leerniveau 12x onderbouw havo/vwo 5 Aantal deelnemende docenten 13 (11 mannen, 2 vrouwen) Aantal scholen 5 Gebruikte methoden 3x Wereldwijs 3x De Geo 4x BuiteNLand 2x onbekend Betrokkenheid bij uitgeverij of zoekportal 2x Les 2.0 Zoeken naar aanvullend materiaal 6x heel vaak (min. 1x per week) 4x regelmatig (min. 1x per maand) 2x onbekend Zoeken op digitale wijze 6x heel vaak (min. 1x per week) 3x regelmatig (min. 1x per maand) 1x incidenteel 2x onbekend Hoe wordt materiaal gezocht (meer antwoor5x via collega‟s den mogelijk, n=10) 9x via internet 2x via de lesmethode/uitgeverij 2x door zelf te maken Wat voor materiaal wordt gezocht (meer ant7x direct inpasbaar woorden mogelijk, n=10) 7x om zelf aan te passen

5

Eén docent, die aan de tweede test heeft deelgenomen, heeft alleen geoefend met zoekscenario B.

20


De wens om materiaal te vinden dat docenten zelf kunnen aanpassen, wordt ingegeven door de behoefte:   

om het te kunnen aanpassen aan eigen wensen en ervaringen, het te kunnen aanpassen op basis van de beschikbare lestijd, om te kunnen differentiëren of om over een goede basis te beschikken waarop je kunt variëren.

Drie docenten zoeken zowel materiaal dat direct inpasbaar is als materiaal dat ze zelf kunnen aanpassen. Dit is afhankelijk van het gevonden materiaal. Zeven van de docenten vinden dat er onvoldoende faciliteiten zijn om docenten te helpen met het zoeken van aanvullend leermateriaal. Vier van hen vinden dat er ook onvoldoende faciliteiten zijn om docenten te helpen met het arrangeren van leermateriaal. De argumenten die zij daarvoor aanhalen hebben betrekking op:   

3.2

de tijdrovendheid, de zoekresultaten (grote hoeveelheden materiaal, slechte bruikbaarheid materiaal) de competenties van docenten om daarmee om te gaan (lastig om te bepalen of en hoe het materiaal gebruikt kan worden):  Het is soms lastig (tijdrovend) om te bepalen wat het beste past bij mijn lessen;  Het kost te veel tijd en er is al te veel werk;  Het is niet altijd goed uit te filteren wat je wilt hebben;  Het zoeken levert zelden geschikt bruikbaar materiaal op;  Door een woud aan mogelijkheden is het niet altijd gemakkelijk om een weg door het materiaal te vinden. Daarnaast is het niet altijd duidelijk op welke manier het materiaal te gebruiken is.

Zoekscenario A: zoeken via de methode 3.2.1 Procedure De docenten hebben een demonstratie gekregen van het zoeken binnen de proefopstellingen van De Geo en Codename Future. De uitgevers hebben het aanvullend leermateriaal op een verschillende manier opgenomen. Bij De Geo staat er in elke paragraaf een link „aanvullend leermateriaal‟. Als de docent daarop klikt, krijgt hij een lijst met zoekresultaten. Bij Codename Future kan de docent bij de start van elk thema een button met „aanvullend leermateriaal‟ aanklikken. Alle docenten hebben met de proefopstelling van De Geo gewerkt, tijdens de eerste sessie is daarnaast met Codename Future gewerkt (vier docenten) en tijdens de tweede sessie met de Wiskundemethode Getal en Ruimte. Voor deze laatste toevoeging is gekozen omdat Getal en Ruimte een duidelijk andere invulling aan de

21


zoekmogelijkheden geeft dan de sites van De Geo en Codename Future, die op eenzelfde wijze zijn ingericht. 3.2.2 Verwachtingen Voorafgaand aan de kennismaking met het zoeken via de methode is aan de deelnemers aan de panelsessie gevraagd naar hun verwachtingen hierover. Docenten geven aan dat zij:    

snel zicht willen hebben op het gevonden materiaal; zowel materiaal willen dat ze kunnen gebruiken bij de behandeling van onderwerpen door de docent als materiaal waarmee leerlingen kunnen oefenen; verwachten dat het materiaal aansluit bij de methode; verwachten dat de uitgever van de methode regie voert op de selectie.

Na afloop van het zoeken in de methode geven alle docenten aan dat hun verwachtingen gedeeltelijk zijn uitgekomen. Het verbaast sommige docenten dat de uitgever in dit scenario geen regie voert op de zoekresultaten (maar alleen op de zoekopdracht). 3.2.3 Zoeken via de methode Naar de ervaringen van de docenten is gevraagd aan de hand van vragen waar telkens ook een toelichting bij kon worden gegeven. In deze paragraaf komen de vragen en de antwoorden van de docenten aan de orde, en wordt, waar mogelijk en relevant, ook hun toelichting weergegeven. Omwille van de leesbaarheid en om het kwalitatieve karakter van het onderzoek te onderstrepen, zijn de antwoorden op de vragen waar zinvol geclusterd (zo wordt zeer onwenselijk en onwenselijk samen (zeer) onwenselijk). Hoe wenselijk vindt u het als u moet betalen voor aanvullend materiaal binnen de methode? Wenselijk

2

(Zeer) onwenselijk

10

Hoe wenselijk vindt u het als u moet inloggen op een andere site om toegang te krijgen tot het aanvullend materiaal binnen de methode? Wenselijk

2

(Zeer) onwenselijk

10

22


Hoe wenselijk vindt u het dat de uitgever aanvullend leermateriaal voor u zoekt en de zoekresultaten binnen de methode zet? (Zeer) wenselijk

12

Alle docenten vinden het (zeer) wenselijk dat een uitgever aanvullend leermateriaal voor hen zoekt en binnen de methode plaatst, omdat het tijd bespaart en de uitgever voor hen het best passende materiaal selecteert. Ze verwachten dat er "een voorselectie op het materiaal is losgelaten" of "moderatie plaats vindt" en dat het gericht aansluit op "waar je in de klas mee bezig bent". Hoe tevreden bent u over de snelheid van deze wijze van zoeken en vinden? Tevreden

9

(Helemaal) niet tevreden 3 Docenten die wel tevreden zijn vinden het handig om snel een overzichtelijke lijst met bruikbare bronnen te hebben, die past bij een te geven les. Enkele docenten geven aan dat niet direct duidelijk is wat de status is van het gevonden materiaal. Daarvoor moet eerst het materiaal geopend en goed doorgelezen worden. Daarom zou meer informatie over de aard van het leermateriaal handig zijn, zoals wel/niet interactief materiaal, niveau, inhoud filmpje, soort activiteit (vraag en antwoord, bronnen bekijken, analyseren van kaartjes, etc.), vorm materiaal, auteursrecht en „hoe is het in te passen in de les‟ (is het een coöperatieve leerstrategie, een individuele computeropdracht, een werkblad, een praktische opdracht, etc.). Docenten die niet tevreden zijn, geven dit aan omdat niet al het materiaal bruikbaar is of omdat er een wachtwoord / gebruikersnaam ingevuld moet worden om toegang te krijgen tot bepaald materiaal (bijvoorbeeld het materiaal van Digischool). Welke van de twee manieren van het opnemen van leermateriaal binnen de methode spreekt u het meest aan? (n=12) De Geo (door 12 docenten bekeken)

7

Codename Future (door 4 docenten bekeken)

0

Getal en Ruimte (door 8 docenten bekeken )

2

Geen voorkeur

3

Vindt u de plaats waar het extra materiaal is neergezet in De Geo geschikt? (n=12) Wel geschikt

12

Eén van de docenten zou het wel handig vinden als er ook los van paragrafen gezocht kan worden op aanvullend leermateriaal en suggereert dus om ook nog een overzicht van bronnen aan te bieden per thema en per niveau, "voor het geval je iets zoekt over een onderwerp zonder dat je met de betreffende stof bezig bent".

23


Vindt u de plaats waar het extra materiaal is neergezet in Codename Future geschikt? (n=4) Wel geschikt

3

Niet geschikt

1

De docent die de plaats niet geschikt vindt geeft later aan dat hij er weinig over kan zeggen, omdat hij de methode onvoldoende kent. De docenten hebben geen suggesties voor een andere plaats van het aanvullend leermateriaal binnen Codename Future. Vindt u de plaats waar het extra materiaal is neergezet in Getal en Ruimte geschikt? (n=8) Wel geschikt

4

Niet geschikt

2

Niet gekeken

2

De docenten die de plaats niet geschikt vinden, willen het materiaal liever vooraf per onderwerp gerangschikt hebben of een wegwijzer met snelkoppelingen krijgen. 3.2.1

Vinden via de methode: beoordeling van het zoekresultaat Nadat vragen zijn beantwoord over het zoeken, werd vervolgd met vragen over het zoekresultaat. Onderwerpen die aan bod komen zijn de wijze van presentatie van de resultaten en de beoordeling van de resultaten op kwaliteit en inpasbaarheid. Vindt u de wijze van presentatie van de lijst met zoekresultaten inzichtelijk? Wel in Codename Future (door 4 docenten bekeken)

2

Wel in De Geo (door 12 docenten bekeken)

10

Wel in Getal en Ruimte (door 8 docenten bekeken) 5 Een docent die de resultatenlijsten van zowel De Geo als Codename Future inzichtelijk vindt, vindt het prettig om snel te kunnen beschikken over lijst met bruikbare bronnen, maar mist nog wel informatie over het leermateriaal (interactiviteit, niveau, soort materiaal). Ook een andere docent die beide resultatenlijsten inzichtelijk vindt, zou graag meer willen weten over het leermateriaal: "tags van wat er in het materiaal te vinden is of een soort van voorvertoning. Ik wil graag snel kunnen zien of er kaartmateriaal, figuren, filmpjes, websites aan verbonden zijn die de leerling moet gebruiken". Een docent die beide resultatenlijsten niet inzichtelijk vindt, wil meer informatie: "ze zouden een rangschikking kunnen geven op deelonderwerp en / of op lessoort. Een bijpassende afbeelding of icoon geeft sneller duidelijkheid. Een waardering kan iets zeggen over de kwaliteit". Docenten uit de tweede sessie (die De Geo en Getal en Ruimte hebben gezien) hebben de volgende wensen: meer informatie over het type materiaal (o.a. door middel van symbolen), een kwaliteitsaanduiding, geen extra wachtwoorden of gebruikersnamen om toegang te krijgen tot het materiaal, een eenvoudiger route in Getal en Ruimte en een 'tag cloud' of woordenspin die wordt toegevoegd.

24


Krijgt u bij het zoeken binnen de methodesite voldoende informatie om goed te kunnen beoordelen of u het in uw lessen kunt inpassen? Wel in Codename Future (door 4 docenten bekeken)

1


9

Wel in Getal en Ruimte (door 8 docenten bekeken)

4

Docenten die niet tevreden zijn missen metadata of vinden het vervelend dat ze niet kunnen inloggen bij andere bronnen als Digischool, waarvan wel resultaten in de lijst staan vermeld. De docenten noemen de volgende metadata die ze missen: soort opdracht/leeractiviteit, niveau, tempo, wel/niet interactief, benodigd materiaal voor leerling (atlas, computer), doel van de opdracht. Krijgt u bij het zoeken binnen de methodesite voldoende informatie over het leermateriaal om de kwaliteit van het materiaal goed te kunnen beoordelen? Wel in Codename Future (door 4 docenten bekeken)

0


6


2

Docenten die onvoldoende informatie krijgen om de kwaliteit te beoordelen missen bepaalde metadata (o.a. waardering van collega's), vinden de metadata niet duidelijk of willen dat sommige metadata weggelaten worden. De metadata die worden gemist zijn bij de vorige vraag genoemd. Daarnaast stelt één docent dat het gevonden materiaal "overkomt alsof het een extraatje is en vooral gebaseerd is op leuk en niet op leerrendement". Wat vindt u van de inhoud van het gevonden materiaal bij het onderwerp waarop u gezocht hebt? (n=12) De inhoud van het resultaat sluit precies aan bij wat ik had verwacht

1

De inhoud van het resultaat is „te smal‟ (te weinig onderwerpen)

1

De inhoud van het resultaat is „te breed‟ (teveel onderwerpen)

1

Weet ik niet, ik heb te weinig informatie om de inhoud te kunnen beoordelen

9

Docenten vinden dat ze de inhoud niet kunnen beoordelen omdat ze niet hebben kunnen doorklikken op alle links, en dat zouden ze wel moeten doen om de inhoud en kwaliteit te kunnen beoordelen. Eén docent constateert dat er geen inhoudelijke redactie van de uitgever heeft plaatsgevonden. Eén docente is bang dat er in de toekomst een te lange lijst met resultaten komt. Ze heeft liever een korte lijst met goed materiaal.

25


Vindt u dat u voldoende materiaal gevonden heeft? Wel in Codename Future (door 4 docenten bekeken)

3


6


2

Docenten plaatsen wel de kanttekening dat er wel voldoende kwantiteit is, maar dat dit nog niet betekent dat er voldoende kwalitatief of bruikbaar materiaal is. Eén docent zegt dat hij wel voldoende materiaal vindt in De Geo en niet in Codename Future, maar uit zijn toelichting blijkt dat hij dit eigenlijk niet goed kan beoordelen. "Je kreeg wel aardig wat links". De ontevreden docenten hadden meer materiaal verwacht, vinden het lastig dat niet al het materiaal direct toegankelijk was of vinden het lastig dat bepaald materiaal bij meerdere hoofdstukken staat. 3.2.2 Toekomstig gebruik en aanbevelingen Na het oefenen met de scenario‟s is docenten gevraagd te reflecteren op wat ze hebben gedaan en gezien. Gevraagd is naar hun voornemen om dit scenario in de toekomst te gaan gebruiken en naar aanbevelingen. Denkt u dat u dit scenario (zoeken naar leermateriaal vanuit ‘de methode’ in de toekomst voor uw eigen zoekbehoeften gaat gebruiken? (n=12) Ja, zeker

3

Ja, als aan bepaalde voorwaarden wordt voldaan

7

Nee

1

Weet ik niet

1

De voorwaarden die docenten stellen hebben betrekking op de aanwezigheid van eerder genoemde metadata, gebruiksvriendelijkheid en laagdrempelige toegang (geen of niet te veel wachtwoorden en inlogcodes). De docent die aangeeft dat hij dit scenario niet zal gebruiken, geeft de voorkeur aan scenario B. Tot slot is docenten gevraagd naar suggesties voor verbetering van dit scenario. De verbetersuggesties hebben betrekking op aanvullende metadata (als eerder genoemd, soort opdracht/leeractiviteit, niveau, tempo, wel/niet interactief, benodigd materiaal voor leerling (atlas, computer), doel van de opdracht), de toegankelijkheid (laagdrempelig, geen wachtwoorden, korte route naar het leermateriaal) en het soort materiaal. Een docent wil niet alleen leermateriaal, maar ook plaatjes, figuren, beeldmateriaal en links naar websites met extra informatie. Daarnaast wil deze docent ook dat de toegang voor leerlingen "uitermate laagdrempelig" is. Een andere docent suggereert om eventueel een verwijzing voor leerlingen op te nemen in de methode met mogelijkheden voor extra opdrachten, "zodat ze zelf thuis iets kunnen doen of oefenen of bekijken". Een derde docent wil meer verwijzingen naar filmpjes.

26

3.3


Zoekscenario B: Zoeken via inhoud en leerdoelen 3.3.1 Procedure De 13 docenten (één docent heeft alleen met de vragen over scenario B meegedaan) hebben een demonstratie gekregen van het zoeken binnen de proefopstellingen van de Query Builder en Digischool (in het geval van de eerste paneltest). Voor het aanbieden van de Query Builder als proefopstelling is gekozen omdat in Wikiwijs geen proefopstelling voor Aardrijkskunde was gerealiseerd. De Query Builder kent (omdat daarmee zoekopdrachten worden gegenereerd) eenzelfde functionaliteit als een zoekportal. Immers, zodra een link wordt „getest‟ verschijnt de lijst met het zoekresultaat. In de tweede sessie is Wikiwijs wel als tweede proefopstelling gebruikt, maar dan met een zoekopdracht voor het vak Wiskunde. Bij het zoeken via zoekportals maken docenten zelf gebruik van de vakkernen, subkernen en inhouden ontwikkeld door de SLO. Voorwaarde daarvoor is dat zij deze ook begrijpen. Om dit te testen hebben de docenten in de Query Builder een zoekopdracht gekregen: informatie zoeken over 'natuurrampen‟ voor klas 1-3 van havo en vwo. Daarnaast kregen de docenten uit de panelsessie een demonstratie van de Query Builder en de zoekportal Digischool en hebben docenten hier zelf mee kunnen oefenen aan de hand van gerichte opdrachten. 3.3.2 Begrijpelijkheid van de zoektermen De docenten hebben de opdracht gekregen met behulp van de Query Builder leermateriaal te zoeken over natuurrampen voor klas 1-3 van havo en vwo. Acht docenten konden de informatie gelijk vinden, vijf docenten niet. De docenten die problemen hebben ondervonden bij het zoeken, noemen hiervoor verschillende redenen. Eén docent geeft aan: "het hangt erg af van de aanbieder van de bronnen. Je weet niet waar je moet zoeken. Eigenlijk moet je alle aanbieders selecteren. Er waren niet zo veel bronnen beschikbaar bij verschillende thema's". Deze docent vindt het lastig dat hij zelf broncollecties moet selecteren. Overigens was in de opdracht aangegeven welke bronnen geselecteerd moesten worden. Een andere docent verwachtte dat hij het gegeven onderwerp (natuurrampen) in de vakkernen kon vinden, maar het kwam pas naar voren bij subkernen, nadat hij een vakkern had geselecteerd. Het blijkt lastig dat de subkernen niet direct zichtbaar zijn. Een derde docent kwam niet direct uit bij een bruikbaar leermateriaal. Bovendien stelt hij dat er niet altijd veel bronnen waren en dat niet altijd duidelijk is om wat voor bron het gaat. De andere docenten vonden te weinig materiaal. Dat docenten de gevraagde informatie niet in één keer vinden, heeft andere oorzaken dan de begrijpelijkheid van de zoektermen. Alle docenten geven aan dat zij de zoektermen in de vakinhoudspecificaties begrijpelijk vinden. Ze sluiten aan bij de vakinhoud / de canon van hun vak. 3.3.3 Verwachtingen Voorafgaand aan de kennismaking met het zoeken via een zoekportal is aan de deelnemers aan de panelsessie gevraagd naar hun verwachtingen hierover. Docenten geven aan dat zij:

27


 

(ten opzichte van scenario A) meer vrijheid om te zoeken verwachten; meer en opener resultaten, maar ook meer resultaten die onvoldoende kwaliteit hebben (eveneens ten opzichte van scenario A);

Deze verwachtingen worden mede ingegeven doordat deze docenten eerder bij zoekscenario A verwachtten dat de uitgever regie voert op het gevonden materiaal dat wel of niet wordt gevonden via de methodesite. Na afloop geven drie docenten aan dat hun verwachtingen gedeeltelijk zijn uitgekomen en bij één docent zijn de verwachtingen niet uitgekomen. 3.3.4 Zoeken op basis van vakinhoudspecificaties Naar de ervaringen van de docenten is gevraagd aan de hand van meerkeuzevragen waar telkens ook een toelichting bij kon worden gegeven. In deze paragraaf komen de vragen en de antwoorden van de docenten aan de orde, en wordt, waar mogelijk en relevant, ook hun toelichting weergegeven Hoe wenselijk vindt u het als u moet betalen voor aanvullend materiaal binnen de methode? (n=13) Wenselijk

2

(Zeer) onwenselijk

11

Hoe wenselijk vindt u het als u moet inloggen op een andere site om toegang te krijgen tot het aanvullend materiaal binnen de methode? (n=13) Wenselijk

3

(Zeer) onwenselijk

10

Hoe wenselijk vindt u het dat u als docent op basis van bepaalde inhouden naar leermateriaal kan zoeken? (n=13) (Zeer) wenselijk

12

Onwenselijk

1

Eén docent vindt dit zoekscenario niet wenselijk, naar eigen zeggen omdat geen goede extra opdrachten zijn gevonden. De docenten die het scenario wel wenselijk vinden, geven dit aan omdat zij gericht willen zoeken naar aanvullend leermateriaal, waarmee ze hun lessen kunnen verrijken.

28


Hoe tevreden bent u over de snelheid van deze wijze van zoeken en vinden? (n=13) Tevreden

8

Niet tevreden 5 Tevreden docenten waarderen het feit dat het materiaal goed te vinden is. "Er zijn weinig kliks nodig om bij een les te komen". De beoordeling (van de kwaliteit) door collega's wordt door een van de docenten als een pluspunt gezien. Een andere docent vindt dat het materiaal prima te vinden is met behulp van de juiste filters. Die filters maken volgens hem een belangrijk verschil. Docenten die tevreden zijn vinden dit een prettige, laagdrempelige manier van zoeken. De docenten die aangeven niet tevreden te zijn, vinden het resultaat te breed of onvoldoende, de computer te traag of vonden het lastig om toegang te krijgen tot het materiaal. Welke van de twee manieren van het opnemen van leermateriaal binnen de zoekportal spreekt u het meest aan?

3.3.5

Digischool (bekeken door 13 docenten)

8

Wikiwijs (bekeken door 9 docenten)

2

Query Builder (bekeken door 4 docenten

0

Geen voorkeur

3

Vinden op basis van vakinhoudspecificaties: beoordeling van het zoekresultaat Nadat vragen zijn beantwoord over het zoeken, werd vervolgens met vragen over het zoekresultaat. Onderwerpen die aan bod komen zijn de wijze van presentatie van de resultaten en de beoordeling van de resultaten op kwaliteit en inpasbaarheid. Vindt u de wijze van presentatie van de lijst met zoekresultaten inzichtelijk? Wel in Digischool (door 13 docenten bekeken)

11

Wel in Wikiwijs (door 9 docenten bekeken)

7

Wel in de Query Builder (door 4 docenten bekeken)

2

Een docent vindt een pluspunt van Digischool dat er een filter 'type' en een filter 'vaardigheid' is ingebouwd (deze maken geen deel uit van de metadata die voor de proefopstelling zijn geïmplementeerd, maar zijn ingebed in de functionaliteit van Digischool). Dit stelt hem in staat gerichter te zoeken. Een pluspunt van de Query Builder is volgens hem "dat je meerdere onderdelen binnen één filter kun selecteren' en dat kan niet binnen Digischool. Beide sites hebben dus een voordeel ten opzichte van elkaar. Een andere docent vindt de Query Builder niet inzichtelijk, omdat niet duidelijk is om welk type materiaal of welk soort opdracht het gaat. De volgende verbeterpunten worden bovendien genoemd:  in kortere stappen naar het leermateriaal;  meer leermateriaal en gesorteerd naar onderwerp;  eenvoudiger toegang tot het leermateriaal;  een 'tag cloud' of meta-navigatie toevoegen.

29


Krijgt u bij het zoeken binnen de zoekportal voldoende informatie over het leermateriaal om goed te kunnen beoordelen of u het in uw lessen kunt inpassen? Wel in Digischool (door 13 docenten bekeken)

10


4


0

Docenten die met de Query Builder hebben gewerkt missen in bepaalde metadata, zoals niveau, soort en type materiaal, kwaliteit van de bron, vaardigheden. Eén docent zou bij Digischool nog wat verder willen gaan en een toelichting willen krijgen over de inhoud (lijst met behandelde begrippen) van het leermateriaal. Ontevredenheid van docenten wordt ingegeven door de metadata (onduidelijk, onvoldoende, te veel, niet direct toegankelijk) of door het teleurstellende leermateriaal. Krijgt u bij het zoeken binnen de zoekportal voldoende informatie over het leermateriaal om de kwaliteit van het materiaal goed te kunnen beoordelen? Wel in Digischool (door 13 docenten bekeken)

7


2


0

Een docent vindt dat je „altijd zelf moet kijken‟ naar de resultaten om de inhoud te beoordelen. Een andere docent denkt dat kwaliteit niet "uitdrukbaar" is in metadata, en vindt de "sterratificering in Digischool erg nietszeggend'. Twee andere docenten waarderen juist de recensies van Digischool in de vorm van sterren. Ontevredenheid wordt ingegeven door de metadata (onvoldoende, niet helder) of door de eigen gebrekkige ervaring met de portal Wikiwijs. Wat vindt u van de inhoud van het gevonden materiaal bij het onderwerp waarop u gezocht hebt? (n=13) De inhoud van het resultaat sluit precies aan bij wat ik had verwacht

3


3


3

Weet ik niet, ik heb te weinig informatie om de inhoud te kunnen beoordelen 4 Een docent vindt het zoekresultaat te breed (te veel onderwerpen). Hij stelt dat er "door de openheid een overload aan materiaal is". Een ander zoekt juist liever op trefwoorden, omdat hij het resultaat op deze wijze als te breed beschouwt. Vindt u dat u voldoende materiaal gevonden heeft? Wel in Digischool (door 13 docenten bekeken)

5


1


2

Docenten die ontevreden zijn over de hoeveelheid materiaal, vonden het simpelweg te weinig, vonden het materiaal niet toepasbaar of van te laag niveau, of kregen geen toegang tot het materiaal. Eén docent heeft in beide portals voldoende info gevonden. "Er zit altijd wel iets bruikbaars bij".

30

3.3.1


Toekomstig gebruik en aanbevelingen Na het oefenen met elk scenario is docenten gevraagd te reflecteren op wat ze hebben gedaan en gezien. Gevraagd is naar hun voornemen om dit scenario in de toekomst te gaan gebruiken en naar aanbevelingen. Denkt u dat u dit scenario (zoeken op basis van vakinhoudspecificaties) in de toekomst voor uw eigen zoekbehoeften gaat gebruiken? (N=13) Ja, zeker

7


4

Nee

1

Weet ik niet

1

Docenten die voorwaarden stellen aan het gebruik, willen niet steeds moeten inloggen voor het gebruik van het leermateriaal, willen goede omschrijvingen ten behoeve van de zoekopdracht, vooral digitaal leermateriaal, betere kwaliteit, meer content en goede 'tags'. Eén docent stelt voor dat docenten wel materiaal mogen aanbieden, maar dat zij dit niet zelf mogen uploaden. Er zou één partij moeten komen die verantwoordelijk is voor het beoordelen, indelen en uploaden van materiaal. Een andere docent wil liever op onderwerp zoeken en niet "op lesmethode of lesnaam". Eén docent gaat het zoekscenario niet gebruiken, omdat "ik niet goed word van die moeilijke toegankelijkheid". Tot slot is docenten gevraagd naar suggesties voor verbetering van dit scenario. De volgende suggesties zijn gedaan:       

3.4

meer uitgebreide filtermogelijkheden voor soort opdrachten, bronnen, afbeeldingen, websites en fragmenten; een betere duiding van het materiaal (wat is het, wat kan ik er mee, etc.) één partij die materiaal beoordeelt, indeelt en uploadt. verbetering van de kwaliteit via crowd sourcing en moderation; geld voor auteurs van populaire lessen en materialen; zoekfunctie ook visueel (en niet alleen tekstueel) ondersteunen; overzichtelijke websites ("types als ik vallen snel af als websites niet overzichtelijk zijn").

Scenario A vs. Scenario B: meningen van docenten6 Na afloop van het oefenen met beide zoekscenario's is hierover gediscussieerd met de groep docenten uit de panelsessie. Onderwerpen van discussie waren:  

6

Wat is je voorkeursscenario? Welke verwachtingen zijn wel/niet uitgekomen? Wat mis je?

De discussies tijdens de extra sessies zijn niet in dit hoofdstuk meegenomen, maar in een apart hoofdstuk (5). Reden hiervoor is dat in deze sessies docenten Wiskunde en Aardrijkskunde gezamenlijk deelnamen en uit de geluidsopnamen het onderscheid niet kan worden opgemaakt.




31

Wat zijn belangrijke verbeterpunten?

3.4.1 Voorkeuren De docenten hebben voorkeur voor een of beide scenario's. De conclusie is dat het voorkeursscenario mede afhankelijk is van het doel dat wordt beoogd en/of hun werkwijze. Bij een docent die dicht bij de methode wil blijven, heeft het zoeken via de methode (scenario A) de voorkeur. Scenario A heeft ook de voorkeur omdat er van uitgegaan wordt dat de uitgever heeft gekeken naar kwaliteit en of het een geschikt onderwerp (passend bij de methode) is. Het zoeken van aanvullend leermateriaal kost dan minder tijd voor de docent. Als de docent verteld wordt dat de uitgever niet kijkt naar kwaliteit of geschiktheid van het gevonden materiaal, maar dat de uitgever alleen kan selecteren op broncollecties en verder dezelfde stappen (aanvinken vakkernen, subkernen, etc.) zet als de docent zelf zou doen, dan wil deze docent dit eerst niet geloven. Er zijn ook docenten die niet dicht bij de methode willen blijven ("De methode is niet heilig"). Voor hen is het zoeken op basis van vakinhoudspecificaties (scenario B) aantrekkelijker, zeker als ze de juiste filters kunnen toepassen en dit ook een zoekresultaat oplevert. Binnen de proeftuin was dit niet altijd het geval, omdat de proeftuin nog beperkt gevuld is. Binnen scenario B wordt Digischool gewaardeerd, omdat het aanvullende informatie over het leermateriaal biedt en een overzichtelijk zoekscherm. 3.4.2 Verwachtingen Een belangrijke verwachting die niet is uitgekomen is dat de uitgever regie voert op de kwaliteit en inhoud van het aanvullend leermateriaal binnen de methode. Dit is iets waarmee in scenario A rekening gehouden moet worden. Een andere verwachting die niet is uitgekomen, betreft de verwachting dat een uitgever alleen actueel leermateriaal vindbaar maakt via de methode. Een docent geeft aan dat hij niet verwacht had dat je bronnen zou kunnen selecteren. Hij vindt dit een positief pluspunt, omdat hij nu het materiaal uit Wikiwijs kan uitsluiten. Hij heeft geen goede ervaringen met de kwaliteit van het materiaal uit Wikiwijs. Een ander pluspunt van beide scenario's is het feit dat er vanuit één portal naar al het digitale leermateriaal gezocht kan worden. 3.4.3 Verbeterpunten De volgende verbeterpunten zijn genoemd:  



De labels (SLO-vocabulaire) zijn duidelijk. In de Query Builder zijn niet direct alle labels zichtbaar, je moet eerst een label aanklikken, voordat andere labels zichtbaar worden. Het zou mooi zijn als je alle vakinhoudlabels in een overzicht direct ziet. Meer informatie over het leermateriaal (metadata) toevoegen aan het zoekresultaat, zoals type opdracht, soort materiaal, kwaliteit, tijdsduur. De informatie kan eventueel door middel van icoontjes versterkt worden, zodat de docent het in één oogopslag kan zien.

32

 


Meer filteropties, waardoor er gerichter gezocht kan worden, bijvoorbeeld op soort les, lengte, waardering van collega's. Maar één keer registreren. Vaker moeten inloggen is vervelend.

33


4

Gebruikservaringen van docenten Wiskunde

In dit hoofdstuk doen we verslag van de meningen van de negen docenten Wiskunde over de beide zoekscenario's. Ook deze docenten hebben hun mening gegeven over de zoekervaring (de manier van zoeken) en over het zoekresultaat. De meningen van de docenten zijn, net als bij Aardrijkskunde het geval was, gebaseerd op een beperkt gevulde proefopstelling. Dit heeft tot gevolg dat het voor docenten lastig is geweest te beoordelen of zij het zoekresultaat kunnen inpassen in hun onderwijspraktijk en of het de gewenste kwaliteit heeft.

4.1

Achtergrond Voorafgaand aan de sessies is docenten gevraagd een aantal algemene vragen te beantwoorden over hun achtergrond en hun zoekgedrag. Hieronder schetsen we op basis daarvan een beeld van de onderzoeksgroep. Twee van de docenten hebben de algemene vragen niet beantwoord. Vak Leerniveau

Aantal deelnemende docenten Aantal scholen Gebruikte methoden

Betrokkenheid bij uitgeverij of zoekportal Zoeken naar aanvullend materiaal

Zoeken op digitale wijze

Hoe wordt materiaal gezocht (meer antwoorden mogelijk, n=8) Wat voor materiaal wordt gezocht (meer antwoorden mogelijk, n=7)

Wiskunde 4x onderbouw havo/vwo 1x LIO-stage (onderbouw havo/vwo) 3x bovenbouw havo/vwo 1x onbekend 9 (4 mannen, 5 vrouwen) 5 4x Moderne Wiskunde 1x Getal en Ruimte 1x Netwerk 1x StudioWiskunde, netwerk en eigen materiaal 2x onbekend 1x Noordhoff (auteur/redacteur Moderne Wiskunde) 3x heel vaak (min. 1x per week) 1x regelmatig (min. 1x per maand) 2x incidenteel 1x nooit 2x onbekend 1x heel vaak (min. 1x per week) 2x regelmatig (min. 1x per maand) 4x incidenteel 2x onbekend 2x via collega‟s 7x via internet 7x direct inpasbaar 2x om zelf aan te passen

34


Zeven docenten vinden dat er onvoldoende faciliteiten zijn om docenten te helpen met het zoeken naar aanvullend leermateriaal. Zes docenten vinden daarnaast dat er ook onvoldoende faciliteiten zijn om docenten te helpen met het arrangeren van leermateriaal. Zij geven hiervoor de volgende verklaringen:   

   

“Als ik zoek vind ik te veel of te breed. Het kost te veel tijd om alles te bekijken. “ “Er staat veel op het internet, met weinig informatie over de inhoud, waardoor je veel tijd kwijt bent aan het keuren van al het materiaal.“ “Er zijn veel portals, maar als je specifiek materiaal zoekt voor een bepaalde les (bijvoorbeeld een generator voor lissajous figuren) dan wordt het lastig. Meestal neem ik dan al snel mijn toevlucht tot een Engelse zoekterm omdat het in het Nederlands te weinig hits oplevert. “ “De informatie die ik vind sluit meestal niet aan op de lesstof, de informatie is de verschillend om te gebruiken in 1 les.“ “Het arrangeren van het materiaal kost zo veel tijd dat ik er vanaf zie om het te gaan gebruiken.“ “Ik ben niet erg bedreven op dit terrein. “ “Het materiaal dat ik vind is niet aansprekend.“

Zoeken op het internet kost te veel tijd, het specifiek gezochte materiaal wordt niet altijd gevonden en het gevonden materiaal sluit niet voldoende aan op de lesstof. Ook kan het zijn dat een docent niet bedreven is in het zoeken / vinden van materiaal of het arrangeren te veel tijd vindt kosten. We hebben dus te maken met verschillende soorten docenten, variërend van docenten die veel gebruik maken van aanvullend leermateriaal en dit zoeken via het internet tot docenten die dit incidenteel of helemaal niet doen. Het merendeel van docenten vindt dat er onvoldoende faciliteiten zijn om hen te helpen bij het zoeken en arrangeren.

4.2

Zoekscenario A: Zoeken via de methode 4.2.1 Procedure Het zoeken via de methode is getoond aan de hand van de Wiskundemethode Getal en Ruimte (Noordhoff) en de Aardrijkskundemethode De Geo (Thieme Meulenhoff). Beide methoden hebben het aanvullend leermateriaal op verschillende manieren geincorporeerd in hun methode. Bij De Geo staat er in elke paragraaf een button "aanvullend leermateriaal". Als de docent daarop klikt, krijgt hij een lijst met zoekresultaten. Bij Getal en Ruimte kunnen docenten als ze hun digitale methode openen kiezen uit: theorie en bron, voorbereiden. Als zij 'voorbereiden' kiezen kunnen ze 'eigen materiaal' toevoegen aan een (virtuele) pagina in de methode. Binnen 'eigen materiaal maken' kunnen ze 'theorie / bron' kiezen en vervolgens een selectie maken uit bepaalde bronnen (zoals de Schooltv Beeldbank). Ze krijgen dan een lijst met de zoekresulta-

35


ten. Vervolgens kunnen ze nog extra details (informatie over elk zoekresultaat) opvragen, ze kunnen een zoekresultaat selecteren en dit delen met een community van docenten die Getal en Ruimte gebruiken en ze kunnen het zoekresultaat toevoegen aan hun eigen materiaal. Als ze dan vervolgens weer de methode openen staat het zoekresultaat onder "theorie en bron". Zij vinden daar dan het geselecteerde leermateriaal terug en kunnen het zo ontsluiten voor hun leerlingen. De proefopstelling van getal en Ruimte betrof een „mockup‟: een applicatie waarin slechts enkele „klikpaden‟ konden worden doorlopen. De deelnemende docenten konden dus niet zelf experimenteren met de proefopstelling. In bijlage 1 zijn deze proefopstellingen uitgebreider beschreven. 4.2.2 Verwachtingen Voorafgaand aan de kennismaking met het zoeken via de methode is aan de deelnemers aan de panelsessie gevraagd naar hun verwachtingen hierover. Docenten geven aan dat zij verwachten:    

materiaal ter ondersteuning van de theorie, o.a. applets, verduidelijkende filmpjes, animaties; extra oefenopdrachten of verdiepende opdrachten, waarmee leerlingen zelfstandig kunnen werken; interactief leermateriaal. materiaal dat aansluit bij de methode.

Na afloop van het zoeken via de methode is hen gevraagd of hun verwachtingen zijn uitgekomen. Bij drie docenten zijn de verwachtingen gedeeltelijk uitgekomen en bij één docent niet. 4.2.3 Zoeken via de methode Naar de ervaringen van de docenten is gevraagd aan de hand van meerkeuzevragen waar telkens ook een toelichting bij kon worden gegeven. In deze paragraaf komen de vragen en de antwoorden van de docenten aan de orde, en wordt, waar mogelijk en relevant, ook hun toelichting weergegeven. Hoe wenselijk vindt u het als u moet betalen voor aanvullend materiaal binnen de methode? (n=9) Wenselijk

1

(Zeer) onwenselijk

8

Hoe wenselijk vindt u het als u moet inloggen op een andere site om toegang te krijgen tot het aanvullend materiaal binnen de methode? (n=9) Wenselijk

1

(Zeer) onwenselijk

8

36


Hoe wenselijk vindt u het dat de uitgever aanvullend leermateriaal voor u zoekt en de zoekresultaten binnen de methode zet? (n=8) Wenselijk

8

Dit zoekscenario bespaart volgens de docenten zoektijd, daardoor is men weinig tijd kwijt aan het beoordelen van materiaal op geschiktheid. Bovendien kan de behoefte aan aanvullend materiaal voor het grootste deel afgedekt worden met leermateriaal dat de uitgever passend vindt en het (veronderstelde) filter van de uitgever vermindert vervuiling. Daarnaast is er meer variatie voor de leerlingen en kan de lesstof gevisualiseerd worden. Er is dus behoefte aan het snel kunnen vinden van materiaal, het vinden van aanvullend materiaal en aan een snelle beoordeling van de kwaliteit van dit materiaal. Impliciet zit hierin de verwachting dat de uitgever dit (deels) voor zijn rekening neemt. Hoe tevreden bent u over de snelheid van deze wijze van zoeken en vinden? (n=9) (Zeer) tevreden

8

Niet tevreden 1 Aan de behoefte aan tijdbesparing wordt zeker tegemoet gekomen binnen dit zoekscenario. De docenten vinden dat ze snel bij het aanvullend leermateriaal terecht komen en dat het overzichtelijk gepresenteerd is. Drie van hen plaatsen daarbij ook een kanttekening. Een docent denkt dat er probleem kan ontstaan als "je niet vindt wat je zoekt". Twee docenten stellen dat het nu nog overzichtelijk is, omdat er een behapbare hoeveelheid materiaal op staat. Zij vragen zich af of dit zo zal blijven. Verder heeft een docent nog niet kunnen zien "hoe de kwaliteit van het materiaal is". Eén docent is niet tevreden over de snelheid waarmee hij het zoekresultaat vindt. Deze docent heeft te veel het gevoel zelf te moeten zoeken op het internet (Getal en Ruimte). Welke van de twee manieren van het opnemen van leermateriaal binnen de methode spreekt u het meest aan? (n=9) De Geo

3

Getal en Ruimte

2

Geen voorkeur

4

Vindt u de plaats waar het extra materiaal is neergezet in Getal en Ruimte geschikt? (n=9) Heel geschikt

1

Wel geschikt

6

Niet geschikt 2 Eén docente suggereert dat het materiaal bij Getal en Ruimte los in de ELO geplaatst zou kunnen worden. Een andere docent wil dat het materiaal er wat meer uitspringt en weer een andere docent wil een directe link naar het aanvullende leermateriaal.

37


Vindt u de plaats waar het extra materiaal is neergezet in De Geo geschikt? (n=9) Heel geschikt

1

Wel geschikt

8

Eén docent suggereert dat het materiaal bij De Geo net als bij Getal en Ruimte gekoppeld zou kunnen worden aan een pagina. Een andere docent wil dat de tekst 'aanvullend leermateriaal' er wat meer uitspringt, bijvoorbeeld door middel van grotere letters.

4.2.4

Vinden via de methode: beoordeling van het zoekresultaat Nadat vragen zijn beantwoord over het zoeken, werd vervolgens met vragen over het zoekresultaat. Onderwerpen die aan bod komen zijn de wijze van presentatie van de resultaten en de beoordeling van de resultaten op kwaliteit en inpasbaarheid. Vindt u de wijze van presentatie van de lijst met zoekresultaten inzichtelijk? Wel in De Geo (door 9 docenten bekeken)

7


8

Enkele docenten geven een suggestie voor verbetering, te weten:  "Wellicht zou je bij De Geo nog een filtertoets kunnen inbouwen. Je hebt al gefilterd op paragraaf niveau, maar als je veel resultaten hebt moet je toch nog door de bomen het bos kunnen zien."  "Bij Getal en Ruimte zijn er vele mappen en functies. Het voordeel hiervan is dat je je zoekopdracht kunt verfijnen en het nadeel is dat je gemakkelijk de weg kwijt kunt raken. Wat wellicht anders kan is minder opties, en linkjes met korte maar vanzelfsprekende titels."  "De methode van Getal en Ruimte (zoeken op onderwerp) zou je ook kunnen verwerken in De Geo."  "Een betere toelichting geven op het gevonden resultaat". De suggesties voor verbetering maken duidelijk dat docenten verschillende voorkeuren kunnen hebben. Waar de ene docent een filteroptie wil inbouwen, wil de andere docent juist minder opties. Krijgt u bij het zoeken binnen de methodesite voldoende informatie om goed te kunnen beoordelen of u het in uw lessen kunt inpassen? Wel in De Geo (door 9 docenten bekeken)

4


2

In geen van beide sites

5

De ontevredenheid van docenten heeft verschillende oorzaken, te weten: ontbrekende metadata, te veel metadata, het gevonden materiaal is niet relevant, lastig te beoordelen omdat de docent geen eigen zoekvraag heeft of geen tijd heeft om zelf de kwaliteit en inhoud van het materiaal te bekijken. Eén van de docenten stelt dat er bij Getal en Ruimte niet staat op welke onderwerpen de filmpjes betrekking hebben. De andere docent zegt dat de inleidende tekst van De Geo bij elk zoekresultaat in-

38


formatief is en de lezer nieuwsgierig maakt. "De tekst geeft in vergelijking met Getal en Ruimte een beter beeld van wat leerlingen gaan leren. De Geo gebruikt enkele regels om iets over de inhoud te zeggen en Getal en Ruimte maar één regel." Krijgt u bij het zoeken binnen de methodesite voldoende informatie over het leermateriaal om de kwaliteit van het materiaal goed te kunnen beoordelen? Wel in De Geo (door 9 docenten bekeken)

3


3


5

Ontevreden docenten noemen verschillende redenen, te weten: ontbrekende metadata, lastig om te beoordelen door gebrek aan tijd of afwezigheid eigen zoekvraag. Een docente stelt dat zij door de geselecteerde aanbieders eigenlijk wel weet dat het materiaal goed op niveau zou moeten zijn, maar ze weet ook dat ze zelf "bepaalde filmpjes van de beeldbank niet zo vindt". Een docent heeft in De Geo behoefte aan informatie over de moeilijkheidsgraad. Daarnaast wil de docent weten of het hier verdiepend materiaal of verhelderend materiaal betreft en dat kan de docent nu niet goed beoordelen. Een andere docent wil juist bij Getal en Ruimte een meer uitgebreide omschrijving van de bron, zodat hij kan beoordelen of het materiaal geschikt is of niet. Wat vindt u van de inhoud van het gevonden materiaal bij het onderwerp waarop u gezocht hebt? (n=9) De inhoud van het resultaat sluit precies aan bij wat ik had verwacht

1


2


1


5

Docenten die vinden dat ze te weinig informatie hebben, wijten dit aan de hoeveelheid informatie die wordt getoond, aan de tijd of kunnen het alleen "bij een echte test". De docent die het materiaal te breed vindt, ziet er te veel onderwerpen in en "zelfs beeldmateriaal over brugpiepers. Dat lijkt me weinig met Wiskunde te maken hebben". Vindt u dat u voldoende materiaal gevonden heeft? Wel in De Geo (door 9 docenten bekeken)

4


2

In geen van beide sites 5 De docenten oordelen verschillend over de hoeveelheid materiaal die ze gevonden hebben. Docenten die over geen enkele site tevreden zijn, vinden te weinig links, onvoldoende kwaliteit, geen aansluiting bij het onderwerp. Een docent kan het materiaal in Getal en Ruimte niet goed beoordelen, de ander vindt meer variatie in onderwerpen in De Geo. Een docent is tevreden als deze twee aan het onderwerp gerelateerde sites vindt. "Bij meer dan twee bronnen is er altijd iets wat ik kan gebruiken voor de lessen". Weer een ander vindt in beide sites veel informatie, maar weet nog niet of het bruikbaar is.

39


4.2.5 Toekomstig gebruik en aanbevelingen Na het oefenen met de scenario‟s is docenten gevraagd te reflecteren op wat ze hebben gedaan en gezien. Gevraagd is naar hun voornemen om dit scenario in de toekomst te gaan gebruiken en naar aanbevelingen. Denkt u dat u dit scenario (zoeken naar leermateriaal vanuit een bestaand compleet (basis)-leermiddelenpakket) in de toekomst voor uw eigen zoekbehoeften gaat gebruiken? Ja, zeker

3


3

Nee

3

De voorwaarden die docenten stellen hebben betrekking op toegankelijkheid, laagdrempeligheid en ook toegankelijkheid voor leerlingen (ook met bv. een iPad), en daarbij mogelijkheden om de resultaten van leerlingen te bekijken. Eén docent vindt het wel belangrijk dat "de uitgever goed luistert naar docenten en het aanbod daarop aanpast". Docenten die geen gebruik willen maken van dit scenario hebben verschillende redenen: er wordt op school geen methode gebruikt, de docent heeft er geen behoefte aan, de docent maakt al gebruik van Google en heeft geen behoefte aan een andere manier van zoeken. De docenten hebben verschillende suggesties voor verbetering, die ook iets zeggen over hun persoonlijke voorkeuren, te weten: 

 

  

4.3

Getal en Ruimte zou het zoekscenario anders kunnen inrichten (nu moet de docent nog te veel zelf doen): "dat ze op basis van een zoekopdracht op de achtergrond zelf die portals aflopen". Meer aanvullend materiaal voor overkoepelende onderwerpen, meer differentiatie, materiaal dat geprojecteerd kan worden met een beamer. Kruisbestuiving tussen methoden: als je een bepaalde methode gebruikt, wil je vinden wat andere methodes, bijvoorbeeld De Geo, over dat onderwerp doen. Je kunt de leerlingen dan extra opdrachten uit andere methoden geven. Een trefwoordenlijst bij elk hoofdstuk. "Als je hierop klikt, krijg je een aantal bronnen". Beter "taggen", zodat het gevonden leermateriaal past bij het onderwerp. Stoppen met het project. Er is geen nieuwe zoekmachine nodig. Zoeken via Google met een aantal extra filters volstaat.

Zoekscenario B: Zoeken op basis van vakinhoudspecificaties 4.3.1 Procedure Bij het Zoeken op basis van vakinhoudspecificaties maken docenten zelf gebruik van de vakkernen, subkernen en inhouden ontwikkeld door SLO. Voorwaarde daarvoor is dat zij deze ook begrijpen. Om dit te testen hebben de docenten in de Query Builder

40


een zoekopdracht gekregen: informatie zoeken over 'vormen en figuren‟ voor klas 13 van havo en vwo. Daarnaast kregen de docenten uit de panelsessie een demonstratie van de zoekportals Wikiwijs en Digischool en hebben docenten hier zelf mee kunnen oefenen aan de hand van gerichte opdrachten. De gerichte opdrachten waren nodig, omdat er nog maar voor een beperkt aantal vakinhouden leermateriaal gemetadateerd is volgens de nieuwe SLO-specificaties. 4.3.2 Begrijpelijkheid van de zoektermen De zoekopdracht in de Query Builder (informatie over vormen en figuren) is voor zes docenten goed verlopen. Zij konden de gezochte inhouden in één keer vinden en hadden geen moeite met de termen in de vakinhoudspecificaties. Drie docenten hadden moeite met de zoekopdracht. Zij konden de inhouden niet direct vinden en/of moesten "puzzelen" op de aan te vinken combinatie. Alle docenten begrepen wat er onder de kernen, subkernen en vakinhouden wordt verstaan. 4.3.3 Verwachtingen Voorafgaand aan het zoeken via de zoekportals hebben de docenten die deelnamen aan het panel gezegd wat zij daarvan verwachtten. Net als bij scenario A hebben ze verwachtingen ten aanzien van het soort leermateriaal, te weten:  materiaal ter ondersteuning van de theorie, o.a. applets, verduidelijkende filmpjes, animaties;  extra oefenopdrachten of verdiepende opdrachten, waarmee leerlingen zelfstandig kunnen werken;  interactief leermateriaal;  materiaal van een specifieke ontwikkelaar die bepaalde onderwerpen heeft uitgewerkt. Daarnaast verwachten ze bepaalde informatie over het materiaal te krijgen, zoals informatie over de doelgroep, het doel, de wijze waarop het materiaal gebruikt kan worden, differentiatiemogelijkheden, een algemene beschrijving). Een docente verwacht dat zij, dankzij het SLO-vocabulaire gerichter kan zoeken dan nu met Google, en ze verwacht dat ze geïnspireerd zal worden door wat ze vindt. Er zijn ook negatieve verwachtingen ten aanzien van het zoeken via portals: weinig verdieping, “weinig bronnen die voldoen aan mijn eisen”. Na afloop van het zoeken via dit scenario zegt één docente dat het scenario voldeed aan haar verwachtingen, bij twee docenten was dit gedeeltelijk het geval en bij één docente helemaal niet. 4.3.4 Zoeken op basis van vakinhoudspecificaties Naar de ervaringen van de docenten is gevraagd aan de hand van meerkeuzevragen waar telkens ook een toelichting bij kon worden gegeven. In deze paragraaf komen de vragen en de antwoorden van de docenten aan de orde, en wordt, waar mogelijk en relevant, ook hun toelichting weergegeven.

41


Hoe wenselijk vindt u het als u moet betalen voor aanvullend materiaal binnen de methode? (n=9) Wenselijk

1

(Zeer) onwenselijk 8 Hoe wenselijk vindt u het als u moet inloggen op een andere site om toegang te krijgen tot het aanvullend materiaal binnen de methode? (n=9) Wenselijk

1

(Zeer) onwenselijk

8

Hoe wenselijk vindt u het dat u als docent op basis van bepaalde inhouden naar leermateriaal kan zoeken? (n=9) (Zeer) wenselijk

9

Docenten voeren verschillende redenen aan waarom zoeken via vakinhoudspecificaties wenselijk is. Ze verwachten een beter aansluitend zoekresultaat en tijdsbesparing en vinden het belangrijk om op basis van inhoud naar leermateriaal te zoeken in aanvulling op de methode. Verder vinden ze het handig, leuk om te doen en overzichtelijk. Bovendien, zo vult één docent aan, dwingt het docenten om meer naar de inhoud te kijken en niet klakkeloos over te nemen. Hoe tevreden bent u over de snelheid van deze wijze van zoeken en vinden? (n=9) Tevreden

6

Niet tevreden

3

Redenen waarom docenten niet tevreden zijn: de snelheid van zoeken is afhankelijk van de snelheid van de internetverbinding, er is niets gevonden, of de indeling van de onderwerpen was niet direct duidelijk. Welke van de twee manieren van het opnemen van leermateriaal binnen de zoekportal spreekt u het meest aan? (n=9)

4.3.5

Digischool

3

Wikiwijs

3

Geen voorkeur

3

Vinden op basis van vakinhoudspecificaties: beoordeling van het zoekresultaat Nadat vragen zijn beantwoord over het zoeken, werd vervolgd met vragen over het zoekresultaat. Onderwerpen die aan bod komen zijn de wijze van presentatie van de resultaten en de beoordeling van de resultaten op kwaliteit en inpasbaarheid.

42


Vindt u de wijze van presentatie van de lijst met zoekresultaten inzichtelijk?




4

Wel in Digischool (door 9 docenten bekeken)

8

Wikiwijs wordt om verschillende redenen als niet inzichtelijk getypeerd. De ene docent vindt in Wikiwijs wel meer materiaal, maar krijgt geen duidelijk beeld van wat hij er mee kan. Dit beeld krijgt hij wel in Digischool, omdat daar beter gespecificeerd wordt wat de doelgroep is. De docent vindt het echter wel een nadeel dat je in Digischool alleen materiaal vindt van Digischool en niet uit andere bronnen. Een docent die beide werkwijze inzichtelijk vindt, vindt juist dat Digischool eerst een lijst met titels zou moeten presenteren en de details als optie zou moeten aanbieden. "Dat maakt de boel overzichtelijker". Een andere docent geeft aan het toch lastig te vinden om te zoeken op onderwerp. Deze docent heeft gezocht op 'kijklijnen" en niets gevonden, maar realiseert zich tegelijkertijd dat dit waarschijnlijk komt omdat de database nog onvolledig gevuld is. Het oordeel wordt dus beïnvloed door de functionaliteit van de proefopstelling. Krijgt u bij het zoeken binnen de zoekportal voldoende informatie over het leermateriaal om goed te kunnen beoordelen of u het in uw lessen kunt inpassen? Wel in Wikiwijs (door 9 docenten bekeken)

4


6

Drie docenten krijgen bij geen van beide zoekportals in de lijst met zoekresultaten voldoende informatie om goed te kunnen beoordelen of zij het gevonden materiaal kunnen inpassen in hun lessen. Eén van hen vindt de omschrijving van het gevonden materiaal te kort, de andere docente wil in één oogopslag kunnen inschatten of het inzetbaar is of niet. "Een plaatje zou misschien kunnen helpen". In Digischool staat volgens een docent juist een duidelijke omschrijving, waardoor de docent kan zien of het leerlingenmateriaal of docentenmateriaal is. "Dat helpt een stuk". Een andere docent krijgt in beide portals informatie over "wat leerlingen zullen leren", waardoor de docent sneller kan beoordelen of het geschikt is. Krijgt u bij het zoeken binnen de zoekportal voldoende informatie over het leermateriaal om de kwaliteit van het materiaal goed te kunnen beoordelen? Wel in Wikiwijs (door 9 docenten bekeken)

2


2


6

Docenten die vinden dat de kwaliteit niet voldoende beoordeeld kan worden met de beschikbare informatie voeren de volgende argumenten aan:  onvoldoende metadata, bijvoorbeeld de datum van productie en de context;  geen beoordeling van de kwaliteit (bijvoorbeeld een ster en toelichtende tekst);  het materiaal is van onvoldoende kwaliteit. De docent mist een "zeef".  onvoldoende tijd om het materiaal zelf goed te kunnen bekijken en beoordelen.

43


Een docent vindt het prettig dat in Digischool een beoordeling van het materiaal gegeven wordt door middel van sterren. Wat vindt u van de inhoud van het gevonden materiaal bij het onderwerp waarop u gezocht hebt? (n=9) De inhoud van het resultaat sluit precies aan bij wat ik had verwacht

1


3


1


4

Vindt u dat u voldoende materiaal gevonden heeft?

4.3.6


4


4


5

Toekomstig gebruik en aanbevelingen Na het oefenen met de scenario‟s is docenten gevraagd te reflecteren op wat ze hebben gedaan en gezien. Gevraagd is naar hun voornemen om dit scenario in de toekomst te gaan gebruiken en naar aanbevelingen. Denkt u dat u dit scenario (zoeken vanuit een zoekportaal) in de toekomst voor uw eigen zoekbehoeften gaat gebruiken? (n=9) Ja, zeker

4


3

Nee 2 Een docent wil nog gerichter kunnen zoeken, naar het doel van het materiaal (voor leerlingen of voor docenten), de andere docent wil een duidelijker beschrijving van het gevonden materiaal. De overige docenten willen toegankelijkheid en gebruiksvriendelijkheid. Docenten die dit scenario niet zullen gaan gebruiken, doen dit omdat ze ofwel geen aanvullend materiaal zoeken, ofwel omdat al in de zoekbehoefte wordt voorzien (met internet en Google). Tot slot is docenten gevraagd naar suggesties voor verbetering van dit scenario. De meeste suggesties voor verbetering zijn eerder al aan de orde geweest. De voornaamste suggestie betreft meer informatie om de kwaliteit van het leermateriaal te kunnen beoordelen. Een nieuwe suggestie luidt dat er geen nieuwe zoekmachine nodig is. Google volstaat, zeker als het voorzien wordt van filters waardoor educatieve content sneller gevonden wordt.

44

4.4


Scenario A vs. Scenario B: meningen van docenten7 Na afloop van het oefenen met beide zoekscenario's is hierover gediscussieerd met de groep docenten. Onderwerpen van discussie waren:  Wat is je voorkeursscenario?  Welke verwachtingen zijn wel/niet uitgekomen? Wat mis je?  Wat zijn belangrijke verbeterpunten? 4.4.1 Voorkeuren De docenten hebben voorkeur voor verschillende scenario's. Die voorkeur is mede afhankelijk van hun doel en/of hun werkwijze. Eén docente opteert voor beide scenario's. Het zoeken vanuit de methode vindt ze praktisch en snel. Scenario B is uitdagender en biedt meer vrijheid: "het nodigt uit verder te gaan en niet zo vast te houden aan de onderwerpen van het boek". Echter, zij vindt de resultaten bij dit scenario soms teleurstellend (slecht bruikbaar materiaal) en vraagt zich af wat dan de meerwaarde is ten opzichte van het zoeken via Google. Eén docente kiest voor scenario B. Op haar school wordt er thematisch gewerkt (niet vanuit een methode) en dan valt de keuze automatisch op dit scenario. Het voordeel van dit scenario ten opzichte van Google is volgens haar dat er "al een zeef doorheen wordt gehaald" en dat je eerder bruikbaar leermateriaal vindt. Aan de andere kant kun je in Google soms ook inspirerend materiaal vinden, dat hier nu niet getoond wordt. Twee docenten geven de voorkeur aan scenario A. De ene docente vindt het zoeken via de methode gemakkelijker. Zij vindt het wel belangrijk dat zij dan hetzelfde zoekresultaat krijgt als wanneer ze via scenario B zou zoeken. Bij scenario B heeft ze geconstateerd dat er materiaal van het Barlaeus Gymnasium werd getoond en dat was bij scenario A niet zo. Dat betreurt ze. Hoewel ze de voorkeur geeft aan scenario A, vindt ze het wel lastig dat ze eerst de bronnen, waarin ze kan zoeken, moet selecteren. Ze wil liever zoeken op vakinhoud en alle bronnen zien. Deze docente vindt het prettig dat ze het door haar geselecteerde materiaal binnen de methode kan plaatsen. Ze vraagt zich wel af wat er gebeurt als er na een paar jaar weer een nieuwe methode gekozen wordt. Raak je het materiaal dan kwijt? De tweede docente kies voor methode A omdat het zoekresultaat aansluit bij de pagina uit het boek. 4.4.2 Verwachtingen De verwachtingen van de docenten waren gedeeltelijk of niet uitgekomen. Ze hebben hierbij de volgende toelichting gegeven: 

7

De docenten willen materiaal waarmee ze kunnen differentiëren (verdiepend materiaal voor sterke leerlingen, extra oefenmateriaal voor zwakke leerlingen),

De discussies tijdens de extra sessies zijn niet in dit hoofdstuk meegenomen, maar in een apart hoofdstuk (5). Reden hiervoor is dat in deze sessies docenten Wiskunde en Aardrijkskunde gezamenlijk deelnamen en uit de geluidsopnamen het onderscheid niet kan worden opgemaakt.


45

praktische opdrachten voor leerlingen, applets, materiaal om de theorie op een andere manier uit te leggen. Dit hebben ze nu niet voldoende aangetroffen. Deels zijn deze verwachtingen niet uitgekomen, omdat ten behoeve van de proefopstelling nog betrekkelijk weinig materiaal gemetadateerd is. De aanwezige uitgever verzekert de docenten dat dit materiaal er zeker in zal komen. 









Een verwachting die wel is uitgekomen, is dat het zoeken sneller verloopt. Echter, de docenten vinden niet altijd wat ze zochten en dat is dan weer teleurstellend. De docenten verwachten in scenario A (zoeken via de methode) meer informatie over het leermateriaal. De informatie die ze missen is: voor wie (docent of leerling), leerdoelen, studielast, tijdsduur, soort materiaal (oefenen, verdieping, verheldering, differentiëren, verrijking), formaat / soort, wanneer geüpload. Een docente verwachte bij het zoeken binnen de methode (A) hetzelfde resultaat te vinden als bij het zoeken via het portal. De docente heeft er problemen mee dat de uitgever bepaalde bronnen niet heeft geselecteerd, met als gevolg dat ze bij scenario B het leermateriaal vindt, dat ze wilde aantreffen in de methode maar niet vond. Een andere docente vindt de selectie van bronnen door de uitgever juist prettig. Zij gaat er van uit dat de uitgever de belangrijkste bronnen selecteert. Een pluspunt is de rating binnen Digischool, maar er zou iets meer informatie gegeven moeten worden dan alleen sterren. Het zou vergelijkbaar moeten zijn met de reviews die je krijgt als je een hotel boekt. Een pluspunt van scenario A is dat het aanvullend leermateriaal direct gekoppeld is aan de betreffende pagina.

4.4.3 Verbeterpunten De docenten noemen de volgende verbeterpunten:  



Bij scenario A een optie inbouwen dat je alle bronnen in één keer kunt zien en niet elke bron apart moet aanvinken. Meer metadata (bij scenario A en B). De belangrijkste metadata zijn: soort materiaal (ter ondersteuning van de uitleg van de theorie of oefenmateriaal voor de leerling), verdiepend / remediërend, voor wie is het bestemd en voor welk moment. Toevoegen van (Engelse) bronnen bij scenario B, zoals Hot Potatoes.


5

47

Resultaten discussie extra sessies

De discussie die heeft plaatsgevonden in beide extra sessies (zoals is toegelicht in hoofdstuk 2) is hieronder apart weergegeven. Dit is gedaan omdat in de discussie zowel docenten Aardrijkskunde en Wiskunde gezamenlijk participeerden. Uit de eerste discussie komt het volgende naar voren: 











Ook hier is er de wens dat de uitgever controle houdt op de kwaliteit van het extra leermateriaal. De inbreng van docenten is belangrijk, maar "het is heel veel troep". Leraren zouden niet zelf materiaal moeten uploaden, maar via de uitgever. "Je mailt je leermateriaal naar iemand, die het vervolgens beoordeelt op bruikbaarheid voor de rest van Nederland". De uitgever zou dan een soort kwaliteitskeurmerk geven aan door docenten ontwikkeld leermateriaal, omdat "de uitgever natuurlijk alleen verantwoorde dingen op zijn site wil zetten". Twee docenten vinden het overzicht met kernen en subkernen van Digischool prettig, vanwege de korte zoektermen die ze kunnen aanklikken. "Anders zoek je je wezenloos". Eén docent vergelijkt het zoeken op trefwoorden met het zoeken via zoektermen. Bij trefwoorden krijgt hij een te lange lijst en bij zoektermen (SLO-vocabulaire) is de lijst veel te kort. Eén docent vraagt zich af waarom er eigenlijk een nieuwe zoekmachine wordt gebouwd. Zou het niet beter zijn wanneer iedereen zoekt via Google en er in Google een aantal goede filters wordt ingebouwd, zodat de lijst met resultaten ingeperkt kan worden. Het uiteindelijk doel moet zijn: "het terugdringen van het aanbod tot wat echt goed is". Eén docent is ontevreden over de kwaliteit bij beide zoekscenario's, omdat hij het zoekresultaat opdrachten (o.a. opdracht over chocolade) bevat die niet over het thema (vulkanisme) gaan. Hij zou willen dat er een vorm van controle is op de informatie (metadata) die wordt toegevoegd door docenten. De overheid zou hiervoor moeten zorgen. Een docent suggereert dat je dit ook kunt laten doen door de "crowd'. Zij kunnen er voor zorgen dat bepaalde hits onderaan de lijst komen te staan. De gebruikersfeedback (sterretjes) in Digischool wordt door sommige docenten als positief beoordeeld. Eén docent hecht weinig waarde aan de sterretjes, omdat hij zelf nooit een beoordeling invult. Een vorm van kwaliteitsoordeel wordt belangrijk gevonden, omdat de "hele database waardeloos wordt als er troep in gaat zitten". Sommige fora laten een oordeel 'wel of niet bruikbaar' geven in plaats van één tot vijf sterren. In deze eerste extra sessie hebben twee docenten aangegeven voor welk scenario ze een voorkeur hebben. Eén docent geeft de voorkeur aan scenario B, op voorwaarde dat het goed en duidelijk is ingedeeld en de termen die gebruikt worden heel breed zijn en niet zoals nu. "Er stonden vier kopjes met het onderwerp 'water', terwijl alle andere onderwerpen verwaarloosd werden". De tweede

48


docent vindt beide manieren goed. Voorop staat dat het aantal handelingen dat je moet verrichten zo laag mogelijk is. De laagdrempeligheid en het gebruiksgemak zijn het belangrijkst bij vinden en zoeken. De discussie in de tweede sessie levert de volgende punten: 









Enkele docenten hebben een voorkeur voor het zoeken via vakinhouden. Ze hebben het gevoel dat ze dan een breder resultaat krijgen of een grotere kans hebben om iets te vinden dan wanneer ze via de methode zoeken. Het zoeken via Digischool wordt door één docent prettiger gevonden dan via Wikiwijs. Er zijn ook docenten die juist het zoeken vanuit de methode handiger vinden, omdat het direct duidelijk is voor welk niveau het materiaal bestemd is en omdat het goed past bij het onderwerp. Voorwaarde is wel dat er voldoende materiaal is en dat het goed aansluit bij het onderwerp. Goede dekking is belangrijk, "want als je zoekt en het kost te veel tijd, dan word je er moe van en denk je dat je het beter zelf uit je mouw kunt schudden". De docenten Wiskunde geven aan dat zij nauwelijks gebruik maken van aanvullend leermateriaal, omdat de leerlingen er toch niet naar kijken, omdat de leerlingen toch al overbelast zijn, omdat er al voldoende materiaal in de methode zit of omdat het materiaal niet geschikt wordt bevonden. De docenten zoeken weinig naar aanvullend leermateriaal op het internet. Zo zijn ze nog nooit op de site van het Freudenthal Instituut geweest. Ook een van de docenten Aardrijkskunde geeft aan dat leerlingen niet naar een website gaan als de docent zegt dat daar aanvullend leermateriaal op staat. Ook in deze sessie zit een docent die twijfelt aan het nut van deze nieuwe manieren van zoeken ten opzichte van Google. Hij beoordeelt de nieuwe manieren als "omslachtig" en stelt dat je via Google ook veel goed materiaal kunt vinden. Hij denkt dat wanneer Google het zoeken naar educatief materiaal verbetert, Kennisnet de slag altijd verliest. Een van de docenten zou willen dat er iemand op school wordt aangesteld, die leermateriaal specifiek voor de (Montessori) school zoekt en dat “in een database” zet. "Want als je hele lijsten krijgt, ga je het niet allemaal bekijken".

De docenten doen de volgende suggesties voor de verbetering van de scenario's:   

Een betere omschrijving van de inhoud van de opdracht, bijvoorbeeld tijdsaanduiding, vakdidactische informatie, wat je er mee kunt. Sommige docenten zien het voordeel van een kwaliteitsaanduiding (sterretjes), anderen echter helemaal niet. Zij vinden dat het niets zegt. Niet alleen via de methode zoeken, maar ook op trefwoorden.


6

49

Gebruikservaringen van contentaanbieders en portalinrichters

Om zicht te krijgen op de ervaringen met het werken met het nieuwe SLOvocabulaire voor de betreffende vakken (Aardrijkskunde en Wiskunde) is gesproken met 14 contentaanbieders en portalinrichters, die een rol spelen binnen de proeftuin leermiddelenmix vo. Er is gesproken met de volgende partijen: Digischool, Wolters Noordhof, VO Content, Schooltv Beeldbank, Wikiwijs, Les 2.0, Studio VO, Math United, Freudenthal Instituut, Codename Future, Wikiwijs, ThiemeMeulenhoff. De semigestructureerde interviews zijn gevoerd aan de hand van een vragenlijst. De volgende onderwerpen zijn daarbij aan de orde geweest:   

6.1

Redenen voor gebruik scenario A of B; Werkwijze bij implementatie van scenario A of B en ervaringen hiermee; Ervaringen met het gebruik van SLO-vocabulaire.

Gebruik van scenario A De uitgevers van Getal en Ruimte (Noordhoff), De Geo (Thieme Meulenhoff) en Codename Future participeren in de proeftuin leermiddelenmix VO en hebben op basis van het nieuwe SLO-vocabulaire aanvullend leermateriaal opgenomen in hun methode. 6.1.1 Redenen Eén van de uitgevers noemt een duidelijke strategische reden om het zoeken via de methode mogelijk te maken. Deze uitgever wil docenten de ruimte wil bieden om materiaal uit andere bronnen of door docenten ontwikkeld materiaal toe te voegen aan de methode. Belangrijk is dat dit materiaal vrij toegankelijk is en dat docenten maar één keer hoeven in te loggen om het materiaal te vinden. Een andere uitgever is van mening dat veel docenten een gedegen leerlijn willen, omdat zij niet de tijd en capaciteit hebben om zelf een volledige leerlijn te ontwerpen. Docenten willen echter wel eens een uitstapje maken. Het zoeken via de methode maakt het mogelijk dat docenten op één plek van veel partijen materiaal kunnen vinden. Een uitgever neemt deel aan de proeftuin, omdat deze uitgever het belangrijk vindt om passende leermiddelen te zoeken voor het onderwijs.

50


6.1.2 Werkwijze en ervaringen Een van de uitgevers is vertrokken vanuit een visie (zie hierboven) en heeft een daarbij passend functioneel ontwerp gemaakt, dat intern besproken is en waarvan vervolgens een 'mock up' gemaakt is. Als uit voorliggend onderzoek blijkt dat dit positief ontvangen wordt, zal de uitgever dit implementeren binnen de methode. Deze uitgever heeft er voor gekozen dat de docenten binnen de methode het aanvullend materiaal kunnen zoeken en dit, binnen de digitale methode, zelf kunnen toevoegen aan de methode en zo toegankelijk kunnen maken voor de leerlingen. De uitgever stelt dat de docent zelf verantwoordelijk is voor het beoordelen van de kwaliteit van het gevonden materiaal. De enige regie die de uitgever toepast is de selectie van bepaalde broncollecties. "Als docenten aanvullend materiaal zoeken en via de methodesite vindbaar maken, gaan we er vanuit dat docenten professioneel zijn en de kwaliteit van deze materialen zelf bewaken. Kortom: we zorgen voor de methode, we bieden faciliteiten aan, maar we kijken niet naar de inhoudelijke kwaliteit van het materiaal, wel bieden we materiaal uit broncollecties waarvan we weten dat ze goed zijn". De drie uitgevers hebben een bewuste keuze gemaakt voor de plaats waar docenten het aanvullend leermateriaal binnen de methode kunnen vinden. Deze wordt ingegeven door de opbouw van de methode. Bij twee uitgevers is gekozen voor een plaats waar ook het leermateriaal van de methode staat. Afhankelijk van de methode is dit een paragraaf of een les. Eén uitgever heeft gekozen voor één plaats binnen de afzonderlijke delen van de methode (bijvoorbeeld havo deel 1) waar docenten aanvullend leermateriaal kunnen vinden, dat zij vervolgens aan de theorie/bronnen voor die methode kunnen toevoegen. Bij deze uitgever kunnen docenten zelf een aantal bronnen selecteren waarbinnen ze kunnen zoeken. De uitgever heeft een beperkt aantal bronnen opgenomen in de methode. Bij de andere uitgevers is die selectie door de uitgever zelf gemaakt en maakt deze deel uit van de ingebouwde query. Overigens geeft een van deze uitgevers aan dat er vrijwel geen selectie op de bronnen is toegepast, omdat "er anders helemaal niets meer uitkwam". Deze uitgever heeft ook de materialen van afzonderlijke scholen weggelaten, omdat "leermateriaal in hun ELO toch niet vrij toegankelijk is" of omdat de uitgever weet dat deze scholen geen materiaal "in de database hebben aangele8 verd" . De derde uitgever heeft op een heel andere wijze gewerkt. Deze uitgever heeft weliswaar gebruik gemaakt van de Query Builder, maar heeft veel meer een 'trial and error' methode gebruikt. De uitgever heeft verschillende kernen, subkernen en vakinhouden aangekruist en gekeken welk materiaal daaruit kwam. De uitgever was op zoek naar de beste match. De uitgever wil bepaald materiaal terug zien in het zoekresultaat. Als dit materiaal geen deel uitmaakt van het zoekresultaat, kruist de uitgever andere kernen, subkernen of vakinhouden aan. Resultaat is dat er vooral op kernen geselecteerd is (om toch vooral bepaald materiaal mee te kunnen nemen),

8

In dit geval klopt deze waarneming niet want het wiskundemateriaal van het Barlaeusgymnasium en Dalton Voorburg is voor alle docenten direct en zonder toegangscodes beschikbaar. Dit materiaal is buiten de ELO van de school opgeslagen in Wikiwijs en daar voorzien van de juiste (Vakspecificatie-) metadata zodat het in alle proefopstellingen (en de Query Builder) vindbaar is geworden.


51

terwijl het beter zou zijn om op subkernen te selecteren. Deze uitgever heeft geen selectie op bronnen toegepast, omdat daarmee materiaal verloren zou gaan. Een keuze voor het al dan niet selecteren van bronnen wordt ingegeven door de kwaliteit, de beschikbaarheid en de toegankelijkheid van leermateriaal in die bronnen. Eén van de uitgevers heeft geen zicht op de wijze waarop de query is samengesteld. Een andere uitgever heeft een lijst samengesteld met thema's die in paragrafen voorkomen en onderwerpen die in de query moesten worden geïmplementeerd. Voor deze onderwerpen zijn vervolgens met behulp van de Query Builder links aangemaakt die geplaatst zijn in de bijbehorende paragrafen van het boek in de community. Twee uitgevers vinden de Query Builder gebruiksvriendelijk, één uitgever niet. Ten aanzien van het werken met de Query Builder zijn de volgende opmerkingen gemaakt:  Het maken van links met de Query Builder werkt prima.  Als je voor een link verschillende onderwerpen of thema's wilt aanvinken, zie je de vinkjes van eerder geselecteerde onderwerpen niet meer. Dat is lastig.  Het zoekresultaat matcht niet helemaal, de resultaten zijn te breed. (Dit is opgemerkt door de uitgever die er voor gekozen heeft alleen te selecteren op kernen).  De lijst met zoekresultaten kan uitgebreid worden met meer metadata, zoals wat het is en wanneer het materiaal geplaatst is.  De filters zijn op zich goed, maar gaan soms te diep waardoor er geen leermateriaal gevonden wordt. De drie uitgevers hebben nog niet nagedacht over het onderhoud van de query's. Een van de uitgevers is wel van mening dat het goed zou zijn om dit in de toekomst wel te doen, "om te kijken of alles nog wel goed matcht".

6.2

Gebruik van scenario B Met de portalinrichters en/of contentaanbieders van Wikiwijs, Digischool, Schooltvbeeldbank en VO Content is gesproken over het gebruik van scenario B. We gaan in op de redenen van deze partijen om dit scenario te gebruiken en op de door hen gehanteerde werkwijze en hun ervaringen daarmee. 6.2.1 Redenen Er zijn verschillende redenen genoemd om te experimenteren met scenario B, te weten:  De portalinrichter / contentaanbieder wil gebruik maken van de metadatastandaard, omdat deze aansluit bij / een mogelijk antwoord biedt op de eigen zoektocht naar een betere metadatastandaard, omdat het belangrijk is dat er gebruik wordt gemaakt van een standaard of omdat het verplicht is om te metadateren.

52

  


De portalinrichter / contentaanbieder wil dat het ontwikkelde materiaal gebruikt wordt en/of dat het vindbaar is. Metadatering draagt hieraan bij. De portalinrichter / contentaanbieder vindt het belangrijk dat docenten en leerlingen materiaal kunnen vinden op het niveau van vakinhouden. Behoefte aan feedback van docenten op de werkwijze (o.a. de metadatastandaard). Deze feedback wordt verkregen door middel van het onderzoek.

6.2.2 Werkwijze en ervaringen Bij het bespreken van de werkwijze en ervaringen maken we onderscheid tussen het inrichten van een portal en het aanbieden van content. Inrichten van een portal Twee portalinrichters hebben de zoekfunctie voor het nieuwe SLO-vocabulaire nog niet volledig ingebouwd in hun portal. De portalinrichters hebben ten behoeve van de proeftuin leermiddelenmix het zoeken met behulp van het SLO-vocabulaire wel mogelijk gemaakt via een zoekpagina met de zoektermen uit de vakspecificaties (Digischool zoeken vanuit het “begrippenkader”). Een van hen geeft aan hierbij gebruik te hebben gemaakt van de Query Builder. "Er zijn handmatig zoekopdrachten geformuleerd, die vervolgens aan de zoektermen in het zoekportaal zijn gehangen". Beide portalinrichters zijn benieuwd naar de uitkomsten van het onderzoek. Een van hen stelt dat dit mede richting zal geven aan besluitvorming met betrekking tot het inbouwen van een zoekfunctie via het SLO-vocabulaire in de portal. Overigens is een van hen bang dat docenten teleurgesteld zullen zijn, omdat er nog weinig leermateriaal gemetadateerd is. "Er is een grote kans dat je niets vindt". Beide portalinrichters vinden dat ze te weinig tijd hadden om het vocabulaire aan de zoekkant in te bouwen. De vocabulaires kwamen te laat beschikbaar en/of de communicatie schoot te kort. Aanbieden van content De contentaanbieders hebben zich uitgesproken over het metadateren met behulp van het SLO-vocabulaire. Bij één van de contentaanbieders hebben de collectieaanbieders de nieuwe metadata toegevoegd aan de bestaande set van metadata. Twee contentaanbieders vonden het metadateren soepel en/of gemakkelijk verlopen. Het is niet altijd duidelijk geworden welke werkwijzen gehanteerd zijn bij het metadateren. Een werkwijze die vaker genoemd is, houdt in dat er in de database gezocht is naar passend materiaal en dat hieraan vervolgens de nieuwe metadatering gehangen is. Bij het metadateren is soms gebruik gemaakt van Metaplus. Een van de contentaanbieders heeft juist geadviseerd geen gebruik te maken van Metaplus (hoewel dit prettig werkt), omdat het leidde tot "dubbele records", wat verwarrend is voor docenten. Een van de metadateerders stelt dat hij te weinig informatie had om te metadateren. Hij had graag annotaties gehad. "Je moet over flinke vakkennis beschikken om het nieuwe vocabulaire


53

te hanteren". Deze metadateerder had dit niet. Een andere metadateerder vindt het onderscheid tussen subkern en vakinhoud "lastig". "Soms is de subkern de vakinhoud en andersom. Ik heb steeds op subkern niveau een vinkje gegeven. Als je dan op vakinhoud zoekt, vindt je die informatie niet". Een derde metadateerder heeft soms problemen met de interpretatie van een subkern. Hij vindt het lastig om bepaald leermateriaal aan één subkern te koppelen en kiest er dan voor om het bij twee subkernen onder te brengen. Een andere aanbieder heeft zich beziggehouden met het metadateren van grotere leseenheden (bijvoorbeeld 8 uur leermateriaal, waarin verschillende kerndoelen worden behandeld). Dit is niet lastig om te metadateren, want "je hangt er gewoon verschillende metadata aan", maar "het is jammer voor docenten die voor 8 lesuren materiaal zoeken, want zij krijgen materiaal dat maar voor een gedeelte past". Het metadateren van leermateriaal wordt door verschillende aanbieders als tijdrovend ervaren. Dit hangt onder meer samen met de granulariteit. Een van hen geeft aan dat het gebruik van het nieuwe SLO-vocabulaire alleen kan slagen als al het oude materiaal in de database opnieuw gemetadateerd wordt. Daar kleeft volgens een andere contentaanbieder wel een risico aan. Er wordt nu bij elke proeftuin gemetadateerd, "omdat er geld voor beschikbaar is, maar daarna gebeurt er niets meer". Dit is overigens maar in zeer beperkte mate gedaan, het meeste metadateerwerk is door de partijen zelf uitgevoerd (en betaald). Vooral docenten zijn volgens deze contentaanbieder weinig geneigd om het door hen ontwikkelde leermateriaal te metadateren. Deze aanbieder pleit er voor om andere partijen het leermateriaal te laten metadateren. "De mensen die gewend zijn om met een structuur te werken zien het belang van metadateren wel. Maar die worden er ook gewoon voor betaald. Voor docenten is dat niet zo logisch om te doen". Deze aanbieder geeft aan samen met Metaplus en SLO bezig te zijn met de ontwikkeling van een begrippenkader (soort kernset van vocabulaires). Dit begrippenkader moet het mogelijk maken om veel gemakkelijker nieuwe vocabulaires toe te voegen. "Het begrippenkader is een soort kernset van vocabulaires, de rest moet daar op aanhaken. Je hebt ene kernbegrip, maar of je nu zoekt op term a, b of c, je spreekt af dat je eigenlijk naar hetzelfde begrip zoekt. Je maakt dan een soort mapping tussen de verschillende vocabulaires, waarbij de kernset gelijk blijft." Een andere contentaanbieder spreekt zich ook uit voor 'mapping'. Een ander punt van aandacht betreft het feit dat er met het nieuwe SLO-vocabulaire "zeer" specifiek gemetadateerd wordt. Het risico daarvan is volgens twee aanbieders dat het ontwikkelde materiaal niet gevonden wordt. De uitdaging is dan ook om voldoende metadata op te nemen, "zodat het materiaal bij een treffer ook gevonden wordt". Een andere aanbieder wijst juist op het risico van "hoge granulariteit". Als de granulariteit te hoog is, dan is het moeilijker voor docenten om te vinden wat ze zoeken. Een contentaanbieder heeft alleen de content van een andere aanbieder (VOcontent) gebruikt in de proefopstelling. Deze aanbieder heeft lang gewacht op de vocabulaires en had onvoldoende tijd om het eigen materiaal te metadateren. De aanbieder ziet dit als een gemiste kans. "Juist de verbinding maken tussen gesloten en

54


open content en zorgen dat je op de juiste wijze open content kan gebruiken, moet nog veel meer gaan leven onder gebruikers, om te kijken hoe het werkt, waar ze tegenaan lopen. Het is goed om daarvoor contact met docenten te hebben."

6.3

Ervaringen met het gebruik van het SLO-vocabulaire Begrijpelijkheid SLO-vocabulaire De meningen over het SLO-vocabulaire zijn verdeeld. Een aantal contentaanbieders vindt de indeling duidelijk of goed en het begrippenkader helder. Dit geldt echter niet voor iedereen. Er zijn verschillende kritische geluiden over de indeling, te weten:  Sommige vakinhouden, subkernen en kernen zou je moeten opsplitsen of samenvoegen. Daar is nog discussie over nodig.  Er is nog onvoldoende nagedacht over het derde niveau (vakinhouden). Er lopen te veel dingen door elkaar heen. De partij die dit punt van kritiek inbrengt, heeft het derde niveau niet gebruikt bij het metadateren en pleit er voor om een deel van het leerobject met een samenvatting te omschrijven. Dit maakt het, net als in Google, mogelijk om in vrije teksten te zoeken.  Het begrippenkader voor 'onderbouw rekenen' matcht niet met het referentiekader voor rekenen. Tot slot wordt door een van de respondenten opgemerkt, dat de onderwijskundige gedachte achter het nieuwe SLO-vocabulaire "goed en verantwoord is", maar dat men vooral benieuwd is of dit in de praktijk de manier is waarop docenten materiaal zoeken. Volledigheid SLO-vocabulaire / filters De meeste contentaanbieders vinden dat er geen overbodige vakinhoud in het SLOvocabulaire staat. Een aantal contentaanbieders mist wel iets. Wat ze missen varieert, te weten:      

vakoverstijgende onderwerpen; een vrije abstract; doel en soort leermateriaal; onderscheid naar havo en vwo; informatie over type onderwijs en leerstijl; bij aardrijkskunde de vakvaardigheden (o.a. kaart- en atlasvaardigheden).

Deels betreft het type vakinhoud (vakoverstijgende onderwerpen), deels betreft het aanvullende informatie over het leerobject. Een van de aanbieders vindt "bron" geen belangrijk filter. In elk geval niet zo belangrijk dat het als eerste filter binnen de Query Builder staat.


55

Meerwaarde SLO-vocabulaire Een aantal aanbieders vindt dat het SLO-vocabulaire meerwaarde heeft, omdat:   

het goed is dat er een standaard is; de standaard meer verdiepende informatie geeft dan de huidige standaard; de "precision" (de kans dat je de goede dingen vindt) wordt hoger doordat je vakinhouden aan metadata toevoegt. Met het bronfilter kun je aangeven dat je maar een bepaalde collectie wilt zien.

Ze plaatsen daarbij echter ook kanttekeningen. De standaard moet voor elk vak en leerniveau worden ingevoerd en dan moeten er nog veel nieuwe vocabulaires gemaakt worden. "Omdat het er zo veel zijn ben je continu iets nieuws aan het implementeren". Andere aanbieders betwijfelen of het SLO-vocabulaire meerwaarde heeft of vinden het nog te vroeg om een oordeel te hebben over de meerwaarde van het SLOvocabulaire. Onder hen bevinden zich aanbieders die denken dat het vooral de docenten zijn die bepalen of het nieuwe SLO-vocabulaire meerwaarde heeft. Zij willen weten of dit vocabulaire aansluit bij de wijze waarop docenten zoeken en hoe docenten er in de praktijk gebruik van maken. Een van de aanbieders stelt dat er te veel vanuit de technologie gedacht wordt en dat nooit getracht is om na te gaan wat de docent er aan heeft. "Als docent vind je nooit wat je zoekt. De docenten voor wie we een toegevoegde waarde hebben vormen een steeds kleinere groep".


7

57

Conclusies en aanbevelingen

In dit laatste hoofdstuk blikken we terug op de resultaten zoals die in de vorige hoofdstukken staan beschreven. We laten daarbij de onderzoeksvragen zoals die in hoofdstuk 1 zijn geïntroduceerd de revue passeren. Gestart wordt echter met enkele kanttekeningen bij het onderzoek, die de context schetsen waarin de conclusies moeten worden geplaatst.

7.1

Kanttekeningen bij het onderzoek De evaluatie van de proeftuinen leermiddelenmix VO is uitgevoerd in een beperkte setting. Er is onderzoek gedaan naar proeftuinen voor de vakken Aardrijkskunde en Wiskunde waarbij voor een beperkt aantal vakinhouden leermateriaal vindbaar is gemaakt . Daarnaast heeft een beperkt aantal docenten hiermee kort ervaring opgedaan en een mening gegeven. Dit heeft gevolgen voor de soort conclusies en de hardheid en generaliseerbaarheid van de conclusies, te weten: 



Als gevolg van de beperkt hoeveelheid vindbaar leermateriaal is het nog te vroeg om een goed oordeel te kunnen vellen over de inpasbaarheid en de kwaliteit van het materiaal en over hoeveelheid gevonden materiaal en de aansluiting daarvan bij de zoekvraag. Reden daarvoor is dat de docenten een voorgestructureerde zoekvraag hebben gekregen en niet gewerkt hebben aan de hand van eigen zoekvragen. Bovendien hadden zij geen tijd om de zoekresultaten op inpasbaarheid, kwaliteit en inhoudelijke aansluiting te beoordelen. De docenten hebben hun antwoorden gebaseerd op een eerste en beperkte implementatie van de zoekscenario's en de vraag is of hun antwoorden generaliseerbaar zijn naar andere implementaties van diezelfde scenario's, naar andere manieren van zoeken en vinden en naar andere vakken (bijvoorbeeld geschiedenis of Nederlands).

De proeftuinen bevinden zich op een aantal punten nog te veel in het "proefstadium", waardoor het nog te vroeg is om harde conclusies te trekken. Wel is er door middel van het onderzoek een aantal relevante en waardevolle meningen opgetekend, die richting kunnen geven aan een verdere inrichting van de proeftuinen. De kleine groep docenten die heeft deelgenomen aan de panelsessies laat een diversiteit van meningen zien. Het onderzoek biedt weliswaar geen informatie over "de grote gemene deler", maar het is zeer de vraag of je ooit een grote gemene deler gaat vinden, omdat er nu eenmaal verschillende typen docenten zijn en dé docent niet bestaat. Tot slot zal er vervolgonderzoek nodig zijn om meer informatie te verkrijgen over deze scenario's. In dit vervolgonderzoek is voorzien.

58

7.2


Bruikbaarheid van de scenario’s A en B Vraag: Zijn de twee zoekscenario‟s bruikbaar voor docenten en leveren ze voldoende op? Het gaat er hierbij onder andere om of docenten vinden dat ze relevante leermaterialen kunnen vinden en of die ook inpasbaar zijn in de les. De meeste docenten waarderen het zoeken via de methode (scenario A). Ze waarderen vooral het krijgen van een snel en afgebakend zoekresultaat. Docenten waarderen het gemak en de tijdwinst van zoeken vanuit de methode. Docenten koesteren verwachtingen ten aanzien van de kwaliteit en inpasbaarheid van het gevonden leermateriaal. Er is zelfs een docent die denkt dat er bij de uitgever "een mannetje" zit die alles beoordeelt. Het is voor sommige docenten lastig te bevatten dat zoeken via de methode in principe dezelfde zoekresultaten kan opleveren als zoeken via doelen en inhouden (scenario B) als dezelfde zoeksleutels worden aangekruist. De meeste docenten waarderen eveneens het zoeken via de vakinhouden (scenario B) omdat ze snel een resultaat krijgen dat is toegespitst op de inhoud. Ze vergelijken dit onder meer met zoeken via Google, waar de lijst met zoekresultaten lang is en veel niet relevante resultaten bevat. Een deel van de docenten geeft aan niet tevreden te zijn over de snelheid van zoeken en vinden binnen scenario B. De argumenten die ze noemen hebben enerzijds betrekking op de snelheid (trage internetverbinding) en de toegankelijkheid (lastig om toegang te krijgen) en anderzijds op het zoekresultaat (te breed, te smal, onvoldoende). Voor beide scenario's geldt dat de lijst met zoekresultaten volgens de meeste docenten onvoldoende informatie bevat om het zoekresultaat te beoordelen op kwaliteit en inpasbaarheid. Er is bij docenten behoefte aan ontsluiting van extra metadata. Inpasbaarheid willen ze snel kunnen beoordelen met informatie over de doelgroep van het materiaal (voor docent of leerling), het type opdracht (verrijkend, verdiepend, remediërend), de vorm (bijv. beeldmateriaal, applicaties, teksten), de tijdsduur. Kwaliteit willen ze kunnen bepalen op basis van beoordelingen van anderen bestaande uit „sterren‟, aangevuld met recensies (vergelijk met sites om hotels te boeken). Een meerderheid van de docenten (76%) geeft aan dat zij scenario A in de toekomst willen gebruiken. Een groot deel van hen verbindt daar wel voorwaarden aan, te weten: laagdrempelige toegang, meer metadata in de lijst met zoekresultaten en verschillende typen leermateriaal. Een meerderheid van de docenten (82%) geeft aan in de toekomst gebruik te willen maken van scenario B. Een aantal verbindt hier voorwaarden aan, te weten: toegankelijkheid, meer metadata en kwaliteit. Voor beide scenario's geldt dat docenten het belangrijk vinden dat het aanvullend materiaal gratis is en dat zij niet opnieuw moeten inloggen om toegang te krijgen tot het extra materiaal. Hoewel de meeste docenten beide scenario's positief beoordelen, hebben zij wel verschillende voorkeuren. De ene docent heeft een voorkeur voor scenario A (zoe-


59

ken via de methode), de andere voor scenario B (zoeken via doelen en inhouden). Sommige docenten zien de voordelen van beide scenario's. Dit is afhankelijk van hun werkwijze en/of doelen. Op basis van het voorgaande kunnen we de volgende conclusies trekken: 









7.3

Beide zoekscenario's zijn bruikbaar voor docenten. De werkwijzen en doelen van docenten verschillen echter en daardoor hebben docenten een voorkeur voor verschillende zoekscenario's. De docenten beseffen onvoldoende dat de uitgever in scenario A de kwaliteit van het aanvullend leermateriaal niet beoordeelt en alleen kan sturen door bepaalde broncollecties wel of niet te selecteren. De lijst met zoekresultaten bevat voor de meeste docenten onvoldoende informatie om het materiaal te beoordelen op kwaliteit, inpasbaarheid en/of inhoud. Er is behoefte aan aanvullende metadata. Het is voor gebruikers van scenario A en B belangrijk dat het leermateriaal gratis en vrij toegankelijk is en dat docenten maar één keer hoeven in te loggen om het materiaal te vinden, in te zien en te kunnen gebruiken. Docenten hebben niet kunnen beoordelen of het gevonden leermateriaal van voldoende kwaliteit is en of zij dit kunnen inpassen in hun onderwijs.

Keuzes van aanbieders Vraag: Welke keuzes maken aanbieders en portalinrichters bij de inbouw van de zoekscenario‟s? Het gaat om keuzes t.a.v. de collecties (bronnen) waarin mag worden gezocht, het aggregatieniveau waarop wordt gemetadateerd en de getoonde informatie over het gevonden leermateriaal. Vanuit de optiek van uitgevers Een belangrijke drijfveer voor uitgevers om mee te doen aan scenario A is het bieden van extra service. Zij doen dit vanuit het uitgangspunt dat docenten uitstapjes willen maken op de methode. Gemak en snelheid staan voorop, niet het zelf bieden van extra kwalitatief hoogwaardig leermateriaal. Eén uitgever meldt expliciet dat de beoordeling van de kwaliteit van gevonden leermateriaal de verantwoordelijkheid is van de docent.. De onderzochte uitgevers bouwen ofwel zelf volledige query's en plaatsen het resultaat daarvan in de methode (De Geo, Codename Future) of zij bouwen een gedeeltelijke query en laten docenten zelf ook nog een keuze maken, namelijk de bronnen ook filteren (Getal en Ruimte) met behulp van de vakinhoudspecificatie. In de query's hebben de uitgevers nog weinig geselecteerd op broncollecties met het oog op kwaliteit. Selectie op broncollecties heeft vooral plaatsgevonden met het oog op beschikbaarheid en toegankelijkheid. Mogelijk is dit een effect van de proefopstelling (nog weinig materiaal beschikbaar, dus alle broncollecties dan maar selecteren).

60


Het bouwen van query‟s kan een strategisch proces zijn. Is het bijvoorbeeld gewenst dat de query zo gebouwd wordt dat in elk geval de eigen materialen gevonden worden (zoals bij Digischool)? Of dat materialen van bepaalde aanbieders wel/niet in de query worden meegenomen? En denken docenten en aanbieder hier wel hetzelfde over? In het onderzoek blijkt dat een aanbieder soms besluit om bepaalde bronnen niet mee te nemen, de docenten geven vervolgens aan deze bronnen te missen. De uitgevers verschillen van mening over de Query Builder. De ene vindt deze gebruiksvriendelijk, de ander niet. Mogelijke verbeterpunten zijn: aangekruiste kernen / subkernen / vakinhouden blijven zichtbaar en er moet meer metadata in lijst met zoekresultaten worden opgenomen. Vanuit de optiek van portalinrichters De portalinrichters doen mee aan zoekscenario B, omdat zij het belangrijk vinden dat leermateriaal gevonden wordt, omdat zij zelf op zoek zijn naar een nieuwe metadatastandaard en/of omdat zij het belang van een goede metadatastandaard onderschrijven. De portalinrichters hebben de zoekfunctie voor het nieuwe SLO-vocabulaire nog niet volledig ingebouwd in hun portal, omdat ze hier te weinig tijd voor hadden. Ze hebben het zoeken via de eerste SLO-vocabulaires wel mogelijk gemaakt. Op basis van bovenstaande kunnen we de volgende conclusies trekken: 

  

Uitgevers willen docenten de service bieden om binnen de methode aanvullend leermateriaal te vinden, maar leggen de verantwoordelijkheid voor de kwaliteit bij de docenten. Zij dienen te beseffen dat docenten verwachten dat aanvullend leermateriaal bij de methode aan kwaliteitseisen voldoet. Het bouwen van querys is een strategisch proces. De gemaakte keuzes zijn niet altijd in overeenstemming met verwachtingen en wensen van docenten. De gebruiksvriendelijkheid van de Query Builder kan vergroot worden door aangekruiste kernen / subkernen / vakinhouden zichtbaar te maken. De portalinrichters hebben de zoekfunctie voor het nieuwe SLO-vocabulaire nog niet aan de zoekkant ingebouwd in hun portal. Het onderzoek naar het gebruik van dit scenario is uitgevoerd in een proefsetting. Het oordeel van docenten is gebaseerd op deze proefsetting. Als portalinrichters de zoekfunctie uiteindelijk op een andere manier gaan inbouwen, kan dit gevolgen hebben voor het oordeel van docenten.


7.4

61

Gebruik SLO vocabulaire en het proces van metadateren. Vraag: Is de huidige vorm van de vakinhoudspecificaties zoals die door SLO zijn opgesteld (inhoudelijk en technisch) bruikbaar? Een aantal contentaanbieders vindt de indeling van vakinhoudspecificaties duidelijk of goed en het begrippenkader helder. De meeste contentaanbieders vinden dat er geen overbodige vakinhoud in het SLO-vocabulaire staat. Niet iedereen is groot voorstander van de nieuwe SLO-vocabulaire. Er worden kanttekeningen bij geplaatst: overlap tussen subkernen en vakinhouden, onderwerpen die bij meerdere subkernen of vakinhouden kunnen worden in gedeeld. Metadateren is tijdrovend. Het is de vraag of al het materiaal (zeker het materiaal dat door docenten ontwikkeld is) opnieuw gemetadateerd zal worden. Hiervoor moet een oplossing gezocht worden die weinig arbeidsintensief is. Anders loop je het risico dat de nieuwe vocabulaire niet gebruikt wordt of alleen gebruikt wordt voor nieuw materiaal. Op basis van bovenstaande informatie trekken we de volgende conclusies: 



De SLO-vocabulaire is niet voor iedereen eenduidig. Er sprake van een behoorlijke complexiteit en dat kan een belemmering vormen voor de uiteindelijke keuze om tot implementatie over te gaan. Naarmate het metadateren meer tijdrovend is, wordt de kans kleiner dat partijen bereid zijn hierin te investeren.

Vraag: Worden de aangeboden materialen ook daadwerkelijk beter vindbaar? Aanbieders vinden het lastig om hierop een antwoord te geven. Het hangt immers af van de docenten: vinden zij het materiaal dat aan hun zoekvraag voldoet? Docenten kunnen hier in dit stadium ook nog geen antwoord op geven, omdat zij niet met een eigen zoekvraag aan de slag zijn gegaan. Zij hebben bovendien te weinig tijd kunnen besteden aan het beoordelen van het gevonden materiaal op kwaliteit en inpasbaarheid. Wel is duidelijk dat met het nieuwe SLO-vocabulaire "zeer specifiek” wordt gemetadateerd (de granulariteit is hoog). Het risico daarvan is volgens twee aanbieders dat het ontwikkelde materiaal niet gevonden wordt. Dit kan er toe leiden dat aanbieders zodanig gaan metadateren dat hun materiaal gevonden wordt (op vakkern of subkern en niet op vakinhoud).

62

7.5


Aanbevelingen Op basis van het onderzoek kunnen de volgende aanbevelingen gedaan worden:  In de lijst met zoekresultaten moet meer informatie over het leermateriaal (metadata) beschikbaar komen. De informatie gaat over: doelgroep (docent / leerling), type opdracht (verrijkend, verdiepend, remediërend), de vorm (bijv. beeldmateriaal, applicaties, teksten), de tijdsduur en de kwaliteit.  Er moet een nadere discussie worden gevoerd over vooral het derde niveau van het SLO-vakinhoudspecificatie. Een meer uitgebreide toetsing van de bruikbaarheid van dit vocabulaire is nodig (het onderzoek toont aan dat ook dit vocabulaire de gebruiker soms voor lastige beslissingen plaatst).  Het proces van metadateren moet worden versneld en vergemakkelijkt, zodat meer beschikbaar materiaal ook voorzien gaat worden van de metadata. Dit geldt in het bijzonder voor door docenten ontwikkeld materiaal.  De docenten moeten bewust worden gemaakt van het feit dat zij verantwoordelijk zijn voor het beoordelen van de kwaliteit en inpasbaarheid van aanvullend materiaal. Die verantwoordelijkheid wordt niet overgenomen door de implementaties van de scenario‟s. In vervolgonderzoek moet worden na gegaan hoe docenten bij het samenstellen van de leermiddelenmix ondersteund kunnen worden.  Aanvullend onderzoek is nodig om tot een goede besluitvorming te komen t.a.v. het definitie implementeren van een of beide zoekscenario‟s in de ICTvoorzieningen voor docenten. Uit het onderzoek komt een aantal aandachtspunten voor vervolgonderzoek. 





Docenten zijn dus vooral tevreden over het gebruiksgemak en de snelheid. Het is interessant na te gaan of die tevredenheid stand zal houden als de lijst met zoekresultaten langer wordt doordat er meer leermateriaal vindbaar is gemaakt (wat is eigenlijk een optimale hoeveelheid zoekresultaten, wat is een kritische onder- en bovengrens?), als er meer „ruis‟ komt in het zoekresultaat (bijvoorbeeld door slechte metadatering) en als de inpasbaarheid en kwaliteit van het gevonden materiaal niet voldoet aan de wensen van de docenten. Ook wanneer bij het zoeken gebruik wordt gemaakt van de metadata van SLO krijg je resultaten die niet aansluiten bij de verwachtingen, wat betekent dit eigenlijk? Dit is een belangrijk aandachtspunt bij vervolgonderzoek. De docenten gaven aan dat zij het zoekresultaat onvoldoende konden beoordelen op kwaliteit en inpasbaarheid, omdat zij niet vanuit hun eigen zoekvraag vertrokken. Aanvullend onderzoek is nodig om het zoekresultaat te beoordelen op kwaliteit, inpasbaarheid en inhoud. Docenten moeten dan aansluitend bij hun eigen zoekvragen kunnen werken met de scenario's. Vulling van alle / zo veel mogelijk vakinhouden voor Aardrijkskunde en Wiskunde is dan nodig. Bij aanvullend onderzoek zou ook aandacht besteed kunnen worden aan de competenties van docenten wat betreft het zoeken (wat en wanneer heb ik iets nodig?), het beoordelen van de kwaliteit van de gevonden leermiddelen en het inpassen daarvan in het onderwijs.






63

In aanvullend onderzoek zouden de wensen van de deelnemers aan de panelbijeenkomsten ten aanzien van de aanvullende metadata in de lijst met zoekresultaten getoetst kunnen worden. Aanvullend onderzoek zou ook meer informatie moeten opleveren over de complexiteit van het SLO-vocabulaire. Is dit vocabulaire werkbaar of zal de complexiteit drempels opwerpen voor de implementatie daarvan.

Tot slot leveren enkele betrokkenen kritiek op het proces van ECK2. Zij geven aan dat zij onvoldoende tijd hebben gehad om de proeftuinen goed in te richten en dat dit consequenties heeft voor de geldigheid van de resultaten. Het is belangrijk dat de proeftuinen zo optimaal mogelijk zijn ingericht op het moment dat het vervolgonderzoek wordt uitgevoerd.

65


Bijlagen

Overzicht van deelnemers aan de docentenpanels

Vak

Aardrijkskunde

Wiskunde

Totaal

Leerniveau

12x onderbouw havo/vwo

Aantal deelnemende docenten Aantal scholen Gebruikte methoden

13 (11 mannen, 2 vrouwen)

4x onderbouw havo/vwo 1x LIO-stage (onderbouw havo/vwo) 3x bovenbouw havo/vwo 1x onbekend 9 (4 mannen, 5 vrouwen)

16x onderbouw havo/vwo 1x LIO-stage (onderbouw havo/vwo) 3x bovenbouw havo/vwo 1x onbekend 22 (15 mannen, 7 vrouwen)

5

5

8

3x Wereldwijs 3x De Geo 4x BuiteNLand 2x onbekend

Betrokkenheid bij uitgeverij of zoekportal

2x Les 2.0

4x Moderne Wiskunde 1x Getal en Ruimte 1x Netwerk 1x StudioWiskunde, netwerk en eigen materiaal 2x onbekend 1x Noordhoff (auteur/redacteur Moderne Wiskunde)

Zoeken naar aanvullend materiaal

6x heel vaak (min. 1x per week) 4x regelmatig (min. 1x per maand) 2x onbekend

3x heel vaak (min. 1x per week) 1x regelmatig (min. 1x per maand) 2x incidenteel 1x nooit 2x onbekend

2x Les 2.0 1x Noordhoff (auteur/redacteur Moderne Wiskunde) 9x heel vaak (min. 1x per week) 5x regelmatig (min. 1x per maand) 2x incidenteel 1x nooit 4x onbekend

66


Vak

Aardrijkskunde

Wiskunde

Totaal

Zoeken op digitale wijze

6x heel vaak (min. 1x per week) 3x regelmatig (min. 1x per maand) 1x incidenteel 2x onbekend

1x heel vaak (min. 1x per week) 2x regelmatig (min. 1x per maand) 4x incidenteel 2x onbekend

Hoe wordt materiaal gezocht (meer antwoorden mogelijk, n=10) Wat voor materiaal wordt gezocht (meer antwoorden mogelijk, n=10)

5x via collega‟s 9x via internet 2x via de lesmethode/uitgeverij 2x door zelf te maken 7x direct inpasbaar 7x om zelf aan te passen

2x via collega‟s 7x via internet

7x heel vaak (min. 1x per week) 5x regelmatig (min. 1x per maand) 5x incidenteel 4x onbekend 7x via collega’s 16x via internet 2x via de lesmethode/uitgeverij 2x door zelf te maken 14x direct inpasbaar 9x om zelf aan te passen

7x direct inpasbaar 2x om zelf aan te passen


67

Gewenste informatie in de ‘vindlijst’

Wat willen docenten dat wordt getoond in de resultatenlijst? Tijdens de docentenpanels hebben de deelnemende docenten in de online vragenlijst en daarna tijdens de discussie nagedacht over wat ze van de twee zoekscenario‟s vinden. Regelmatig kwam daarbij de vraag aan de orde welke informatie docenten graag willen krijgen in de resultatenlijst. Deze zijn hieronder (enigszins geclusterd) op een rij gezet. De vaakst genoemde informatie staat bovenaan (de informatie voorafgegaan door een * is vaak genoemd, de andere informatie incidenteel). Docenten geven bovendien regelmatig aan dat deze informatie wat hen betreft best gegeven mag worden met symbolen of icoontjes bij de resultaten. 1. 2.

*Doelgroep (is het materiaal voor de docent of materiaal voor de leerling?) *Niveau van het materiaal (voor welke klas, en welk leerniveau? Wat is de moeilijkheidsgraad?) 3. *Type opdracht en doel van het materiaal (is het verrijkend, verdiepend, remediërend...?) 4. *Vorm van het materiaal (gaat het om beeldmateriaal, applicaties, opdrachten, teksten?) 5. *Tijdsduur van het materiaal bij uitvoering (duurt het een half uur of is het een lessenserie?) 6. *Kwaliteit van het materiaal (wat vindt de uitgever of wat vinden andere docenten hiervan?) Docenten geven bij deze optie wel aan dat het niet alleen gaat om het aantal „sterren‟, maar dat het ook fijn is om een kwalitatieve beoordeling te kunnen lezen, zoals bijvoorbeeld op boekingssites voor hotels en vakanties gangbaar is. 7. *Inhoud van het materiaal (wat is het hoofdonderwerp van het materiaal? Welke trefwoorden passen erbij? Bij welke leerdoelen sluit het aan?) 8. Benodigdheden (wat moet een leerling erbij gebruiken, bv een atlas of computer?) 9. Welke vaardigheden worden met het materiaal aangesproken of geoefend? 10. Korte samenvatting van de inhoud in één of twee regels (“á la Google”) 11. Datum van plaatsing 12. Plaatje van het materiaal (bijvoorbeeld een screendump)


69

Functionele beschrijving proefopstellingen ECK2project Arrangeren/variëren

Door: Jacob Molenaar (Kennisnet)

Inleiding In de maanden november 2011 – februari 2012 is een aantal proefopstellingen gerealiseerd i.h.k.v. het ECK2-project Arrangeren/variëren. Het betreft: Metadateer- en queryvoorzieningen 13. MetaPlus 14. Wikiwijs Delen 15. Query Builder Zoekvoorzieningen Scenario A (zoeken vanuit een methode) 16. De Geo Community (ThiemeMeulenhoff) 17. Welkom in onze wijk (Codename Future) 18. Getal & Ruimte (EPN/Noordhoff Uitgevers) Zoekvoorzieningen Scenario B (zoeken vanuit vakinhoud) 19. Wikiwijs 20. Zoekvoorziening Digischool. In deze bijlage worden deze voorzieningen kort beschreven en door middel van schermafbeeldingen geïllustreerd. Eerst schetsen we nog kort de overkoepelende architectuur van de proefopstellingen. Daarna beschrijven we de manier waarop de leerobjecten voor de proefopstellingen zijn gemetadateerd en ten slotte zijn de proefopstellingen zelf aan de beurt.

70


Architectuur Onderstaande figuur schetst de architectuur van de proeftuinen Arrangeren:

Aan de „onderkant‟ van de architectuur metadateren partijen hun leerobjecten op basis van de vakinhoudspecificaties van de SLO (vocabulaires in VDEX-vorm). Ze doen dit met hun eigen CMS, Wikiwijs Delen of met MetaPlus. De aldus gegenereerde metadata wordt geharvest en opgeslagen door Edurep. Aan de „bovenkant‟ van de architectuur richten partijen diverse zoekinterfaces op Edurep in. Dit kan een algemene zoekomgeving zijn, zoals bijvoorbeeld Wikiwijs Zoeken (zoekscenario B). Maar het kan ook een specifieke lijst van leerobjecten zijn die is samengesteld op basis van een vakinhoudelijke query op Edurep en die getoond wordt op een methodesite (zoekscenario A).Voor het genereren van deze vakinhoudelijke queries is t.b.v. de proeftuinen een speciale tool ontwikkeld: de Query Builder. Content Onderdeel van de proefopstellingen maakte content uit, een verzameling leerobjecten aangeleverd in Edurep door diverse partijen. Er zijn voor twee vakgebieden leerobjecten gemetadateerd. Voor het metadateren zijn vakinhoudspecificaties van de SLO gebruikt die in december 2011 in conceptvorm zijn opgeleverd. Het betreft:  

Vakinhoudspecificatie Aardrijkskunde onderbouw havo/vwo; Vakinhoudspecificatie Wiskunde onderbouw havo/vwo.


71

Van deze specificaties zijn de volgende niveaus gebruikt: 1. 2. 3.

Vakkern Subkern Inhoud.

De proeftuinen hebben zich gericht op enkele specifieke vakkernen van de beide betrokken vakken: Wiskunde  Vakkern: Meten en Meetkunde  Subkern: Vormen en Figuren Metadatering van leerobjecten is gebeurd door de volgende partijen:        

Freudenthal Instituut (objecten gemetadateerd met eigen CMS) MathUnited (objecten gemetadateerd met Wikiwijs Delen) Digischool (objecten gemetadateerd met eigen CMS) StudioVO (objecten gemetadateerd met Wikiwijs Delen) Schooltv Beeldbank (objecten gemetadateerd met MetaPlus) Les 2.0 (objecten gemetadateerd met MetaPlus) Collectie Dalton Voorburg (objecten gemetadateerd met Wikiwijs Delen) Collectie Barlaeus Gymnasium (objecten gemetadateerd met Wikiwijs Delen).

Aardrijkskunde  Vakkern: Duurzaamheid  Subkern: Bronnen van energie  Vakkern: Krachten der aarde  Subkern: Natuurrampen  Vakkern: Water  Subkern: Waterproblematiek. Metadatering van leerobjecten is gebeurd door de volgende partijen:    

Codename Future (objecten gemetadateerd met eigen CMS) Digischool (objecten gemetadateerd met eigen CMS) Schooltv Beeldbank (objecten gemetadateerd met MetaPlus) Les 2.0 (objecten gemetadateerd met MetaPlus)

72


MetaPlus

MetaPlus is een dienst van Kennisnet die het mogelijk maakt om in Edurep aanwezige metadata van leerobjecten aan te vullen. Voor de proeftuinen Arrangeren is MetaPlus „geladen‟ met de vakinhoudspecificaties van de SLO. Dit ziet er als volgt uit:

Metadateerders hebben met behulp van MetaPlus de rood gemarkeerde aanvullende metadata toegevoegd aan leerobjecten in Edurep.


73

Wikiwijs Delen Ten bate van de proeftuinen zijn de vakinhoudspecificaties wiskunde en aardrijkskunde van de SLO ook geïmplementeerd in Wikiwijs Delen. Partijen hebben objecten in Edurep gebracht middels Wikiwijs Delen en daar de SLO-metadata aan toegevoegd. De volgende schermafbeelding geeft hier een indruk van:

Dit is het overzichtsscherm dat een Wikiwijs Delen-gebruiker krijgt van alle objecten die hij in Edurep heeft ingevoerd. Het volgende scherm toont het toevoegen van de vakinhoudelijke metadata van de SLO aan een leerobject op het tabblad Vakinhoud. De schermafbeelding op de volgende pagina laat dit zien.

74



75

Query Builder De Query Builder is een tool waarmee een query op Edurep kan worden samengesteld die zoekt op:  Leerniveau;  Bron;  Vakinhouden volgens de vakinhoudspecificatie van de SLO. Het volgende scherm toont de instelling van een query voor het vakgebied Wiskunde – Meten en Meetkunde – Vormen en Figuren. Onderin beeld de query in URL-vorm. Deze kan worden getest en met knippen/plakken gebruikt worden binnen bijvoorbeeld een methodsite.

Het scherm op de volgende pagina toont het resultaat van de ingestelde query. Dit resultaatscherm bevat de volgende selectie van metadatavelden uit de NL-LOM:  Titel van het object (tevens hyperlink naar object zelf);  Omschrijving;  Bron;  Trefwoorden;  URL.

76



77

De Geo Community (ThiemeMeulenhoff) De Geo Community is een proefopstelling volgens Zoekscenario A, zoeken vanuit de methode. De Geo Community (www.degeocommunity.nl) is een website bedoeld voor gebruikers van de aardrijkskundemethode De Geo gericht op het delen van (aanvullende) lesmaterialen. De Geo Community is geordend volgens de structuur van de methode. De volgende schermafbeelding geeft hier een indruk van:

Docenten kunnen eigen bronnen, presentaties, opdrachten, etc. toevoegen aan de paragrafen van de methode. Ten bate van de proeftuinen heeft ThiemeMeulenhoff hier de mogelijkheid aan toegevoegd om te zoeken in Edurep naar aanvullend lesmateriaal. Hiertoe zijn met de Query Builder per paragraaf queries samengesteld die zoeken in Edurep en lijsten van lesmaterialen tonen die precies passen bij het vakinhoudelijke onderwerp van de paragraaf. Deze dynamisch samengestelde lijsten zijn toegankelijk met een hyperlink. De uitgever moet voor elke query een inhoudelijke afweging maken:  

Leerniveau: ligt vast in de structuur/leerlijn van de methode Bron: keuze welke bronnen van lesmateriaal men wel of niet wil laten zien aan de eindgebruiker

78




Vakinhouden volgens de vakinhoudspecificatie van de SLO: ligt vast in de structuur/leerlijn van de methode. Onderstaande schermafbeelding toont met rood gemarkeerd zo‟n hyperlink:

Wanneer de eindgebruiker op deze link klikt, krijgt hij het resultaatscherm te zien dat we kennen van de Query Builder:

De gebruiker ziet alleen de resultaatlijst, hij weet niet hoe de query is samengesteld. Dit geldt in het bijzonder voor het Bron-filter: de docent weet op basis van deze


79

proefopstelling niet welke beschikbare bronnen van aanvullend lesmateriaal de uitgever heeft aan- respectievelijk uitgevinkt.

Welkom in onze wijk (Codename Future) Codename Future brengt een reeks van online projecten voor het voortgezet onderwijs uit. Een voorbeeld daarvan is het project Welkom in onze wijk. Voor de proeftuinen heeft Codename Future een van deze projectsites voorzien van een zoekmogelijkheid in Edurep. Hiervoor is dezelfde werkwijze gevolgd als bij De Geo Community: de uitgever heeft een query geconfigureerd en deze op de projectsite geplaatst (rood gemarkeerd):

Klikken op de link door de eindgebruiker levert weer het bekende resultaatscherm op (zie de volgende pagina). De gebruiker ziet alleen de resultaatlijst, hij weet niet hoe de query is samengesteld. Dit geldt in het bijzonder voor het Bron-filter: de docent weet op basis van deze proefopstelling niet welke beschikbare bronnen van aanvullend lesmateriaal de uitgever heeft aan- respectievelijk uitgevinkt.

80



81

Getal & Ruimte (EPN/Noordhoff Uitgevers) Ook de proefopstelling van de wiskundemethode Getal & Ruimte van EPN / Noordhoff Uitgevers is gebaseerd op Zoekscenario A, zoeken vanuit de methode. Noordhoff Uitgevers biedt haar gebruikers momenteel al methodesites aan waarmee het voor hen mogelijk wordt zelf ontwikkeld of gevonden online lesmateriaal toe te voegen aan de methodesite. Deze materialen kunnen worden gedeeld met leerlingen en collega-docenten binnen en zelfs buiten de school (andere gebruikers van dezelfde methode). De methodesites van Noordhoff Uitgevers volgen heel strak de structuur van het boek. Aanvullend lesmateriaal kan per pagina van het boek worden toegevoegd aan de methodesite. Voor de proeftuinen Arrangeren heeft Noordhoff Uitgevers een mock-up ontwikkeld van een wizard voor het zoeken en toevoegen van bronnen uit Edurep op de methodesite. Deze wizard werkt als volgt:

In de eerste stap selecteert de docent de pagina van de methode/methodesite waaraan hij een leerobject uit Edurep wil toevoegen. Als hij de pagina heeft gevonden, klikt hij op Volgende:

82


De uitgever biedt de docent nu een bronnenfilter aan. De uitgever maakt daartoe een selectie uit de bronnenlijst die we kennen van de Query Builder. De uitgever kan alle bronnen aanbieden, maar hij kan ook op basis van eigen criteria een selectie uit de lijst maken. De docent kiest vervolgens voor een bron, in het voorbeeld de Schooltv Beeldbank:


83

De docent krijt nu een lijst te zien van álle leerobjecten die de gekozen bron in Edurep heeft staan. Door te klikken op „Details tonen en selecteren‟ (rood gemarkeerd) krijgt hij meer metadatadetails van de geselecteerde bron te zien. Met de knop „Filteren‟ (rood gemarkeerd) kan de docent de totale lijst gaan filteren op vakinhoud. Dat werkt als volgt:

We herkennen hier de queryfilters van de Query Builder terug. In de proefopstelling van Noordhoff Uitgevers is er voor gekozen géén vooringesteld filter te gebruiken. De docent moet dus zelf de complete lijst van leerobjecten terugfilteren naar het lijstje met bronnen dat past bij de paragraaf/pagina van de methode waar hij mee bezig is. In bovenstaande schermafbeelding is dat met vinkjes gedaan. Wanneer de docent vervolgens op de knop „Filteren‟ klikt, wordt de oorspronkelijke lijst met leerobjecten teruggefilterd naar de ingestelde parameters. De docent beoordeelt nu de veel kortere lijst en kan een of meer van de gevonden objecten aan de methodesite toevoegen door te klikken op de knop „Selecteren‟. Hij komt dan in de volgende stap van de wizard:

84


In dit scherm geeft de docent aan met wie hij de gevonden objecten wil delen. In het voorbeeld heeft hij met vinkjes gekozen voor een bepaalde klas en voor zijn collega‟s op school en daarbuiten. Klikt hij op „Voltooien‟, dan ziet hij dat de geselecteerde bron is verwerkt in het overzicht van aanvullend lesmateriaal:


85

Wikiwijs Wikiwijs is de nationale voorziening voor het delen van (informatie over) lesmaterialen. Met Wikiwijs Zoeken kun je zoeken in Edurep naar lesmaterialen en bronnen die zijn ontwikkeld en/of beschikbaar gesteld door educatieve uitgeverijen, musea, archieven, docenten en samenwerkingsverbanden voor open lesmateriaal. Voor de proeftuinen heeft Wikiwijs Zoeken een experimentele implementatie uitgevoerd van de vakinhoudspecificaties van de SLO voor wiskunde onderbouw havo/vwo. Hierdoor is het mogelijk geworden om in Edurep te zoeken naar dat lesmateriaal op basis van vakinhoud: Zoekscenario B. Het zoeken op basis van vakinhoud in Wikiwijs Zoeken is mogelijk binnen de functie „Uitgebreid zoeken‟, op het tabblad „Vakinhoud‟. Dat ziet er als volgt uit:

86


Een docent kiest een bepaalde vakinhoud op basis van een hiërarchisch gepresenteerde taxonomie van vakkernen, subkernen en vakinhouden. Daarna kan hij de gevonden resultaten meer in detail bestuderen:

In dit overzicht worden enkele basale metadata van de gevonden leerobjecten getoond, inclusief een gebruikersbeoordeling. De docent kan de gevonden resultaten: 1. 2.

Verder verfijnen met behulp van verschillende facetten van de NL-LOMmetadata (linker frame) Nog verder in detail bestuderen.

Dat laatste leidt tot het volgende resultaat:


87

Op dit scherm kan de docent het leerobject zelf bekijken, hij vindt nog meer aanvullende metadata én hij kan zelf gebruikersoordelen toevoegen of collega‟s attenderen op dit leerobject.

88


Zoekvoorziening Digischool De Digitale School is een stichting die tot doel heeft alternatieve leerwegen aan te bieden aan leerlingen. Tevens ondersteunt zij leraren die deze leerwegen willen ontwikkelen en gebruiken. Daartoe heeft de stichting een educatieve website ontwikkeld die wordt onderhouden door ongeveer 35 docenten uit het primair en het voortgezet onderwijs uit heel Nederland. In virtuele Vaklokalen bieden deze docenten gratis digitaal lesmateriaal aan. Via Vakcommunities wordt docenten een platform geboden waar zij nieuws en ondersteuning kunnen vinden en waar zij materiaal kunnen uitwisselen. Voor de proeftuinen Arrangeren heeft Digischool een experimentele implementatie uitgevoerd van de vakinhoudspecificaties van de SLO voor wiskunde onderbouw havo/vwo. Hierdoor is het mogelijk geworden om in Edurep te zoeken naar dat lesmateriaal op basis van vakinhoud: Zoekscenario B. De zoekvoorziening van Digischool toont alléén de leerobjecten in Edurep die van Digischool zelf afkomstig zijn. Digischool heeft gekozen voor een andere presentatie van de vakinhoudspecificaties van SLO dan Wikiwijs. De vakinhouden worden niet-taxonomisch getoond, in een alfabetisch overzicht. Hieronder de vakkernen, subkernen en vakinhouden van aardrijkskunde:

Het overzicht toont ook de hoeveelheid gevonden leerobjecten per zoekterm. Klikt een docent op een van de zoektermen, dan krijgt hij een resultaatscherm dat een overzicht toont van de gevonden leerobjecten:


89

Dit overzicht geeft enkele aanvullende metadata-waarden én een gebruikersbeoordeling door Digischool-gebruikers. Wanneer een van de getoonde leerobjecten wordt aangeklikt, verschijnt nog meer aanvullende informatie:

Behalve nog meer aanvullende metadata vindt de gebruiker hier ook gebruikersreviews van het betrokken leerobject.

Evaluatie van de proeftuinen leermiddelenmix VO

Recommend Documents