Eindrapportage Project ICT voor Theologen (II)
Projecttitel: Projectcode: Faculteit: Projectperiode: Opgesteld door: Datum:
ICT voor Theologen ICT 2001/6 GODG Godgeleerdheid juli 2001 - maart 2002 Patris van Boxel, onderwijskundig adviseur ICT Onderwijscentrum oktober 2002
Contactadres: icto ICT Onderwijscentrum VU p.a. Onderwijs Adviesbureau VU De Boelelaan 1105, kamer 1G 30 1081 HV Amsterdam www.icto.vu.nl tel. 020 – 4445477
[email protected]
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
Inhoudsopgave 1 2 3 4
Inleiding en doelstelling................................................................................................................1 Uitgevoerde activiteiten................................................................................................................2 Overzicht van Blackboard gebruik bij de faculteit Godgeleerheid ....................................................4 Gebruikersevaluaties ....................................................................................................................5 4.1 Studentevaluaties...................................................................................................................5 4.1.1 Methode .........................................................................................................................5 4.1.2 Resultaten ......................................................................................................................6 4.2 Docentevaluaties....................................................................................................................9 4.2.1 Methode .........................................................................................................................9 4.2.2 Resultaten ......................................................................................................................9 5 Conclusies en aanbevelingen ......................................................................................................13 6 Bijlagen......................................................................................................................................15 6.1 Evaluatieformulier studenten................................................................................................15 6.2 Evaluatieformulier docenten.................................................................................................15
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
1
1
Inleiding en doelstelling
Dit project is een vervolg op het project 'ICT voor Theologen (I)' dat liep van september 2000 tot april 2001. In dit eerder project stond het ontwikkelen en aanbieden van een cursus Blackboard voor docenten Godgeleerdheid centraal. Twee derde van de docenten Godgeleerheid nam deel aan de cursus. Het tweede projectvoorstel werd aangevraagd en goedgekeurd in het kader van de tweede ICTO-ronde van de VU in het voorjaar van 2001. Het doel was de verdere versteviging van het gebruik van de digitale leeromgeving binnen het reguliere onderwijs van de faculteit. Daarbij zouden projectmedewerkers van het ICTO onderwijskundige en technische ondersteuning aan docenten bieden bij het invoeren van Blackboard, met speciale aandacht voor de mogelijkheden van het programma bij het ondersteunen van interactief onderwijs, bijvoorbeeld door middel van online discussie en samenwerking. Overige projectdoelen werden geformuleerd als het bereiken van betere onderlinge afstemming tussen docenten door middel van Blackboard (o.a. bij de predikantsopleiding) en het instrueren van studenten in het gebruik van het programma. De doelgroep werd in het projectvoorstel omschreven als 'geïnteresseerde docenten van zoveel mogelijk verschillende vakgebieden, met name uit de opleiding Religie en Levensbeschouwing en de predikantsopleiding'. Daarbij werd een streefgetal van 12 actief betrokken docenten genoemd. De looptijd van het project was oorspronkelijk voorzien van augustus 2001 tot maart 2002. Uiteindelijk werd reeds in juni 2001 van start gegaan met een aantal voorbereidende werkzaamheden opdat Blackboard in september 2001 in gebruik zou kunnen genomen worden. Docentenondersteuning heeft plaatsgevonden tot februari 2002. In de periode februari-mei 2002 hebben nog een aantal evaluaties bij docenten/studenten plaatsgevonden. In de periode van juni 2001 tot en met mei 2002 is gemiddeld 0,2 fte per week onderwijskundige ondersteuning verleend vanuit het ICT-onderwijscentrum (door Patris van Boxel), 0,05 fte projectleiding (door Gert-Jan Los) en 0,05 fte technische ondersteuning. De faculteit heeft bij aanvang van het project gezorgd voor de aanstelling van een facultaire Blackboard ondersteuner voor 0,05 fte per week (+ 0,05 fte voor webmaster taken). Gedurende de projectperiode vond regelmatig overleg plaats tussen de onderwijskundig adviseur ICTO en de onderwijscoördinator van de faculteit (Jelly Reinders), tevens facultaire ICTO contactpersoon. Gedurende de projectperiode is de begeleidingscommissie niet bij elkaar gekomen. Deze commissie zal wel de eindrapportage van het project bespreken. Voor de belangrijkste conclusies en aanbevelingen wordt doorverwezen naar pagina 14.
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
2
2
Uitgevoerde activiteiten
Onderwijskundige ondersteuning Het project is in juni 2001 van start gegaan met een korte presentatie op een algemene bijeenkomst voor docenten. Hierin werden de doelen van het project kort toegelicht en werd uitgelegd op wat voor ondersteuning docenten zouden kunnen rekenen. Docenten werden ook uitgenodigd om meteen in te schrijven voor een eerste verkennend gesprek met de onderwijskundige adviseur. In de zomer van 2001 hebben gesprekken plaatsgevonden met ongeveer 20 docenten. De helft van deze docenten had reeds een Blackboard cursus bijgewoond, en was goed op de hoogte van de praktische werking en mogelijkheden van het programma. Met deze docenten werd vooral gepraat over de wijze van invoering van Blackboard in hun specifieke onderwijs. Sommige docenten hadden daarbij zelf een heel duidelijk doel voor ogen en zijn na dit eerste gesprek verder zelfstandig aan de slag gegaan. Andere docenten hadden nood aan een vervolggesprek of praktische hulp bij het opzetten van de cursuswebsite. Tot en met februari 2002 hebben ondersteunde gesprekken en instructiesessies met individuele docenten plaatsgevonden. Negen docenten hebben een persoonlijke instructie in het gebruik van Blackboard gekregen. Andere activiteiten voor docenten Eind oktober werd een 'show en tell' bijeenkomst georganiseerd voor docenten. De bedoeling was dat docenten elkaar zouden laten zien wat ze tot dusver met Blackboard gedaan hadden in het eerste quadrimester en om (goede en minder goede) ervaringen hiermee uit te wisselen. Jammer genoeg werd de bijeenkomst slechts bijgewoond twee docenten, de Blackboard ondersteuner en enkele secretariaatsmedewerkers die Blackboard ondersteuning verlenen. Ondanks de lage opkomst was het een nuttige en informatieve bijeenkomst. Doorheen het academisch jaar zijn docenten via email regelmatig op de hoogte gehouden van ontwikkelingen rond Blackboard, de aanmaak van nieuwe cursuswebsites aan de start van een nieuw quadrimester, etc. Ook ontvingen ze een handleiding voor de nieuwe versie van Blackboard in december 2001. Ondersteuning voor studenten Voor aanvang van het academisch jaar zijn alle eerstejaars via mail en alle ouderejaars via email op de hoogte gebracht van het feit dat met ingang van september 2001 de digitale leeromgeving Blackboard in gebruik zou genomen worden. Hierbij ontvingen ze meteen ook een Blackboard studentenhandleiding. In de eerste week van september zijn twee Blackboard instructiesessies van telkens één uur gehouden voor studenten. De opkomst hiervoor was laag (in totaal ongeveer 15 studenten) - de reden hiervoor is waarschijnlijk dat het voor de meeste studenten geen probleem was hier zelfstandig mee aan de slag te gaan. Algemene gebruikersondersteuning/cursus- en gebruiksbeheer In het begin van het academisch jaar 2001-2002 werd Arton van Harten aangesteld als facultaire Blackboard ondersteuner. Zijn taken omvatten onder meer het aanmaken van cursuswebsites, het wijzigen van gebruikersgevens en toegang verlenen tot cursuswebsites. Hij nam ook de facultaire Blackboard helpdesk waar - zowel studenten als docenten konden bij hem (via email) terecht voor algemene vragen en problemen.
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
3
Arton van Harten heeft hiertoe ook een training cursus- en gebruikersbeheer Blackboard bij het ICTO gevolgd. In de loop van het jaar is gebleken dat een halve dag ondersteuning niet voldoende was en dat het de dienstverlening naar studenten en docenten ten goede komt als als Blackboard ondersteuning geïntegreerd kan worden in de dagelijkse werkzaamheden van facultaire medewerkers. Daartoe hebben twee secretariaatsmedewerkers (Sandra Vollaard en Joke van Veldhuizen) ook een aantal Blackboard taken op zich genomen (hiervoor hebben zij ook de training cursus- en gebruikersbeheer gevolgd). Zij leveren ondermeer batchbestanden aan om cursuswebsites in één maal aan te maken en voegen op verzoek van de docent ook af en toe inhoud toe aan een cursuswebsite (bv. algemene cursusinformatie of een medeling). Sinds september 2002 verloopt ook de inschrijving voor colleges volledig via de 'self enroll' optie van Blackboard. Dit biedt een extra methode voor de administratie om te checken of aangemelde studenten ook geregistreerd staan in ISIS. Evaluaties Zowel bij docenten als studenten zijn gedurende de projectperiode evaluaties uitgevoerd. Aan docenten werd na afloop van het eerste en tweede quadrimester gevraagd een (online) vragenlijst in te vullen. Tussen oktober en mei zijn 5 modules waarbij Blackboard gebruikt werd, geëvalueerd bij studenten. In maart heeft ook nog een focus groep interview met enkele studenten plaatsgevonden. Website 'Theologie en Internet' Om het gebruik van Internet en Blackboard in het onderwijs van de faculteit beter te promoten werd hiervoor op de facultaire website ruimte gecreëerd in de vorm van een subsite 'Theologie en Internet' (zie: http://www.th.vu.nl/ict/index.html) die in het najaar van 2001 beschikbaar kwam. De technische aspecten omtrent de opzet hiervan waren in handen van Arton van Harten. De inhoud (Nederlandstalige en Engelstalige versies) werd aangeleverd door Patris van Boxel. Enerzijds wordt op deze website algemene informatie gegeven over het gebruik van Blackboard en worden bezoekers aan de website uitgenodigd als gast een kijkje te nemen in enkele cursuswebsites. Docenten die in de loop van het vorig project aan de Blackboard basiscursus deelnamen, formuleerden toen hun behoefte aan het bijeenbrengen van hyperlinks naar kwalitatief hoogstaande websites op één plaats. Daartoe werd in samenwerking met 4 docenten (prof. Dr. H. Stoffels, dr. D.J.Berendsen, prof. Dr. C. Burger en drs. J.Krans) een verzameling aangelegd met hyperlinks ingedeeld naar vakgebied (bijbelwetenschappen; kerkgeschiedenis; systematische theologie; oecumenica en missiologie; godsdienstpsychologie/godsdienstsociologie). Deze links werden ook op de website geplaatst. Docenten kunnen nu bijvoorbeeld vanuit hun Blackboard cursuwebsite een rechtstreekse link hier naartoe maken.
Figuur 1 Webpagina Bronnen Systematische Theologie
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
3
4
Overzicht van Blackboard gebruik bij de faculteit Godgeleerheid
In de projectdoelen werd de doelgroep van het project omschreven als "geïnteresseerde docenten van zoveel mogelijk verschillende vakgebieden, met name uit de opleiding Religie en Levensbeschouwing en de predikantsopleiding (streefgetal 12)". Onderstaande tabel geeft een overzicht van de modules waarbij Blackboard ingezet werd (en hun respectieve docenten). In totaal werden 30 modules ondersteund met Blackboard. Deze modules werden in totaal verzorgd door 19 docenten (dit is 2/3 van het totaal aantal 'kerndocenten' bij Godgeleerdheid). Bij alle deze modules werd Blackboard ingezet om cursusmateriaal te verspreiden en mededelingen aan studenten te doen. Bij 9 modules(*) werd de discussielijst ingezet als communicatiemedium tussen studenten onderling en/of tussen studenten en docent. Bij enkele modules werden ook zogenaamde groepspagina's ingezet om kleinere groepen studenten te laten samenwerken. Daarnaast werden van nog een vijftiental verdere modules de studiehandleiding op Blackboard geplaatst (niet door de docent, maar door een secretariaatsmedewerker of ICTO projectmedewerker). Uit de opleiding Religie en Levensbeschouwing hebben 8 docenten met Blackboard gewerkt. Bij de predikantsopleiding hebben nog eens 8 docenten dezelfde cursuswebsite gebruikt om materiaal en opdrachten aan studenten te verspreiden en mededelingen te doen. De kwantitatieve projectdoelen zoals geformuleerd in de eerste paragraaf zijn hiermee dus behaald. Module Afrondingsjaar predikantsopleiding Algemene symboliek/Oecumenica Bijbels hebreeuws I Bijbels hebreeuws IV* Encyclopedie Encyclopedie der godsdienstwetenschappen* Ethiek* Geschiedenis van de filosofie* Godsdienstpedagogiek Godsdienstpsychologie * Godsdienstsociologie Grieks I Grieks II Grieks III Grieks IV Grieks V Hedendaagse vernieuwingsbewegingen Hermeneutiek* Inleiding biblica Inleiding sociale wetenschappen* Methoden en technieken Nieuwtestamentisch Grieks Praktische theologie Seculiere levensbeschouwing Sociale Filosofie* Specialisatiecollege dogmatiek Specialisatiecollege ethiek Specialisatiecollege Methodologie voor praktische theologie en godsdienstsociologie Werkcollege religieuze ervaring Werken met verhalen*
icto
Docent F. Stark e.a. M.E. Brinkman M.L. Folmer M.L. Folmer, R. H. Oosting E. Koster W. Stoker J.S. Reinders D.J.Berendsen A.M. Lanser J.W. van Saane H.C. Stoffels T. Mekking T. Mekking T. Mekking T. Mekking T. Mekking H.C. Stoffels W. Stoker K. Spronk H.C. Stoffels, J.W. van Saane H.C. Stoffels J. Oranje; J Krans S. Stoppels; A.M. Lanser W. Stoker; C. Aarsbergen J.S. Reinders C. van der Kooi J.S. Reinders H.C. Stoffels; S. Stoppels J.W. van Saane A.M. Lanser
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
4
Gebruikersevaluaties
4.1
Studentevaluaties
5
4.1.1 Methode Om ervaringen van studenten met Blackboard te verzamelen zijn een aantal (online) vragenlijsten afgenomen en heeft een focus groep interview plaatsgevonden. Het werd niet als efficiënt beschouwd om elke module te evalueren onder studenten. Sommige modules hebben maar heel weinig studenten (<5), er treedt snel evaluatiemoeheid op bij studenten, in sommige modules werd Bb uiteindelijk maar minimaal gebruikt etc. De online vragenlijsten zijn afgenomen bij 3 modules met meer dan 10 studenten (zie onderstaande tabel) en de predikantsopleiding, telkens op het moment dat ze afgelopen waren. Hierbij werd gekeken dat er voldoende variatie zat in modules, opleiding en studiefase. Verder waren het modules waar Blackboard werd ingezet voor meer dan enkel het aanbieden van sheets en studie informatie, maar ook bijvoorbeeld voor het gebruik van discussies, online laten samenwerken van studenten, online vragen stellen aan de docent etc. In totaal hebben 43 studenten de vragenlijst hebben ingevuld. De vragenlijst bevatte voor elk vak een aantal standaardvragen, die daarnaast door de docent met specifieke vragen konden aangevuld worden. Bij Geschiedenis van de filosofie en Godsdienstpsychologie werden vragen gesteld over de discussielijst en bij de predikantsopleiding over groepspagina's & gebruik van één cursuswebsite door meerdere docenten. Ge-evalueerde modules Geschiedenis van de filosofie (dagstudenten) Geschiedenis van de filosofie (avondstudenten) Bijbels Hebreeuws II
Aantal respondenten 13 7 7
Godsdienstpsychologie
9
Predikantsopleiding
7
Omdat het aantal respondenten bij de vragenlijsten niet erg hoog lag, is besloten om deze gegevens aan te vullen met informatie uit een focus groep interview. Dit vond plaats in maart 2002 o.l.v. Patris van Boxel. De groep bestond uit 4 studenten, een secretariaatsmedewerker (die Blackboard taken verricht) en de onderwijscoördinator. De studenten kwamen uit verschillende opleidingen en hadden ervaringen met verschillende vakken die met Blackboard ondersteund werden. De groep bestond uit: * 1 propedeusestudent R&L - heeft o.a. Seculiere levensbeschouwing gevolgd. * 1 propedeusestudent OG heeft o.a. Inleiding sociale wetenschappen en Grieks I gevolgd. * 1 propedeusestudent AOG deeltijd heeft o.a. Geschiedenis van de filosofie gevolgd. * 1 doctoraal student predikantsopleiding (tevens Blackboard ondersteuner van de faculteit) Het gesprek duurde anderhalf uur.
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
6
4.1.2 Resultaten Mate en frequentie van Blackboard gebruik Om te beginnen werd gepeild naar de frequentie waarmee studenten inloggen bij hun vak op Blackboard en vanaf welke plek. Uit onderstaande cijfers blijkt dat er sprake is van regelmatig inloggedrag: meer dan de helft van de respondenten kijkt 2 tot 4 keer per week naar een vak op Blackboard, en een derde 1 keer per week. In totaal werkt 52% met Blackboard via een PC op de faculteit en 71% logt ook thuis in op BB. (Dit laatste cijfer stemt nagenoeg overeen met het aantal (uitwonende) studenten dat volgens een recent Surf onderzoek over een PC thuis beschikt). 1 Het aantal studenten dat enkel thuis, en niet op de faculteit met Blackboard werkt, is vrij hoog bij Godgeleerdheid in vergelijking met andere faculteiten (38%, in vergelijking met bv. 13% bij FPP). Hoe vaak gebruikte je Blackboard bij dit vak? Dagelijks 2-4 keer per week 1 keer per week Minder dan 1 keer per week Nooit
0 61 % 30 % 9% 0%
Werken met Blackboard doe ik: Op de faculteit Zowel op de faculteit als thuis Thuis Elders
19 % 33 % 38 % 10 %
Meningen over Blackboard Studenten werd gevraagd door middel van een 5-puntsschaal (gaande van 'zeer oneens' tot 'zeer eens') een aantal uitspraken over Blackboard te beoordelen (o.a. over gebruiksgemak, nut, wijze van gebruik door de docent en Blackboard ondersteuning). Van de gemiddelde scores per vak, werd telkens per stelling een totale gemiddelde score berekend (met maximum score = 5). Hierbij werd wel telkens per vak bekeken of de score eventueel een uitschieter was, die nadere verklaring behoefde. Het was duidelijk bij wie ik terecht kon met vragen over het werken met Blackboard Ik kon binnen Blackboard altijd de informatie vinden die ik zocht Ik heb voordeel gehad van Blackboard bij het volgen van het vak Ik vind het belangrijk dat elk vak een bijbehorende website in Blackboard heeft Over het geheel genomen heb ik veel waardering voor de Blackboard website bij dit vak Het was makkelijk om met Blackboard te leren werken Ik vind dat de docent goed gebruik maakte van Blackboard
3,2 3,9 3,92 3,9 4,0 4,2 4,3
1
Pranger, R. (2001) Gebruikersonderzoek SURFnet 2001. Tilburg: Instituut voor sociaal-wetenschappelijk beleidsonderzoek en advies (IVA). 2 Deze vraag werd niet gesteld aan studenten van de predikantsopleiding
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
7
Over het algemeen lijken studenten het gebruik van Blackboard positief te beoordelen. De meeste scores liggen rond de 4 en geven aan dat student Blackboard nuttig en gemakkelijk vinden. Ook zijn velen het ermee eens dat hun docent goed gebruik maakte van de digitale leeromgeving. Een iets lagere score krijgt de stelling "Het was duidelijk bij wie ik terecht kon met vragen over het werken met Blackboard". Het is daarom belangrijk dat nog eens goed nagegaan wordt hoe de informatievoorziening omtrent Blackboard binnen de faculteit precies verloopt en hoe deze eventueel verbeterd kan worden. Verder valt op dat bij elke stelling de hoogste scores gegeven werden voor het vak Godsdienstpsychologie (met een gemiddelde score van 4.3 per stelling). Meest gewaardeerde onderdeel van Blackboard Om na te gaan welke onderdeel van Blackboard als meest nuttig en waardevol ervaren worden, werd hierover een (open) vraag gesteld in zowel de online vragenlijsten als tijdens het focus groep interview. Bij dit laatste kregen studenten dan de kans uitgebreider op deze vraag in te gaan. De antwoorden uit de online vragenlijsten kunnen tot volgende categorieën herleid worden: Meest gewaardeerde onderdeel Discussieforum Beschikbaarheid van collegesheets, cursusinformatie e.d. Groepspagina's Medelingen Links naar websites
Aantal studenten 15 13 6 4 1
Gebruik van discussielijsten De interactie- en discussiemogelijkheden van Blackboard worden door studenten het meest gewaardeerd, gevolgd door de mogelijkheid om op deze manier cursusinformatie, leesteksten, sheets e.d. van het vak te verkrijgen. Hierbij dient ook aangegeven te worden dat de antwoorden op deze vraag sterk verschillen per vak. Bij de vakken waarbij het online discussieforum een essentieel onderdeel van de cursus vormde (godsdienstpsychologie en geschiedenis van de filosofie) wordt deze als meest waardevol Blackboard onderdeel gezien. Bij de predikantsopleiding werd geen gebruik gemaakt van de discussielijst, maar wel van de groepspagina's (waar studenten binnen hun studiegroep verslagen e.d. mee kunnen uitwisselen). Hier vonden studenten de groepspagina's de nuttigste toepassing. Bij Bijbels Hebreeuws werden de cursusmededelingen als nuttigste onderdeel beschouwd (er was wel een discussielijst, maar die werd enkel miniem ingezet als mogelijkheid voor studenten om vragen over het tentamen te stellen). Ook de focus groep was het er unaniem over eens dat discussies verreweg het meest nuttige onderdeel van Blackboard vormen. Discussies worden algemeen als zeer nuttig gezien binnen de discipline, en een online vorm daarvan wordt als een waardevol alternatief beschouwd. Voordelen Tijdens het groepsgesprek identificeerden studenten de volgende voordelen van online discussies: -
Het is een goede manier om ook stillere studenten aan het woord te laten Discussies verlopen georderdener en gestructureerder dan tijdens het college en je hebt meer tijd om te reageren Het houdt de focus beter bij het college Het dwingt dieper na te denken over bepaalde aspecten van de leerstof
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
8
Voorwaarden Toch vinden studenten dat er aan bepaalde voorwaarden moet voldaan worden opdat een discussie zinvol wordt: - Indien deelname aan een discussie niet verplicht gesteld wordt door de docent, is er weinig motivatie om deel te nemen - Als deelname verplicht gesteld wordt, is het nuttig. Daarbij is het niet altijd noodzakelijk om punten te krijgen, aangeven dat het verplicht is, is voldoende. - Als er wel een beoordeling aan deelname gekoppeld is, is het belangrijk dat de docent duidelijk aangeeft op welke manier de beoordeling tot stand komt en hoeveel en wat precies voor het eindcijfer meetelt etc. - Meer feedback van de docent tijdens online discussies zou gewaardeerd worden. Ook is het soms jammer dat er geen persoonlijke feedback/terugkoppeling op iemands bijdrage gegeven wordt. Tot slot nog een opmerking door een avondstudent: bij het reageren op stellingen merkte ze op dat dagstudenten naast het reageren op de stelling ook sneller op elkaar reageerden dan de avondstudenten, die elkaar niet zo goed kenden. Na verloop van tijd werd het ook gemakkelijker voor avondstudenten om op elkaar te reageren. Zij vond het erg fijn als avond/deeltijd student aan online discussies deel te nemen (bij geschiedenis van de filosofie) en vond het jammer dat die mogelijkheid er niet was bij latere vakken. Bij Godsdienstpsychologie en Geschiedenis van de Filosofie werd in de vragenlijst ook expliciet gevraagd naar ervaringen met de discussielijst. Studenten bij beide vakken zijn het er mee eens dat de discussies in Blackboard het college ondersteunen (gemiddelde score=4). Wel denken sommigen dat tijdens de colleges meer op de online discussies kan ingegaan worden. De meningen zijn zeer verdeeld over het feit of men liever zijn mening online dan wel tijdens het college geeft (gemiddelde score = 3,1). Technische problemen en verbeterwensen Studenten werd gevraagd of ze tijdens het werken met de cursuswebsite technische problemen ondervonden: Heel vaak Vaak Soms Zelden Nooit Niet van toepassing
2% 0% 32% 10% 46% 10%
Bijna een derde van de studenten heeft soms wel eens met een technisch probleem te kampen gehad. Toch moet dit gerelativeerd worden. Het blijkt namelijk dat de meest voorkomende problemen zich voordeed aan het begin van het academisch jaar. Als gevolg van late aanmeldingen moesten sommige studenten iets langer wachten op een gebruikersnaam en wachtwoord. Zowel in de vragenlijst als tijdens het interview werd studenten om verbeterwensen gevraagd. De antwoorden op de vragenlijst hadden meestal met het specifieke vak te maken. Bij het interview waren ze van meer algemene aard. De meest voorkomende verbeterwensen: 1) Gebruik van Blackboard bij meer (alle) vakken zodat gebruik consistenter wordt 2) Meer soorten informatie op Blackboard (bv. tentamencijfers 3, lokalenroosters) 3) Gebruik van de online toetsmogelijkheid in Blackboard 4) Meer en betere computer- en printfaciliteiten op de faculteit
3
De faculteit heeft reeds de intentie om vanaf het academisch jaar 2002-2003 tentamencijfers via Blackboard beschikbaar te stellen.
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
9
5) Goede voorlichting aan studenten over de verschillende mogelijkheden en praktisch gebruik van het Blackboard programma 6) Docenten moeten eraan denken hun cursus tijdig open te zetten voor self-enroll 7) Overzichtelijker maken van de Blackboard cursus cataloog door categoriseren/archiveren van cursuswebsites Opvallend bij de vakken waar gebruik gemaakt werd van discussies is dat studenten vaak inhoudelijke verbeteringen suggereren: zo zouden ze graag meer diepgaandere discussies zien, meer tijd besteed zien aan discussies, meer op elkaar 'moeten' reageren enz.
4.2
Docentevaluaties
4.2.1 Methode Na afloop van het 1e, 2e en 3e quadrimester semester zijn docenten Godgeleerdheid via email uitgenodigd om een online vragenlijst met open en gesloten vragen in te vullen. In de vragenlijst werd gepeild naar de wijze waarop docenten Blackboard inzetten in het onderwijs en hun meningen over het programma. Drieëntwintig docenten hebben de vragenlijst ingevuld. Veertien docenten gaven aan in het eerste, tweede en/of tweede quadrimester daadwerkelijk van Blackboard gebruik gemaakt te hebben. De overige 9 docenten gaven verscheidene redenen aan waarom ze Blackboard niet gebruikten tot dusver. De belangrijkste redenen die opgegeven werden, waren het ontbreken van een zinvolle toepassing voor Blackboard (6) en, enigszins daarbij aansluitend, gebrek aan meerwaarde in het gebruik van Blackboard (3). 'Te weinig tijd' en 'te weinig studenten' werd ook telkens tweemaal als reden opgegeven. In dit rapport worden de ervaringen gerapporteerd van de 14 docenten die Blackboard wel gebruikten.
4.2.2 Resultaten Wijze van Blackboard gebruik Blackboard werd op flexibele wijze ingezet in het onderwijs bij Godgeleerdheid: vijf docenten gebruikten het ter ondersteuning van propedeusevakken, 9 ter ondersteuning van doctoraalvakken. Bij 13 docenten werd het vak gegeven aan voltijdstudenten, bij 8 ook aan deeltijdstudenten. Het aantal studenten dat een vak volgde lag zoals te verwachten vaak laag: bij 11 docenten ging het om minder dan 20 studenten, bij 3 docenten tussen de 20 en 50 studenten. Het is belangrijk om na te gaan of het lage aantal studenten invloed heeft op de manier waarop Blackboard ingezet werd. Verder werd Blackboard bij 6 docenten ingezet ter ondersteuning van een hoorcollege, bij 8 ter ondersteuning van een werkcollege. Docenten werd vervolgens gevraagd aan te geven of en in welke mate ze Blackboard gebruikten voor een aantal nader beschreven leeractiviteiten. Onderstaande tabel geeft aan hoeveel docenten Blackboard in sterke mate/regelmatig gebruikten voor aangegeven leeractiviteiten.
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
10
Wijze van Blackboard gebruik
Aantal docenten
10 8 6 4 2
G
Ad ev m en in ist va ra n tie fe D ed s isc tu ba di us ck e sie re su re lta n m Be te et n an s tw tu de Li oo nk nt rd s en e na n va ar n (in O vr te pd ag r n ra en e t) ch br t e o Al n nn ge vo en m or en st e ud cu en rs te us n Ac in tu f o el r U m e itg at m ew ie ed er ed k e (A te lin an cu ge vu rs n us lle nd pl an )s ni tu ng di em at er ia al
0
In sterke mate ondersteunde leeractiviteiten
Uit de tabel blijkt dat Blackboard door veel docenten regelmatig gebruikt wordt voor het aanreiken van informatie (cursusplanning, studiemateriaal etc.) en het doen van mededelingen over bv. roosterwijzigingen of opdrachten. Ook verwijzingen naar internetsites worden door docenten regelmatig op deze manier aangeboden. Wat minder vaak voorkomt is dat de Blackboardsite gebruikt wordt om interactie met studenten te onderhouden (bv. door het beantwoorden van vragen of geven van feedback) of interactie tussen studenten te stimuleren (bv. door het gebruik van discussielijsten). Toch mag hierbij niet exclusief naar de resultaten van de enquête gekeken worden. Van de 29 modules die met Blackboard ondersteund werden het voorbije jaar, maakten 9 intensief gebruik van discussielijsten, dus bijna een derde. Dit ligt hoger dan het percentage vakken bij andere faculteiten waarbij discussies ingezet worden. Geen enkele docent maakte gebruik van de online toetsmogelijkheid van Blackboard tot dusver. De manier waarop en mate waarin Blackboard voor bepaalde activiteiten ingezet wordt bij Godgeleerdheid komt enigszins overeen met andere faculteiten: ook hier worden digitale leeromgevingen vooral gebruikt voor het doorgeven van informatie en materiaal aan studenten, en door een minderheid van docenten voor meer activerende werkvormen of interactie met studenten. Het soort activiteiten dat dan plaatsvindt, hangt vaak af van het specifieke karakter van het onderwijs bij de faculteit: bij Godgeleerdheid lijken discussies daarbij vaak geschikt. Tijdsinvestering De tijd die docenten investeren in werken met Blackboard is niet eenduidig vast te stellen. Om te beginnen moet een onderscheid gemaakt worden tussen: 1) de tijd nodig om met het programma te leren werken (11 docenten hadden er nog niet eerder mee gewerkt) 2) de tijd voorafgaand aan de onderwijsperiode om de cursuswebsite van inhoud en functionaliteit te voorzien, en
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
11
3) de tijd nodig gedurende de onderwijsperiode om de website te onderhouden en eventueel online leeractiviteiten te begeleiden. Tijd geïnvesteerd in leren werken met Blackboard
Aantal respondenten
1-4 uur 5-20 uur 21-40 uur Tijd geïnvesteerd voorafgaand aan onderwijsperiode
2 7 2
1-4 uur 5-20 uur 21-40 uur Tijd geïnvesteerd tijdens de onderwijsperiode 1-4 uur per week < 1 uur per week 5-8 uur per week
7 5 0 7 3 2
Uit bovenstaande tabel blijkt dat de tijdsinvestering enorm varieert per docent. Dit zal ondermeer afhangen van zijn/haar technische vaardigheden, de hoeveelheid materiaal en mate van interactie die via Blackboard aangeboden wordt etc. Redenen voor gebruik van Blackboard Docenten werd gevraagd door middel van een 5-puntsschaal (gaande van 1='zeer onbelangrijk' tot 5='zeer belangrijk') aan te geven hoe belangrijk onderstaande redenen voor hen zijn om Blackboard te gebruiken. Hun scores werden omgerekend tot een gemiddelde score (maximum=5). Ik vind het een handig hulpmiddel
4,18
Ik kan hierdoor nieuwe onderwijsvormen in praktijk brengen Ik kan hiermee de kwaliteit van mijn onderwijs verbeteren Ik kan hiermee mijn onderwijs efficiënter organiseren Ik vind internet en computers interessant De faculteit vraagt het van mij Studenten verwachten het van mij Studenten kunnen hierdoor betere resultaten behalen
4,18 4,16 3,63 3,36 3,16 2,91 2,8
Docenten geven als twee belangrijkste redenen om Blackboard te gebruiken het feit dat het een handig hulpmiddel is en dat hierdoor nieuwe onderwijsvormen mee in de praktijk kunnen gebracht worden. Ook een verbetering teweeg brengen in de kwaliteit van het onderwijs speelt voor velen een belangrijke rol. Verwachtingen van de faculteit en van studenten ten aanzien van Blackboard gebruik is voor de meesten een stuk minder belangrijk.
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
12
Meningen over Blackboard Docenten werd ook gevraagd een aantal stellingen te beoordelen, ondermeer over het werken met Blackboard in het algemeen en het effect van het gebruik ervan op hun onderwijs en contact met studenten. Dit gebeurde ook via een 5-puntsschaal lopende van 'zeer oneens' tot 'zeer eens'. Ook hier werden gemiddelde scores voor berekend (maximum =5). Blackboard is gebruiksvriendelijk Met Blackboard kon ik dingen realiseren die anders niet mogelijk waren Ik ben tevreden over de manier waarop ik Blackboard heb gebruikt in mijn onderwijs Gebruik van Blackboard was aanleiding om mijn onderwijs te veranderen Blackboard bevordert mijn contact met studenten
3,58 3,58
Door Blackboard heb ik tijd bespaard
1,66
3,16 2,83 2,66
Slechts zeer weinig docenten vinden dat Blackboard tijd bespaart, of dat het bijdraagt aan beter contact met studenten. Een groot aantal vindt het wel een gebruiksvriendelijk programma om mee te werken. De tevredenheid over de manier waarop men Blackboard ingezet heeft, varieert bij docenten. Docenten werd ook gevraagd aan te geven welke beperkingen zij ervaren bij het inzetten van Blackboard. Zij konden daarvoor kiezen uit een aantal categorieën of deze zelf aanvullen via een open vraag. Wat door de meeste docenten (6) als beperking ervaren wordt is dat studenten Blackboard te weinig gebruiken. Technische problemen (4), onvoldoende computervoorzieningen voor studenten (3) en te weinig tijd (3) werden ook telkens door enkele docenten aangeduid. Twee docenten gaven verder zelf aan dat het gebruik en de conversie van vreemde fonts (Hebreeuws, Grieks) in Blackboard vrij problematisch is (een eerste stap tot een oplossing hiervoor is het omzetten van documenten met vreemde karakters in PDF files - zie ook hoofdstuk 5 Conclusies en aanbevelingen). Toekomstig gebruik Tien docenten zijn van plan Blackboard in de toekomst op gelijkaardige wijze in te zetten, hoewel zeven docenten daarbij wel aanpassingen willen aanbrengen. De meningen zijn verdeeld over het feit of gebruik van Blackboard minder tijd zal kosten in de toekomst: 4 docenten denken wel, 4 niet en 3 weten het niet.
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
5
13
Conclusies en aanbevelingen
Conclusies De invoering van Blackboard bij het onderwijs van de faculteit heeft in de voorbije projectperiode een goede start genomen. Veel docenten vinden het niet alleen een handig hulpmiddel, maar beschouwen het als een manier om nieuwe onderwijsvormen in de praktijk te brengen. Achttien docenten hebben in totaal 30 modules verzorgd waarbij Blackboard ingezet werd. Bij 9 modules werd intensief gebruikt gemaakt van discussielijsten. Bij 1 module werd de discussielijst ingezet om studenten vragen te laten stellen over de cursusinhoud, bij de overige modules werd het gebruikt om studenten te laten reageren op stellingen (en op elkaar) en ze dieper over de stof te laten nadenken. Bij de meeste modules werd Blackboard vooral ingezet om cursusmateriaal en berichten te verspreiden aan studenten. Door het gebruik van Blackboard kregen docenten meer inzicht in elkaars werkwijze en konden opdrachten beter op elkaar afgestemd worden. Bij 6 modules werkten twee docenten samen in één cursuswebsite. Bij de predikantsopleiding gebruikten 8 docenten eenzelfde cursuswebsite om te communiceren met studenten. Deze manier van werken zal ook in de toekomst bij de predikantsopleiding gehandhaafd blijven. Hoewel veel docenten enthousiast met Blackboard aan de slag zijn gegaan, is er ook een groep docenten voor wie Blackboard dit jaar weinig te bieden had. Negen van de achttien docenten die vorige jaar een cursus gevolgd hebben, besloten er geen gebruik van de maken. Voor sommigen bleef de technische drempel hoog, voor anderen bood het systeem weinig meerwaarde, was de studentengroep niet groot genoeg of had de module een te korte looptijd om er ook een online omgeving op na te houden. Positief is wel dat er zich nog een aantal docenten die tot hiertoe geen Blackboard instructie ontvangen hebben (wegens voormalig gebrek aan interesse) zich nu spontaan hebben aangemeld voor een Blackboard cursus bij het ICTO in het najaar van 2002. Studenten zijn over het algemeen enthousiast over het werken met Blackboard en zijn veelal tevreden over de manier waarop hun docent er gebruik van maakte. Vooral het gebruik van Blackboard voor het ondersteunen van online discussies wordt zeer gewaardeerd door studenten (meer dan bijvoorbeeld het gebruik voor het verspreiden van cursusmateriaal). De belangrijkste voordelen van online discussies zijn volgens studenten het gestructureerd verloop, de mogelijkheid tot een langere responstijd dan bij een klassikale discussie en de motivatie die het geeft om dieper na te denken over bepaalde aspecten van de leerstof. Wel moet er aan bepaalde voorwaarden voldaan worden opdat een discussie zinvol wordt, zoals het verplicht stellen van deelname, duidelijkheid omtrent beoordelingscriteria en feedback op discussies tijdens het college. Studenten zouden graag het gebruik van Blackboard bij meer vakken zien, en voor meerdere soorten informatie (zoals tentamencijfers), zodat het gebruik in het onderwijs aan consistentie wint. Aanbevelingen Om op de resultaten van het project voort te bouwen en het gebruik van Blackboard binnen de faculteit te verstevigen, worden volgende aanbevelingen gedaan: -
-
Het is belangrijk dat binnen de faculteit voldoende capaciteit blijft bestaan voor praktische Blackboard ondersteuning, zowel naar studenten als docenten toe. De rol van de Blackboard ondersteuner is hierbij cruciaal. Er dient nagegaan te worden of dit een aparte functie blijft, of dat de taken van de ondersteuner permanent bij het secretariaat komen te liggen. Ook moet bekeken worden waar de voormalige taken en activiteiten van de ICTO projectmedewerker (zoals docenten- en studenteninstructie, verzamelen van good practices, docenten op de hoogte houden van cursussen en ontwikkelingen rond Blackboard etc.) binnen de faculteit een plaats kunnen krijgen.
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
-
-
14
Studenten dringen voortdurend aan op meer computer- en printfaciliteiten binnen de faculteit. Hoewel het voorbije jaar goede vorderingen hierin zijn gemaakt met het inrichten van computerwerkplekken in de bibliotheek, dient voortdurend gemonitord te worden of effectief aan de behoeften van studenten wordt voldaan. De faculteit dient ook in de toekomst naar docenten toe haar verwachtingen te formuleren omtrent de inzet van ICT toepassingen, en daarbij een duidelijk onderwijskundig kader aangeven. Daarbij is het belangrijk dat ook in de toekomst 'good practices' en ervaringen met elkaar gedeeld worden, en dat hier een concrete aanpak voor wordt bedacht. In dit kader kan ook het ICTO project bij Wijsbegeerte dat in september 2001 van start gaat nuttige voorbeelden en ervaringen opleveren voor de faculteit Godgeleerdheid. Daarnaast moeten docenten door de faculteit voortdurend aangemoedigd worden om zich te blijven professionaliseren rondom het gebruik van Blackboard en activerend onderwijs. Het ICTO biedt een aantal verdiepingscursussen, bijvoorbeeld over het ontwikkelen van toetsen met Blackboard. Tot dusver hebben docenten Godgeleerdheid de online toetsmogelijkheid van Blackboard nog niet gebruikt. Studenten gaven in het focus groep interview ook aan dat ze dit een nuttige toepassing van Blackboard zouden vinden.
-
Het is nuttig om na te gaan of Blackboard ook vakoverstijgend zou ingezet kunnen worden, bijvoorbeeld om studenten uit heel de opleiding met elkaar in discussie te laten treden over bepaalde thema's, die dan afwisselend door verschillende docenten gemodereerd kunnen worden.
-
Hoewel de ontsluiting van internet bronnen dit keer binnen het kader van het project is gedaan, moet nagedacht worden over de rol die de vakreferent zou kunnen spelen (in samenwerking met docenten) bij het ontsluiten en onderhoud van kwalitatief hoogstaand elektronisch bronnenmateriaal naar studenten toe.
-
Het werken met vreemde fonts voor onder meer Grieks en Hebreeuws heeft het voorbije jaar af en toe problemen opgeleverd. Dit komt omdat documenten aangemaakt worden in versies van WordPerfect en met font types die niet op facultaire computers of thuiscomputers beschikbaar zijn, en dus niet elektronisch leesbaar zijn. De meest geschikte oplossing die het voorbije jaar hiervoor gevonden (m.m.v. J. Krans) is om deze bestanden om te zetten naar PDF-formaat. Voorwaarde is wel dat oude WordPerfect bestanden uit bijvoorbeeld versie 5.1 eerst omgezet dienen te worden naar WP versie 9. Bij WordPerfect wordt vanaf versie 9 een mogelijkheid meegeleverd om direct vanuit het programma zelf PDF-bestanden te maken. Om vanuit Word PDF-bestanden te maken moet Adobe Acrobat software apart geinstalleerd worden, waardoor via een PDF-knop in Word bestanden geconverteerd kunnen worden. Het is aanbevolen dat op faculteitsniveau, met het oog op het elektronisch aanleveren van documenten via Blackboard, voor alle docenten die WordPerfect gebruiken versie 9 beschikbaar wordt gesteld (op dit ogenblik werken sommigen dus nog met oudere WP versies), en voor alle Word-gebruikers Adobe Acrobat. Ook voor bestanden zonder vreemde fonts kan het PDF formaat nuttig zijn. Studenten kunnen PDF-bestanden uit eender welke applicatie dan lezen en printen (het programa daarvoor - Acrobat Reader - is gratis en wijdverspreid). Bijkomend voordeel is dat een docent de inhoud van PDF-documenten zodanig kan beschermen dat gebruikers het bronbestand alleen kunnen lezen, maar niet wijzigen.
icto
ICT Onderwijscentrum VU
Eindrapportage ICT 2001/6
6
Bijlagen
6.1
Evaluatieformulier studenten
6.2
Evaluatieformulier docenten
icto
15
ICT Onderwijscentrum VU