Verkenning Next DLO VU. Evaluatierapport Blackboard 2009

Verkenning Next DLO VU Evaluatierapport Blackboard 2009

Learning / Community System

Onderwijscentrum VU Amsterdam 8 oktober 2009

vrije Universiteit amsterdam

© 2009 Vrije Universiteit, Amsterdam

Evaluatierapport Blackboard 2009 - Learning / Community System

Status Versie

Auteur Opdrachtgever Datum

2

Definitief 2.1 Linda Mebus

Carmen Peters (Hoofd afdeling Hoger Onderwijs, Onderwijscentrum VU) 8 oktober 2009

Linda Mebus (coörd. en red.) Herman Jonker Hanna Kuijs Victor Maijer Steve Pang Karin Zondervan

Adviseur ICT en Onderwijs, Onderwijscentrum VU Onderzoeker Kwaliteitszorg, Onderwijscentrum VU Beleidsmedewerker, Onderwijscentrum VU Adviseur ICT en Onderwijs, Onderwijscentrum VU Functioneel beheerder Blackboard, UCIT Functioneel beheerder Blackboard, UCIT

Foto voorblad: http://www.flickr.com/photos/mscolly/145052885/




3

Samenvatting Inleiding Dit evaluatierapport is onderdeel van het project Verkenning Next DLO VU, een initiatief van het Onderwijscentrum VU. Dit project heeft tot doel om het College van Bestuur te adviseren over de digitale leeromgeving (DLO) die het meest geschikt is om de komende 10 jaar de onderwijs- en leerprocessen van de VU te ondersteunen. Om een goed advies te kunnen geven over de toekomst, is een evaluatie van de huidige DLO van de VU vanzelfsprekend van belang. Dit rapport beschrijft de evaluatie van het Blackboard Learning System/Community System (LS/CS) en is specifiek gericht op het deel van Blackboard dat de cursuswebsites (courses) en organisaties (communities) omvat. Doel van deze evaluatie is om antwoord te geven op twee centrale onderzoeksvragen: 1. Hoe wordt Blackboard op de VU gebruikt? 2. Hoe wordt Blackboard door gebruikers en ondersteuners gewaardeerd? Methoden en technieken In de evaluatie is gebruik gemaakt van een combinatie van kwantitatieve data en kwalitatieve data. Deze data zijn verkregen aan de hand van drie methoden:  een online vragenlijst voor studenten en docenten;  interviews met docenten en ondersteuners;  een analyse van gegevens uit de database van Blackboard;  deskstudy. In januari en februari 2009 zijn in totaal 28 interviews gehouden met docenten, ondersteuners en een lid van de Universitaire Studentenraad. In totaal hebben 3462 studenten en 341 docenten de online vragenlijst geheel ingevuld. Dit is respectievelijk circa 16,3% en 21% van het totaal aantal VU studenten en docenten. Conclusies Zowel docenten als studenten en ondersteuners zijn redelijk tevreden over Blackboard. Men is met name blij dat er een centrale DLO is. Blackboard wordt vooral gebruikt voor informatievoorziening over en in het onderwijs. Docenten en studenten waarderen het sterk dat ze over deze basisfunctionaliteiten beschikken. Deze basisfunctionaliteiten zijn standaard voor iedere DLO. De gebruikersvriendelijkheid van Blackboard wordt minder gewaardeerd, vooral door docenten. Weliswaar vinden docenten Blackboard geen moeilijk programma, maar docenten vinden Blackboard inefficiënt en minder prettig in het gebruik. Een deel van de studenten vindt Blackboard verouderd en onoverzichtelijk overkomen. Blackboard is minder geschikt voor sterker studentgestuurde onderwijsvormen en het vormen van communities. Tijdens de invoering van Blackboard werd dit al aangegeven en dit is niet veranderd. Ook biedt Blackboard door zijn gerichtheid op cursussen weinig mogelijkheden om curriculumonderdelen samenhangend te presenteren. Er zijn koppelingen gemaakt tussen Blackboard en de studenten- en medewerkeradministratie. De data uit Blackboard zijn niet goed uitwisselbaar met andere systemen. De invloed vanuit de VU als klant op de ontwikkeling van Blackboard als leverancier en product is zeer gering.




4

In dit eindrapport worden nog geen aanbevelingen gedaan t.a.v. het gebruik van Blackboard. Dit zal in het advies van het project Next DLO plaatsvinden.




5

Inhoudsopgave VOORWOORD ............................................................................................................................................... 6 1. INLEIDING.................................................................................................................................................. 7 2. DOEL VAN DE EVALUATIE ................................................................................................................... 8 3. METHODEN EN TECHNIEKEN ............................................................................................................10 3.1. ONLINE VRAGENLIJSTEN ........................................................................................................................11 3.2. INTERVIEWS ...........................................................................................................................................12 3.3. DATABASE ANALYSE .............................................................................................................................14 3.4. DESKSTUDY ...........................................................................................................................................15 4. DOELSTELLING VAN BLACKBOARD................................................................................................17 4.1. DEFINITIE DLO ......................................................................................................................................17 4.2. DOELSTELLINGEN BIJ DE INZET VAN BLACKBOARD ...............................................................................17 4.3. VISIE EN BELEID T.A.V. BLACKBOARD ...................................................................................................18 4.4. FUNCTIONALITEITEN IN BLACKBOARD ..................................................................................................18 5. RESULTATEN VAN DE EVALUATIE...................................................................................................19 5.1. BLACKBOARDGEBRUIK OP DE VU ..........................................................................................................19 5.2. ONTWIKKELINGEN IN DE TIJD .................................................................................................................24 5.3. TEVREDENHEID OVER BLACKBOARD .....................................................................................................26 5.4. TECHNIEK EN BEHEER............................................................................................................................31 5.5. ANDERE DIGITALE TOOLS.......................................................................................................................33 6. CONCLUSIES ............................................................................................................................................35 BIJLAGEN ......................................................................................................................................................39




6

Voorwoord Tijdens het onderzoek viel op dat vrijwel alle betrokkenen zeer enthousiast waren over het evalueren van Blackboard en er graag aan meewerkten. Dit maakte het doen van het onderzoek tot een prettige taak. Hierbij willen wij (de werkgroep) alle mensen bedanken die tijd hebben besteed aan de evaluatie, met name degenen die tot een interview bereid waren.




7

1. Inleiding Context Dit evaluatierapport is onderdeel van het project Verkenning Next DLO VU, een initiatief van het Onderwijscentrum VU. Dit project heeft tot doel om het College van Bestuur te adviseren over de digitale leeromgeving die het meest geschikt is om de komende 10 jaar de onderwijs- en leerprocessen van de VU te ondersteunen. Om een goed advies te kunnen geven over de toekomst, is een evaluatie van de huidige DLO van de VU van belang. Dit rapport beschrijft de evaluatie van het Blackboard Learning System/Community System (LS/CS) en is specifiek gericht op het deel van Blackboard dat de cursuswebsites (courses) en organisaties (communities) omvat. Het portfoliogedeelte van Blackboard, dat bij een select aantal opleidingen wordt ingezet, is apart geëvalueerd. Voor de resultaten van deze evaluatie verwijzen we naar het eindverslag Evaluatie Digitaal Portfolio1. Het project Verkenning Next DLO VU omvat, naast de evaluatie van Blackboard, nog twee andere deelprojecten. In een behoefteonderzoek worden de behoeften van gebruikers ten aanzien van de toekomstige DLO in kaart gebracht. Hierbij gaat het zowel om de concrete behoeften van docenten, studenten en ondersteuners als om beleidsdoelstellingen van de faculteiten en het College van Bestuur. Daarnaast wordt onderzoek gedaan naar de huidige en toekomstige mogelijkheden van diverse systemen die een rol zouden kunnen spelen in de toekomstige DLO van de VU: Blackboard, Sharepoint, Sakai en Google Apps. Geschiedenis van Blackboard aan de VU In 2000 besloot het College van Bestuur tot de aanschaf van Blackboard als centraal ondersteunde DLO van de VU. Dit besluit kwam tot stand na verdeelde adviezen, waarbij uit onderwijskundige motieven de voorkeur uitging naar TeleTOP, terwijl om technische redenen Blackboard werd geprefereerd. Faculteiten die destijds reeds een andere DLO dan Blackboard gebruikten, werden niet verplicht om over te stappen naar Blackboard. Verschillende faculteiten bleven dan ook gebruik maken van andere DLO’s (NetLearning, TeleTOP, LearningSpace en BSCW). Deze faculteiten dienden wel zelf zorg te dragen voor installatie, beheer en onderhoud van de DLO en de licentiekosten te betalen. In 2002 is het gebruik van DLO's aan de VU geëvalueerd. Besloten werd om de keuze voor Blackboard als centraal ondersteunde DLO te continueren. Opnieuw werden faculteiten niet gedwongen tot een overstap naar Blackboard. Echter, de kosten voor beheer, onderhoud en licentie deden alle faculteiten in de jaren daarna uiteindelijk beslissen over te stappen naar Blackboard. In 2002 werd aangenomen dat Blackboard, mits aangevuld met software voor specifieke onderwijssituaties, vooralsnog voldoende mogelijkheden bood voor de VU. De vraag is of Blackboard nu, ruim zes jaar later, nog steeds aan de eisen en wensen van gebruikers voldoet. Het contract dat de VU met Blackboard heeft afgesloten loopt tot 31 december 2010. Voor de periode daarna moet een goed onderbouwde keuze gemaakt kunnen worden met betrekking tot continuering van dit contract. Dit evaluatierapport speelt hierbij een belangrijke rol. 1

Evaluatierapport Digitaal Portfolio / Blackboard Content System door Sytze Boschma, Herman Jonker en Sanne Meeder (Onderwijscentrum VU)




8

2. Doel van de evaluatie Onderzoeksvragen Doel van deze evaluatie is om antwoord te geven op twee centrale onderzoeksvragen: 1. Hoe wordt Blackboard op de VU gebruikt? 2. Hoe wordt Blackboard door gebruikers en ondersteuners gewaardeerd? Subvragen die uit de twee onderzoeksvragen voortkomen zijn: 1. a) Welke functionaliteiten worden gebruikt? Door wie? Hoe vaak? b) Waarvoor worden de functionaliteiten gebruikt? c) Is er een ontwikkeling te zien in de manier waarop Blackboard gebruikt wordt in de loop der jaren? d) Gebruikt men Blackboard zoals verwacht bij de invoering ervan? 2. e) Wat zijn de ervaringen van de verschillende gebruikers met Blackboard? f) Hoe tevreden zijn de verschillende gebruikers over Blackboard? g) Welke sterke punten worden ervaren bij het gebruik van Blackboard? h) Welke zwakke punten worden ervaren bij het gebruik van Blackboard? i) Hoe zien zij de toekomst van Blackboard bij de VU? Doelgroep De relevante doelgroepen voor dit onderzoek zijn studenten, docenten, management en ondersteunend personeel van de VU. De evaluatie richt zich op studenten, docenten en ondersteunend personeel van de VU. Het management is niet meegenomen in dit onderzoek aangezien zij in het Verkenning Next DLO deelproject Behoefteonderzoek al uitgebreid aan bod komen over strategie. Daarnaast is het management niet direct betrokken bij het gebruik van Bb. Wel is aan de facultaire ondersteuners gevraagd naar het huidige facultaire beleid rondom Blackboard. Onder ondersteunend personeel vallen zowel de facultaire ondersteuners (ICTO- en Blackboard contactpersonen; medewerkers onderwijsbureaus) als centrale ondersteuners (ICT&O adviseurs van het Onderwijscentrum; functioneel, technisch en applicatiebeheerders van UC-IT). Studenten, docenten en ondersteuners maken ieder op een andere wijze gebruik van Blackboard. Docenten richten een cursussite in. Zij bepalen welke functionaliteiten gebruikt kunnen worden en hoe. Zij plaatsen het materiaal dat studenten kunnen raadplegen. Daarna krijgt de student pas toegang. Tijdens een cursus kunnen docenten nog wijzigingen aanbrengen en bijvoorbeeld de opdrachten bekijken en beoordelen, groepen indelen. Studenten hebben minder rechten en vaak een passievere rol; zij kunnen bijvoorbeeld het materiaal bekijken, opdrachten inleveren en discussiebijdragen plaatsen., afhankelijk van de manier waarop een docent de cursussite heeft ingericht en gebruikt. Ondersteuners hebben weer andere rollen en bevoegdheden in en rondom Blackboard dan docenten. Per faculteit kunnen verschillen optreden. In een aantal gevallen hebben personen




9

twee functies en zijn zij bijvoorbeeld zowel ICTO-contactpersoon als Blackboard ondersteuner. Hieronder worden de rollen beschreven.  facultaire ICTO-contactpersonen: adviseren docenten over gebruik van ICT in het onderwijs,  facultaire Blackboard ondersteuners: ondersteunen docenten en studenten in gebruik van Blackboard,  facultaire medewerkers onderwijsbureaus; facultaire beheertaken,  ICT&O adviseurs van het Onderwijscentrum: geven cursussen en demonstraties over Blackboard aan docenten, ondersteunen didactisch gebruik bij facultaire projecten,  functioneel beheerders van UC-IT: ondersteunen de faculteiten in het gebruik van Blackboard, lossen lopende problemen op (of laten deze oplossen door applicatiebeheerder dan wel technisch beheerder) en proberen daarnaast de manier waarop de applicatie wordt gebruikt te reguleren,  applicatiebeheerders van UC-IT: zorg voor beheer van de applicatie Blackboard zelf en van de database die gebruikt wordt door de applicatie,  technisch beheerder van UC-IT: beheert de servers, controleert of er genoeg schijfruimte is, doet toegangscontrole, verzorgt back-ups, zorgt dat de servers draaien en bereikbaar zijn etc. Afgeleide doelen Dit evaluatierapport dient als input voor het beleidsadvies vanuit het project Verkenning Next DLO VU. De evaluatie is echter eveneens waardevol voor de andere deelprojecten binnen Next DLO. Op basis van ervaring met Blackboard kunnen criteria gedestilleerd worden waaraan een DLO volgens gebruikers en ondersteuners moet voldoen. Deze kunnen gebruikt worden in het behoefteonderzoek. Een afgeleid doel van de evaluatie is om faculteiten te informeren over de tevredenheid van hun studenten en docenten over Blackboard. Ook is de evaluatie een bron van informatie voor de functioneel beheerders, technisch beheerders, ICT&Onderwijs adviseurs en facultaire ondersteuners om hun dienstverlening te verbeteren. In dit eindrapport kunnen echter niet alle resultaten opgenomen worden. Vanwege het primaire doel van de evaluatie is er voor gekozen primair VU-brede resultaten te geven. Alleen daar waar sprake is van opvallende verschillen tussen faculteiten, zijn de resultaten uitgesplitst naar faculteit.




10

3. Methoden en technieken Na het opstellen van het onderzoeksplan heeft de werkgroep de werkwijze voor de evaluatie telefonisch besproken met de facultaire Blackboardondersteuners. Ook is in het ICTOcontactpersonenoverleg de werkwijze gepresenteerd en n.a.v. opmerkingen bijgesteld. In de evaluatie is gebruik gemaakt van een combinatie van kwantitatieve data en kwalitatieve data. Deze data zijn verkregen aan de hand van vier methoden:  een analyse van gegevens uit de database van Blackboard;  een online vragenlijst voor studenten en docenten;  interviews met docenten en ondersteuners;  deskstudy. In onderstaande tabel is per onderzoeksvraag (subvraag) aangegeven op welke doelgroep dit gericht is en welke methode gehanteerd is om tot een antwoord te komen. Onderzoeksvragen a) Welke functionaliteiten worden gebruikt? Door wie? Hoe vaak? b) Waarvoor worden de functionaliteiten gebruikt?

c) Is er een ontwikkeling te zien in de manier waarop Blackboard gebruikt wordt in de loop der jaren? d) Gebruikt men Blackboard zoals verwacht bij de invoering ervan? e) Wat zijn de ervaringen van de verschillende gebruikers met Blackboard? f) Hoe tevreden zijn de verschillende gebruikers over Blackboard? g) Welke sterke punten worden ervaren bij het gebruik van Blackboard h) Welke zwakke punten worden ervaren bij het gebruik van Blackboard i) Hoe zien gebruikers de toekomst van Blackboard bij de VU?

Doelgroep studenten docenten ondersteuners studenten docenten ondersteuners docenten ondersteuners

Methode database analyse online vragenlijst interviews online vragenlijst interviews

ondersteuners

deskstudy interviews online vragenlijst interviews

studenten docenten ondersteuners studenten docenten ondersteuners studenten docenten ondersteuners studenten docenten ondersteuners docenten ondersteuners

database analyse interviews

online vragenlijst interviews online vragenlijst interviews online vragenlijst interviews deskstudy interviews

Figuur 1. Onderzoeksvragen, doelgroep en gebruikte methode

Met behulp van de databaseanalyse was het mogelijk inzicht te krijgen in verschillende aspecten van het VU-brede gebruik van Blackboard en ontwikkelingen in het gebruik zichtbaar te maken. Aangezien Blackboard door (bijna) de gehele VU-populatie gebruikt wordt, is gekozen voor een online vragenlijst voor docenten en studenten. Met de vragenlijsten is getracht een zo groot mogelijk deel van de docenten- en studentenpopulatie bij het onderzoek te betrekken, om een zo breed en representatief mogelijk beeld te krijgen van de ervaringen van gebruikers van Blackboard. De vraag naar de ontwikkeling in het gebruik van Blackboard is met behulp van interviews en de databaseanalyse beantwoord. De toekomst is alleen met behulp van interviews onderzocht, aangezien dit met name in het behoefteonderzoek aan de orde zou komen. De interviews met docenten en ondersteuners dienen verder ter aanvulling, verdieping en verklaring.




11

Er is voor gekozen om het Content System niet uitgebreid te analyseren vanwege het zeer beperkte gebruik. 2 Deze gecombineerde aanpak voor de evaluatie van Blackboard is redelijk uniek te noemen in universitair Nederland. 3.1. Online vragenlijsten De online vragenlijsten zijn ingezet om een breed beeld te krijgen van de functionaliteiten die gebruikt worden, van de ervaringen met Blackboard en vooral van de tevredenheid over het systeem. Instrument De vragenlijsten bevatten voornamelijk meerkeuzevragen, waarbij in sommige gevallen meerdere antwoorden konden worden gegeven. Voor vragen naar tevredenheid en intensiteit van gebruik zijn 5-puntsschalen gebruikt. Ook is een aantal open vragen opgenomen, waarin gevraagd werd naar sterke en zwakke punten van Blackboard en is ruimte geboden voor opmerkingen. De vragenlijst voor studenten bestond uit 23 vragen; de vragenlijst voor docenten bestond uit 28 vragen. Aan de studenten werden vragen gesteld over:  intensiteit van gebruik,  welke functionaliteiten ze gebruiken en de tevredenheid daarover,  gebruiksgemak,  technische problemen,  behoefte aan en tevredenheid over ondersteuning,  andere gebruikte digitale tools,  sterke en zwakke punten van Blackboard. Aan docenten werden grofweg dezelfde vragen gesteld, aangevuld met vragen over redenen voor gebruik van Blackboard. Om ook buitenlandse studenten en docenten bij de evaluatie te betrekken is ook een Engelstalige versie van de vragenlijst opgesteld. De vragenlijsten zijn anoniem afgenomen, zodat men vrij kon zijn in het geven van een mening. Procedure De vragenlijsten zijn tussen 15 januari en 9 februari 2009 online beschikbaar geweest. Alle studenten en docenten van de VU zijn via facultaire contactpersonen uitgenodigd om de enquête in te vullen. Verwacht werd dat een uitnodiging door een bekende uit de faculteit meer respons oplevert dan een uitnodiging door een projectgroep van het Onderwijscentrum. De facultaire contactpersonen hebben de docenten en studenten van hun faculteit per mail geattendeerd op de vragenlijst. Ook waren er links te zien naar de vragenlijst op de inlogpagina en entreepagina van Blackboard. Als stimulans zijn onder de studenten die de enquête ingevuld hebben twee iPod Touch’s verloot.

2

Het Content System bevat naast een digitaal portfolio ook functionaliteiten voor opslag en beheer van documenten.




12

Respons Zoals in figuur 2 is weergegeven, hebben in totaal 3462 studenten en 341 docenten de vragenlijst geheel ingevuld. Dit is respectievelijk circa 16,3% en 21% van het totaal aantal VU studenten en docenten. Met name veel studenten van Letteren hebben de vragenlijst ingevuld (27%). Verder valt op dat studenten van FPP, FSW en het Onderwijscentrum ondervertegenwoordigd zijn. Wanneer de resultaten van de vragenlijsten worden uitgesplitst naar faculteiten kan over deze faculteiten daarom geen uitspraak worden gedaan. Hetzelfde geldt voor docenten van Godgeleerdheid en Wijsbegeerte, waar slechts één docent de vragenlijst invulde. Ook hebben weinig docenten van Geneeskunde de vragenlijst ingevuld.

Aard- en levenswetenschappen Bewegingswetenschappen Economische wetenschappen en Bedrijfskunde Exacte Wetenschappen Geneeskunde Godgeleerdheid Letteren Onderwijscentrum VU Psychologie en Pedagogiek Rechtsgeleerdheid Sociale Wetenschappen Tandheelkunde (ACTA) Wijsbegeerte Anders, namelijk… Totaal

Docenten respons totaal 3 % van totaal 34 159 21% 15 40 38% 52 54 16 0 51 10 29 21 28 23 1 7

251 148

21% 36%

52 134 24 104 139 135 100 34

0% 38% 42% 28% 15% 21% 23% 3%

341

1620

21%

Studenten respons totaal 4 % van totaal 629 2510 25% 216 789 27% 603 276 306 60 402 9 110 466 114 202 34 35

3858 1528 2358 370 1485 106 1707 2942 2552 880 5 185

16% 18% 13% 16% 27% 8% 6% 16% 4% 23% 18%

3462

21.270

16,3%

Figuur 2. Respons op de vragenlijsten

Analyse De meerkeuzevragen zijn geanalyseerd in SPSS, waarbij vooral gekeken is naar gemiddelden en standaarddeviaties. De open vragen zijn met behulp van interbeoordeling gescoord. 3.2. Interviews In januari en februari 2009 zijn in totaal 28 interviews gehouden met docenten, ondersteuners en een lid van de Universitaire Studentenraad. Het was niet haalbaar om gesprekken te realiseren met alle doelgroepen bij alle faculteiten. Daarom is gestreefd naar een redelijk beeld per 3

Totaal aantal docenten per faculteit. Het aantal docenten bij Geneeskunde is onbekend. Totaal aantal studenten per faculteit (bachelor, master, premaster). Cijfers afkomstig van VU Studentenzaken – Onderwijsstatistiek, Inschrijvingen en Instroom per nov. 2008 5 Totaal aantal studenten aan VU(402) en UvA (478), aangezien alle ACTA-studenten zijn uitgenodigd om de enquête in te vullen. 4




13

doelgroep van de ervaringen met Blackboard en de tevredenheid daarover, op basis van gesprekken bij verschillende faculteiten. Tijdens de interviews is gebruik gemaakt van een gestructureerde vragenlijst. Docenten Aan alle facultaire contactpersonen is gevraagd om docenten voor te dragen die Blackboard zeer intensief gebruiken of die een ander DLO gebruiken. Zo zijn 11 docenten geselecteerd die Blackboard zeer intensief gebruiken en 2 docenten die een andere DLO gebruiken (respectievelijk Fronter bij Geneeskunde en SURFgroepen bij Letteren). Met deze docenten is contact opgenomen en zij waren allen bereid om aan een interview mee te werken. Er zijn docenten geïnterviewd bij de volgende faculteiten: FALW(2), FBW, FEWEB, FEW, Geneeskunde (2), Godgeleerdheid, FPP (2), Rechten, ACTA, LET. Hierbij is gebruik gemaakt van een gestructureerde vragenlijst. De volgende onderwerpen kwamen in deze gestructureerde vragenlijst voor:  (ontwikkeling in) gebruik,  belang van Blackboard voor zijn/haar onderwijs  tevredenheid,  sterke en zwakke punten van Blackboard,  ondersteuning,  andere digitale tools,  de toekomst. De interviews zijn in de periode januari-februari 2009 uitgevoerd. De gegevens uit de interviews zijn door twee projectmedewerkers in een tabel puntsgewijs samengevoegd en samengevat om overeenkomsten en verschillen te kunnen achterhalen. Zie de bijlagen voor een samenvatting en de tabel van de interviews met docenten. Facultaire ondersteuners Een aantal facultaire contactpersonen is gevraagd om een interview of om iemand voor te dragen voor een interview over hun eigen ervaringen en de ervaringen binnen de faculteit. De selectie is gemaakt op basis van verschillen in de grootte van de faculteit, de manier van ondersteuning en het aantal jaren ervaring als ondersteuner. Het interview met de contactpersoon van FBW kon wegens persoonlijke omstandigheden helaas niet doorgaan. In onderstaande tabel staan de geïnterviewde personen per faculteit. Faculteit FSW ACTA Geneeskunde FEWEB FEW Letteren FALW Onderwijscentrum

ondersteuner Blackboard- en ICTO-contactpersoon Blackboard- en ICTO-contactpersoon Blackboard contactpersoon 2 medewerkers onderwijsbureau Blackboard contactpersoon ICTO-contactpersoon (voorheen ook Blackboard contactpersoon) ICTO-contactpersoon (voorheen ook Blackboard contactpersoon) Blackboard contactpersoon

Figuur 3. Geïnterviewde facultaire ondersteuners

De volgende onderwerpen kwamen in de gestructureerde vragenlijst voor:  facultair beleid,




       

14

(ontwikkeling in) gebruik binnen faculteit, tevredenheid onder studenten, docenten en henzelf, sterke en zwakke punten van Blackboard, techniek, beheer, ondersteuning, andere digitale tools, de toekomst.

Contactpersonen van het Centrum voor Internationale Samenwerking en het Centrum voor Studie en Loopbaan hebben per e-mail sterke en zwakke punten van Blackboard aangegeven. De gegevens uit de interviews zijn door twee projectmedewerkers in een tabel puntsgewijs samengevoegd en samengevat om overeenkomsten en verschillen te kunnen achterhalen. Centrale ondersteuners Op centraal niveau zijn vragen gesteld aan de twee huidige functioneel beheerders, een voormalige functioneel beheerder, een applicatiebeheerder en een technisch beheerder van Blackboard. Op basis hiervan is een rapport opgesteld dat de drie beheersfuncties beschrijft en verslag doet van hun ervaringen met Blackboard van 2002-2008 en de verwachtingen voor alternatieve DLO’s. Dit rapport is als input gebruikt voor het evaluatierapport en als bijlage toegevoegd. ICT en Onderwijsadviseurs van het Onderwijscentrum hebben in een groepssessie aangegeven wat zij sterke en zwakke punten van Blackboard vinden. Deze adviseurs geven cursussen en advies over gebruik van Blackboard en zijn de voormalige functioneel beheerders van het systeem. Zie de bijlage voor een samenvatting van de genoemde sterke en zwakke punten door ICT&O adviseurs. Studenten Voor de mening van studenten is vooral afgegaan op de (open vragen in de) online vragenlijsten. Daarnaast is een interview gehouden met een lid van de Universitaire Studentenraad, mede naar aanleiding van de notitie van de USR Uitdagend Onderwijs & De Menselijke Maat 6. 3.3. Databaseanalyse Methode Doel van de databaseanalyse was om verschillende aspecten van het gebruik van Blackboard in kaart te brengen en ontwikkelingen in het gebruik zichtbaar te maken. In de database worden namelijk gegevens over alle gebruikers en alle functionaliteiten geregistreerd. Dit is vanaf augustus 2003 t/m heden bewaard. Deze gigantische hoeveelheid data is niet eenvoudig te 6

Universitaire Studentenraad, Uitdagend Onderwijs & De Menselijke Maat. Werkconferentie College van Bestuur en Universitaire Studentenraad, 8 januari 2009




15

doorgronden. Ook het samenvoegen van data (nullen en enen) tot antwoorden op vragen was een ingewikkeld proces. De analyse richtte zich specifiek op het gebruik van verschillende functionaliteiten, operating systems en browsers. 7 Hierbij is gebruik gemaakt van verschillende bronnen. Voor de analyse van het gebruik van verschillende functionaliteiten zijn de databases met Blackboardgegevens gebruikt. Voor de analyse van gebruikte Operating Systems en browsers is gebruik gemaakt van de logbestanden van de Apache webserver. Bij de analyse is gebruik gemaakt van verschillende methoden. Allereerst zijn de data getransformeerd tot interpreteerbare informatie die vervolgens grafisch weergegeven kon worden of met andere analyse software verwerkt kon worden. Om de data te kunnen transformeren zijn zelfgeschreven Perl scripts gebruikt die de Oracle databases aanriepen en queries uitvoerden. De Perl scripts deden intern een aantal checks en operaties op de ontsloten data. Om antwoord te kunnen geven op de eerste vraag hoe het gebruik gekarakteriseerd kon worden zijn clustering technieken gebruikt. Dit is een techniek uit de Machine Learning theorie. De methode die is toegepast is "KMeans". De Open Source software die hiervoor is gebruikt is Weka. Door clustering werd het mogelijk om data samen te voegen. Ook is clustering gebruikt om tot verschillende ‘soorten’ gebruikers met dezelfde eigenschappen (manier van gebruik) te komen. Op de vraag hoe de functionaliteiten zich afgelopen jaren hebben ontwikkeld zijn vooral tijdseries gebruikt die in grafieken zijn gerepresenteerd. Om het gebruik van OS en browsers te analyseren is de tool AWstats gebruikt. Missende data De activiteiten in Blackboard worden automatisch vrij uitgebreid geregistreerd. Door het ontbreken van een ‘legenda’ van deze data kon echter de betekenis niet altijd achterhaald worden. Tijdens de analyses bleek ook dat een aantal gegevens niet (meer) wordt geregistreerd:  Activiteiten op het Discussion Board worden sinds medio 2008 niet meer gelogd;  Assigments en SafeAssign activiteiten worden niet gelogd. Verder is er in het verleden een aantal technische problemen opgetreden, waardoor de data over het sessiebeheer in Blackboard onbruikbaar zijn voor de analyse 8. Over de periode vóór 2006 waren ten tijde van de analyse slechts beperkte data beschikbaar. Deze gegevens zijn alleen geanalyseerd voor de belangrijkste functies, zoals het raadplegen van documenten. 3.4. Deskstudy Naast de vragenlijsten, interviews en database zijn verschillende andere bronnen gebruikt. Onderstaande drie bronnen zijn gebruikt om inzicht te krijgen in de redenen voor invoering van Blackboard en van een digitale leeromgeving in het algemeen. Hiermee kon de onderzoeksvraag "Gebruikt men Blackboard zoals verwacht bij de invoering ervan?” beantwoord worden.  Beleidsnotitie Informatie- en communicatietechnologie in het onderwijs aan de VU (Vrije Universiteit, juli 1999)

7

Zie voor details het rapport Blackboard Statistiek. Analyse van gebruikers data 2006-2009, Drs. V.N. Maijer, MBA 8 Dit kwam door invoering van de Load-Balanced omgeving in 2006.




 

16

Het kiezen van een centraal ondersteunde Digitale Leeromgeving (DLO) voor de Vrije Universiteit. Rapport ten behoeve van de Adviesgroep ICT en Onderwijs, ICT Onderwijscentrum, april 2000 Digitale leeromgevingen aan de VU. Evaluatierapport (2000 – 2002) en beleidsnotitie. Janneke van der Hulst, Gerdien Jansen, Patris van Boxel, ICT Onderwijscentrum, juli 2002

Om meer inzicht te krijgen in de manier waarop studenten het gebruik van Blackboard (en andere digitale tools) voorstaan, is onderstaande notitie bestudeerd. Dit gaf achtergrondinformatie bij het beantwoorden van onderzoeksvraag over de tevredenheid van studenten.  Universitaire Studentenraad, Uitdagend Onderwijs & De Menselijke Maat. Werkconferentie College van Bestuur en Universitaire Studentenraad, 8 januari 2009 Verder is het jaarverslag van het bedrijf Blackboard Inc. geraadpleegd. Dit was belangrijk om de ervaringen en tevredenheid van met name de functionele en technische beheerders te verklaren. De gegevens uit het jaarverslag geven namelijk inzicht in de handelswijze van Blackboard en een verklaring voor de houding van Blackboard Inc. naar de VU als klant.  Jaarverslag van Blackboard: Blackboard Inc. 10-K Annual report (http://ccbn.10kwizard.com/xml/download.php?repo=tenk&ipage=6166629&format=P DF), 20 februari 2008 Tevens is er bij de facultaire contactpersonen geïnformeerd naar bestaande evaluaties van het gebruik en de tevredenheid met betrekking tot Blackboard. Deze waren bij de faculteiten niet aanwezig, behalve een analyse van het gebruik van Blackboard bij de faculteit Pedagogiek en Psychologie 9. In de standaard evaluatievragenlijst voor het onderwijs die sinds 2004 VU-breed gebruikt wordt, staan twee items over de digitale leeromgeving. De antwoorden van studenten op deze items in de collegejaren 2006/2007 en 2007/2008 zijn geanalyseerd.

9

Data verzameld door FPP ICTO- en Blackboard contactpersoon Hans van Helden




17

4. Doelstelling van Blackboard 4.1. Definitie DLO De term ‘digitale leeromgeving’ (DLO) wordt binnen de VU op verschillende manieren gebruikt. In het project Verkenning Next DLO VU wordt een brede definitie gehanteerd van het begrip DLO. De term verwijst naar een samenhangend geheel van applicaties ter ondersteuning van de onderwijs- en leerprocessen. De digitale leeromgeving kan in deze definitie bestaan uit een samenspel van systemen. In de praktijk wordt de term DLO echter ook veelal gebruikt als benaming voor een specifieke applicatie, zoals Blackboard of Sakai. Dit evaluatierapport richt zich specifiek op Blackboard als applicatie die wordt ingezet als DLO. Veel studenten, docenten en ondersteuners van de VU kennen geen andere DLO dan Blackboard. De termen DLO en Blackboard zijn voor hen vaak synoniem. Een belangrijk aandachtspunt is daarom dat de tevredenheid van gebruikers over Blackboard niet volledig is los te koppelen van de tevredenheid over de aanwezigheid van een digitale leeromgeving in het algemeen. In de evaluatie is echter expliciet getracht om ook de specifieke tevredenheid over Blackboard te destilleren. 4.2. Doelstellingen bij de inzet van Blackboard Zoals eerder beschreven is Blackboard in 2000 ingevoerd als centraal ondersteunde DLO van de VU. Doel was om met behulp van ICT het onderwijs op systematische wijze te ondersteunen. Achterliggende doelen van de inzet van ICT in het onderwijs waren10:  Verbeteren van de kwaliteit en studeerbaarheid van het onderwijs;  Ontsluiten van wereldwijde kennisbronnen;  Bevorderen van interactie tussen docenten en studenten;  Bevorderen van zelfstandig leren en activerende onderwijswerkvormen;  Vergroten van de efficiëntie van groepswerk;  Studenten voorbereiden op een arbeidsmarkt waarin veel ICT-vaardigheid wordt gevraagd;  Onderwijs toegankelijker maken voor studenten uit andere doelgroepen (deeltijdstudenten, ouderen, alumni, externe experts, buitenlandse studenten etc.);  Vergroten van de transparantie van het onderwijs voor zowel studenten als docenten. Blackboard werd gezien als één van de middelen om deze doelstellingen te bereiken. In het evaluatierapport uit 2002 werd aangegeven dat Blackboard vooral geschikt geacht werd voor ondersteuning van het traditionele onderwijsmodel, waarbij docenten en cursussen als uitgangspunt worden genomen. Ditzelfde gold voor de andere DLO’s die binnen de VU werden gebruikt: “De DLO’s worden overwegend ingezet als hulpmiddel bij de organisatie van bestaand onderwijs. (…) ter ondersteuning van traditionele onderwijsvormen zoals hoor- en werkcolleges (…)” Er bestond twijfel over de vraag of Blackboard (en de andere DLO’s) geschikte hulpmiddelen waren bij sterker studentgestuurde onderwijsvormen. 11

10

Beleidsnotitie ‘Informatie- en communicatietechnologie in het onderwijs aan de VU’ (Vrije Universiteit, juli 1999) 11 Digitale leeromgevingen aan de VU: Evaluatierapport (2000-2002) en beleidsnotitie, ICT Onderwijscentrum, juli 2002, p.3




18

4.3. Visie en beleid t.a.v. Blackboard In het evaluatierapport uit 2002 werd geadviseerd een lange termijn visie te ontwikkelen op de gewenste functionaliteiten van een geïntegreerde studeeromgeving voor studenten en docenten. Dit heeft vorm gekregen in het langlopende programma Digitale Leerinfrastructuur VU (2005 tot 2010) dat valt onder het team ICT en Onderwijs bij het Onderwijscentrum. Blackboard speelt hierin een belangrijke rol. In 2002 werd tevens het volgende advies gegeven: “Faculteiten moeten gestimuleerd worden om voor hun eigen vakgebied een visie op onderwijsinnovatie en de gewenste rol van ICT en de DLO uit te werken.” 12 Dit laatste is niet tot nauwelijks gebeurd. Volgens de geïnterviewde facultaire contactpersonen is er geen beleid ten aanzien van het gebruik van een DLO of Blackboard. Bij Letteren is dit wel in ontwikkeling en bij FALW zijn er beperkte afspraken. Er zijn wel facultaire werkafspraken door ICTO- en Blackboardondersteuners gemaakt. 4.4. Functionaliteiten in Blackboard In dit rapport wordt regelmatig verwezen naar bepaalde functionaliteiten in Blackboard. Onderstaande tabel biedt een overzicht van functionaliteiten, voorzien van een korte uitleg. Engelse term Announcements Content

Nederlandse term Mededelingen Inhoud

Assignments

Opdrachten

SafeAssign

SafeAssign

Digital Dropbox Discussion Board

Digital Dropbox Discussielijst

Gradebook

Cijferlijst

Test

Toetsen

E-mail

E-mail

External links Groups

Externe links Groepen

Virtual Classroom

Virtueel Klaslokaal

Light Chat

Chat

Surveys

Proeftoetsen

Uitleg functionaliteit Verspreiden van actuele mededelingen tijdens de cursus Informatie verspreiden over het vak, vakinhoudelijke documenten verspreiden Opdrachten plaatsen en inleveren. Ingeleverde opdrachten kunnen door de docent via het Gradebook ingezien en beoordeeld worden. Opdrachten inleveren met controle op plagiaat (check op overeenkomsten met tekst in andere documenten) Opdrachten inleveren in een virtueel postvak Plaats waar cursusdeelnemers (docenten en studenten) berichten kunnen plaatsen en op elkaar kunnen reageren, ook wel forum genoemd Overzicht van (deel)beoordelingen van alle studenten die deelnemen aan cursus. Toetsen (verschillende vraagtypen mogelijk). Er kan tevens een pool van vragen gemaakt worden waaruit een toets wordt samengesteld. Versturen van e-mail naar cursusdeelnemers (individueel of aan een groep studenten/docenten). Plaatsen van hyperlinks naar externe bronnen op het Internet. Ruimte binnen de cursus die alleen voor bepaalde cursusdeelnemers toegankelijk is. Ruimte voor synchrone communicatie waarbij cursusdeelnemers met behulp van een gedeeld ‘schoolbord’ en tekstberichten met elkaar kunnen communiceren Ruimte voor synchrone communicatie waarbij cursusdeelnemers met behulp van tekstberichten kunnen communiceren Vragenlijsten

Figuur 4. Functionaliteiten in Blackboard

In de functionaliteiten van Blackboard is sinds 2002 weinig veranderd. Er is een aantal functionaliteiten bijgekomen, zoals plagiaatcontrole, maar de basis en werkwijze is hetzelfde gebleven. 12

idem, p.4.




19

5. Resultaten van de evaluatie Om tot resultaten te komen, zijn de gegevens uit de drie methodes (enquêtes, interviews en databaseanalyse) door het projectteam besproken en met elkaar vergeleken. Daar waar gegevens over hetzelfde thema elkaar ondersteunden, verklaarden en versterkten, kon een sterkere conclusie afgeleid worden. Per onderwerp wordt een VU-breed beeld gegeven. Waar mogelijk/nuttig worden ook de verschillen tussen faculteiten aangegeven. In de conclusie zal verder ingegaan worden op mogelijke verklaringen voor de verschillen per faculteit. 5.1. Blackboardgebruik op de VU Onduidelijkheid over aantal gebruikers Het percentage actieve gebruikers van Blackboard is de afgelopen jaren gestegen en lijkt nu te stabiliseren. Het is echter moeilijk te zeggen of het aantal gebruikers de afgelopen jaren gestegen is in verhouding tot de totale VU populatie. In Blackboard zijn meer mensen met docent-rol aanwezig dan het totale aantal docenten in de VU administratie. Het is onduidelijk of bijvoorbeeld student-assistenten, promovendi en gastdocenten zijn meegeteld in de VU administratie. Zij hebben in Blackboard vaak wel een docent-rol. Ook leverde de invoering dit jaar van het VU-net ID voor medewerkers onduidelijkheid op over het aantal docenten in Blackboard. Docenten kregen daardoor nieuwe accounts voor nieuwe cursussen, terwijl ze met het oude account toegang houden tot oude cursussen. Als docenten beide accounts gebruiken kan dubbeltelling ontstaan. Voor studenten geldt ook onduidelijkheid, aangezien zij soms zowel de rol van ‘docent’ als van ‘student’ binnen Blackboard hebben vanwege werkzaamheden als student-assistent. In de uitnodiging voor de enquête is aan docenten en studenten die Blackboard niet gebruiken, gevraagd om (een zeer korte versie van) de enquête in te vullen. Hierin hebben 30 van de 341 docenten aangegeven Blackboard niet te gebruiken. Zeven Docenten hebben aangegeven een andere DLO te gebruiken. Van de 3462 studenten hebben er 50 aangegeven Blackboard niet te gebruiken. 14 Studenten gebruiken een andere DLO. Circa 90% logt iedere dag of meerdere keren per week in, ook buiten kantooruren Uit de enquête blijkt dat de meeste docenten meerdere keren per week (52%) tot iedere dag (37%) inloggen op Blackboard in de periode dat ze onderwijs geven. Studenten loggen ook meerdere keren per week (43%) tot iedere dag (50%) in op Blackboard in de periode dat ze onderwijs volgen. Blackboard-gebruikers zijn niet alleen overdag tijdens kantooruren actief blijkt uit de Blackboard database-analyse. Ook ’s avonds en ’s nachts wordt er gebruik van het systeem gemaakt. Onderstaande figuur 5 laat de activiteit op een donderdag in februari zien waarbij '0' het uur van middernacht tot één uur ’s nachts is en '23' 23.00 uur 's avonds tot middernacht is. Tijdens de piek op deze dag (om 13 uur) werd Blackboard door bijna 5.000 mensen bezocht. Belangrijkste inzicht hierbij is dat Blackboard ook buiten kantooruren door duizenden mensen wordt gebruikt. In de avonduren wordt er veelvuldig gebruikt gemaakt van Blackboard en dat loopt door tot een uur of 1 's nachts. Om 22 uur waren nog 2.273 mensen actief. Zelfs in de kleine uurtjes (2 - 6 uur) maken nog honderden mensen gebruik van Blackboard.




20

Figuur 5. Gebruik van Blackboard op donderdag 5 februari 2009

Plaatsen van documenten en informatie meest gebruikt In de databaseanalyse is gekeken naar de intensiteit van het gebruik van verschillende functionaliteiten van Blackboard. Hieruit kwam naar voren dat het Content gedeelte het meest gebruikte onderdeel van Blackboard is. Binnen het Content-gedeelte worden vooral documenten geplaatst, zoals Word, PowerPoint- en PDF-bestanden. Mededelingen worden ook regelmatig gebruikt. Overige functionaliteiten zoals Discussion Board, Tests en vooral Gradebook worden op bescheiden schaal gebruikt. Twee onderdelen worden nauwelijks gebruikt: Virtual Classroom en Chat. Of deze functionaliteiten niet nodig zijn of dat de kwaliteit van deze functionaliteiten de beperkende factor is, kan op basis van de verzamelde data helaas niet worden vastgesteld. Ook in de vragenlijsten gaven docenten, in lijn met de resultaten van de databaseanalyse, aan Blackboard voornamelijk te gebruiken voor het plaatsen van documenten, informatie en mededelingen over een cursus. Docenten vooral basisgebruikers, intensiteit verschilt Om een inschatting te maken van de manier waarop docenten werken met Blackboard, zijn de activiteiten van docenten geclusterd. Hierbij is gekeken naar het aantal clicks in het Control Panel. Via het Control Panel richt de docent zijn cursus in; alleen gebruikers met docentrechten hebben hier toegang toe. Onderstaande tabel laat vier verschillende clusters van gebruikers




21

zien 13. Er blijkt een grote groep ‘basisgebruikers’ (circa 82%) te zijn. Onder basisgebruik valt de functie ‘Documenten plaatsen’ (Content) en in mindere mate de functies ‘Mededelingen plaatsen’ (Announcements) en soms ook ‘Cijferlijst gebruik’ (Gradebook) 14. De basisgebruikers zijn niet bijzonder intensief bezig met Blackboard. In figuur 6 worden de basisgebruikers weergegeven als cluster 1. De grootste groep docenten klikt dus in het Control Panel 26 keer binnen de Content en een paar keer binnen de Announcements en Gradebook. Content is waar docenten hun documenten (Powerpoints, PDF’s etc) neerzetten. Er is hier gekeken naar de activiteit van docenten in het eerste semester 2008-2009. Het gaat om het aantal clicks per docent. Dit is niet verder gespecificeerd per cursus, mocht een docent in dat semester meerdere cursussen beheren. Daarnaast zijn er kleine groepen docenten die specialistisch gebruik maken van Blackboard. Cluster 2 (circa 14%) zijn intensieve gebruikers; zij gebruiken dezelfde functionaliteit als de basisgebruikers, maar dan vele malen intensiever. Cluster 3 (3%) zijn nog intensievere gebruikers, die ook de Testmanager en Digital Dropbox gebruiken. Er wordt relatief zeer veel binnen Announcements geklikt, dus communicatie speelt voor deze docent een grote rol. Cluster 4 (1%) zijn zeer intensieve ‘allesgebruikers’. Bij deze docenten ligt de nadruk op Content en Gradebook. Het relatief hoge aantal clicks bij Gradebook wijst op het laten inleveren, bekijken en becijferen van opdrachten via Blackboard. Cluster aantal docenten (percentage)

1: Basis 1573 (82%)

Content

2: Intensief 271 (14%)

3: Intensief+ Communicatie 51 (3%)

4: Zeer intensief + opdrachten 27 (1%)

26

103

243

644

Announcements

6

62

194

51

Gradebook

6

20

48

138

Test Manager

1

2

10

17

Digital Dropbox

1

1

9

8

Discussion Board

1

5

4

7

Survey manager

0

0

0

9

Figuur 6: Clusters gekarakteriseerd op basis van het aantal clicks in het Control Panel van september 2008 tot januari 2009

FEWEB grootste gebruiker (absoluut) Om een beeld te krijgen van de activiteit per faculteit, is gekeken naar het gebruik van content items (documenten en informatie). Zoals eerder beschreven is dit het meest gebruikte deel van Blackboard. Figuur 7 laat het aantal ‘content clicks’ per faculteit zien. Dat is het aantal keer dat studenten en docenten van een faculteit een content item (bijvoorbeeld een PowerPoint of PDF) aanklikken en openen. Er zijn twee meetmomenten: de eerste drie maanden van het studiejaar 2007-2008 en van het studiejaar 2008-2009. 13

De "Sum squared of errors" is aan de hoge kant met een waarde van ruim 20. Daarom kunnen de gevonden percentages en aantallen niet heel precies genomen worden en moet vooral gekeken worden naar het algemene beeld. Het kan ook wijzen op een zeer gevarieerd gebruik van Blackboard. 14 De standaarddeviatie van het gebruik van het Gradebook is hoog. Dat wil zeggen dat de intensiteit van Gradebook gebruik sterk verschilt per docent. Gemiddeld wordt het Gradebook echter evenveel gebruikt als Announcements.




22

Figuur 7: Aantal geraadpleegde content items per faculteit (sep, okt en nov) 15

FEWEB blijkt de zwaarste gebruiker als het gaat om het raadplegen van content. Geneeskunde en FALW zijn ook redelijk zware gebruikers. Gezien het feit dat FEWEB ook de grootste faculteit is wat betreft studentenaantallen, is dit een logisch resultaat. In de volgende paragraaf is het gebruik per faculteit gecorrigeerd naar studentenaantal. Opvallend is dat bij FEWEB, evenals bij ACTA en FPP, tussen het studiejaar 2007-2008 en 2008-2009 een kleine daling te zien is in de geraadpleegde content. ACTA-studenten gebruiken Blackboard meest intensief In figuur 8 zijn de gegevens uit figuur 7 gerelateerd aan het aantal studenten van de faculteit. Figuur 8 toont per faculteit het aantal clicks per student. Uit de grafiek komt naar voren dat studenten bij ACTA het meest actief gebruik maken van Blackboard. In deze grafiek is – duidelijker dan in figuur 7 - te zien dat de activiteit bij FEWEB en ACTA (in 2007 gemiddeld de meest intensieve gebruikers) is gedaald. Bij Geneeskunde is daarentegen een duidelijke stijging in het gebruik van Blackboard te zien. 16

15

Het Onderwijscentrum is niet meegenomen in deze analyse vanwege de zeer beperkte hoeveelheid gebruik t.o.v. de faculteiten. 16 Wijsbegeerte en Theologie zijn niet meegenomen in de grafiek. Gezien het zeer kleine aantal geraadpleegde content items binnen deze faculteiten is uitsplitsing per student niet representatief.




23

Figuur 8: Gemiddeld aantal content hits (clicks) per student (sep, okt, nov)

Docent bepalende factor In de interviews gaven facultaire ondersteuners aan dat de intensiteit van het gebruik van Blackboard vooral afhankelijk is van de docent, niet van het vak of de studiefase. Wel wordt bij onderwijs aan grote aantallen studenten, meer dan bij kleinere aantallen, grote waarde gehecht aan de organisatorische mogelijkheden van Blackboard, bijvoorbeeld doordat studenten zelf kunnen inschrijven op subgroepen. Uit de interne analyse bij FPP bleek dat Blackboard het meest intensief werd gebruikt bij vakken met grote groepen studenten. Didactisch gebruik blijft sterk achter bij organisatorisch gebruik De facultaire ondersteuners gaven aan dat het didactisch gebruik van Blackboard sterk achterblijft bij het organisatorisch gebruik: Blackboard wordt vooral gebruikt voor organisatie van het onderwijs, niet zozeer om nieuwe of actievere werkvormen in te zetten. Uit de vragenlijst blijkt inderdaad dat docenten Blackboard voornamelijk gebruiken voor de organisatie van de cursus en het aanbieden van inhoudelijk materiaal (zie figuur 9). Toch geeft 18 % van de docenten aan Blackboard ook te gebruiken om vernieuwende onderwijsvormen te realiseren (zie figuur 10). De Universitaire Studentenraad pleit in haar notitie Uitdagend Onderwijs & De menselijke maat voor een betere kennis bij docenten van de digitale mogelijkheden, waaronder Blackboard. Zij stellen: “Het benutten van technische mogelijkheden is een toevoeging. De afwisseling in




24

werkvormen die hierdoor kan worden gecreëerd werkt uitdagend.” 17 Tot nu toe gebeurt dit volgens de USR nog te weinig. Waarvoor gebruikt u Blackboard? (Meerdere antwoorden mogelijk) Voor de organisatie van de cursus (actuele mededelingen, informatie over de cursus, laten inleveren opdrachten, ed.) Aanbieden van inhoudelijk materiaal (collegesheets, artikelen, video’s, links, ed.) Voor (extra) oefenmogelijkheden of zelfstudie voor studenten Voor het ondersteunen van samenwerkingsopdrachten voor studenten Begeleiden van studenten op afstand Anders, namelijk ….

94% 91% 39% 28% 26% 10%

Figuur 9. Antwoorden uit de enquête op de vraag “Waarvoor gebruikt u Blackboard?”

Waarom gebruikt u Blackboard? (Meerdere antwoorden mogelijk) Omdat studenten het verwachten

52%

Omdat het er tegenwoordig gewoon bijhoort

50%

Het maakt mijn tijdsbesteding efficiënter

45%

Omdat de faculteit het verwacht

43%

Het maakt mijn vak beter

40%

Om specifieke groepen studenten goed te bedienen

22%

Om vernieuwende onderwijsvormen te realiseren

18%

Anders, namelijk ….

17%

Figuur 10. Antwoorden uit de enquête op de vraag “Waarom gebruikt u Blackboard?”

Blackboard niet alleen via Internet Explorer gebruikt Blackboard wordt via Internet benaderd met behulp van een browser. De meest gebruikte browser is Internet Explorer (77%). Echter, een substantiële groep gebruikers gebruikt andere browsers zoals Firefox en Safari. Uit de enquête kwam de klacht naar voren dat Blackboard niet altijd volledig werkt bij andere browserversies dan Internet Explorer. Mobile Devices spelen nog geen rol Het feit dat Blackboard niet benaderbaar is via Mobile Devices zoals Smartphones lijkt nog geen grote rol te spelen onder studenten. Hierover kwamen in de vragenlijst slechts zeven klachten of opmerkingen.

5.2. Ontwikkelingen in de tijd Docenten minder actief in Blackboard Uit de analyse van de database blijkt, bij vergelijking van de activiteit in Blackboard tussen het eerste semester van het studiejaar 2007-2008 en 2008-2009, een afname in activiteit in het Control Panel op alle tools, met uitzondering van het Gradebook. Dit betekent dat docenten in 17

Universitaire Studentenraad, 2009, p. 19, 20.




25

2008 minder actief zijn geweest in Blackboard. Vooral bij FEWEB en FALW, en in mindere mate bij ACTA, is deze daling zichtbaar. De reden van de afgenomen activiteit kan liggen in efficiënter gebruik van Blackboard of meer gebruik van de kopieermogelijkheid van (delen van) cursussen. Het is echter ook mogelijk dat docenten daadwerkelijk minder van Blackboard gebruik maken. Groei Content-gebruik neemt laatste jaar af Figuur 11 laat het totale gebruik zien van het content gedeelte in Blackboard, door zowel studenten als docenten. De afgelopen jaren is het Content-gebruik jaarlijks gestegen. Echter, deze stijging wordt minder groot. Als specifiek wordt gekeken naar de maanden september, oktober en november van 2007 en 2008, dan is er sprake van een stijging van 1%. De studentenpopulatie is in deze periode echter 8% gestegen. Hoewel er dus sprake is van een absolute stijging in het Content-gebruik, is het relatieve gebruik gedaald.

Figuur 11. Geraadpleegde content items in Blackboard.

Onderstaande figuur 12 toont het aantal clicks per content item. Het aantal clicks weerspiegelt hoe vaak een item is geraadpleegd. Deze laat een daling zien in 2008 ten opzichte van 2007, na een stijging in de 5 voorgaande jaren. Dit is opvallend omdat het aantal VU-studenten in deze periode met 8% is gegroeid. Men zou verwachten dat als de (studenten)populatie toeneemt, het gemiddeld aantal clicks per item ook toeneemt. Twee mogelijke verklaringen voor de gebleken daling zijn dat (1) studenten efficiënter zijn gaan werken en minder clicks nodig hadden om het juiste materiaal te vinden, of (2) dat er in 2008 meer content buiten Blackboard is geplaatst, bijvoorbeeld op persoonlijke websites van de docent.




26

Figuur 12. Gemiddeld aantal clicks per content item.

Laatste jaar minder gebruik van Groepen en Test Manager De databaseanalyse toont een duidelijke daling in het gebruik van de Group functionaliteit. Mogelijk is dit te wijten aan de beperkte mogelijkheden binnen Groups. Ter illustratie: volgens de coördinator van masteropleiding Journalistiek voldeed de groepsfunctionaliteit van Blackboard niet voor het verzamelen en delen van studentenproducten die uit een verzameling van materialen bestaan. Binnen Groups kunnen alleen losse documenten gedeeld worden als bijlage in het Discussion Board of in de File Exchange (functionaliteit voor het uitwisselen van documenten). De analyse toont tevens minder activiteit in de Test Manager, de toetsfunctionaliteit van Blackboard. Over de toetsen in Blackboard werden ook expliciet (technische) klachten geuit in de docentinterviews en de open vragen van de enquête. Uit de interviews bleek dat een aantal opleidingen is overgestapt naar het toetsprogramma QuestionMark Perception (QMP) dat door de VU wordt aangeboden. QMP is een gespecialiseerd toetsprogramma met uitgebreide analysemogelijkheden, dat de toetsmogelijkheden van Blackboard vergaand overstijgt. 5.3. Tevredenheid over Blackboard Gebruikers gemiddeld redelijk tevreden, Blackboard vooral nuttig Zowel studenten als docenten geven aan redelijk tevreden te zijn over Blackboard. Op de vraag “Hoe tevreden bent u/ben jij over Blackboard in het algemeen?” gaven studenten gemiddeld een score van 3,87 op een schaal van 5 (zeer ontevreden – zeer tevreden). Zij waren hiermee




27

duidelijk positiever dan de docenten, die met een gemiddelde score van 3,58 nog wel redelijk tevreden te noemen zijn. Op de vraag “Ervaar je Blackboard als een nuttig middel voor jouw onderwijs?” Is het antwoord van studenten gemiddeld 4,26 op een schaal van 5, dus een volmondig “Ja”. De meningen van studenten verschillen wel per faculteit. In onderstaande figuur zijn de gemiddelde antwoorden van studenten per faculteit uitgesplitst:

Aard- en levenswetenschappen Bewegingswetenschappen Economische wetenschappen en Bedrijfskunde Exacte Wetenschappen Geneeskunde Godgeleerdheid Letteren Psychologie en Pedagogiek Rechtsgeleerdheid Sociale Wetenschappen Tandheelkunde (ACTA) Wijsbegeerte Totaal

Hoe tevreden ben je op Ervaar je Blackboard als dit moment met een nuttig middel voor Blackboard? jouw onderwijs? 3,99 4,40 3,96 4,37 3,91 3,51 3,83 3,63 3,97 4,04 3,92 3,89 3,63 3,74 3,88

4,24 3,87 4,15 4,17 4,32 4,41 4,33 4,28 4,18 3,91 4,26

593 208 572 243 284 46 365 95 447 90 200 23 3166

Figuur 13. Antwoorden van studenten per faculteit op de vragen “Hoe tevreden ben je op dit moment met Blackboard?” en “Ervaar je Blackboard als een nuttig middel voor jouw onderwijs?”

Op beide vragen zijn er aanzienlijke verschillen tussen de studenten van de faculteiten. Op de vraag ‘Hoe tevreden ben je op dit moment met Blackboard?’ F(1, 11) = 10,41; p < .01 en bij vraag ‘Ervaar je Blackboard als een nuttig middel voor jouw onderwijs?’ F(1, 11) = 8,92; p < .01. Bij beide vragen zijn studenten van FALW, en FBW 18 significant positiever dan gemiddeld. Exacte Wetenschappen, ACTA, Godgeleerdheid en Geneeskunde zitten op beide vragen aan de negatieve kant van het spectrum, maar zijn nog steeds tevreden. Letteren komt op één van de twee vragen hoog uit en op de andere vraag in de middenmoot. De overige faculteiten komen op beide vragen in het midden uit. Ook uit de standaardvragenlijst voor onderwijsevaluatie blijkt dat de studenten redelijk tevreden zijn over Blackboard. In de standaardvragenlijst, die sinds 2004 gebruikt wordt, staan twee stellingen over Blackboard/DLO: “De informatie op de cursuswebsite was overzichtelijk en 'up to date'” en “Ik heb veel gehad aan de digitale leeromgeving.” De gemiddelde beoordeling is respectievelijk 3,80 (SD = .55) en 3,45 (SD = .63), op een schaal van vijf (van “zeer oneens” tot “zeer eens”), gebaseerd op gegevens van alle cursussen die met deze vragenlijst zijn geëvalueerd in de jaren 2006-2007 en 2007-2008. Er zijn geen verschillen tussen de twee cursusjaren waargenomen.

18

Studenten van FPP waren het meest positief (4,04 op schaal van 5), maar gezien de lage respons kan representativiteit niet worden gegarandeerd. Hetzelfde geldt voor FSW.




28

In onderstaande tabel zijn de gemiddelde antwoorden van docenten per faculteit uitgesplitst:

Aard- en levenswetenschappen Bewegingswetenschappen Economische wetenschappen en Bedrijfskunde Exacte Wetenschappen Geneeskunde Letteren Psychologie en Pedagogiek Rechtsgeleerdheid Sociale Wetenschappen Tandheelkunde (ACTA) Totaal

Hoe tevreden bent u op dit moment met Blackboard? 3,91 3,45 3,67 2,90 3,54 3,81 3,81 3,57 3,38 3,59 3,56

22 11 45 36 13 48 27 21 26 17 269

Figuur 14. Antwoorden van docenten per faculteit op de vraag “Hoe tevreden bent u op dit moment met Blackboard?”

Docenten van FALW en FPP zijn positiever dan gemiddeld. Docenten van Exacte Wetenschappen zijn niet erg tevreden (2,9 op schaal van 5). Tijdens de interviews met docenten en facultaire ondersteuners werd vaak aangegeven dat het onderwijs aan de VU zonder Blackboard ondenkbaar geworden is. Het hebben van een centrale online plaats voor mededelingen, informatie en uitwisseling van documenten is ingeburgerd onder studenten, docenten en in de organisatie. Hierbij is het echter belangrijk om rekening te houden met het feit dat men in feite spreekt over de onmisbaarheid van bepaalde functionaliteiten. De meeste gebruikers kennen geen andere DLO dan Blackboard, en kunnen dus geen vergelijking maken met andere systemen. Hoge waardering van basisfunctionaliteit Zoals eerder beschreven maken docenten voornamelijk gebruik van Documenten plaatsen, Mededelingen en Informatie over de cursus verspreiden. Zij waarderen deze ‘basisfunctionaliteiten’ zeer (4,1 - 4,2 op schaal van 5). Ook de studenten gaven aan deze functionaliteiten het meest te gebruiken en waarderen. Daarnaast waarderen studenten en docenten ook het versturen van e-mail naar groepen studenten en het plaatsen van links naar externe bronnen. Bijna alle functionaliteiten worden neutraal tot positief gewaardeerd. Uitzonderingen zijn Chat en Virtual Classroom, maar omdat deze functionaliteiten zeer weinig gebruikt worden, kunnen hier geen conclusies aan worden verbonden. Zie de bijlagen voor een volledig overzicht van de frequentie van gebruik van verschillende functionaliteiten en de tevredenheid per functionaliteit.

Basis is snel te leren Facultaire en centrale ondersteuners geven aan dat studenten en docenten in het algemeen snel aan de slag kunnen met Blackboard. De basis is eenvoudig te leren en uitleg is vaak zelfs niet nodig.




29

Veel studenten gaven in de enquête aan zelden of nooit (77%) ondersteuning nodig te hebben bij het werken met Blackboard. Toch is er een kleine groep studenten (2%) die aangeeft niet goed met Blackboard uit de voeten te kunnen en die in de open vragen van de enquête specifiek vraagt om meer (korte) uitleg. Studenten van faculteiten die hoog scoorden op ‘gemakkelijk’ en ‘prettig’, geven ook aan het minst behoefte te hebben aan ondersteuning. FALW, FPP, FBW. Exacte Wetenschappen past niet helemaal in dit plaatje; deze studenten hebben weinig behoefte aan ondersteuning, maar scoren laag op ‘gemakkelijk’ en ‘prettig’: F(1, 11) = 4,92; p < .01. Ook de meeste docenten geven aan weinig functionele en vooral weinig onderwijskundige ondersteuning nodig te hebben. Voor functionele ondersteuning raadplegen docenten de Blackboard Supportsite, de facultaire Blackboardondersteuner en collega-docenten. Voor onderwijskundige ondersteuning gaat men vooral naar collega-docenten. Een aantal docenten heeft in de open vragen opgemerkt dat ze te weinig tijd hebben om zich te verdiepen in Blackboard en/of dat ze vermoeden dat er (veel) meer mee kan dan zij er nu mee doen.

Minder prettig dan gemakkelijk om mee te werken Zowel docenten als studenten geven aan Blackboard behoorlijk gemakkelijk te vinden om mee te werken (resp. 3.63 en 3,91 op een schaap van 5), maar minder prettig om mee te werken (resp. 3,15 en 3,66 op een schaap van 5). Dit wijst erop dat men de werkwijze binnen Blackboard wel logisch vindt, maar niet bijzonder gebruiksvriendelijk. Van dat laatste hebben vooral de docenten last; 3,15 is als neutraal of zelfs iets negatief te interpreteren. Op de vraag of Blackboard gemakkelijk is om mee te werken antwoorden de docenten van de verschillende faculteiten eensluidend. Er is geen significant effect gevonden voor deze vraag; F(1, 9) = 1,28; p = .250. Op de vraag of Blackboard prettig is om mee te werken, zijn wel significante verschillen tussen de docenten van de verschillende faculteiten. Docenten Aard- en levenswetenschappen Bewegingswetenschappen Economische wetenschappen en Bedrijfskunde Exacte Wetenschappen Geneeskunde Letteren Psychologie en Pedagogiek Rechtsgeleerdheid Sociale Wetenschappen Tandheelkunde (ACTA) Totaal

Gemakkelijk 3,82 3,45 3,69 3,44 3,31 3,77 3,89 3,62 3,50 3,41 3,63

Prettig 3,59 3,36 3,18 2,51 3,23 3,42 3,41 3,24 2,77 3,12 3,15

22 11 45 39 13 48 27 21 26 17 269

Figuur 15. Antwoorden van docenten per faculteit op de vragen “In hoeverre vindt u Blackboard gemakkelijk om mee te werken? En “In hoeverre vindt u Blackboard prettig om mee te werken?”

De docenten van FALW, Letteren en FPP zijn significant positiever over het prettig werken, terwijl de docenten van Exacte Wetenschappen en Sociale Wetenschappen daar duidelijk negatief over zijn. Als naar de mening van studenten per faculteit gekeken wordt, is het volgende beeld te zien:




Studenten Aard- en levenswetenschappen Bewegingswetenschappen Economische ws en Bedrijfskunde Exacte Wetenschappen Geneeskunde Godgeleerdheid Letteren Psychologie en Pedagogiek Rechtsgeleerdheid Sociale Wetenschappen Tandheelkunde (ACTA) Wijsbegeerte Totaal

Gemakkelijk 4,07 3,95 3,92 3,74 3,73 3,64 3,98 4,15 3,94 3,94 3,53 3,78 3,91

Prettig 3,89 3,76 3,65 3,16 3,52 3,34 3,72 3,81 3,72 3,74 3,36 3,65 3,66

30

596 208 577 243 284 47 368 95 446 90 200 23 3177

Figuur 16. Antwoorden van studenten per faculteit op de vragen “In hoeverre vind je Blackboard gemakkelijk om mee te werken? En “In hoeverre vind je Blackboard prettig om mee te werken?”

Op beide vragen zijn er aanzienlijke verschillen tussen de faculteiten. Op de vraag ‘In hoeverre vind je Blackboard gemakkelijk om mee te werken?’ F(1, 11) = 10,95; p < .01 en bij vraag ‘In hoeverre vind je Blackboard prettig om mee te werken?’ F(1, 11) = 15,34; p < .01. Bij beide vragen zitten de studenten van FALW, FPP en FBW aan de goede kant van de score. De studenten van Exacte Wetenschappen, ACTA, Godgeleerdheid en Geneeskunde zitten op beide vragen aan de negatieve kant van het spectrum. Letteren komt op een vraag (prettig) hoog uit en op de andere in de middenmoot. De overige faculteiten komen op beide vragen in het midden uit. Nu was de respons vanuit FPP en FSW te laag om representatief te zijn.

Effectief maar niet efficiënt Blackboard ondersteunt de belangrijkste werkprocessen maar doet dat meestal niet efficiënt; vooral voor docenten is de manier van werken omslachtig. Deze conclusie komt zowel uit de ervaring van de functioneel beheerders als uit de interviews met docenten die Blackboard veel gebruiken naar voren. Ook in de enquête kwam het thema gebruiksvriendelijkheid terug. In de open vragen noemden 70 docenten gebruiksonvriendelijkheid als zwak punt van Blackboard. Een aantal docenten (34) noemde het vele klikken als beperking. Ook de manier van cijfers geven en opdrachten nakijken werd ‘onhandig’ genoemd. Opvallend is overigens dat 30 docenten gebruiksvriendelijkheid juist als sterk punt van Blackboard noemden. Studenten storen zich aan onoverzichtelijkheid De open vragen van de enquête zijn door circa 2350 studenten ingevuld. Hierin noemt 40 tot 50% van de studenten de onoverzichtelijkheid en/of onlogische indeling van cursussites als zwak punt van Blackboard. Anderzijds noemt zo’n 22% van de studenten juist de overzichtelijkheid als sterk punt. Studenten bestempelen de lay-out van Blackboard in de open vragen van de enquête als gedateerd. Lay-out is een element dat van invloed is op de vormgeving van de getoonde inhoud. Het kan er voor zorgen dat de inhoud overzichtelijk of juist minder overzichtelijk overkomt. Als mogelijke reden voor de onoverzichtelijkheid geven facultaire en centrale ondersteuners aan dat Blackboard zeer beperkte mogelijkheden geeft om de inhoud vorm te geven. Vaak bestaat de




31

inhoud uit een mappenstructuur en een onder elkaar staande lijst van documenten. Tabellen zijn lastig in te voeren. Afbeeldingen zijn niet eenvoudig te plaatsen op de pagina, vooral niet wanneer meerdere afbeeldingen getoond moeten worden. Ook worstelen docenten met de ‘editor’ waarmee ze tekst en opmaak in Blackboard kunnen invoeren. Er ontstaan vooral problemen met opmaak die vanuit Word-documenten wordt gekopieerd. Dit alles helpt docenten niet om een Blackboardcursus overzichtelijk te maken. Deze ervaringen komen uit de interviews en de open vragen van de docentenenquête. De onoverzichtelijkheid wordt echter niet alleen veroorzaakt door Blackboard. Ook de manier waarop docenten Blackboard gebruiken speelt een rol (27% van de studenten refereert hieraan in de open vragen). Studenten geven aan dat informatie door docenten vaak onoverzichtelijk gepresenteerd wordt. Er bestaan tevens grote verschillen tussen docenten in de manier waarop zij Blackboardcursussen inrichten. Gelijksoortige informatie wordt op verschillende manieren gepresenteerd en docenten lijken niet altijd te beseffen hoe de informatie overkomt op studenten. Ook vinden studenten dat docenten meer functionaliteiten van Blackboard zouden kunnen of moeten gebruiken. 5.4. Techniek en Beheer Betrouwbaarheid wordt gewaardeerd Betrouwbaarheid (stabiliteit/beschikbaarheid/performance) van de DLO wordt door de beheerders als prioriteit A genoemd. 19 Blackboard scoort hier zeer goed op. In de afgelopen 3 jaren is Blackboard alleen uit de lucht geweest voor gepland onderhoud en doordat toeleverende systemen (bijvoorbeeld netwerk of authenticatie) niet werkten. Ook tijdens de interviews met docenten en facultaire contactpersonen kwam het grote belang van betrouwbaarheid naar voren. Geïnterviewden vonden Blackboard over het algemeen zeer betrouwbaar, op incidenten na. Vooral tijdens periodes waarin opdrachten en scripties ingeleverd moeten worden, werd het als zeer ernstig ervaren als Blackboard uit de lucht was, of SafeAssign niet goed werkte. Bij sommige faculteiten moeten opdrachten en scripties namelijk via SafeAssign (plagiaatcontrole) ingeleverd worden. Ook de (incidentele) momenten dat Blackboard niet beschikbaar was in een tentamenperiode, om welke reden dan ook, werden niet gewaardeerd, getuige een aantal pittige opmerkingen van studenten in de open vragen. Een aantal ondersteuners gaf, in relatie tot het thema betrouwbaarheid, aan dat ze geen systemen gebruikten die niet centraal beheerd en ondersteund worden. Als systemen in het onderwijs gebruikt worden, is het cruciaal dat ze goed werken en dat er goede ondersteuning is bij problemen. De centrale functionele ondersteuning van Blackboard werd vele malen als zeer goed bestempeld en als voorbeeld genoemd voor het beheer van andere systemen.

Goed te beheren De functioneel beheerders geven aan dat Blackboard goed te beheren is. Flexibiliteit en probleemoplossingsvermogen vinden zij zeer belangrijk voor een systeem; problemen met Blackboard zijn redelijk goed op te lossen of door een omweg te verhelpen. 19

Zie voor details over ervaringen en verwachtingen vanuit de beheerders de bijlage Evaluatie van Blackboard aan de VU vanuit Technisch Beheer (TB), Applicatiebeheer (AB) en Functioneel beheer (FB) door Karin Zondervan, maart 2009.




32

Er is een actieve community (Nederlandstalige Blackboard-gebruikersgroep) in de Benelux waar veel ervaringen uitgewisseld worden. Blackboard is de meest gebruikte DLO in Nederland bij HO-instellingen. Doordat de VU ‘meedoet met de meerderheid’ en veel overleg heeft met die medegebruikers, is er een intensieve kennisdeling voor oplossingen en workarounds. Dat heeft grote voordelen voor het beheer. Data niet goed uitwisselbaar Blackboard geeft een eigen interpretatie aan (open) standaarden als IMS enterprise en QTI. Deze standaarden dienen om gegevens uit het ene systeem in een andere te kunnen binnenhalen. De eigen interpretatie van Blackboard maakt het in de meeste gevallen onmogelijk om data echt ‘los te weken’ uit Blackboard, om ze in een ander systeem te plaatsen of te archiveren. Ook de samenwerking met andere applicaties als Excel (voor cijfers in Gradebook) verloopt niet goed. Dit wordt door de beheerders als zeer onwenselijk beoordeeld. Studenten hebben in de open vragen commentaar geleverd op het apart moeten inloggen voor iedere applicatie, oftewel op het ontbreken van Single Sign-on. Studenten hebben ook commentaar op het gebrek aan integratie tussen Blackboard , TISVU, Webmail, roostersysteem en studiegids. Overwegend positief over koppelingen In de afgelopen jaren is door middel van koppelingen met ISIS en SAP het volgende gerealiseerd: 1) automatische toevoer studenten- en medewerkeraccounts, 2) automatische toevoer cursussen en werkgroepen en 3) automatische toevoer deelnemerslijsten aan cursussen en werkgroepen. Dit wordt over het algemeen als groot voordeel ervaren door (facultaire) beheerders, maar ook door docenten. Er blijken wel specifieke problemen te bestaan, en onduidelijkheid over de oorzaken van bijvoorbeeld het niet beschikbaar zijn van een cursus.

Onduidelijkheid over aan- /afmelden en VU-net ID Er bestaat onduidelijkheid over het aan- & afmelden bij Blackboardcursussen. Zowel studenten als docenten willen de oude cursussen niet meer zien, omdat een lange lijst cursussen leidt tot een onoverzichtelijke startpagina. Ook bij verkeerde of geen inschrijving in een Blackboardcursus weten studenten en docenten niet altijd waar de oorzaak ligt en hoe dit verholpen kan worden. De aanwezigheid van twee inlognamen voor docenten door invoering van het VU-net ID wordt als (zeer) hinderlijk en verwarrend ervaren, met name door docenten die nog oude cursussen gebruiken om materiaal te kopiëren. Deze situatie is niet aan Blackboard te wijten, maar heeft wel invloed op het gebruik. Weinig invloed op Blackboard Inc. Voor wensen vanuit de gebruikersgroep heeft de leverancier Blackboard Inc. weinig oor. De invloed die de VU heeft op het verbeteren van de applicatie Blackboard is dus zeer klein. De beheerders zijn zeer afhankelijk van de leverancier Blackboard Inc. Als afnemer moet de VU afwachten wat Blackboard Inc. levert en hoe een nieuwe versie werkt. Knelpunten kunnen niet opgelost worden door Blackboard te veranderen, dus ziet de VU zich gedwongen zich waar nodig aan te passen. Blackboard Inc. staat bekend om een enigszins trage aanpak van productvernieuwing en productverbetering. De gehanteerde werkwijze kan soms bureaucratisch zijn en kostbaar zijn. De laatste tijd vinden de beheerders dat de houding van Blackboard t.o.v. de VU iets verbetert.




33

Blackboard Inc. is een beursgenoteerde onderneming. Uit het jaarverslag20 van Blackboard Inc. blijkt dat de inkomsten komen uit licenties (90%) en consultancy (10%). Aangezien er hogere marges zitten op de licenties, krijgt het verkopen van licenties meer prioriteit dan consultancy. Dit heeft invloed op de dienstverlening aan bestaande klanten. Verder is te zien dat Blackboard onder Research & Development verstaat het oplossen van bugs en Quality Assurance. Dat betekent dat men vooral bezig is met verbeteren van fouten en het bestaande, niet met innovatie van het product. Nieuwe functionaliteit wordt vooral verkregen door overname van andere bedrijven, niet door eigen ontwikkeling. Stoas verbetert zich in beheer en advies Sinds 2007 is het applicatiebeheer van Blackboard voor de VU in handen van Stoas, één van de weinige aanbieders van ondersteunende beheer- en adviesdiensten voor het (hoger) onderwijs. Volgens de beheerders hanteert Stoas korte lijnen en kan in een betrekkelijk kort tijdbestek de leemte opvullen die Blackboard Inc. achterlaat. Een groot voordeel is dat haar medewerkers de Nederlandse taal beheersen en dat de onderneming zich ook in Nederland bevindt, waardoor de drempel om even bij elkaar langs te komen om zaken te bespreken vrij laag is. Stoas is wat betreft professionalisering nog niet zover als de beheerders het als klant het graag willen zien, maar de intentie van Stoas om meer gestructureerd te werken en verder te professionaliseren is aanwezig. 5.5. Andere digitale tools Er zijn naast Blackboard nog vele andere digitale tools beschikbaar voor toetsen, enquêtes afnemen en analyseren, samenwerken, video opslaan en vinden, reflectie m.b.v. video, etc. Een aantal tools wordt door de VU aangeboden vanuit de dienst UC-IT of het Onderwijscentrum. Andere tools zoals Google Docs zijn via Internet (gratis) te gebruiken. Docenten gebruiken andere tools voor ondersteuning leerproces Meer dan de helft van de docenten gaf in de vragenlijst aan naast Blackboard één of meerdere andere digitale tools te gebruiken voor hun onderwijs (zie figuur 17). Van de 341 docenten die de vragenlijst hebben ingevuld, gaven 144 docenten aan geen andere digitale tools te gebruiken. De andere digitale systemen die docenten gebruiken lijken – meer dan Blackboard - gericht te zijn op het leerproces, niet zozeer op organisatie. Zo dient bijvoorbeeld QMP voor toetsen, eXamine voor onderzoeksvaardigheden (online vragenlijsten uitzetten en analyseren), Google Docs voor delen en samen (gelijktijdig) bewerken van bestanden en wiki voor samen schrijven. Het betreft hier functionaliteiten die Blackboard, met uitzondering van een beperkte toetsfunctionaliteit, niet biedt. Het materiaal op Cd-rom dat docenten gebruiken is waarschijnlijk afkomstig van uitgevers, die interactief/extra materiaal op Cd-rom toevoegen aan een boek. Opvallend is dat een groot aantal docenten (50) aangeeft een eigen website te hebben voor het onderwijs. Hiervan zijn 26 docenten van Exacte wetenschappen. Op de vraag: “Welke andere digitale tools gebruikt u in uw onderwijs?” werden de volgende antwoorden gegeven.

20

Blackboard Inc. 10-K Annual report which provides a comprehensive overview of the company for the past year, 20 februari 2008




34

Andere digitale tools (docenten): Geen

N=328 144

Materiaal op cd-rom/DVD Eigen website Online video (bijvoorbeeld via YouTube, SURFmedia, Academia, ZOEP)

62 50 40

Wiki

21

Question Mark Perception

16

eXamine

15

Sharepoint (SURF-groepen) Google Docs

14 12

DiViDU SMS-stemsysteem of stemkastjes

10 6

Weblog Question Bank

2 2

Anders, namelijk…

49

Figuur 17. Antwoorden van docenten op de vraag: Welke andere digitale tools gebruikt u in uw onderwijs? (meerdere antwoorden waren mogelijk)

Een facultaire ICTO-contactpersoon gaf aan dat ze docenten die ‘meer’ willen met ICT in hun onderwijs dan organisatorische ondersteuning, andere tools dan Blackboard adviseert. Daarom wordt bijvoorbeeld bij de master Journalistiek SURFgroepen als digitale leeromgeving gebruikt ter vervanging van Blackboard. Binnen SURFgroepen kunnen studenten zelf mededelingen en materiaal plaatsen. Ook is het eenvoudiger om externen en pre-master studenten toe te laten tot de community. Bij een mastervak van Geneeskunde is een pilot gaande waarbij Fronter als alternatief voor Blackboard gebruikt wordt. Overwegende reden was in eerste instantie het flexibeler kunnen aanbieden van content wat betreft lay-out en structuur. De docent geeft aan een visueel zeer aansprekende DLO te kunnen bieden aan de student. Ook is de rechtenstructuur flexibeler, zodat rechten verdeeld kunnen worden per onderdeel binnen een ruimte. Dit geeft meer mogelijkheden om studenten input te laten leveren. De activiteiten van studenten zijn gemakkelijk te volgen door de docent, maar ook door de student zelf. Ook aan het community-gevoel wordt meer tegemoet gekomen doordat er een overzicht gegeven wordt van de ingelogde personen. Wat betreft beheer is een voordeel dat studenten in beheergroepen ingedeeld kunnen worden. In een evaluatie geven studenten aan Fronter prettiger te vinden dan Blackboard. Een kanttekening hierbij is wel dat de grote hoeveelheid content die de docent verzameld heeft en zijn gedrevenheid in het gebruik van Fronter hierbij ook een factor is. Studenten gebruiken vooral portal, wiki en Google docs Ook studenten gaven veelvuldig (67%) aan gebruik te maken van andere tools dan Blackboard. (zie figuur 18). 29% van de studenten geeft aan de Studentenportal te gebruiken. Opvallend is het hoge percentage studenten dat gebruik maakt van wiki’s en Google Docs (respectievelijk 28% en 20%). Bij het antwoord wiki is niet aan te geven of de studenten de wikifunctionaliteit gebruiken om samen te schrijven, of de inhoud van een wiki als Wikipedia gebruiken. In de enquête is niet verder ingegaan op deze tools, maar het zou in het kader van de bredere definitie van digitale leeromgeving, zeker de moeite waard zijn om hier verder onderzoek naar te verrichten. Op de vraag: “Welke andere digitale tools gebruik je voor je studie?”, gaven studenten de volgende antwoorden:




Andere digitale tools (studenten): Geen Studentenportal (mijn.vu.nl) Wiki Google Docs Online video (bijv. via YouTube, SURFmedia, Academia) Materiaal op cd-rom/DVD Question Mark Perception Eigen website eXamine Weblog Sharepoint / SURF-groepen DiViDU Question Bank Anders, namelijk…

35

N=3395 1133 992 947 674 478 393 207 133 81 64 63 57 41 296

33% 29% 28% 20% 14% 12% 6% 4% 2% 2% 2% 2% 1% 9%

Figuur 18. Antwoord van studenten op de vraag: Welke andere digitale tools gebruik je in je onderwijs? (meerdere antwoorden waren mogelijk)

6. Conclusies In dit eindrapport worden nog geen aanbevelingen gedaan t.a.v. het gebruik van Blackboard. Dit zal in het advies van het project Next DLO plaatsvinden. Blackboard lijkt minder geschikt voor meer studentgestuurde onderwijsvormen en het vormen van communities. Tijdens de invoering van Blackboard werd dit al aangegeven en dit is in de afgelopen jaren niet veranderd. Hoe wordt Blackboard op de VU gebruikt? Blackboard wordt door veel docenten en studenten op de VU gebruikt, maar het exacte aantal gebruikers is moeilijk te achterhalen. Zij benaderen Blackboard niet alleen overdag, maar ook veelvuldig buiten kantooruren en zelfs ‘s nachts. Het plaatsen van documenten en informatie is de meest gebruikte functionaliteit binnen Blackboard. Daarna volgen de mededelingen. Deze basisfunctionaliteiten dienen ter ondersteuning van de communicatie en organisatie van een cursus. Ook dit kan tot verbetering van de kwaliteit van het onderwijs leiden. Blackboard wordt in mindere mate gebruikt voor ondersteuning van het leerproces zoals samenwerkend leren. De grootste groep docenten kan worden omschreven als basisgebruikers, die een aantal documenten, informatie en mededelingen plaatsen. Intensieve gebruikers zijn vooral intensieve basisgebruikers, met soms een uitstap naar toetsen, opdrachten of discussionboard. De docent is de bepalende factor voor de intensiteit van het gebruik, niet het studiejaar of vak. Blackboard wordt ook gebruikt voor het bereiken van grote groepen. FEWEB is de grootste gebruiker van Blackboard, wat gezien de grootte van de faculteit niet opzienbarend is. Op intensiteit van gebruik scoren ACTA-studenten het hoogste, gevolgd door FEWEB-studenten. Geneeskundestudenten maken steeds intensiever gebruik van Blackboard.




36

Dit jaar is een daling in de intensiteit van gebruik geconstateerd. (Een uitzondering is geneeskunde.) Dat betekent dat men minder gebruik maakt dan voorheen van Blackboard. Dit zou een zorgelijke ontwikkeling zijn en kunnen wijzen op een structurele daling. Er zal echter over een langere periode gemeten moeten worden om definitieve conclusies te trekken. Blackboard wordt niet alleen via Internet Explorer gebruikt, maar ook vaak (23%) via andere browsers. Blackboard werkt echter niet optimaal met andere browsers. Naast Blackboard worden ook andere digitale tools gebruikt zoals wiki’s en Google docs. Docenten gebruiken deze tools met name voor ondersteuning van het leerproces. Studenten gebruiken naast Blackboard vooral de portal, wiki’s en Google docs. Hoe wordt Blackboard door docenten, studenten en ondersteuners gewaardeerd? In het algemeen kan gesteld worden dat zowel docenten als studenten en ondersteuners redelijk tevreden zijn over Blackboard. Docenten en studenten gebruiken vooral de basisfuncties (mededelingen, documenten en cursusinformatie plaatsen) die hoog gewaardeerd worden. Deze basisfunctionaliteiten zijn standaard voor iedere DLO. Het belang van de digitale leeromgeving is groot wat betreft de communicatie en het verspreiden van informatie/documenten. De betrouwbaarheid en beschikbaarheid van Blackboard wordt goed en ook zeer belangrijk gevonden. Een ander voordeel van Blackboard is dat de basis voor velen snel te leren is, (bijna) zonder hulp. Blackboard ondersteunt de belangrijkste werkprocessen maar doet dat meestal niet efficiënt. De werkwijze is op zich duidelijk, maar de manier waarop iets gedaan moet worden is vaak omslachtig. Blackboard wordt zowel door docenten als studenten wel gemakkelijk maar minder prettig gevonden om mee te werken. Docenten hebben last van het vele klikken. Zij zijn gebaat bij een efficiënt werkend systeem; zij willen aandacht besteden aan de inhoud van hun onderwijs, niet aan de werking van een ondersteunend systeem. Dit kan een verklaring zijn voor het niet (of weinig) inzetten van Blackboard voor activerende werkvormen. Studenten storen zich aan onoverzichtelijkheid; iedere cursus die ze te zien krijgen kan anders opgebouwd en ingevuld zijn. Ook geven studenten aan dat docenten meer en beter gebruik kunnen maken van Blackboard. Een aantal docenten geeft aan dat zij beseffen dat er meer mogelijkheden zijn, maar dat zij beperkte tijd hebben. Ook de beperkte mogelijkheden voor lay-out binnen Blackboard maken het niet eenvoudig om een overzichtelijke cursussite te maken. De lay-out van Blackboard wordt vooral door studenten ‘verouderd’ genoemd. Minder zichtbaar, maar ook zeer belangrijk is de techniek. Beheerders geven aan dat Blackboard goed te beheren is. Nadeel van Blackboard is wel dat data niet goed uitwisselbaar is met andere DLO’s of digitale tools. Ook is de relatie met de leveranciers van belang. Het wordt lastig gevonden dat de beheerders weinig invloed hebben op Blackboard Inc. voor het aanbrengen van verbeteringen. De VU moet zich aanpassen. Bij Stoas kan advies en beheer verkregen worden. De dienstverlening van Stoas is verbeterd. Beheerders en docenten zijn overwegend positief over koppelingen met de studenten- en medewerkersadministratie. Er ontstaan wel wat specifieke problemen doordat niet altijd duidelijk is waar de oorzaak van fouten ligt. Wel is er onduidelijkheid over het aan- /afmelden voor cursussen en heeft de introductie van het VU-net ID voor ergernis gezorgd doordat docenten twee accounts voor Blackboard kregen.




37

Verschillen tussen faculteiten De docenten en studenten van de faculteit Aard- en Levenswetenschappen oordelen het meest positief over Blackboard. Het gaat dan zowel over studenten als docenten. Zij scoren op alle vier de aspecten (tevreden, nuttig, gemak en prettig) positiever dan gemiddeld. FALW maakt behoorlijk intensief gebruik van Blackboard met name voor beschikbaar maken van onderwijsmateriaal en communicatie. Circa de helft van de docenten maakt ook gebruik van andere functionaliteiten binnen Blackboard. Het gebruik is dus wat breder dan in andere faculteiten. De ondersteuners gaven aan dat zij Blackboard onmisbaar achten voor hun grootschalige onderwijs. Ook FALW docenten geven dit (meer dan bij andere faculteiten) aan. De facultaire ondersteuning levert ook een positieve bijdrage; studenten en docenten krijgen zeer snel antwoord op hun vragen. Dit helpt om de tevredenheid te verhogen. Wat betreft de faculteit Psychologie en Pedagogiek zijn ook studenten en docenten significant positiever, maar gezien het kleine aantal respondenten onder de studenten kunnen we dit niet als ‘de’ mening van FPP studenten aanmerken. Bij FPP is het gebruik van Blackboard door docenten in het algemeen erg gericht op de basis en niet bijzonder intensief. De docenten lijken vooral (ondanks minpunten) tevreden met de aanwezigheid van een centrale online plek waar materialen en mededelingen geplaatst kunnen worden voor de vele studenten. Bij Geneeskunde wordt Blackboard het meest intensief ingezet voor en door de organisatie. Zo worden bijvoorbeeld de discussionboards veelvuldig gebruikt om commentaar te leveren op de organisatie van een cursus of studie, maar ook om tentamenvragen te bespreken. Terugkoppeling gebeurt ook via dezelfde discussionboards, zodat daar een bron van informatie ontstaat. Zo ontstaat een cyclus van verbetering. Toch zijn de studenten van Geneeskunde en ACTA negatiever dan andere studenten. De intensiteit en manier van gebruik door docenten verschilt op het eerste gezicht niet van FALW, waar studenten beduidend positiever zijn. Waar zit dan het verschil? Een mogelijke verklaring is dat bij FALW iedere cursus een eigen cursussite heeft, bij Geneeskunde en ACTA zitten meerdere/vele cursussen in één cursussite. Bij Geneeskunde is er één cursussite per semester, bij ACTA is er één cursussite per blok of lijn. De reden hiervoor is dan men meer integratie en samenhang tussen de verschillende cursussen wil creëren (inhoudelijk en via Blackboard). Dit maakt een cursussite veel complexer en dus is het voor studenten moeilijker om er iets te vinden. Er wordt dan ook bij de ACTA veel geklaagd onder studenten dat de cursussites onoverzichtelijk zijn. Ondersteuners van Geneeskunde geven ook aan dat mensen moeite hebben met de navigatie. Het Blackboard portfolio wordt binnen Geneeskunde relatief veel gebruikt, maar slecht gewaardeerd. Dit heeft ook een negatieve invloed op de tevredenheid van studenten. Het meest negatief zijn de studenten en docenten van Exacte Wetenschappen. Docenten geven Blackboard op het aspect ‘prettig’ zelfs een onvoldoende. Door de facultaire ondersteuner werd aangegeven dat men binnen de faculteit sowieso zeer kritisch is over systemen en vaak een eigen oplossing kiest die afwijkt van de centraal ondersteunde systemen. Het lijkt erop dat studenten en docenten meer kennis dan gemiddeld hebben van digitale tools en het kan dus zijn dat zij Blackboard te beperkend vinden. Veel docenten hebben (ook) een eigen website. De studenten en docenten van andere faculteiten zijn redelijk gemiddeld in hun mening en worden hier niet apart besproken.




38

Om een helder beeld te krijgen van de oorzaken voor de verschillen tussen de faculteiten, dient verder onderzoek gedaan te worden. Dit kan bijvoorbeeld door de verzamelde data nog meer met elkaar in verband te brengen.




39

Bijlagen Onderstaande bijlagen worden in aparte documenten meegeleverd en staan o.a. op het VU intranet.         

Samenvatting interviews facultaire contactpersonen en tabel Samenvatting interviews docenten en tabel ICT&O adviseurs over Blackboard Evaluatie van Blackboard aan de VU vanuit technisch beheer (TB), applicatiebeheer (AB) en functioneel beheer (FB) Vragenlijst docenten (docentenenquête) Vragenlijst studenten (studentenenquête) Grafieken over frequentie van gebruik en tevredenheid over functionaliteiten Analyse open vragen enquêtes Eindrapport Kwantitatieve analyse database



Verkenning Next DLO VU. Evaluatierapport Blackboard 2009

Recommend Documents