Eindrapportage UvAnalytics

SURF

Eindrapportage UvAnalytics


Penvoerende instelling: Universiteit van Amsterdam Partner instellingen: Datum: Oktober 2012 Auteurs: Sijo Dijkstra, Nynke Kruiderink, Alan Berg

Inhoud 1. 2. 3. 4. 5. 6.

Korte Samenvatting ............................................................................................ 2 Doelstelling en aanpak ........................................................................................ 3 Kostenoverzicht .................................................................................................. 4 Resultaten ......................................................................................................... 6 Conclusies en Geleerde lessen............................................................................. 10 Continuering ..................................................................................................... 11

www.creativecommons.org/licenses/by/3.0/nl

1

SURF


1. Korte Samenvatting Doel van deze pilot is een eerste onderzoek naar de mogelijkheden van learning analytics voor de Universiteit van Amsterdam. Aanleiding hiervoor is een concrete vraag uit het onderwijs over het downloadgedrag vanuit de online leeromgeving van studenten. Om inzicht te krijgen in het gedrag van studenten op de leeromgeving zijn de mogelijkheden voor het verkrijgen van data uit Blackboard verkend met behulp van de open source webanalytics tool Piwik. Voor het terugkoppelen van deze data aan de gebruikers (studenten) is een prototype dashboard binnen Blackboard opgezet. Voor verdere verkenning van de mogelijkheden van learning analytics is het van belang meer zicht te verkrijgen op ook andere vragen die docenten hebben met betrekking tot het gedrag van studenten. Hiervoor is een (klein) kwalitatief onderzoek verricht onder een groep docenten. Een verslag van de uitkomsten is opgenomen in paragraaf 4.1 Ook is aandacht besteed aan de juridische aspecten die van belang zijn bij het (her)gebruik van data. Hierbij spelen zaken als privacy, bescherming persoonsgegevens en wetgeving. Dit werkpakket heeft geen eenduidige set regels, richtlijnen of aanbevelingen opgeleverd, maar eerder een reeks aandachtspunten waar rekening mee moet worden gehouden bij het gebruik van learning analytics. Zie voor de resultaten van dit werkpakket bijlage 1. Belangrijkste conclusies: Deze pilot heeft een bruikbare “Proof of Concept” opgeleverd die een basis vormt voor verdere inzet van learning analytics voor de UvA. Voor het terugkoppelen van data uit Blackboard aan studenten is Piwik een geschikt instrument gebleken, dat bovendien makkelijk te implementeren is. Piwik geeft informatie over het browsegedrag, en over bezochte pagina’s en downloadgedrag. Piwik is echter niet geschikt gebleken voor het terugkoppelen van data uit Blackboard aan docenten. Studenten kunnen data manipuleren en hiermee bestaat het risico dat een docent niet van betrouwbare informatie voorzien wordt. Zie bijlage 3 voor een toelichting. Het onderwijs is terughoudend ten opzichte van learning analytics. Voor het op de juiste wijze inzetten van learning analytics is meer nodig dan het aanbieden van (technische) mogelijkheden. Bij vervolg projecten moet hier rekening mee gehouden worden. Learning analytics is een complex onderwerp gebleken. Deze pilot heeft meer vragen opgeroepen van beantwoord. Learning analytics gaat niet alleen over technische mogelijkheden, maar (onder andere) ook om het creëren van draagvlak bij het onderwijs, vaststellen welke data indicator of voorspeller zijn van bepaald gedrag, op welke wijze terugkoppeling geformuleerd moet worden om het gewenste effect te bereiken, het meten van deze effecten en het verder in kaart brengen van de juridische mogelijkheden en beperkingen.

2

SURF


2. Doelstelling en aanpak

2.1 opzet en doelstellingen van het project Doel van het project is het opzetten van een Proof of Concept voor het verkrijgen en terugkoppelen van data uit Blackboard via de open source webanalytics tool Piwik. Het plan van aanpak bestaat uit de volgende werkpakketten en deliverables: Werkpakket Onderwijs. Deliverables van dit werkpakket:



  

Inventarisatie en operationalisatie van verdere onderzoeksvragen. In eerste instantie was een enquête onder docente gepland, evenals interviews met specifieke stakeholders zoals onderwijsdirecteuren en propedeuse coördinatoren. Uit de interviews met de onderwijsdirecteuren kwam naar voren dat zij in dit stadium geen grootschalige onderzoek/enquête onder docenten willen houden omdat het onderwerp nog te onbekend was en voor mogelijk onrust zou zorgen. Gekozen is voor het uitvoeren van een aantal interviews met betrokken docenten. Analyse van data uit Blackboard in een verslag Terugkoppeling data aan onderwijs Docent evaluatie. Door de terughoudendheid van de onderwijsdirecteuren ten aanzien van het onderwerp learning analytics is het niet opportuun gebleken om in dit stadium de activiteiten onder de laatste 3 bullets uit te voeren.

Werkpakket Techniek. Doel van dit werkpakket is het open source product Piwik in te zetten als Learning analytics container voor het onderwijs. Deliverables van dit werkpakket:

    

Koppeling Blackboard aan Piwik Datastroom download gedrag Notitie over de bruikbaarheid van Piwik als een generieke Learning Analytics tool Prototype Dashboard Docenten. Omdat Piwik niet geschikt is gebleken voor het terugkoppelen van data aan docenten is besloten om het docentendashboard niet verder te ontwikkelen Prototype Dashboard Studenten. Oorspronkelijke opzet was een separaat dashboard op te zetten en aan te bieden. Gedurende de uitvoer van het project is naar voren gekomen dat studenten waarschijnlijk nooit actief naar een extern dashboard zullen gaan voor feedback. Besloten is om het prototype dashboard voor studenten te ontwikkelen binnen de Blackboard omgeving.

Werkpakket Quality Assurance. Het in een vroeg stadium monitoren en evalueren van de op te leveren producten draagt bij aan de kwaliteitsborging. Binnen dit project is daarom (met beperkte omvang) aandacht besteed aan Quality Assurance. Belangrijkste deliverable: Scorecard waarmee succes en faal criteria gemeten kunnen worden. Werkpakket Juridisch. Het harvesten van data en deze beschikbaar stellen is relatief nieuw voor de UvA. Om meer zicht te krijgen op de (on)mogelijkheden tot het gebruik van data voor learning analytics is het Instituut voor Informatie recht geconsulteerd. Belangrijkste deliverable: een notitie met richtlijnen voor het gebruik van data ten behoeve van learning analytics. Door de gebleken complexiteit van het onderwerp is deze notitie geen uitputtende opsomming van richtlijnen, maar eerder een document met belangrijke aandachtspunten. Zie bijlage 1. Werkpakket Disseminatie.

Zie sectie resultaten voor de uitgevoerde en nog uit te voeren disseminatieactiviteiten

2.2 probleemstelling en gekozen methode In deze pilot heeft de beantwoording van 2 vragen centraal gestaan. 3

SURF


1. vaststellen van de geschiktheid van de open source web analytics tool Piwik als Learning Analytics Container voor het onderwijs. 2. vaststellen van de mogelijkheden van learning analytics voor het onderwijs van de UvA door het terugkoppelen van data aan studenten en docenten. Voor het project is gekozen voor het opzetten van een “Proof of Concept”. Hierbij is gekeken naar de geschiktheid van Piwik als webanalytics tool voor het genereren van data ten behoeve van learning analytics. Daarnaast is additioneel vooronderzoek uitgevoerd naar de mogelijkheden van Blackboard zelf voor het aanleveren van statistics. Zie paragraaf 4.2 voor de resultaten van deze verkenning. Voor het verkrijgen van zicht op de vragen die bij docenten leven was een enquête voorgesteld. Door het niet verlenen van toestemming voor de uitvoering hiervan is het voorgestelde onderzoek onder docenten kleinschaliger en meer kwalitaitief uitgevoerd. Het niet geven van de toestemming heeft te maken met de terughoudendheid die sommige van de betrokkenen van de faculteit ervaren bij het onderwerp learning analytics.

2.3 Projectperiode Het project is gestart op 29 februari 2012 en is afgesloten op 3 oktober 2012 met de oplevering van dit document

2.4 Projectorganisatie (instellingen, teamleden) Het project is uitgevoerd door Nynke Kruiderink namens de opleiding Politicologie van de Faculteit Maatschappij en Gedragswetenschappen van de UvA . Nynke is teamleider ICT in Education aan de College and Graduate School of Social Sciences van de UvA. Nynke is binnen het project verantwoordelijk voor de uitvoering van het werkpakket onderwijs Alan Berg (senior ontwikkelaar en Qualitity Assurance deskundige en medewerker van de Onderwijs en OnderzoeksdienstenGroep van de UvA) is verantwoordelijk voor de technische uitvoering, technische documentatie en de Qualtity Assurance van het project. Sijo Dijkstra (projectmanager van de Onderwijs en OnderzoeksdienstenGroep van de UvA) is projectleider van deze pilot geweest en heeft zich bezig gehouden met het juridisch werkpakket.

3.

Kostenoverzicht Begroting

Gerealiseerde projectkosten

Prognose realisatie

Restant begroting

zoals in projectvoorstel

In rapportage

Geschatte kosten tot

(A)

periode (B)

einde project

(A)-(B)

WP Projectmanagement

1.500

1500

0

0

WP Onderwijs

4.380

3000

0

+1380

WP Techniek

7.280

8260

0

- 980

WP QA

600

600

0

0

WP Juridisch

600

600

0

0

Personele kosten

4

SURF


WP Disseminatie

600

600

0

0

Totaal personele kosten

14.960

14.560

0

400

Totaal projectkosten

14.960

14.560

0

400

5

SURF

4.


Resultaten

4.1 Resultaten Onderwijs De oorspronkelijk vraag voor meer informatie uit Blackboard was afkomstig van de opleidingsdirecteur van de bachelor politicologie. Deze vraag was bij hem gaan groeien omdat hij afgelopen jaar een pilot gedraaid heeft met wekelijkse quizzes in Blackboard met als doel om studenten aan te sporen om eerder te beginnen met studeren. De verwachting was dat het download gedrag van studenten kon aantonen of zij eerder waren begonnen met studeren. Om deze verwachting te toetsen is voorgesteld download data van het jaar voor de pilot en tijdens de pilot te vergelijken. De docent heeft deze data ontvangen en hieruit bleek dat Blackboard de statistieken niet bijhoudt per bestand maar per map. Hij kon met deze gegevens helaas niet zien of de bestanden eerder gedownload werden door studenten. Maar zijn vraag geeft wel blijk van een verhoogde interesse in student gebruikers statistieken wanneer het onderwijs meer intensief gebruik gaat maken van de online leer omgeving. Dit onderbouwt de verwachting dat docenten meer interesse en belang hebben bij learning analytics wanneer zij intensiever en vaker gebruik maken van de online leer omgeving. De bevinding dat Blackboard de statistieken niet bijhoudt per bestand maar op map niveau heeft het beoogde werkpakket van onderwijs sterk beïnvloed. Een grootschalige enquête houden onder docenten was ook gepland met als doel om docenten op de hoogte te brengen van de statistieken die al beschikbaar zijn in Blackboard zodat zij deze intensiever konden gaan gebruiken in hun eigen belang. Echter statistieken op map niveau zijn veel minder relevant voor docenten en daarom viel de ‘informeren’ insteek van de enquête weg. Daarnaast zijn de onderwijs directeuren van de College en Graduate school geinformeerd over plannen om een enquete te houden onder al hun docenten en zij hebben toen geuit dat zij dit niet als wenselijk achtten. Zij vonden het niet raadzaam om hier bekendheid aan te geven omdat het in dit stadium bij hun opleidingen voor onrust zou kunnen zorgen. De UvA heeft afgelopen jaar veel problemen ervaren in het beheren van Blackboard vanwege de invoering van een nieuwe studentenadministratie systeem die leidend is voor het inrichten van Blackboard. Docenten hebben hier veel last van gehad. Bekendheid geven aan nieuwe functionaliteiten in Blackboard waarvan de didactische inzet nog niet besproken is op niveau van opleidingsdirecteuren, programma coördinatoren of andere betrokkenen bij het onderwijs, leek hun een te vroeg stadium. Daarom hebben zij aangeraden om een kleiner, meer kwalitatief onderzoek te doen. Er zijn interviews gehouden met zes docenten variërend van opleidings- en onderwijsdirecteuren, docenten die bekwaam zijn met digitale tools en opleidingscommissie voorzitters. De bevindingen zijn samen te vatten in onderstaande voors en tegens: Tegen  

   

De rol van “Big Brother” wil ik niet Online activiteiten zijn ondergeschikt aan het fysieke onderwijs. Fysieke aanwezigheid is het meest belangrijk. Elk hoorcollege bij ons heeft een werkgroep waarbij aanwezigheid en deelname verplicht is. Als een student online minder actief is, maar tijdens fysieke bijeenkomsten het prima doet, dan beschouw ik het als niet wenselijk dat de student negatieve feedback zou ontvangen terwijl hij/zij het verder prima doet. Het universitaire onderwijs is al teveel aan het verschoolsen. Deze extra ‘controlerende’ tools maken dat alleen erger. Ik zou verontwaardigd zijn als docent. Alsof ik zo een tool nodig heb. Ik weet toch zelf goed wie wel of niet actief is en hoe die vervolgens aan te sporen? Vanuit de opleiding zou dit niet aangeraden worden. Enkele individuele docenten zouden er wel gebruik van maken. Docenten moeten zich bewust zijn dat studenten waarschijnlijk nep statistieken zullen genereren als ze merken dat deze ‘beoordeelt’ worden. 6

SURF




Student moeten de ruimte behouden en gegund worden om op hun eigen tempo en op hun eigen manier onderwijs te volgen.

Voor  

     

Ik zou er wel gebruik van maken maar ik weet dat de meeste van mijn collega’s van mijn opleiding dat niet zouden doen. Ik heb eerder een correlatie waargenomen tussen studenten die vaak inloggen op Blackboard en vervolgens hoog scoren in een vak. Daarom zou ik wel gebruik maken van een functionaliteit die studenten aanspoort om tijdig en regelmatig in te loggen. Ik beschouw het inzicht krijgen in online gedrag niet als een Big Brother rol. Sporen die studenten in een online omgeving achter laten zijn gelijk aan als hun fysieke aanwezigheid waargenomen wordt in de universiteitskantine of andere UvA ruimtes. Ik zou download statistieken per bestand gebruiken om te evalueren of ik een artikel opnieuw wil gebruiken of niet. Ik zou willen weten welke verdere mogelijkheden er zijn. Zolang dit soort tools de echte wereld niet verdringt of vervangt zie ik wel toegevoegde waarde. Er zou een stimulerende werking kunnen gaan uit het voor studenten zichtbaar maken hoe zij ‘scoren’ tav hun mede studenten wat betreft download gedrag of resultaten van quizzes. Als een student nep statistieken wil gaan genereren, dan gaat hij/zij ‘rondneuzen’ op Blackboard, en dat is tenslotte wat wij willen.

Vanwege bovenstaande is het niet opportuun gebleken om binnen deze pilot te komen tot een terugkoppeling van data uit Blackboard aan het onderwijs, waarmee ook de docentevaluatie op een later tijdstip zal plaatsvinden

4.2 Technische Resultaten De gekozen opzet van deze proof of concept heeft aangetoond dat Piwik geschikt is als learning analytics container voor het onderwijs.. Piwik is een bruikbare tool voor het in kaart brengen van gedrag van studenten op de online leeromgeving. Piwik kan niet alleen inzicht bieden in welke materialen gedownload worden, maar ook hoeveel en welke pagina’s bekeken worden en hoeveel tijd een student actief is op de leeromgeving. Het is eenvoudig gebleken dit gedrag af te zetten tegen het gemiddelde gedrag van andere studenten in een cursus en de student hier een (instant) terugkoppeling van te geven.

7

SURF


Binnen deze pilot is tegen de volgende beperking van Piwik aangelopen: Piwik is een (te) open product, waardoor het niet geschikt is voor grading. Data kunnen door handige studenten gemanipuleerd worden, en data terugkoppelen naar docenten lijkt daarmee geen optie (zie ook bijlage 3). Omdat dit geen bruikbare route oplevert voor learning analytics voor docenten, is besloten om geen effort te stoppen in een prototype van een docenten dashboard, maar om de aandacht vooral te laten uitgaan naar het studentendashboard.

Additioneel vooronderzoek is uitgevoerd naar de mogelijkheden van Blackboard zelf voor het aanleveren van statistics. Deze optie is (op dit moment) niet bruikbaar gebleken. Geconstateerd is dat de data die uit Blackboard zelf komen, het gedrag van studenten op de leeromgeving niet correct weergeven. Na enig onderzoek bleek dat de huidige statistieken data bijhouden per map, niet per bestand. Dit levert geen effectieve learning analytics informatie op voor studenten of docenten. Een call/support ticket is aangemaakt bij Blackboard. Ook is gewerkt aan het prototype dashboard voor studenten en deze mockup is gereed. De opzet is dat het analytics dashboard wordt opgenomen in (gepresenteerd via) Blackboard. In feite bevindt het dashboard zich buiten Blackboard, maar wordt op basis van het BasicLTI protocol gepresenteerd in de leeromgeving. Hierbij wordt gebruik gemaakt van de juiste context informatie: de course, users role en de username. Onderstaand schema geeft de workflow weer:

8

SURF


4.3 QA Resultaten Scorecard: Er is een “Scorecard” opgezet waarmee succes en faal criteria gemeten kunnen worden. De invulling van de uiteindelijke scorecard zal afhangen van de prioriteiten zoals voortkomen uit feedback van de pilot.

4.4 Resultaten werkpakket juridisch Gepland was binnen dit werkpakket een notitie op te leveren met richtlijnen voor het gebruik van data ten behoeve van learning analytics. Om hier invulling aan te geven is contact gelegd met het Instituut voor InformatieRecht van de UvA (http://www.ivir.nl/). Bart van der Sloot, heeft 12 juni 2012 voor het project een inleiding op dit onderwerp gepresenteerd. De aanbevelingen van het IvIR zijn in de uiteindelijke notitie gecombineerd met desk research. Een conclusie is dat de juridische aspecten rondom learning analytics zeer complex zijn. Het is niet mogelijk gebleken een notitie op te leveren met richtlijnen die generiek toepasbaar zijn. Het is wenselijk dat op dit onderwerp verdere samenwerking tussen de verschillende organisaties en projecten tot stand komt om te voorkomen dat dezelfde zaken meerdere keren worden uitgezocht

4.5 Disseminatie Omdat de resultaten pas laat in de pilot zijn opgeleverd worden een aantal van de voorgenomen disseminatieactiviteiten na de project periode uitgevoerd. Binnen dit werkpakket is het volgende gerealiseerd Blogpost 1 https://www.surfspace.nl/artikel/702-uva-analytics-kick-off Blogpost 2 https://www.surfspace.nl/artikel/789-when-data-has-meaning Blogpost 3 https://www.surfspace.nl/artikel/886-learning-analytics-en-de-regelgeving Nieuwsitem ICT en Onderwijs nieuwspagina, ook verspreid via de UvA ICTO nieuwmail van 21 mei 2012 http://www.ic.uva.nl/ictenonderwijs/nieuws.cfm/62979191-4F12-4451-858C6A784A3DA163 In voorbereiding: verslag van de resultaten wordt ook gepubliceerd via de nog te lanceren website van de Innovatiegroep op www.ict-innovatie.uva.nl (online media oktober 2012) Gereed voor publicatie: learning analytics blog voor de via de nog te lanceren website van de Innovatiegroep op www.ict-innovatie.uva.nl (online medio oktober 2012).

9

SURF


5 Conclusies en Geleerde lessen Learning analytics is een zeer complex onderwerp gebleken, waarbij een belangrijke aanbeveling is om dit onderwerp bij verdere exploratie multidisciplinair te benaderen. Learning analytics is meer dan het opzetten van (technische) mogelijkheden om data uit systemen te verkrijgen en terug te geven aan docenten en/of studenten. Het gaat ook om de analyse, interpretatie en terugkoppeling van deze data. En voorafgaand daaraan: het vaststellen of deze data een voorspellende waarde hebben voor het veronderstelde gedrag. Verwachting was dat via deze pilot meer zicht verkregen zou worden op de mogelijkheden van learning analytics voor het onderwijs. Dat is enerzijds het geval, anderzijds heeft deze pilot ook diverse vragen opgeroepen:

      

welke data mogen in welke vorm teruggekoppeld worden zijn de gekozen data de voorspellers of indicatoren voor bepaald gedrag. als gedrag beinvloed wordt door een terugkoppeling via data over dit gedrag, is deze beïnvloeding tijdelijk of permanent? hoe kan voorkomen worden dat studenten data faken om tot een gunstige terugkoppeling te komen in welke gevallen moet een student geïnformeerd worden over het gebruik van onderwijsdata ten behoeve van learning analytics in welke gevallen moet een student expliciet toestemming geven voor het verwerken van zijn/haar data uit een onderwijssysteem. Spoort de feedback die studenten gegeven wordt over hun download gedrag hen ook inderdaad aan om tijdiger materialen te downloaden en te bestuderen met een verhoogd resultaat als gevolg.

Een webanalytics tool zoals Pikiw registreert alleen gedragingen van gebruikers. Gebruikers die niets doen worden dus niet geregistreerd, maar aan deze gebruikers wil je ook feedback geven. Additionele programming is nodig om ook deze gebruikers feedback te kunnen geven over het gegeven dat zij geen acties hebben uitgevoerd. Het project heeft geen oplossing geboden voor een gesignaleerd inhoudelijk risico: de terugkoppeling over het moment van downloaden kan studenten aansporen de materialen tijdig te downloaden, waarbij het tijdig bestuderen achterwege kan blijven. Dit kan er toe leiden dat studenten hun gedrag aanpassen en op tijd alles downloaden om negatieve feedback te vermijden. Het project heeft geleerd dat het onderwijs niet bij voorbaat voorstander is van het wijd bekend maken van learning analytics mogelijkheden. Het advies is dat er eerst een traject doorlopen moet worden waarin enige vorm van beleid en didactische inzet besproken en gevormd wordt hoe docenten deze tools en functionaliteiten willen/kunnen gaan gebruiken, of niet. De mogelijkheid bestaat namelijk dat een groot deel van docenten verregaande inzichten in student statistieken in Blackboard beschouwen als een “Big Brother” rol en terugkoppelingen inbouwen in Blackboard nav hun ‘klik gedrag’ als controlerend. Op dit moment lijkt er een wederzijdse onbekendheid te bestaan onder docenten en studenten wat betreft het bijhouden van gebruikers statistieken in Blackboard. Zodra docenten bewust gemaakt worden van de mogelijkheden, en deze gaan gebruiken, zullen studenten ook van te voren geïnformeerd moeten worden over de transparantie van hun online gedrag. Uit de interviews is duidelijk geworden dat er in ieder geval bij de Sociale Wetenschappen een tweedeling te verwachten is in de reacties van docenten tav Learning Analytics. Voorstanders die mogelijkheden zien om via Learning Analytics studenten aan te sporen tot verhoogde prestaties, en tegenstanders die de verschoolsing en controlerende karakter van Learning Analytics als negatief ervaren. Gezien de functies die de tegenstanders betrekken binnen het onderwijs valt te verwachten dat het gebruik van Learning Analytics binnen de Sociale Wetenschappen op een individuele basis per docenten ingezet zal kunnen worden, maar dat het niet vanuit het onderwijs management aangeraden of ingezet zal worden.

10

SURF

6.


Continuering Voor meer informatie over deze pilot learning analytics kan contact opgenomen worden met de projectleider van UvAnalytics Sijo Dijkstra, Onderwijs en OnderzoeksdienstenGroep, Informatiseringscentrum Universteit van Amsterdam [email protected] Learning Analytics is voor de Universiteit van Amsterdam een relatief nieuw fenomeen. Tot nu toe wordt weinig gebruik gemaakt van gegevens over de on-line activiteiten van studenten op de educatieve systemen. Het is de nadrukkelijke wens van de UvA om meer gebruik te maken van dergelijke gegevens, om inzicht te verkrijgen in het gedrag van studenten, de onderwijsomgeving te verbeteren en het gedrag van studenten te sturen. Het project UvAnalytics is voor de UvA een eerste aanzet geweest om de mogelijkheden van learning analytics voor het onderwijs te verkennen en te komen tot een ‘Proof of Concept’. Op basis van de resultaten van deze pilot heeft de InnovatieGroep van de UvA een projectvoorstel voor uitvoering in 2013 opgesteld voor het opschalen van de resultaten. Daarnaast is door de InnovatieGroep een breder programmavoorstel opgesteld rondom learning analytics. De focus bij dit programma ligt op het opzetten en uitvoeren van learning analytics pilots vanuit het onderwijs. Dit programma voorstel is ingediend voor financiering door de ICTO Programmaraad. De InnovatieGroep heeft Learning Analytics benoemd tot een van de vier belangrijke trends voor het onderwijs van de UvA en de HvA. Binnen de InnovatieGroep zal de komende jaren extra aandacht uitgaan naar het verder exploreren van de mogelijkheden van learning analytics voor het onderwijs.

11

SURF


Bijlages bij Eindrapportage UvAnalytics

Penvoerende instelling: Universiteit van Amsterdam Partner instellingen: Datum: Oktober 2012 Auteurs: Sijo Dijkstra, Nynke Kruiderink, Alan Berg

www.creativecommons.org/licenses/by/3.0/nl

1

SURF


Bijlage 1 Notitie Juridische aspecten bij (her)gebruik van data. Opgesteld in het kader van de SURFtender Learning Analytics. Auteur: Sijo Dijkstra, Universiteit van Amsterdam Met dank aan: Bart van der Sloot (IvIR).

Opmerking vooraf: Deze notitie moet gezien worden als een initiële verkenning van wet en regelgeving waarmee rekening gehouden moet worden bij het gebruik van learning analytics, binnen de context van het project UvAnalytics. Deze notitie is geen uitputtende handleiding met een overzicht van alle juridische consequenties en geeft geen volledig overzicht van de heersende wet en regelgeving die van toepassing is bij het (her)gebruik van data.

1. Aanleiding voor deze notitie Onderwijssystemen registreren grote hoeveelheden data over het gedrag van de gebruikers van die onderwijssystemen. Het gaat daarbij om bijvoorbeeld gegevens over de momenten waarop iemand inlogt en uitlogt, welke systemen of systeemonderdelen gebruikt worden, wat iemand doet op het systeem, hoe lang iemand bepaalde pagina’s bezoekt, welke elementen worden gedownload en op welk tijdstip deze worden gedownload. Op basis van deze (en andere) gegevens kan inzicht verkregen worden in de gedragingen van een student op de leeromgeving. Deze gedragingen kunnen vervolgens teruggekoppeld worden aan de student en/of docent om inzicht te geven in zijn of haar gedrag. Bij het toepassen van learning analytics stuit de gebruiker op tal van vragen en issues. Voorbeelden hiervan zijn:

             

Zijn er beperkingen aan welke gedragingen in kaart gebracht mogen worden Mag het uit de data afgeleide gedrag ook teruggekoppeld worden aan de betreffende student of aan de betrokken docent en zo ja, in welke vorm Mag dit ongevraagd of moet de student hier toestemming voor verlenen Wanneer en hoe informeer je studenten dat data over hen verzameld worden Welke mogelijkheden zijn er nu om de student op basis van zijn/haar online gedrag aan te spreken op zijn/haar gedrag om daarmee het gedrag te beïnvloeden Welke gegevens mogen daar wel /niet voor gebruikt worden Welke data mogen gebruikt worden voor verdere analyse om het onderwijs of de leeromgeving aan te passen Mogen de data uit de onderwijssystemen gepubliceerd worden en zo ja in welke vorm Met welke wet en regelgeving moet rekening gehouden worden Wie is eigenaar van de data, is dat de instelling, of is dat de student of de systeem eigenaar Wie bepaalt wat je met de data mag doen Wat is de verantwoordelijkheid van de instelling met betrekking tot de data Heeft de instelling een morele plicht tot het informeren van de student bij risicogedrag of profiel Wie ziet de uitkomsten van de analytics en tot in welke mate van detail Met welke privacy aspecten dient rekening gehouden te worden?

Deze en tal van andere vragen komen op bij het in kaart brengen van de mogelijkheden (en onmogelijkheden) van Learning Analytics. Deze notitie geeft een eerste aanzet tot het in kaart brengen van deze vragen en aandachtspunten die daarbij van belang zijn. Deze notitie is geen uitputtende handleiding die voor alle vormen van learning analytics aangeeft aan welke (juridische en privacy) eisen voldaan moet worden voor het correct toepassen van learning analytics.

2

SURF


2 Wat is Learning Analytics Voordat gekeken wordt naar de mogelijkheden van Learning Analytics is het van belang vast te stellen wat onder Learning Analytics verstaan wordt. Diverse organisaties die zich bezighouden met Learning Analytics hanteren verschillende definities voor het beschrijven van Learning Analytics. SURF (1) stelt op haar website: Learning Analytics is een relatief nieuw fenomeen in het onderwijs. Het is gebaseerd op de analyse van data over studenten en hun omgeving ter verbetering van het Onderwijs. De analyse van deze gegevens kan hogescholen en universiteiten onder meer inzicht verschaffen in: • het studiegedrag van studenten • de kwaliteit van het gebruikte onderwijsmateriaal • het gebruik van de digitale leer- en werkomgeving • de kwaliteit van toetsitems • de studievoortgang EDUCAUSE’s Next Generation learning initiative geeft de volgende definitie: “the use of data and models to predict student progress and performance, and the ability to act on that information”.(2) De 1st international Conference on Learning Analytics and Knowledge (LAK 2011)(3) geeft de volgende definitie: Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs. Alle definities hebben gemeen dat het gaat om het meten, verzamelen, analyseren en rapporteren van data over het gedrag van de lerende en de omgeving waarin het leren plaatsvindt, waarbij de data geanalyseerd worden om gedrag te kunnen begrijpen, voorspellen, te optimaliseren en advies te geven. Doel van learning analytics is om het onderwijs te verbeteren, maar ook om het gedrag van de lerende te sturen/beïnvloeden. Dat kan enerzijds door de lerende direct feedback te geven over zijn/haar gedrag, maar ook door het gedrag van de lerende te beïnvloeden door bijvoorbeeld het verbeteren van de leeromgeving, of het aanpassen van het onderwijs. (1) SURF: http://www.surf.nl/nl/themas/innovatieinonderwijs/learninganalytics/pages/default.aspx (2) http://nextgenlearning.com/the-challenges/learning-analytics (3) http://www.elearnspace.org/blog/2010/08/25/what-are-learning-analytics

3

SURF


3 Wetgeving met betrekking tot privacy en het gebruik van persoonsgegevens Deze paper geeft een eerste aanzet tot het in kaart brengen van de juridische zaken waar rekening mee moet worden gehouden bij het gebruik van, of het toepassen van learning analytics. Gezien de complexiteit van het onderwerp en de heersende nationale en Europese wetgeving op het gebied van bescherming persoonsgegevens en privacy is het onmogelijk om binnen de kaders van dit SURF project te komen tot een eenduidige en uitputtende set regels en afspraken die voorzien in alle gevallen waarbij sprake is van het onttrekken van gebruikersgegevens uit (onderwijs) systemen en het terugkoppelen daarvan (in welke vorm dan ook) aan de gebruiker van learning analytics. Deze paper geeft vooral (algemene) aandachtspunten die in acht genomen kunnen worden bij het gebruik van learning analytics. Deze lijst met aandachtspunten is niet uitputtend, maar biedt aanknopingspunten om het bewustwordingsproces te vergroten rondom de mogelijkheden en onmogelijkheden van learning analytics en de rechten van de persoon van wie gegevens worden verwerkt en de plichten van de verantwoordelijke(n) die deze gegevens verwerkt. Centrale vraag bij hierbij is welke data gebruikt mogen worden ten behoeve van learning analytics en met welke juridische en privacy aspecten rekening gehouden moet worden bij de manier waarop deze data openbaar gemaakt worden, aan de gebruiker zelf, of aan groepen gebruikers, of aan degene die de gegevens verwerkt.. Om meer zicht te krijgen op de mogelijkheden en beperkingen is voor deze paper (onder andere) contact gelegd met het Instituut voor informatierecht van de UvA. Het IvIR van de Faculteit der Rechten van de UvA doet onderzoek naar de juridische aspecten van de productie, opslag, verspreiding en het gebruik van informatie. Zij zijn de aangewezen partij om meer zicht te geven op de juridische en privacy aspecten die van belang zijn bij het beschikbaar stellen van data vanuit de UvA systemen ten behoeve van learning analytics. Deze notitie maakt gebruik van inzichten die vanuit het IviR gegeven worden en van gegevens zoals die uit verder desk research naar voren zijn gekomen. Tot slot wordt een visie gegeven op de mogelijkheden van Learning Analytics in het kader van de onderzoeksvraag van het project: op welke wijze kunnen de binnen het UvAnalytics project gebruikte data gebruikt worden om de student en docent inzicht te geven in het (download)gedrag op de leeromgeving. Bij het beoordelen van zaken omtrent het (her)gebruik van data spelen diverse wetgevingen en artikelen uit deze wetgevingen. In het volgende hoofdstuk volgt een beknopte weergave van weten regelgevingen die van belang zijn bij het verwerken van (persoons)gegeven, privacy en bescherming van persoonsgegevens.

3.1 Verwerking Persoons Gegevens: De WBP (wet bescherming persoonsgegevens, beschikbaar via http://wetten.overheid.nl/BWBR0011468/geldigheidsdatum_04-09-2012) bevat diverse artikelen die in het kader van learning analytics van belang zijn zijn De WBP beschrijft in artikel 16 wat verstaan wordt onder persoonsgegevens. Artikel 16 De verwerking van persoonsgegevens betreffende iemands godsdienst of levensovertuiging, ras, politieke gezindheid, gezondheid, seksuele leven, alsmede persoonsgegevens betreffende het lidmaatschap van een vakvereniging is verboden behoudens het bepaalde in deze paragraaf. Hetzelfde geldt voor strafrechtelijke persoonsgegevens en persoonsgegevens over onrechtmatig of hinderlijk gedrag in verband met een opgelegd verbod naar aanleiding van dat gedrag.

4

SURF


Artikel 9: Doelbinding Artikel 9 1.Persoonsgegevens worden niet verder verwerkt op een wijze die onverenigbaar is met de doeleinden waarvoor ze zijn verkregen. 2.Bij de beoordeling of een verwerking onverenigbaar is als bedoeld in het eerste lid, houdt de verantwoordelijke in elk geval rekening met: a.de verwantschap tussen het doel van de beoogde verwerking en het doel waarvoor de gegevens zijn verkregen; b.de aard van de betreffende gegevens; c.de gevolgen van de beoogde verwerking voor de betrokkene; d.de wijze waarop de gegevens zijn verkregen en e.de mate waarin jegens de betrokkene wordt voorzien in passende waarborgen. 3.Verdere verwerking van de gegevens voor historische, statistische of wetenschappelijke doeleinden, wordt niet als onverenigbaar beschouwd, indien de verantwoordelijke de nodige voorzieningen heeft getroffen ten einde te verzekeren dat de verdere verwerking uitsluitend geschiedt ten behoeve van deze specifieke doeleinden. 4.De verwerking van persoonsgegevens blijft achterwege voor zover een geheimhoudingsplicht uit hoofde van ambt, beroep of wettelijk voorschrift daaraan in de weg staat.

Voorwaarden gebruik persoonsgegevens volgens de WBP: Artikel 6 Persoonsgegevens worden in overeenstemming met de wet en op behoorlijke en zorgvuldige wijze verwerkt. Artikel 7 Persoonsgegevens worden voor welbepaalde, uitdrukkelijk omschreven en gerechtvaardigde doeleinden verzameld. Artikel 10 1.Persoonsgegevens worden niet langer bewaard in een vorm die het mogelijk maakt de betrokkene te identificeren, dan noodzakelijk is voor de verwerkelijking van de doeleinden waarvoor zij worden verzameld of vervolgens worden verwerkt. 2.Persoonsgegevens mogen langer worden bewaard dan bepaald in het eerste lid voor zover ze voor historische, statistische of wetenschappelijke doeleinden worden bewaard, en de verantwoordelijke de nodige voorzieningen heeft getroffen ten einde te verzekeren dat de desbetreffende gegevens uitsluitend voor deze specifieke doeleinden worden gebruikt. Artikel 11 1.Persoonsgegevens worden slechts verwerkt voor zover zij, gelet op de doeleinden waarvoor zij worden verzameld of vervolgens worden verwerkt, toereikend, ter zake dienend en niet bovenmatig zijn. 2.De verantwoordelijke treft de nodige maatregelen opdat persoonsgegevens, gelet op de doeleinden waarvoor zij worden verzameld of vervolgens worden verwerkt, juist en nauwkeurig zijn. Artikel 13 De verantwoordelijke legt passende technische en organisatorische maatregelen ten uitvoer om persoonsgegevens te beveiligen tegen verlies of tegen enige vorm van onrechtmatige verwerking. Deze maatregelen garanderen, rekening houdend met de stand van de techniek en de kosten van de tenuitvoerlegging, een passend beveiligingsniveau gelet op de risico's die de verwerking en de aard van te beschermen gegevens met zich meebrengen. De maatregelen zijn er mede op gericht onnodige verzameling en verdere verwerking van persoonsgegevens te voorkomen.

Uitzonderingen Artikel 2 1.Deze wet is van toepassing op de geheel of gedeeltelijk geautomatiseerde verwerking van persoonsgegevens, alsmede de niet geautomatiseerde verwerking van persoonsgegevens die in een bestand zijn opgenomen of die bestemd zijn om daarin te worden opgenomen. 5

SURF

Eindrapportage UvAnalytics 2.Deze wet is niet van toepassing op verwerking van persoonsgegevens: a.ten behoeve van activiteiten met uitsluitend persoonlijke of huishoudelijke doeleinden; b.door of ten behoeve van de inlichtingen- en veiligheidsdiensten, bedoeld in de Wet op de inlichtingen- en veiligheidsdiensten 2002; c.2. ten behoeve van de uitvoering van de politietaak, bedoeld in deartikelen 2 en 6, eerste lid, van de Politiewet 1993; d.die is geregeld bij of krachtens de Wet gemeentelijke basisadministratie persoonsgegevens; e.ten behoeve van de uitvoering van de Wet justitiële en strafvorderlijke gegevens en f.ten behoeve van de uitvoering van de Kieswet. 3.Deze wet is niet van toepassing op verwerking van persoonsgegevens door de krijgsmacht indien Onze Minister van Defensie daartoe beslist met het oog op de inzet of het ter beschikking stellen van de krijgsmacht ter handhaving of bevordering van de internationale rechtsorde. Van de beslissing wordt zo spoedig mogelijk mededeling gedaan aan het College.

Artikel 3 1.Deze wet is niet van toepassing op de verwerking van persoonsgegevens voor uitsluitend journalistieke, artistieke of literaire doeleinden, behoudens de overige bepalingen van dit hoofdstuk, alsmede de artikelen 6 tot en met 11, 13 tot en met 15, 25 en 49. 2.Het verbod om persoonsgegevens als bedoeld in artikel 16 te verwerken is niet van toepassing voor zover dit noodzakelijk is voor de doeleinden als bedoeld in het eerste lid. Artikel 5 1.Indien de betrokkene minderjarig is en de leeftijd van zestien jaren nog niet heeft bereikt, of onder curatele is gesteld, dan wel ten behoeve van de betrokkene een mentorschap is ingesteld, is in de plaats van de toestemming van de betrokkene die van zijn wettelijk vertegenwoordiger vereist. 2.Een toestemming kan door de betrokkene of zijn wettelijk vertegenwoordiger te allen tijde worden ingetrokken.

3.2 Bescherming persoonsgegevens Het Handvest van de grondrechten van de Europese Unie stelt met betrekking tot bescherming van persoonsgegevens: Artikel 8 - Bescherming van persoonsgegevens 1. Eenieder heeft recht op bescherming van de hem betreffende persoonsgegevens. 2. Deze gegevens moeten eerlijk worden verwerkt, voor bepaalde doeleinden en met toestemming van de betrokkene of op basis van een andere gerechtvaardigde grondslag waarin de wet voorziet. Eenieder heeft recht op toegang tot de over hem verzamelde gegevens en op rectificatie daarvan. 3. Een onafhankelijke autoriteit ziet toe op de naleving van deze regels.

3.3 Wetgeving op het gebied van privacy     

Europees verdrag voor de rechten van de mens Handvest van de grondrechten van de Europese Unie Grondwet E-Privacy Directive (2002/58/EG) Citizens’ Rights Directive (2009/136/EG) o Hoofdzakelijk omgezet in Telecommunicatiewet

Handvest van de grondrechten van de Europese Unie Artikel 7 - Eerbiediging van het privé-leven en het familie- en gezinsleven Eenieder heeft recht op eerbiediging van zijn privé-leven, zijn familie- en gezinsleven, zijn woning en zijn communicatie. 6

SURF


Diverse artikelen uit het Europees verdrag van de rechten van de mens (EVRM) en de Grondwet (GW) geven richting aan het begrip privacy en hoe hier mee om te gaan. •Art. 8 EVRM – privéleven, familie- en gezinsleven, woning en correspondentie. • Art. 7 Handvest EU - privé-leven, familie- en gezinsleven, woning en communicatie. • Art. 10 GW – persoonlijke levenssfeer • Art. 11 GW – lichamelijke integriteit • Art. 12 GW – huisrecht • Art. 13 GW – post, telegraaf, telefoon

3.4 Initiële aanbevelingen Informeer de gebruiker dat zijn/haar gedrag gevolgd wordt en dat je voldoet aan de wetgeving die er op dat gebied heerst. Geef gebruikers de mogelijkheid een opt-out te doen tenzij sprake is van een gerechtvaardigde grondslag waarin de wet voorziet. Stel vast welke informatie aan de betrokkene verstrekt dient te worden. Deel de doeleinden van de verwerking waarvoor de gegevens zijn bestemd mede. Check of het noodzakelijk is dat ondubbelzinnig toestemming gevraagd moet worden aan de student (IVM legitieme verwerkingsgrondslag (artikel 8, sub 1)) Leg uit dat het (her)gebruik van data noodzakelijk is voor het behartigen van het gerechtvaardigd belang. (IVM legitieme verwerkingsgrondslag (artikel 8, sub 6)) In de praktijk is de balans tussen sub 1 en 6 vaak een lastige. Check of er een meldplicht is bij het CBP

Aanbeveling bij het verwerken van data: Stel het doel en de middelen voor het verwerken van (persoons) gegevens vast en toets deze aan de WBP Stel vast of het noodzakelijk is de betrokkene in te lichten over de doelstelling van het gebruik/verwerking van gegevens en het noodzakelijk is toestemming te vragen hiervoor

Aanbevelingen bij het gebruik van persoonsgegevens (is de persoon identificeerbaar of geïdentificeerd) Stel vast of bij het verkrijgen van data uit onderwijssystemen ten behoeve van Learning Analytics om gegevens gaat die vallen onder de wet bescherming persoonsgegevens Wees transparant over datacollectie: de student heeft het recht te weten dat data verzameld worden, wie deze data verzameld, welke data verzameld worden en geef aan en met wel doel het verzamelen van data plaatsvindt. Wees transparant over privacy en security. Informatie over privacy en security in relatie tot learning analytics moet makkelijk toegankelijk zijn. Ga zeer zorgvuldig om met data, geeft deze niet door aan derden.

7

SURF


4. De UvA Casus In het laatste hoofdstuk vind een terugkoppeling plaats van bovenstaande bevindingen op de casus uit het project UvAnalytics, waarbij data uit Blackboard teruggekoppeld worden aan de student en docent. De in het UvAnalytics project gebruikte tool Piwik, volgt het gedrag van gebruikers op websites en logt deze gegevens. Piwik stelt dat daarbij de privacy van de gebruikers niet in het geding is, onder andere doordat de administrator van de tool deze zo kan configureren dat uitsluitend de administrator van Piwik de controle heeft over de data, log files of andere data worden nooit door Piwik naar andere servers verstuurd. Zie ook http://piwik.org/privacy voor praktische informatie over dit onderwerp. Gezien de aard van de terugkoppeling die als start heeft gediend voor dit project het juist de bedoeling is dat gebruikersinformatie op zodanige wijze verwerkt wordt, dat specifieke (niet anonieme) terugkoppeling kan plaatsvinden. In de casus die in dit project centraal staat worden door Piwik data uit Blackboard verzameld over het gedrag van specifieke gebruikers. Hierbij wordt de course_id en de user_id aan de informatie toegevoegd. Deze gegevens hebben alleen betekenis voor externe personen als deze informatie gecombineerd kan worden met andere informatie uit de Blackboard database. Externen hebben geen toegang tot deze gegevens. De getrackte informatie wordt daarnaast over een SSL verbinding verzonden, waardoor het niet makkelijk is voor derden om toegang te krijgen tot deze informatie.

Issues bij learning analytics aan de UvA: Vastgesteld moet worden in welke gevallen van het gebruik van learning analytics de student actief toestemming dient te geven voor het volgen van zijn of haar data. Dit brengt mogelijk ook met zich mee dat (technische) voorzieningen getroffen moten worden zodat de student via een opt-in kan aangeven dat de docent gedragingen op de on-line omgevingen mag gebruiken voor een terugkoppeling. Dit is mogelijk niet een issue dat voor alle diensten waaruit data verkregen worden eenvoudig kan worden opgelost. Duval merkt hierover onder ander het volgende op http://onderwijsdagen.wordpress.com/2011/10/25/prof-erik-duval-learning-analytics-geeft-student-meercontrole-over-leerproces/: Duval: “Je moet zichtbaar maken wat je doet met data en daar verantwoordelijkheid over afleggen” Veel mensen noemen privacy als een risico. Persoonlijk zit ik minder in mijn maag met privacy. Het is goed dat wij in de leercontext privacy opgeven. Het is net alsof je naar de dokter gaat en zegt: “Ik voel me niet goed”. Maar dat je niet zegt wat er aan scheelt. Ik vind het daarom belangrijker om te streven naar openheid. Nee. Het grootste probleem bij LA vind ik eigenaarschap. Als ik als student wissel van de universiteit van Leuven naar Gent, dan weet de universiteit van Gent niets van mij. Dan moet data weer opnieuw worden verzameld. Je ziet dat ook bij zoekmachines. Google kent bijvoorbeeld mijn hele zoekgeschiedenis, maar Bing weet niks van mij. Dankzij mijn zoekhistorie kan Google informatie presenteren die is toegesneden op mij. Bing kan dat niet. Hetzelfde geldt voor elektronisch winkelen. Amazon kent mijn aankoopgeschiedenis, andere online winkels niet. Daardoor ontstaat er ‘data lockin’. Dat vind ik het grootste probleem bij LA. Daar moeten afspraken over worden gemaakt. Uitgangspunt moet zijn dat de student eigenaar is van de data. Daar zal nog veel om te zijn, verwacht ik. En ik weet niet of veel mensen dit als een probleem zien.”

8

SURF


Bijlage 2 Uitwerking werkpakket techniek Screen grabs Mockup The design was created in three phases: 1) The Mock up included initial wire frame for student and instructor. 2) Testing the main technological themes such as:

     

Tracker enhancing Java Object Caching The ability to internationalize The BasicLTI protocol Connection to the PIWIK database Creation of a design dashboard for teachers. The motivation for this is to test the integration of the technologies, before deep diving into the information most relevant for Learning Analytics.

3) Creation of a tool ready for piloting Phase 1 - Mockups Phase 2 - Testing the core technological features needed. BasicLTI Debug Page Generic debug information. This link will be disabled for the pilot. Used only in the development phase. Course Design Information for Instructors Creating a design view allows us to build up experience of how the underlying technologies work together. This allows us to separates out the reviewing the p complex subject of choosing metrics to use for Learning Analytics.

2012 Horizon report: Learning analytics loosely joins a variety of data gathering tools and analytic techniques to study student engagement, performance, and progress in practice, with the goal of using what is learned to revise curricula, teaching, and assessment in real time. Building on the kinds of information generated by Google Analytics and other similar tools, learning analytics aims to mobilize the power of data-mining tools in the service of learning, and embrace the complexity, diversity, and abundance of information that dynamic learning environments can generate.

9

SURF


Technical Details Overview In this project we have built a generic Learning Analytics tool. A student is presented with a dashboard within their on-line course which signals if certain goals are not being achieved such as the failure to download content within a prescribed time period.

Entrance

10

SURF


Simple analytics

Recommendations dashboard

Although the pilot targeted the Blackboard Course Management System you can with minor modification use with multiple Learning Management platforms including Sakai and Moodle. The service enriches information to web analytics tracking. PIWIK was used. PIWIK is a web analytics tool which is open source and has compatible API’s to Google Analytics. The Analytics dashboard appears inside Blackboard, but is in fact external. This is achieved by using the BasicLTI protocol. Blackboard consumes the services that the analytics tool provides. Sakai, Moodle, uPortal (to name a few) can also act as BasicLTI consumers, opening up a range of extra possibilities. The key design advantages of this approach are:

11

SURF


Performance is king: The web analytics tool lives outside of the LMS and hence allows for a high degree of scalability. The tracker code runs in the end users web browser and the Dashboard is run externally again improving scalability. This is in comparison to a native Learning Analytics tool which is processed within the application itself. For large courses with numerous members an internal application has the potential to create significant load, slowing the routine operation of the LMS. Multi-system support / Bridiging data silo’s: The tool supports the creation of an open source infrastructure that tracks students across a range of online environments.This allows the tracking of student progress across system specific data silo’s. A dislocative trend in the market is the federation of tools for learning. This implies that an Online learning management system is slowly transforming into a location where tools are consumed from outside the LMS and are rendered to appear to be part of the LMS. This trend implies that in tools can be shared between various systems and displayed slightly differently in each. Data silo’s make this approach difficult as proprietary information or structures used in one system will not be available across all systems limiting the richness of the tools. This author expects market place pressures to force LMS providers to open up their API’s or loss commercial presence. Alleviating vendor lock-in: This type of tooling is important for organically grown, University wide IT landscapes where you wish to avoid the risk of product lock in. Open Work flow: The tool uses a standards based protocol BasicLTI to render a dashboard across platforms and enriched data to an open source web analytics tool called PIWIK. PIWIK clones most of the API’s of Google analytics and thus represents a solid compromise between functionality, compatibility with a de-facto industrial standard and openness. Realtime verses analysis of Big Data: The Learning Analytics tool generates results based on near real time information directly from the PIWIK database. Due to the need to render the results quickly, deep analysis of big data sets is not viable.

Dashboard Workflow The dashboard is rendered as part of the LMS. In this case, Blackboard has a built in ability to consume a BasicLTI provider. The configuration sits in the system administration screen. A shared secret between consumer and provider needs to be copied and the allowable locations defined. This costs only a few lines of configuration. The same is true for Sakai. For Moodle or uPortal you may need to add contributed functionality. As a system admin you allow system wide a BasicLTI provider

12

SURF


As an Instructor you can add a link for a BasicLTI Provider

In Blackboard, within a specific course an instructor will need to create a custom content link. Once activated and when the user has logged in, enters a course and clicks on the link then the tool is rendered. The tool has the right context information to know the course, the users role and the username. This context information is enough for the tool to tailor the dashboard for either instructors or students.

Example Context Information sent to the provider tool from Blackboard. oauth_nonce : 9475839567135859 oauth_consumer_key : Blackboard_Learning_consumer context_label : Learning_Analytics lis_person_name_family : Berg resource_link_id : _1451640_1 oauth_callback : about:blank launch_presentation_return_url : http://bbdev01/webapps/blackboard/execute/blti/launchReturn?course_id=_38097_1&content_id=_1451640_ 1 oauth_signature : SuSQ5MGM9EwMsfgRpV/y6Eta+NU= lti_version : LTI-1p0 oauth_signature_method : HMAC-SHA1 tool_consumer_instance_contact_email : [email protected] user_id : _129821_1 lti_message_type : basic-lti-launch-request tool_consumer_instance_guid : 0991091dba98402ab0cd424ecaf4ea89 launch_presentation_document_target : frame context_title : Learning_Analytics oauth_version : 1.0 tool_consumer_instance_name : UvA lis_person_name_full : Fred Peters resource_link_title : The Learning Game - Gir /test context_id : _38097_1

13

SURF


roles : urn:lti:role:ims/lis/Instructor lis_person_contact_email_primary : [email protected] lis_person_name_given : Fred launch_presentation_locale : en-US oauth_timestamp : 1338360641

The facts that the dashboard can use which are sent from Blackboard are:

    

resource_link_id: is a key for the content in the PIWIK database. context_id: is the key to the course. user_id: is the key to the user in the PIWIK database. roles: Is the set of roles the user has in the course. lis_person_contact_email_primary: E-mail address of user as defined in the Blackboard Database.

The work flow for the dashboard is shown in earlier in the main report.

Design Best Practices Open Source Spring Framework Spring is the most popular application development framework for enterprise Java™. Millions of developers use Spring to create high performing, easily testable, reusable code without any lock-in. By relying on well understood technologies with an enormous community allows the greatest opportunity for wider development of the software. If an institution wishes to invest and find the right type of developer then using well-known technologies will increase the potential pool of elidgble candidates.

PIWIK Piwik is a Free/Libre (GPLv3 licensed) real time web analytics software. It provides you with detailed reports on your website visitors; the search engines and keywords they used, the language they speak, your popular pages, and much more. Piwik is a free software alternative to Google Analytics, and is already used on more than 320,000 websites.

Enrichment Making a generic analytics tool implies that we lose some of the context information. If the tool is built into the LMS then it gains access to a rich set of internal services that can be used to enrich the data. However, the services are then LMS specific and less able to adapt to complex infrastructures. By default the Information returned through the more generic tracker code lacks detail. The reason for this is that a number of Blackboard URL's do not contain the context of where they are being called from. To enrich the data to the point of reasonable usability an AJAX call to a service in Blackboard is made before the tracker code calls PIWIK. The AJAX call returns the course_id and user_id and user name. The context information is then added as custom variables to the page views.

Privacy aspects of Data Enrichment The course_id and user_id that are added to the tracking information are keys used in the Blackboard database. These values are obscure and only gain relevance to an external observer once they have gained access to the database. The tracker information is sent over SSL and thus no third person can easily packet sniff. http://piwik.org/privacy/ - For worst case scenario’s.

14

SURF


Lessons Learned Rest calls and CAS The initial plan was to collect the data needed for the BasicLTI view through REST calls to PIWIK. Although this is possible, we discovered that the CAS plugin for authentication interrupted the use of security tokens needed to authenticate. Rather than removing the plugin which is needed for the integration of PIWIK with UvA authentication services, we decided to make direct DB calls.

Enriching trackers works well. The enriching process using AJAX calls worked fluently behind the scenes.

Realtime verses Big Data Having to produce a dashboard in real time limites the degree of data analysis. Deep diving in Big data sets is not possible within the scope of a small project. For a second iteration, with a larger set of project resources one can consider a hybrid model where real time queries are supplemented with summary information pulled in from analysis of larger data sets.

Performance Direct DB calls to PIWIK perform better than indirect methods with more interactions such as the calling the REST services. However, this might make the application more fragile as the the DB structure may not remain stable through releases. The extra AJAX call to enrich data on the tracker side will increase load on the server side. If the tool moves from small scale trials then the performance loss will need to be quantified. We expect that the call is not too costly as the information exists as part of the session when a user logs in. Caching was also employed at the Java Object level. This implies that once a specific dashboard page is seen the effort required by the application to render a second time is minimized.

Seeing membership is an issue. Without hitting a course once a user is not registered in PIWIK. Therefore, is also not seen as a member of a course. However, applications internal to an LMS will be able to see the full membership by calling native services.

Archiving PIWIK database tables For the Proof Of Concept, the tool assumes that all the data is stored in the main tables. In a full production environments these tables will need to be regularly archived. This implies that a large scale production needs an application that accumulates statistics and keeps track of the totals locally.

References General Johnson, L., Adams, S., & Cummins, M. (2012). The NMC Horizon Report: 2012 higher education edition. Austin, Texas: The New Media Consortium. Fergson, R. (2012). The State Of Learning Analytics in 2012: A Review and Future Challenges. Technical Report KMI-12-01, Knowledge Media Institute, The Open University, UK. http://kmi.open.ac.uk/publications/techreport/kmi-12-01 Buckingham Shum, S. and Ferguson, R. (2011). Social Learning Analytics. Available as: Technical Report KMI-11-01, Knowledge Media Institute, The Open University, UK. http://kmi.open.ac.uk/publications/pdf/kmi-11-01.pdf Riccardo Mazza, Vania Dimitrova. CourseVis: Externalising Student Information to Facilitate Instructors in Distance Learning. In: U.Hoppe, F. Verdejo, J,. Kay (eds.) Proceedings of the International conference in Artificial Intelligence in Education. Sydney July 20-24, 2003. (AIED 2003). IOS press. pp. 279-286. ISBN 0922-6389. Govaerts, Sten et al. "The student activity meter for awareness and self-reflection." Proceedings of CHI Conference on Human Factors in Computing Systems 5 May. 2012.

15

SURF

Eindrapportage UvAnalytics Arnold, K. E., & Pistilli, M. D. (2012). Course Signals at Purdue: Using Learning Analytics to Increase Student Success. 978-1-4503-1111-3/12/04. Presented at the Second International Conference of Learning Analytics and Knowledge 2012 (LAK12), Vancouver, BC, Canada: ACM. SoLAR Open Learning Analytics Concepts Paper http://solaresearch.org/OpenLearningAnalytics.pdf Siemens, George, and Phil Long. "Penetrating the fog: Analytics in learning and education." Educause Review 46.5 (2011).

Technique Introduction to AJAX - http://www.w3schools.com/ajax/ Sakai BasicLTI tool - https://confluence.sakaiproject.org/display/MGT/Basic+LTI+Portlet Moodle BasicLTI tool - http://code.google.com/p/basiclti4moodle/ uPortal BasicLTI tool - https://wiki.jasig.org/display/PLT/Basic+LTI+Portlet Learning Tools Interoperability - http://www.imsglobal.org/lti/ PIWIK Home page - http://piwik.org/ PIWIK DB schema - http://piwik.org/docs/plugins/database-schema/ Spring Framework introduction - http://nl.wikipedia.org/wiki/Spring_Framework Spring MVC - http://static.springsource.org/spring/docs/2.0.x/reference/mvc.html MediaMosa, BasicLTI tool - https://github.com/tomkuipers/MediaMosa-BasicLTI Example AJAX call Blackboard - http://ipconflict.co.uk/2011/02/28/woopra-on-bb/

Sample of Alternative Tools CourseVis - http://linux3.dti.supsi.ch/~mazza/Projects/CourseVis/index.html Student Activity Meter (SAM) - http://role-showcase.eu/role-tool/student-activity-monitor Social Networks Adapting Pedagogical Practice (SNAPP) http://research.uow.edu.au/learningnetworks/seeing/snapp/index.html Blackboard Analytics for Learn http://www.blackboard.com/Platforms/Analytics/Products/Blackboard-Analytics-for-Learn.aspx Course Signals - http://www.sungardhe.com/signals/ Graphical Interactive Student Monitoring Tool for Moodle (GISMO) http://gismo.sourceforge.net/ Exploratory Learning Analytics Tool (ELAT) - http://educationaldatamining.org/EDM2011/wpcontent/uploads/proc/edm2011_poster19_Dyckhoff.pdf

16

SURF


Bijlage 3 Provisioning Provisioning PIWIK with fake Usage patterns. INTRODUCTION For students and lecturers it was necessary to first create fake usage patterns. The motivation for this is to validate the effectiveness of the presentation layer of the UvA Learning Analytics tool before actual use. By using fake data it is possible to see how GUI response for realistic size courses of 100 or more students. From this you can gain a rough idea of the user experience. Questions to answer: Is the GUI slow for some types of query? Is the presentation of data efficient in terms of screen space, etc. Faking data is disconcerting, we can modify the perceived behaviour of any given user. To manipulate the data Jmeter a highly popular open source stress testing tool was used in combination with data stored in CSV files. The advantage of a data driven approach, is that it keeps the data separate from the test plan. You can improve the usage patterns overtime without having to change the test plan.

PIWIK data gathering PWIK gathers data through either AJAX calls from inside a piece of tracking code (JavaScript) which is itself inside pages visited. The other tracking method is via well crafted IMG tag. However, the IMG tag approach delivers less information than through the AJAX tracker. In this pilot the tracker uses the richer AJAX approach and adds three custom variables to enrich the data. The custom variables are sent in the JSON format. Other variables such as is the browser enabled with certain plugin functionality are sent as parameters. The tracker Java Script gathers the information . All the data is sent in an HTTP GET. To add to the data richness, PIWIK also takes information from HTTP HEADER fields such as User-Agent to work out browser type and AcceptLanguage to work out the language preferences of the user.

Jmeter Test Structure Jmeter handles the complexity by using three CSV files containing information on:

  

USER_AGENT: Fake data for different browser types. Written by hand based on Websites that keep track of such things. LANGUAGE DATA: Fake data for which language the browser finds acceptable. Faked by hand. CONTENT DATA: Fakes most of the information in the AJAX call including the custom variables stored in JSON, plugin parameters and content location. The data in this text file is currently generated by a Perl script. The script generates the CSV file using fake users. The users do not actually exist in the courses in Blackboard, but will appear to-do so as the data structure is consistent with the expectations of PIWIK.

The Jmeter test plan is relatively straightforward, an HTTP request is made using the data. The hard work and usage patterns are stored in the data and not in the test

17

SURF


plan. The User-Agent, Host,Accept-Language,Referer HTTP Headers are faked. An extra non standard header X-LINENO is used to keep track of which line number in the CONTENT data file is being used. If an error occurs, then this is helpful debug information.

The GET request itself is far from straightforward. It contains many parameters for PWIKI plus extra variables used internally in Blackboard. The full complexity of the URL is kept to maintain realism. The GET requests were first observed through a transparent proxy in a live system, copied. The URL structure was noted and a Perl script was then used to generate a large number of URLs inside a data file. Using this approach, Jmeter can quickly generate a large amount of fake usage statistics. The initial generation is for one event only the use of content. The initial hit set is divided evenly over a hundred fake JSP pages. With random data for plugin structure. Rotation through specific user browsers and an even distribution across browser language, types and content, the initial data set is enough to exercise the tools GUI before students pilot.

Results Data can be faked in a realistic way using a data driven approach and a stress test tool such as Jmeter. This implies that unless you use extra security features then student usage patterns can be enhanced. As long as the data is used for diagnostics and does not directly or indirectly affect grading or learning paths then the risks are low.

18

SURF


Bijlage 4 Results from the Proof of Concepts. Introduction The University of Amsterdam with the support of a Surf Grant is looking at Learning Analytics to give students feedback about how they are doing in their Learning Management System. A small pilot and monitored feedback is taking place at the University of Amsterdam, Faculteit der Maatschappij en Gedragswetenschappen opleiding Politicologie .You can improve student retention by giving the right amount of feedback at the right moment. Systems such as Signal (http://www.itap.purdue.edu/learning/tools/signals/) have shown the way. The grant allows us to perform this pilot with limited extent to get a feel for this area . In the pilot we have created the tool (you are viewing this text) so that you can see in Blackboard UvA's main LMS. This tool resides outside Blackboard. Later, you can potentially use the tool for other systems as well. The tool works using an open standard (BasicLTI) to enable interoperability with other LMS's such as Sakai and Moodle. However, the focus of the Proof of Concept is limited to Blackboard. Data collection occurs through the use of the Open Source web analytics tool PIWIK. The data collected and especially the details of the data collected need tweaking per LMS. The success of the project will strongly depend on which details you can wring out of tracking data. More on Learning Analytics here http://www.educause.edu/tags?filters=tid%3A39193

Limitations of Enrichment When a Blackboard page is loaded by a browser , the browser runs a tracker JavaScript. Normally this causes an Ajax call to PIWIK directly. However, in this POC first a call is made to a second Blackboard page which passes back extra information. The extra information is stored in three custom variables per page view. You can change the variable names to re purpose per page. However, you are still limited to three pieces of information. The enrichment currently maps from Blackboard to the BasicLTI protocol information available to the tool:

1. 2. 3.

sessionUserId: The same as the user_id passed on by the BasicLTI protocol. This key allows the tool to find pages associated with a given user. SessionCourseId: The same as the context_id. This key allows the tool to track courses userName: This is equivalent to the lis_person_name_full. This a redundant key which can potentially change. We can reuse this variable slot for other enrichment data.

Faking data using Jmeter Jmeter is an Open Source stress testing tool. Using a data driven approach where browser requests were faked it was possible to fake usage patterns. This is useful for testing scalability issues and adding hundreds or even thousands of fake users to a course without actual provisioning. Information faked includes:

       

User name Course Content id Browser type Screen resolution Operating system Plugins used Referer page

The downside is that usage patterns are more easily fakable. If the feedback from the analytics effects a teachers assessment of a student then the value of creating fake usage patterns increases. It is safer to use a range of data collected across campus infrastructure. Realtime analysis This tool works in real time, therefore the queries need to be performent. This limits the depth of analysis involved. It also potentially limits the number of students analyzed in one review for the lecturer. The probable implication is that this tool is good for feedback for easy to ask questions and is best delivered as part of a wider set of tools. 19

SURF


The issue with titles PIWIK stores titles per page action. We can use the titles in BlackBoard to gain an idea of functionality being used by the student. However,it is not always true that a title is unique, just mostly. Invisible membership Unlike a raw native API application, if a user has not logged into a course at least once then they are simply not seen by PIWIK. What does the data mean? In PIWIK we can compare the average class behavior for hitting pages or content against specific users. This allows us to warn if thresholds are not met. However, the evidence that feedback based on these metrics are useful within the context of our deployment has yet to be sampled and then statistically proven. Privacy A review of privacy issues took place as part of this project. Learning analytics is a relative new area of interest, therefore legal issues concerning the (re)usage of data, privacy and protection of personal information is a complex area. Currently it is not possible to give one set of guidelines that can be used for all kinds of data, in all kind of situations. The full conclusions and recommendations of this review are documented elsewhere. Scalability for teachers The response time of the tool from the teachers perspective may well be related to class size. Queries to the PIWIK database would need to be carefully thought out. Tricks like the use of pagination to limit the amount of data and Ajax queries have the potential to improve response times for large classes. Reuse within a multiple LMS environment At first site enriching tracking data makes for PIWKI database specific queries. However, the view part of the application is re-usage. The implication is that there would be a slightly different model per LMS, but most of the code/effort/experience will be re-usable. BasicLTI provider The implementation of the BasicLTI provider worked flawlessly. The same can be said of the BlackBoard consumer. The tool appeared to be work as part of BlackBoard despite the fact it ran elsewhere. The use of the Spring frameworks The set of spring frameworks, provided most of the logical architecture for the tool From Model View Control design to internationalization, caching and database services clear separation between the elements was achieved. However, as part of a Proof of Concept not all of the programming wiring was gold plated. Improvements in handling configuration data and the way database queries are structured would be necessary for a widely deployed tool. Tools for different purposes This tool highlights that it is possible to perform real time analysis of a number of basic questions. The feedback is limited to comparing average behavior in a class against a specific students. For deeper diving you would have to look towards more thorough analysis of a range of campus datasets. This does not eliminate the need for this type of tool as it might fill a niche:

1. 2. 3. 4. 5. 6.

It can be displayed in multiple systems. Tracking through PIWIK is also useful for capacity planning across systems. A PIWIK infrastructure is potentially easier to implement than pulling in data from different source types. Feedback is real time A small set of basic questions can be answered. This delivers simplified reports that would be quite easy to understand. The tool could fill a gap in data missing from the BlackBoard early warning system.

Direct database connection vs the REST interface Initially we planned to use the REST interface of PIWIK to query for results. However, our local implementation of PIWIK used a CAS Single Sign On plugin which was not compatible with the REST authentication process. A more direct connection to the database resolved the problem. 20

SURF


Final Comments A wide range of small lessons were learned from this Proof Of Concept. There are limitations to the approach of using a generic tool based on analysising realtime enriched Web analytics data. However, this type of tool will have its place in a rich ecosphere of interrelated services.

About: Who are we? Individuals

  

Alan Berg - Technical Design Sijo DijkStra - Project Manager / Legal Requirements Nynke Kruiderink - Educational Consultant

De Onderwijs- & Onderzoek-dienstengroep ODG ( http://www.ic.uva.nl/ic/object.cfm/DD98BB4D-0014-4803-BB779A7D3514269E) Virtuele leeromgevingen en andere onderwijsapplicaties ontwikkelen en in de lucht houden is het werk van ODG, de Onderwijs- & Onderzoeksdienstengroep. Deze afdeling houdt zich bezig met advies, ontwikkeling en onderhoud van systemen die in het UvA-onderwijs en -onderzoek van nut zijn. Leon Raijmann is de manager van de afdeling. Departmental Support - Faculteit der Maatschappij- en Gedragswetenschappen FMG Homepage (http://www.uva.nl/over-deuva/organisatie/faculteiten/faculteiten/faculteiten/content/folder/faculteit-der-maatschappij-engedragswetenschappen) De FMG neemt een vooraanstaande positie in Europa en daarbuiten. De faculteit is de grootste onderwijs- en onderzoeksinstelling op het gebied van de sociale en gedragswetenschappen in Nederland. De FMG bestaat uit zes afdelingen: Politicologie, Sociologie en Culturele Antropologie, Communicatiewetenschap, Psychologie, Sociale Geografie, Planologie en Internationale Ontwikkelingsstudies en Pedagogiek, Onderwijskunde en Lerarenopleiding. Surf Foundation Introduction (http://www.surfbureau.nl/engels.htm#surffoun) Stimulation and improvement of the use of computers and computer services in the Netherlands; those are the goals of SURF. SURF is the cooperative organisation for the advancement of computer services in higher education and scientific research in the Netherlands. The SURF bureau is located in Utrecht. Participants in SURF are all the Dutch universities, the institutions for higher vocational education and governmental and industrial research centres. BasicLTI Overview (http://www.slideshare.net/csev/ims-basic-lti-overview) IMS Global Home Page (http://www.imsglobal.org/lti/index.html ) IMS is developing Learning Tools Interoperability (LTI) to allow remote tools and content to be integrated into a Learning Management System (LMS). PIWIK PIWIK Homepage (http://piwik.org/) Piwik is a free software alternative to Google Analytics already providing real time analytics for more than 320,000 websites! Piwik is a PHP/MySQL software program that you download and install on your own web server. At the end of the five minute installation process you will be given a JavaScript tracking code. Simply copy and paste this tag to any websites you wish to track (or use an existing plugin to do it automatically for you) and access your analytics reports in real time. Spring Spring source Home page (http://www.springsource.org/) The Spring Framework helps you build Java Applications faster because it allows you to focus on your business problem rather than the plumbing code that connects components and systems. BlackBoard as an example platform Blackboard homepage (http://blackboard.com/)

21

Eindrapportage UvAnalytics

Recommend Documents