COACH Gegevens penvoerder Penvoerende instelling Correspondentieadres faculteit Contactpersoon secretariaat Telefoonnummer secretariaat Projectleider Instelling Adres
E-mail Telefoonnummer Mobiel telefoonnummer
Universiteit van Amsterdam, FNWI (Faculteit der Natuurwetenschappen, Wiskunde en Informatica) Postbus 94216, 1090 GE Amsterdam mevr. Lindy van der Vecht 020 5257907 Dr. André Heck UvA, FNWI Korteweg- de Vries Instituut, Science park 904, Postbus 94248 1090 GE Amsterdam
[email protected] 0205258486
Deelnemende instellingen Partner 1 Instelling:
UvA, IC (Informatiseringscentrum)
Project informatie Titel Start- en einddatum Totale projectkosten Gevraagde subsidie Eigen bijdrage instelling 1
Constructive Overview Aggregating Comparative Hits (COACH) 15 juni 2013 – 30 juni 2014 18.000 € 10.000 € 8.000 €
1
Inhoudsopgave Samenvatting ..................................................................................................... 3 1. Doelstelling en Doelgroep ................................................................................. 4 2. Onderbouwing en beoogd resultaat .................................................................... 5 3. Plan van aanpak .............................................................................................. 8 4. Kennisopbouw en -disseminatie ......................................................................... 9 5. Planning, kosten en organisatie ........................................................................ 10 5.1 Planning...................................................................................................... 10 5.2 Kostenoverzicht............................................................................................. 10 5.3 Organisatie .................................................................................................. 10 6. Risicoanalyse en -management ........................................................................ 12 Bijlagen bij een projectvoorstel: ........................................................................... 13 Bijlage 1 Letters of intent .................................................................................... 14 Bijlage 2 Beschrijving tools .................................................................................. 21 Bijlage 3 Beschrijving dataset .............................................................................. 23
2
Samenvatting Studenten krijgen bij het gebruik van learning tools steeds vaker een dashboard ter beschikking om de voortgang in die tool te monitoren. Bij het gebruik van meerdere leermiddelen uit diverse bronnen geeft dit geen goed beeld over de complete activiteit van studenten bij een studieonderdeel, door de beperkte blik van tool specifieke dashboards. Een van de resultaten van dit project is het op de student gerichte learning analytics dashboard COACH (Constructive Overview Aggregating Comparative Hits), waarop een student gedurende een cursus zijn of haar studiegedrag in diverse leeromgevingen tezamen kan monitoren en een analyse kan krijgen over het eigen gedrag ten opzichte van het gedrag van de medestudenten. Dit dashboard wordt gekoppeld aan een learning record store waarin data van het gebruik van digitaal lesmateriaal door studenten uit verschillende kanalen op het internet automatisch en continu worden verzameld. De opzet van een learning record store, gebaseerd op de open standaard Experience API, is ook een resultaat van dit project. Bovenal zal dit project kennis opleveren over het effect van het gebruik van een student dashboard op het leergedrag van studenten bij een vak en hiermee op het studiesucces bij het gevolgde vak. Het student dashboard COACH wordt aangeboden aan de eerstejaarsstudenten Biologie en Biomedische wetenschappen bij een wiskunde onderdeel in de studie. Deze groep van pakweg 300 studenten krijgen wiskunde geïntegreerd bij een discipline vak. De verschillen tussen studenten in wiskundige vooropleiding en beheersingsniveau van wiskundige kennis en vaardigheden zijn groot. Studenten uit deze heterogene groep krijgen veel online lesmateriaal om zelfstandig en flexibel te kunnen werken, uitgaande van hun eigen niveau. Uit vooronderzoek is gebleken dat menig student te laat aan het studeren begint en te weinig of niet efficiënt oefent. Het dashboard COACH zal studenten persoonlijke feedback geven over hun leergedrag en hen motiveren om het leren te activeren. Voor effectmeting wordt een onderzoeksontwerp met een pretest-posttest -experimentele en controle groep gehanteerd. De studenten worden eerst op basis van de resultaten van een diagnostische toets in week 1 gerangschikt naar beheersingsniveau van wiskunde. Paren van studenten in rangvolgorde worden gevormd en voor elk paar wordt willekeurig de ene student in de controle groep geplaatst en de andere in de experimentele groep. Beide groepen volgen hetzelfde vak bij dezelfde docent met hetzelfde lesmateriaal. De data over het gebruik van het online lesmateriaal van beide groepen wordt continu verzameld. Alleen studenten in de experimentele groep zullen de toegang hebben tot het student dashboard COACH. De data over het leergedrag van studenten met en zonder COACH worden geanalyseerd en verschillen en overeenkomsten worden in kaart gebracht. In de pre- en posttest worden studenten onder meer gevraagd om een enquête in te vullen over hun studiehouding. De concrete ervaringen van de experimentele groep die met het student dashboard COACH gewerkt hebben worden geëvalueerd. De primaire doelgroep van dit project zijn eerstejaarsstudenten in de bachelor Levenswetenschappen. De uitkomsten van dit project zullen ook voor andere doelgroepen bruikbaar zijn zoals studenten in andere cursussen of opleidingen, docenten, studieadviseurs en onderwijsmanagers.
3
1. Doelstelling en Doelgroep Studenten krijgen in toenemende mate te maken met dashboards waarmee ze op hun studie activiteit kunnen reflecteren. Door die functionaliteit zouden studenten beter in staat moeten zijn om hun voortgang te evalueren en indien nodig hun inzet bij te stellen. Leerervaringen zijn echter dikwijls verspreid over een landschap aan leeromgevingen en systemen. En voor veel dashboards geldt dat ze alleen activiteiten presenteren die zich afgespeeld hebben binnen een enkele leeromgeving. Daarmee geven ze niet alleen aan een student een incompleet beeld over zijn of haar voortgang, maar ook aan de docent of studieadviseur. Een extra overkoepelend dashboard dat expliciet verschillende data bronnen combineert zou een beter beeld geven van het studiegedrag en studievoortgang, en ook mogelijk een positief effect hebben op zelfstandig leergedrag van studenten en zo het studiesucces verhogen. In sommige dashboards wordt de activiteit van een student gepresenteerd in vergelijking met de activiteit van een groep studenten. Een bekend voorbeeld daarvan is Course Signals van Purdue 1 University , waar het een bewezen positief effect had op studiesucces. Daarnaast kunnen op basis van de verzamelde activiteit aanbevelingen worden gededuceerd voor individuele studenten m.b.v. machine learning technieken. Bij serviceonderwijs in wiskunde is het verstandig om bij coaching rekening te houden met ‘wiskunde angst’. Studenten met wiskunde angst kunnen anders reageren op 2 aanbevelingen dan studenten zonder deze angst. Binnen een leersysteem is het mogelijk om gebruik te maken van inhoudelijke kennis over de lesmaterialen en de verbanden daartussen. Eventuele correlaties tussen activiteiten in het eigen systeem en activiteiten in andere tegelijkertijd gebruikte leeromgevingen worden daarmee echter gemist. Een overkoepelend student dashboard zou ook hier uitkomst kunnen bieden. Een relevante onderzoeksvraag is dan wel of het missen van inhoudelijke kennis over de leeractiviteiten een positief effect van het dashboard te veel belemmert. Mocht dit niet het geval zijn, dan vergroot dit de inzetbaarheid van een overkoepelend student dashboard bij verschillende cursussen en vakken. In dit project zal een overkoepelend student dashboard ontwikkeld worden dat zonder inhoudelijke kennis van het leerdomein een student tijdens een cursus kan ondersteunen in het maken van beslissingen over het verloop van het eigen leerpad en het gebruik van de leerobjecten die zich in verschillende leeromgevingen bevinden in vergelijking met de activiteit en resultaten van medestudenten. Dit dashboard heet COACH, een acroniem voor “Constructive Overview Aggregating Comparative Hits” De gebruikersgroep in dit project bestaat uit bachelor studenten van biologie en biomedische wetenschappen die in het eerstejaars vak Bio-organische, Biochemie en Celbiologie een wiskunde module over wiskundige modellen van groei grotendeels zonder directe docentbegeleiding doorlopen. In de plaats daarvan wordt een scala aan multimediale ICT leermiddelen aangeboden: digitale instructies en oefeningen, screencasts en pencasts voor uitleg of toelichting, uitgewerkte voorbeelden, etc. Aan de verzameling van leerobjecten binnen het LMS van het vak worden in dit project nog twee 3 4 nieuwe leeromgevingen toegevoegd: de wiskundeomgevingen van SOWISO en de Khan Academie om de adaptiviteit van het instructiemateriaal aan het wiskundige niveau van individuele studenten te realiseren en de flexibiliteit van studenten te vergroten. In het eerdere SURF project User needs van docent en student bij de inzet van learning analytics, is geconstateerd dat studenten met een hoger instapniveau van wiskunde veelal vroeger aan het werk gaan en intensiever met het aangeboden materiaal werken dan studenten met een lager instapniveau. Door studenten het dashboard COACH aan te bieden dat het leergedrag van individuele student analyseert en hints geeft ten opzichte van het gedrag van actieve studenten in zijn of haar groep zal de student eerder met het eigen leergedrag geconfronteerd worden en suggesties krijgen, hierop beter kunnen reflecteren, en vervolgens beslissingen over zijn of haar studiegedrag kunnen maken. Het project heeft de volgende centrale onderzoeksvraag: Helpt het overkoepelend dashboard COACH de student een meer actieve studiehouding te ontwikkelen en leidt het gebruik tot een groter studiesucces? De meer specifieke vragen die in dit project worden behandeld zijn: • Wat is de meerwaarde van een overkoepelend dashboard boven de toolgerichte dashboards?
1
Course Signals, Purdue University, http://www.itap.purdue.edu/learning/tools/signals/ (laatst bezocht 9-05-2013)
2
Ashcraft, M. H., & Moore, A. M. (2009). Mathematics anxiety and the affective drop in performance. Journal of Psychoeducational Assessment, 27(3), 197-205. 3 SOWISO, http://www.sowiso.nl/nl/ (laatst bezocht 9-05-2013) 4 Khan Academie, http://www.khanacademie.nl/ (laatst bezocht 9-05-2013)
4
• • •
Verandert de intensiteit van het gebruik van digitaal lesmateriaal tijdens de cursus door het ter beschikking stellen van COACH? Passen de studenten die COACH ter beschikking hebben hun studiegedrag aan en zo ja hoe? Helpt het student dashboard risico-studenten om zelf hun studiegedrag positief te veranderen en zo hun studiesucces te verbeteren?
Een pilot wordt uitgevoerd onder alle pakweg 300 eerstejaarsstudenten Biologie en Bio-medische wetenschappen aan de UvA, die wiskunde geïntegreerd bij het vak Bio-organische chemie, biochemie en celbiologie leren. In deze pilot worden effectmetingen gedaan waarbij een onderzoeksontwerp met een pretest-posttest -experimentele en controle groep gehanteerd wordt. De deelnemers van het vak worden eerst op basis van de resultaten van een diagnostische toets in week 1 gerangschikt naar beheersingsniveau van wiskunde. Paren van studenten in rangvolgorde worden gevormd en voor elk paar wordt random de ene student in de controle groep geplaatst en de andere in de experimentele groep. Beide groepen volgen hetzelfde vak bij dezelfde docent met hetzelfde lesmateriaal. Studenten uit de experimentele groep hebben gedurende de cursus het student dashboard COACH tot hun beschikking; studenten uit de controle groep niet. De werkhypothese is dat als een gemiddeld goede student ziet dat studenten die op hem lijken al actief aan het werk zijn gegaan hij of zij vroeger en actiever aan het werk zal gaan volgens het principe van goed voorbeeld doet goed volgen. In de pilot wordt een volledige learning analytics cyclus doorlopen (figuur 1)
Figuur 1: learning analytics cyclus Het gebruik van (adaptieve) digitale leermiddelen door studenten (figuur 1) wordt continu geregistreerd en de data hierover worden continu gepushed naar een learning record store. De data in de learning record store worden voortdurend geanalyseerd en gevisualiseerd op het student dashboard COACH door de dataset te ondervragen over de acties van een student ten opzichte van een groep studenten die dezelfde cursus volgen. De feedback van het COACH dashboard en zijn automatische alerts kan gezien worden als een interventie op studentniveau gericht op studiegedrag. In ons geval gaat het om een continu proces en worden zo de learning analytics cycli continu herhaald. De doelgroep van dit project is de groep van eerstejaarsstudenten die deelnemen aan het vak Bioorganische chemie, biochemie en celbiologie. De resultaten van dit project zijn interessant voor zowel studenten in andere cursussen of opleidingen, docenten, studieadviseurs en onderwijsmanagers. Learning analytics is een van de kernthema’s die bij de FNWI van de UvA deel uitmaken van een meerjarenplan over ICT en onderwijsinnovatie. Learning analytics is ook een van de speerpunten van de UvA. Het is bekend dat UvA plannen heeft om learning analytics te stimuleren. Het opzetten van de learning record store en het ontwikkelen van het student dashboard COACH wordt gedaan in samenwerking met het IC (Informatiseringscentrum) van de UvA, met de bedoeling om de disseminatie te versterken en een opschaling naar andere faculteiten makkelijker te maken. De kennis die in deze pilot wordt verkregen en de ontwikkelingen die worden gedaan zullen een belangrijke bijdrage leveren om learning analytics in het vervolg efficiënt voort te zetten.
2. Onderbouwing en beoogd resultaat Waarom wordt het project uitgevoerd? Bij wiskunde is het heel belangrijk dat instructiemateriaal zo goed mogelijk aansluit bij het bestaande beheersingsniveau van wiskunde van individuele studenten en dat met de lesstof voldoende wordt 5
geoefend door cursisten. Verder is het in het algemeen noodzakelijk voor studiesucces dat de student zelf de verantwoordelijkheid voor het leren op zich neemt. Enkele innovatieprojecten waarbij medewerkers van dit project betrokken waren hebben aangetoond hoe het oefenmateriaal bij wiskunde ingezet kan worden om kennishiaten efficiënt weg te werken (Webspijkeren, NKBW, ONBETWIST). Als de student de specifieke kennis die nodig is voor een oefening in een korte kennisclip of pencasts op het moment dat deze nodig is kan raadplegen, kan de student efficiënter zelfstandig leren. Als een student een opdracht niet begrijpt of niet correct uit kan voeren is hij of zij digitaal geholpen met hints, een uitgewerkt voorbeeld of het aanbod van de opdracht in kleinere stappen. Het maken van de juiste keuze is belangrijk voor verdere oefening want hierdoor leert de student zelf hoe op een willekeurig moment kennis op te frissen of bij te spijkeren. Hierbij moet student gewend zijn om diverse leeromgevingen te kunnen gebruiken en deze met elkaar te combineren. Adaptiviteit in het aangeboden instructiemateriaal is nodig om het zogenaamde ‘expertise reversal effect’ te adresseren. In dit project wordt het volgende gerealiseerd (figuur 2): • Beschikbaarstelling van een learning record store voor de data (figuur 2, LRS) • Ontwikkeling van COACH, een overkoepelend student dashboard voor een cursus, dat gekoppeld is aan de learning record store, en de individuele student een terugkoppeling geeft op het studiegedrag ten opzichte van de groep studenten die dezelfde cursus volgen. • Het beproeven van het student dashboard COACH in een regulier vak i.c. het wiskunde gedeelte van de cursus Bio-organische chemie, biochemie en celbiologie. • Koppeling van de SOWISO en Khan Academie leeromgevingen met de bestaande wiskundemodule • De data over het gebruik van het online lesmateriaal (kennisclips, pencasts, interactieve wiskunde opdrachten en digitale toetsen) komen uit verschillende leeromgevingen: a) Learning management system van het vak (LMS): informatie, opdrachten en een lijst leerobjecten (bijvoorbeeld pencasts en screencasts, webpagina’s met uitleg en uitgewerkte voorbeelden) b) Khan Academie site: bestaande kennisclips en (test)opgaven over wiskundige onderwerpen die relevant zijn voor de opdrachten die studenten maken in de cursus c) SOWISO site: adaptief digitaal wiskunde oefenmateriaal relevant voor de opdrachten in de cursus. • De data worden continu geleverd (gepushed) aan de learning record store (LRS, figuur 2) en continu geanalyseerd en gevisualiseerd op het student dashboard COACH en zo individueel teruggekoppeld aan individuele student. Het gebruik van het student dashboard door studenten wordt continu geregistreerd. De data worden na afloop van de cursus uit de learning record store geëxporteerd en geanalyseerd om te bepalen of het dashboard COACH op verschillende categorieën studenten een verschillend effect heeft. • Effectmeting volgens een onderzoeksontwerp met een pretest-posttest -experimentele en controle groep in combinatie met de data analyse. Paren van studenten in rangvolgorde van de wiskunde diagnostische toets worden gevormd en voor elk paar wordt random de ene student in de experimentele groep geplaatst en de andere in de controle groep die wel respectievelijk geen toegang hebben tot het dashboard COACH.
Figuur 2: Data flow tijdens de pilot De data waar het COACH dashboard op gebaseerd is komt uit drie bronnen (figuur 2): een cursus website, het SOWISO systeem en het Khan Academie systeem. De cursus website is in eigen beheer bij de UvA en bevat een tracking mechaniek om relevante interactie op te slaan. Een beknopte 6
beschrijving van de dataset die in dit project wordt gebruikt en een beknopte beschrijving van de tools zijn te vinden in de bijlage van het projectvoorstel. De data die studenten genereren door het gebruik van online leerobjecten worden verzameld in de learning record store. Het geheel wordt ingezet tijdens een regulier vak in het eerste jaar van de opleiding Biologie en opleiding Biomedische wetenschappen. Het dashboard is als het ware een extra voorziening voor studenten bij het wiskunde onderdeel van het verplichte vak Bio-organische chemie, biochemie en celbiologie. Het is een persoonlijke coach ter ondersteuning en sturing van het leerproces. De student krijgt informatie op het student dashboard COACH over zijn/haar gedrag ten opzichte van het gedrag van medestudenten en kan op basis hiervan zijn/haar leergedrag verbeteren door bijvoorbeeld vroeger in de cursus aan het leren te beginnen of een andere leerobject nog te bekijken, bijvoorbeeld een leerobject die nodige voorkennis opfrist. De data worden automatisch gegenereerd telkens wanneer een student met een leerobject interacteert in een van de drie hierboven genoemde leeromgevingen. Het verzamelen van de data over het raadplegen van de leerobjecten door beide groepen studenten, de experimentele én de controle groep, vindt op de achtergrond plaats. De studenten van de experimentele groep zullen via het dashboard hun gebruik van leermiddelen kunnen monitoren en deze vergelijken met hun studiegenoten. Ze zullen daarnaast suggesties krijgen over welk lesmateriaal ze verder nog kunnen gebruiken, waardoor hun studiesucces zou kunnen verbeteren. Deze suggesties zijn dan op basis van wat andere studenten in een vergelijkbare situatie deden. Er wordt een diagnostische instaptoets in wiskunde gedaan door alle studenten die het vak Bioorganische chemie, biochemie en celbiologie volgen (ca. 300 studenten). Met een gestandaardiseerde vragenlijst over wiskunde angst en studiehouding wordt gekeken of het monitoren van eigen studiegedrag ten opzichte van de groep een effect heeft op studiegedrag en of er een correlatie is 5 tussen het gebruik van het student dashboard en het studiesucces van de student. De experimentele groep zal bij een posttest nog een lijst evaluatievragen krijgen over hun ervaringen met het gebruik van het student dashboard COACH. Op het dashboard zelf zullen de studenten tijdens de cursus een respons kunnen geven over hun tevredenheid over specifieke suggesties van het dashboard. De intensiteit van het gebruik van het dashboard wordt continu gemeten. Het is uitdrukkelijk de bedoeling om de inzet van learning analytics op basis van de resultaten van dit project bij de FNWI op te schalen zodat de COACH bij meer vakken wordt ingezet. De learning record store van de UvA wordt naar verwachting opgeschaald en UvA-breed beschikbaar gesteld. Op basis van de ervaringen van dit project zullen diverse dashboards ontwikkeld kunnen worden voor andere doelgroepen, zoals docenten, studieadviseurs en onderwijsmanagement die ook gebruik zullen maken van dezelfde learning record store voor hun specifieke doeleinden. Deze activiteiten worden bij de faculteit FNWI gecoördineerd volgens de afspraken gemaakt in het meerjarenplan ICT en onderwijsinnovatie waarin learning analytics als een van de kernthema’s opgenomen is. De teamleden van dit project bezitten alle nodige expertise en ervaring, zowel op vakdidactisch, onderwijskundig als op technisch gebied. Zij beschikken over kennis en ervaring die nodig zijn voor software ontwikkeling op het gebied van learning analytics en visualisatie technieken. Verschillende teamleden hebben veel kennis over didactiek en over ICT&Onderwijs. De teamleden zijn ook breder actief op het gebied van ICT in het onderwijs en van learning analytics. Dit versterkt de kans van slagen van dit project zeer. Door de samenwerking met het Informatiseringscentrum (IC) van de UvA bij dit project komen resultaten van dit project via het IC direct beschikbaar voor andere faculteiten binnen de UvA. Het project zal zich richten op het ontwikkelen en gebruik van het student dashboard COACH, een persoonlijke coach dat overkoepelend fungeert boven andere dashboards die bij een specifieke leeromgeving thuishoren. COACH zal in dit project een integraal onderdeel zijn van een cursus uit het programma met veel studenten. In dit project wordt één pilot in het kader van een reguliere lopende cursus uitgevoerd. De keuze is gemaakt voor de wiskundemodule in het vak Bio-organische chemie, biochemie en celbiologie omdat hierbij in het kader van het SURF project ONBETWIST al veel ervaring is opgedaan met digitaal instructiemateriaal over wiskundige modellen van groei en op basis hiervan concrete plannen bestaan ter verbetering van de instructie, gebruikmakend en uitgaand van bestaande lesbronnen (uit de bestaande cursus en de ONBETWIST itembank). Op basis van de resultaten van deze pilot zal het vervolgens mogelijk zijn om het gebruik van de learning record store, van het student dashboard, en van de leeromgevingen van SOWISO en de Khan Academie op verschillende manieren op te schalen. De learning record store is gebouwd volgens een open standaard. In de toekomst is het belangrijk om één (soort) opslagplaats te gebruiken voor alle data die inzicht geven in de leerprocessen. Deze data zouden door diverse belangstellende partijen (studenten, docenten, studieadviseurs, onderwijsmanagement) via diverse specifieke dashboards geanalyseerd kunnen worden. Elke van deze doelgroepen zal via een dashboard specifiek relevante informatie over de onderwijsprocessen 5
7
Nederlandstalige versies van AMAS en MAS vragenlijsten zijn in de afgelopen twee studiejaren al afgenomen
kunnen volgen. Het onderwijsproces zal in een samenwerking van deze groepen sneller en efficiënter verbeterd kunnen worden.
3. Plan van aanpak Dit project wordt onderverdeeld in 4 werkpakketen: WP1: Techniek en datakoppeling WP2: Pilot in het onderwijs WP3: Evaluatie en effectenonderzoek WP4: Disseminatie en projectmanagement WP1: Techniek en datakoppeling Doel: Opzetten van een learning record store (LRS) en student dashboard (COACH) als proof of concept op basis van reeds bestaande methoden en open stadaarden. Aanpak en activiteiten • Juni 2013: operationeel maken van de LRS (server) • Juni-augustus 2013: ontwikkeling van het student dashboard COACH (website met functionaliteiten) • Juli-augustus 2013: koppeling van de databronnen (LMS, SOWISO en Khan Academie) met LRS zodat de data uit de databronnen continu gepushed kunnen worden naar de LRS. • Augustus 2013: opnemen van student dashboard COACH in de digitale leeromgeving van de cursus waar de pilot wordt uitgevoerd. Milestones M1: learning record store (LRS) M2: Student dashboard COACH Coördinatie WP1: Sander Latour (FNWI) Medewerkers: Sander Latour, André Heck (FNWI), Alan Berg (IC), twee studentassistenten software ontwikkelaars en samenwerking met SOWISO en Khan Academie (Perceptum)
WP2: Pilot in het onderwijs Doel: Koppeling van SOWISO en Khan Academie leeromgevingen in een bestaand onderdeel van een vak, afstemming van de visualisatie op het student dashboard met de activiteit van studenten vanuit het perspectief van de cursus en data-verzameling tijdens de cursus. Aanpak en activiteiten • Juni 2013: Expliciteren van de vraag van het student dashboard aan de learning record store vanuit het perspectief van student in afstemming met het onderwijsontwerp van de cursus • Juni-augustus 2013: aanpassen van het cursusmateriaal aan de nieuwe, meer adaptieve opzet door koppeling van de SOWISO en Khan Academie leeromgevingen • September-december 2013: Op de hoogte stellen van studenten over de pilot voor de start, tijdens de cursus en ook resultaten terugkoppelen na de pilot. Milestones M3: Functionele specificatie van het student dashboard COACH dat is afgestemd op het onderwijsontwerp. M4: Vernieuwd adaptief digitaal cursusmateriaal (koppeling SOWISO en Khan Academie leeromgevingen) Coördinatie WP2: André Heck (FNWI) Medewerkers: André Heck en een studentassistent voor ondersteuning in de realisatie van het vernieuwde instructiemateriaal (hulp bij controleren van correctheid van feedback en beschikbaar stellen van leerobjecten) en voor het monitoren van de goede gang van zaken tijdens de digitale cursus en de dataverzameling tijdens de cursus (samenwerking en ondersteuning vanuit SOWISO en Khan Academie).
WP3: Evaluatie en effectenonderzoek Doel: Data analyse tijdens en na afloop van de cursus, het evalueren van het effect van het gebruik van het student dashboard COACH en evaluatie van de tevredenheid van studenten. Aanpak en activiteiten • Augustus 2013: Samenstellen pre- en posttest en evaluatie enquête (het afnemen van de tests en evaluatie wordt geïntegreerd opgenomen in de cursus – WP2 pilot) 8
• • •
September-december 2013: monitoren van de data tijdens de cursus December 2013 – april 2014: Data-analyse en analyse van de effecten op basis van correlaties van de data in de learning record store met de eigenschappen van studenten en hun studiesucces. Analyse van het gebruik van het dashboard en vergelijking experimentele met de controle groep. April-mei 2014: evaluatierapport tevredenheid student
MIlestones M5: Overzicht van het gebruik van het student dashboard tijdens de pilot M6: Data-analyse en correlaties t.a.v. onderzoeksvragen van dit project (zie Doelstelling) M7: Uitwerking van de pre- en posttest en evaluatie enquête Deze documenten worden opgenomen in de publicatie en/of project eindrapportage. Coördinatie WP3: Nataša Brouwer (FNWI) Medewerkers: Nataša Brouwer, André Heck, Sander Latour (FNWI) en nog een studentassistent voor de data-analyse en verwerking van de pre- en posttest en de evaluatie.
WP4: Disseminatie en projectmanagement Doel: Coördinatie van het projectteam en werkpakketen, disseminatie van de resultaten, rapportages en contact met SURF Aanpak en activiteiten • Opstart (afspraken en samenwerking tussen de werkpakketen) • Periodieke teambijeenkomsten om de werkzaamheden te stroomlijnen • Dissemineren van de resultaten bij diverse onderwijsbijeenkomsten (presentaties, blogs en nieuwsbrief berichten) • Voortgangsrapportage en eindrapportage • Publicatie Milestones M8: voortgangsrapportage M9: publicatie over de resultaten van de effectmeting van COACH M10: eindrapportage met adviezen en aanbevelingen voor gebruik van een overkoepelend student dashboard in hoger onderwijs en learning record store Coördinatie WP4: André Heck (FNWI) Medewerkers: André Heck, Sander Latour, Nataša Brouwer (FNWI), Alan Berg (IC), betrokken studentassistenten en contactpersonen van SOWISO en Khan Academie (Perceptum).
4. Kennisopbouw en -disseminatie De disseminatie activiteiten zijn aangezien de doelgroep van de volgende aard: 1. Disseminatieactiviteiten op de instelling (faculteit FNWI en UvA breed) 2. Disseminatie - uitwisseling met andere projecten in deze tender 3. Disseminatie naar buiten Dit betreft: • Presentaties om de resultaten van het project bekend te maken bij de instelling voor de kennisuitwisseling en om de opschaling naar andere vakken en andere faculteiten te versterken; • Presentatie tijdens bijeenkomsten van de SIG Learning Analytics en andere bijeenkomsten van SURF, bijvoorbeeld De Onderwijsdagen. 6 • Nieuwsberichten op de (blog)omgeving van de instelling: ICTO-FNWI blog , FNWI nieuwsbrief, UvA 7 ICTO nieuwsbrief • Kennisuitwisseling met andere projecten in deze tender - publicaties in community van SURF, 8 SURFspace/learning analytics • Publicatie in een vaktijdschrift om de resultaten breder te delen
6
ICTO-FNWI: http://ictofnwi.wordpress.com/ (laatst bezocht 9-05-2013) UvA ICTO nieuwsbrief: http://www.ic.uva.nl/ictenonderwijs/nieuws.cfm (laatst bezocht 9-05-2013) 8 SURFspace learning analytics: www.surfspace/learninganalytics (laatst bezocht 9-05-2013) 7
9
5. Planning, kosten en organisatie 5.1 Planning jun13
jul-13
WP1 WP2 M3 WP3 WP4
aug-13
sep-13
okt-13
nov-13
dec-13
jan-14
feb-14
mrt-14
M6
M7
apr-14
mei-14
jun-14
M9
M10
M1,2 M4 M5 M8
M= milestone M1: learning record store LRS M2: Student dashboard (SD) COACH M3: Functionele specificatie van het student dashboard COACH dat is afgestemd op het onderwijsontwerp M4: Vernieuwd adaptief digitaal cursusmateriaal (koppeling SOWISO en Khan Academie leeromgevingen) M5: Overzicht van het gebruik van het student dashboard tijdens de pilot M6: Data-analyse en correlaties t.a.v. onderzoeksvragen van dit project (zie Doelstelling) M7: Uitwerking van de pre- en posttest en evaluatie enquête M8: voortgangrapportage M9: Publicatie over de resultaten van de effectmeting van COACH M10: Eindrapportage met adviezen en aanbevelingen voor gebruik van een overkoepelend student dashboard in hoger onderwijs en learning record store.
5.2 Kostenoverzicht Projectbegroting Stimuleringsregeling Learning Analytics COACH Instelling UvA FNWI Instelling UvA, IC totaal totaal subsidie matching totaal subsidie matching totaal subsidie matching Materiele kosten 0 0 0 wp1 0 0 0 wp2 0 0 0 wp3 0 0 0 wp4 300 200 100 300 200 100 Totaal materiele kosten 300 200 100 0 0 0 300 200 100 Personele kosten wp1 wp2 wp3 wp4 Totaal personele kosten
5.100 4.500 4.500 2.100 16.200
3.200 1.900 2.700 1.000 8.800
1.900 2.600 1.800 1.100 7.400
1.500 0 0 0 1.500
1.000 0 0 0 1.000
500 0 0 0 500
0 6600 4.500 4.500 2.100 17.700
0 4.200 1.900 2.700 1.000 9.800
0 2400,1 2.600 1.800 1.100 7.900
0 0 0 0 0 0
0 0 0 0 0 0
10.000
8.000
Overige kosten
0
0
0
0
0
0
0 0 0 0 0 0
16.500
9.000
7.500
1.500
1.000
500
18.000
… Totaal overige kosten Totaal projectkosten
Matching = 50% van de subsidie Dus bij 10k subsidie, 5k matching vereist vanuit de instelling
5.3 Organisatie Het project is georganiseerd in vier werkpakketen. Elk werkpakket heeft een coördinator, die een van de teamleden is. Het projectteam komt regelmatig bij elkaar (in persoon of via videoconferencing) om de werkzaamheden en de voortgang te bespreken.
10
Het projectteam is samengesteld van 3 medewerkers van de UvA: 1 medewerker van het Informatiseringcentrum van de UvA en 2 stafleden van de FNWI aan de UvA en enkele studentassistenten, in principe master studenten met veel kennis op het gebied van programmeren en data analyse. André Heck, de projectleider van dit project, is ook de coördinator van WP2 Pilot in het onderwijs en WP4 Disseminatie en projectmanagement. Hij is als docent werkzaam bij het Kortweg-de Vries Instituut voor Wiskunde. Hij is gepromoveerd op het gebruik van ICT in onderwijs van wiskunde en natuurwetenschappen. Als wiskundedocent ontwikkelt en verzorgt hij sinds 2010 ICT-ondersteund wiskundeonderwijs in de bachelor opleidingen bij Levenswetenschappen; in het bijzonder valt de wiskundemodule in het gekozen vak voor de pilot onder zijn verantwoordelijkheid. Hij was de afgelopen tien jaar betrokken bij vele SURF projecten over ICT in het onderwijs. Hij is teamlid van de SURF Special Interest Group Digitaal Toetsen. Hij is lid van de ICTO-FNWI Programmaraad en van het managementteam van deze raad. Sander Latour is de coördinator van WP1 Techniek en datakoppeling. Hij is masterstudent Artifical Intelligence bij de FNWI en werkt nu aan zijn master thesis. Hij heeft al veel ervaring en expertise in software ontwikkeling opgebouwd, met name in de web development. Hij was als studentassistent betrokken bij het SURF project User needs van docent en student bij de inzet van learning analytics. Hij heeft veel kennis op het gebied van learning analytics en is hierdoor de voorzitter van de SURF Special Interest Group Learning Analytics geworden. Hij is lid van de ICTO-FNWI Programmaraad en van het managementteam van deze raad. Hij is betrokken bij diverse ICTO projecten bij de FNWI en is lid van de Task force Learning analytics in oprichting bij de UvA. Nataša Brouwer is de coördinator van WP3 Evaluatie en effectenonderzoek. Zij werkt bij het Educational Service Center van de FNWI. Ze is gepromoveerd in scheikunde en heeft zich daarna verdiept in didactiek in natuurwetenschappen en ICT in het onderwijs. Ze is betroken bij de docentprofessionalisering (BKO). Ze is de coördinator van de ICTO-FNWI Programmaraad en van het managementteam van deze raad. Ze coördineert de ICTO projecten die bij de FNWI lopen. Ze is lid van de Task force Learning analytics in oprichting van de UvA. Ze heeft landelijke SURF projecten en SURF Special Interest Group SIGMA geleid en diverse facultaire projecten over ICT in het onderwijs en in de docentprofessionalisering. Alan Berg is betrokken bij WP1 Techniek en datakoppeling, met name bij het opzetten van de learning record store en de koppeling met het student dashboard. Hij werkt als lid van de ODG groep (Onderwijs en onderzoeksdienst groep) van het IC van de UvA. Hij is de hoofdontwikkelaar van de centrale computer services van de UvA en leidt onder andere de ontwikkelingen in de ELO Sakai. Hij heeft twee masters gedaan en heeft de onderwijskwalificatie. Hij publiceert op het gebied van ICT in het bijzonder de ontwikkelingen in Sakai. Hij is lid van het kern team van de SURF Special Interest Group Learning Analytics en lid van de Task force Learning analytics in oprichting bij de UvA. Twee studentassistenten worden later aan het team toegevoegd.
9
9
Een studentassistent kan bij meerdere werkpakketen ingezet worden. Dit verklaart waarom in principe twee studentassistenten aangezocht worden voor dit project en niet drie of vier.
11
6. Risicoanalyse en -management Risico
Kans (1-5) 3
learning record store heeft te weinig ruimte doordat studenten te veel data produceren Een van de externe 1 partners die data leveren kunnen geen data meer leveren door interne problemen.
Impact (1-5) 5
Beheersmaatregel
2
De kans is klein omdat dit jonge WP1, WP2 bedrijven zijn die met veel enthousiasme functioneren. Met SOWISO is in een eerder project al succesvol samengewerkt. Om de commitment te sluiten worden letters van intent met de externe partners die data zullen leveren (SOWISO en Khan Academie) ondertekend. Andere kanalen zouden het leveren van data kunnen overnemen. De kans is klein omdat bestaand WP2 instructiemateriaal uitgangspunt is en koppeling van SOWISO omgeving al eerder zonder buitensporige inspanning succesvol gerealiseerd is. Bovendien kan geput worden uit veel oefenmateriaal uit de ONBETWIST itembank. Mochten performance problemen de kop opsteken wordt er voor gezorgd dat er terug gevallen kan worden op de huidige omgeving Uit een eerder door teamleden WP2 uitgevoerd SURF project over learning analyticss bij bio-medische studenten blijkt dat de kans hiervoor klein is. Studenten hadden geen moeite met het afstaan van de data als het over onderzoek ging en hun privacy niet wordt geschonden. Aan de studenten wordt duidelijke uitleg gegeven. De data van studenten die zullen weigeren hun data af te staan zullen niet worden gebruikt. Aan studenten wordt duidelijk uitgelegd WP2, WP3 hoe en waar ze het dashboard kunnen raadplegen. Studenten krijgen automatische alerts uit het dashboard om deze te bezoeken, als ze een tijd afwezig zijn geweest. En het dashboard zal zichtbaar deel uit maken van de leeromgeving van wiskunde gedeelte bij het vak. De tests worden afgenomen integraal WP2, WP3 met andere tests die studenten maken en vormen onderdeel van de wiskundemodule. Ervaring uit het ONBETWIST project leert dat 90 % van alle studenten dit ook zonder morren doet aan het begin van het vak. De medewerkers kunnen het werk van WP4 elkaar tijdelijk overnemen totdat een vervanging wordt gevonden. Dat geldt ook voor de studentassistenten.
Aanpassing van 1 lesmateriaal door koppeling van SOWISO en Khan Academie leeromgevingen is niet op tijd klaar of leidt tot performance problemen
5
Een te grote meerderheid van studenten wil geen data afstaan
1
5
Studenten gebruiken 2 het student dashboard niet
4
Te weinig studenten vullen de pre- en posttest in
1
4
De projectmedewerkers vallen uit
1
3
12
Risico eigenaar
De ruimte op de server wordt vergroot. WP1 Hiervoor wordt tijdelijk ruimte ingehuurd bij de UvA
Bijlagen bij een projectvoorstel: • • • •
13
Letter of intent Faculteit FNWI Letters of intent SOWISO en Khan Academie Beschrijving te gebruiken tools (zie: www.surf.nl/learninganalytics) Beschrijving te gebruiken dataset (zie: www.surf.nl/learninganalytics)
Bijlage 1 Letters of intent
14
16
18
20
Bijlage 2 Beschrijving tools Khan Academie Leverancier van de tool: Perceptum (http://www.perceptum.nl) Contactpersoon: Wijnand Baretta, oprichter Perceptum Website: http://www.khanacademie.nl Khan Academie is een Nederlandse leeromgeving geïnspireerd op de Amerikaanse Khan Academy (www.khanacademy.org ) met een nagenoeg identiek software platform. Deze tool biedt dezelfde functionaliteiten als de Amerikaanse variant: instructie materiaal, interactieve opdrachten met mogelijkheid tot hints, dashboard met overzicht voortgang, motivatie door badges, en zeer gedetailleerde registratie van activiteiten. Deze functionaliteiten worden ingezet in het project om studenten te ondersteunen in het leren van de wiskunde stof. Er is voor deze tool gekozen omdat de Amerikaanse variant wereldwijd succesvol gebruikt wordt, de tool ondersteuning biedt voor verschillende niveaus en voorkennis, en omdat de Nederlandse leverancier bereidt is mee te investeren in dit project. De tool zal gebruikt worden door de eerstejaars studenten in de eerder beschreven pilot studie. Zowel het oefenmateriaal, de opdrachten als het dashboard zal beschikbaar zijn voor deze doelgroep, net zoals dat het geval is voor alle andere gebruikers. Het verschil tussen de pilot studenten en de andere gebruikers in de Khan Academie is dat wanneer onze studenten inloggen met hun UvA account hun activiteit niet alleen intern wordt gelogd maar ook wordt gestuurd naar de learning record store van dit project. De data die uit deze tool verzameld zal worden bevat informatie over de leer activiteiten zoals beschreven in bijlage 3, genaamd “Beschrijving dataset”. Perceptum is eigenaar van de data zolang als het zich in het Khan Academie platform bevindt. De data in de learning record store is eigendom van de student en de instelling, zoals beschreven in bijlage 3. Perceptum maakt de benodigde aanpassing aan het Khan Academie platform om er voor te zorgen dat alle gebeurtenissen rondom het leerproces van de pilot studenten doorgestuurd worden via het Experience API (Tin Can API) protocol. Dat maakt de data in dit systeem uitstekend transporteerbaar en combineerbaar met andere databronnen die hetzelfde protocol gebruiken. Het Khan Academie platform wordt als platform al geruime tijd gebruikt in de Amerikaanse variant. Zij schatten in dat meer dan 15000 docenten het systeem gebruiken in hun onderwijs. Daarnaast is ook de Nederlandse Khan Academie aan de weg aan het timmeren in het lager onderwijs en zijn nu stappen aan het zetten om ook in het hoger onderwijs meer gebruikers te krijgen. Los daarvan zullen er veel studenten zijn die zelfstandig gebruik maken van dit platform. Het platform draait op de website van de Khan Academie en vergt geen infrastructuur aan de kant van de instelling. Het systeem is door studenten te gebruiken op elk apparaat wat een internet verbinding en een browser heeft, al is het systeem niet nadrukkelijk geoptimaliseerd voor mobiele telefoons. Er is tot op heden nog geen koppeling met SURFconext. Er wordt op dit moment wel gewerkt aan de ondersteuning van de Experience API, wat ook gebruikt zal worden tijdens dit project. Het systeem is gratis te gebruiken en behoort tot het non-profit deel van Perceptum’s portfolio. Vooralsnog zijn er nog geen tekenen dat het Khan Academie platform in de toekomst zal verdwijnen of dat er voor betaald zal moeten worden.
SOWISO Leverancier van de tool: SOWISO bv Contactpersoon: Marc Habbema en Max Cohen Website: www.sowiso.nl SOWISO was al beschreven in de brochure “Tools voor learning analytics” die in opdracht van SURF uitgebracht is. In die brochure zijn de meeste vragen in het format al beantwoord. Die informatie wordt hier aangevuld met informatie over het gebruik van de tool in dit project. Net als bij de Khan Academie zullen studenten gebruik maken van de SOWISO leeromgeving ter ondersteuning van de wiskunde stof. De SOWISO tool vervult in de basis dezelfde functie als het Khan Academie platform, maar heeft een andere invulling en andere sterke punten dan Khan Academie. Het onderwijskundig concept van het pilot vak stuurt aan op een verscheidenheid aan materiaal om zo goed mogelijk aan te sluiten bij de individuele behoeften van de student. Dat is een belangrijke reden om buiten Khan Academie ook SOWISO op te nemen als een beschikbare tool. De activiteiten rondom het leerproces in SOWISO worden ook direct doorgestuurd naar de learning record store. Ook deze tool zal de Experience API standaard ondersteunen. 21
Voor de duratie van het project zullen er geen kosten gebonden zijn aan het gebruik van het SOWISO leersysteem. Verder gebruik buiten deze pilot heeft te maken met kosten zoals beschreven in de brochure.
Learning Record Store Leverancier van de tool: ADL (Advanced Distributed Learning) / xAPI community Website: http://www.adlnet.gov/ In de Experience API standaard is de learning record store (LRS) een belangrijk onderdeel. In dit project zal er gebruik worden gemaakt voor de open source implementatie van de LRS door ADL. ADL is de opdrachtgever die het commerciële bedrijf Rustici Software (ook bekend van SCORM) de Experience API standaard heeft laten ontwikkelen. De standaard wordt beheerd door ADL en dezelfde groep heeft ook een LRS gebouwd. De LRS zal worden gehost op een server bij het centrale informatisering centrum van de Universiteit van Amsterdam om de data in eigen beheer te houden. De procedure om deze LRS op te zetten is al een keer doorlopen. De software is op dit moment nog niet geschikt om grootschalig in te zetten, maar is stabiel genoeg om toegepast te worden in dergelijk project. Door het gebruik van de standaard is het in de toekomst eenvoudig om over te stappen naar een commerciële LRS, mocht de open source variant niet snel genoeg voorderen. Dit project biedt ook een uitstekende kans om meer ervaring op te bouwen met de steeds vaker besproken standaard en zou zelfs kunnen leiden tot aanbevelingen voor toekomstige ontwikkelingen. Al is dat niet de focus van dit project. Zover bekend is er nog geen gebruik gemaakt van welke LRS dan ook in het Nederlandse onderwijs. Dat is juist een van de redenen waarom de Universiteit van Amsterdam het wil inzetten in de praktijk. Er zijn wel al steeds meer voorbeelden in het buitenland van systemen dit deze standaard en een LRS hebben opgenomen. Die systemen richten zich nu nog veelal op corporate learning en life-long learning. Er zijn echter onder de adopters van de Experience API ook al grote systemen die in het hoger onderwijs gebruikt worden, voorbeelden daarvan zijn Blackboard en Sakai. De LRS heeft op het moment geen koppeling met SURFconext.
Student dashboard COACH COACH (Constructive Overview Aggregating Comparative Hits) is de naam van een overkoepelend dashboard wat tijdens dit project zal worden ontwikkelt. Dit dashboard zal aan een student informatie geven over hoe hij of zij er voor staat ten opzichte van de groep. Dat gebeurd op basis van alle activiteit die opgeslagen is in de Learning Record Store. Dat betekend dat het dashboard inzicht kan geven over het brede landschap van leeromgevingen, in plaats van een enkele. De data wordt uit de LRS gehaald met behulp van de Experience API standaard. Er zijn al verschillende open source libraries geschreven in verschillende programmeertalen om via deze standaard te communiceren met een Learning Record Store. Het COACH dashboard zal zowel een reflectie geven op de relatieve voortgang van de student, als ook content aanbevelingen doen aan de student op basis van de groep. De aanbevelingen kunnen gevonden worden met machine learning technieken als Association Rule Learning. Dergelijke aanbevelingen worden door een script asynchroon gezocht in de data en klaar gezet voor de student. De relatieve voortgang kan real time worden verzamelt. Er wordt in de presentatie met name gelet op een positieve en stimulerende boodschap. Daarnaast zal er gekeken worden naar een koppeling met Basic LTI om het dashboard makkelijk te laten plaatsen in Blackboard en Sakai. De software zal zo opgezet worden dat het makkelijk door andere faculteiten en instellingen kan worden opgepakt.
22
Bijlage 3 Beschrijving dataset De data waar het COACH dashboard op gebaseerd is komt uit drie bronnen: een cursus website, het Sowiso systeem en het Khan Academie systeem. De cursus website is in eigen beheer bij de UvA en bevat een tracking mechaniek om relevante interactie op te slaan. Het Khan Academie systeem is een Nederlandse spin-off van het Amerikaanse Khan Academy systeem en bevat nagenoeg dezelfde functionaliteit. In dat systeem worden gedetailleerde events bekeken filmpjes (inclusief eventueel doorspoelen), gemaakte sommen, foute antwoorden, tijd besteed tijdens een som en gegeven hints opgeslagen. Die informatie wordt intern gebruikt in dashboards voor studenten en docenten. Het SOWISO systeem is een e-learning platform voor wiskunde. Ook het SOWISO systeem houdt gedetailleerde gegevens bij van de interacties en visualiseert deze op een dashboard. Beide externe partijen maken een kleine aanpassing in het systeem zodat de events, behalve naar hun eigen database, ook naar een externe database gestuurd worden. Dat gebeurd op dezelfde manier bij de cursus website. De data wordt getransporteerd via het Experience API protocol en opgeslagen in een Learning Record Store. Het dashboard haalt vervolgens m.b.v. hetzelfde protocol de data uit de Learning Record Store. Alle data van een specifieke student is gekoppeld aan zijn of haar universiteit's email adres. Dat in combinatie met het gebruik van de transport standaard zorgt voor minimale data merge inspanningen. De rechten van de data binnen de Learning Record Store liggen eerst bij de student en daarna bij de instelling. De student heeft de mogelijkheid om aan te geven geen toestemming te geven om zijn of haar data te gebruiken om andere studenten mee te helpen, en daarmee ook af te zien van toegang tot het dashboard. Daarnaast is het voor een student via het dashboard constant inzichtelijk welke data er over hem of haar is verzamelt. Ook kan een student verzoeken om een export te krijgen van alle verzamelde data die tot hem of haar behoort. De student heeft niet het recht data te veranderen of selectief data te verwijderen.
23
