COACH Constructive Overview Aggregating Comparative Hits

SURF stimuleringsregeling Learning Analytics 2013

COACH Constructive Overview Aggregating Comparative Hits Eindrapportage bij ‘stimuleringsregeling Learning Analytics 2013’

Universiteit van Amsterdam, Faculteit der Natuurwetenschappen, Wiskunde en Informatica Partners: UvA, IC (Informatiseringscentrum, de nieuwe naam is ICTS) Looptijd: 15 juni 2013 tot 30 juni 2014 Penvoerder:

dr. André Heck Datum: 23 augustus (eindversie) Projectleider:

0


1


Inhoud 1. Korte samenvatting ........................................................................................................... 1 2. Doelstelling, doelgroep en aanpak ................................................................................... 1 3. Resultaat ........................................................................................................................... 4 4. Conclusies ........................................................................................................................ 9 5. Continuering ...................................................................................................................... 9

www.creativecommons.org/licenses/by/3.0/nl

2


1. Korte samenvatting In dit project is een studentgericht learning analytics dashboard COACH (Constructive Overview Aggregating Comparative Hits) ontwikkeld. Dit dashboard geeft een student gedurende een cursus de mogelijkheid om zijn of haar studiegedrag in diverse leeromgevingen tezamen te monitoren. Een student kan een analyse krijgen over eigen leergedrag ten opzichte van het leergedrag van de medestudenten. Dit dashboard is gekoppeld aan een learning record store (LRS) waarin de data van het gebruik van digitaal lesmateriaal door studenten uit verschillende kanalen waar studenten online leren automatisch en continu worden verzameld en geanalyseerd. De LRS is gebaseerd op de open standaard Experience API waardoor de LRS de informatie uit diverse leeromgevingen kan ontvangen en bewaren. Met dit dashboard werden vervolgens experimenten in het onderwijs gedaan in de bachelor Levenswetenschappen en is naar het gebruik van het dashboard gekeken en de mogelijke invloed op het leergedrag en studiesucces bij dit vak. Voor effectmeting werd een onderzoeksontwerp met een pretest-posttest experimentele en controle groep gehanteerd. De studenten waren random verdeeld in twee groepen (experimentele en controle groep) bij hun eerste inlog. Beide groepen volgden hetzelfde vak bij dezelfde docent met hetzelfde lesmateriaal. De data over het gebruik van het online lesmateriaal van beide groepen werd continu verzameld. De enige verschil tussen de twee groepen was dat de studenten in de experimentele groep toegang hadden tot hun COACH dashboard en studenten in de controle groep niet. De data over het leergedrag van studenten met en zonder COACH dashboard zijn geanalyseerd. Studenten hebben daarnaast aan het begin van de cursus diagnostische toetsen gemaakt en een enquête ingevuld over hun studiehouding zodat er meer achtergrondinformatie beschikbaar is. Er zijn uiteindelijk geen significante verschillen in studiesucces gevonden tussen de experimentele en de controle groep. De voornaamste reden dat er geen verschil is gemeten tussen tentamenresultaten van studenten met en zonder dashboardcursus is vermoedelijk dat deze toetsgestuurde cursus met strakke deadlines voor de digitale toetsen erg intensief, maar kort was (3,5 week). De resultaten hebben wel duidelijk aangetoond dat COACH dashboard aan elke student een adequate spiegel biedt waar zij of hij zijn eigen leergedrag continu kan monitoren ten opzichte van het leergedrag van de medestudenten. Op basis van het leergedrag heeft COACH adviezen gegeven over het lesmateriaal dat andere studenten bij hun studie in een vergelijkbare situatie goed heeft geholpen. Het project COACH heeft aangetoond dat het verzamelen van de data uit verschillende bronnen in een learning record store mogelijk is. Er is ervaring opgedaan hoe je dit moet doen en waar liggen de valkuilen. Deze ervaring kan gebruikt worden bij het opzetten van grotere learning record stores. Bij FNWI aan de UvA wordt in het komend academisch jaar een project aangevraagd om COACH verder in het onderwijs in te zetten en om het op te schalen, waarbij een grotere UvA brede learning record store wordt gebruikt.

2. Doelstelling, doelgroep en aanpak Het project had de volgende centrale onderzoeksvraag: Helpt het overkoepelend dashboard COACH de student een meer actieve studiehouding te ontwikkelen en leidt het gebruik tot een groter studiesucces? De meer specifieke vragen die in dit project worden behandeld zijn:  Wat is de meerwaarde van een overkoepelend dashboard boven de toolgerichte dashboards?  Verandert de intensiteit van het gebruik van digitaal lesmateriaal tijdens de cursus door het ter beschikking stellen van COACH?  Passen de studenten die COACH ter beschikking hebben hun studiegedrag aan en zo ja hoe?  Helpt het student dashboard risico-studenten om zelf hun studiegedrag positief te veranderen en zo hun studiesucces te verbeteren? Dit project is gericht op studenten. Studenten krijgen bij het online leren in toenemende mate te maken met dashboards waarmee ze op hun studie activiteit kunnen reflecteren. Door die 1

SURF stimuleringsregeling Learning Analytics 2013 functionaliteit zouden studenten beter in staat moeten zijn om hun voortgang te evalueren en indien nodig hun inzet bij te stellen. Leerervaringen zijn echter dikwijls verspreid over een landschap aan leeromgevingen en systemen. En voor veel dashboards geldt dat ze alleen activiteiten presenteren die zich afgespeeld hebben binnen een enkele leeromgeving. Daarmee geven ze niet alleen aan een student een incompleet beeld over zijn of haar voortgang, maar ook aan de docent of studieadviseur. Een extra overkoepelend dashboard dat expliciet verschillende data bronnen combineert zou een beter beeld geven van het studiegedrag en studievoortgang, en ook mogelijk een positief effect hebben op zelfstandig leergedrag van studenten en zo het studiesucces verhogen. In sommige dashboards wordt de activiteit van een student gepresenteerd in vergelijking met de activiteit van een groep studenten. Een bekend voorbeeld daarvan is Course Signals van Purdue University1, waar het een bewezen positief effect had op studiesucces. Daarnaast kunnen op basis van de verzamelde activiteit aanbevelingen worden gededuceerd voor individuele studenten m.b.v. machine learning technieken. Bij serviceonderwijs in wiskunde is het verstandig om bij coaching rekening te houden met ‘wiskunde angst’. Studenten met wiskunde angst kunnen anders reageren op aanbevelingen dan studenten zonder deze angst.22 De gebruikersgroep in dit project bestond uit bachelor studenten van biologie en biomedische wetenschappen die in het eerstejaars vak Bio-organische, Biochemie en Celbiologie een wiskunde module over wiskundige modellen van groei grotendeels zonder directe docentbegeleiding hebben doorlopen. In de plaats daarvan werd een scala aan multimediale ICT leermiddelen aangeboden: digitale instructies en oefeningen, screencasts en pencasts voor uitleg of toelichting, uitgewerkte voorbeelden, etc. Aan de verzameling van leerobjecten binnen het LMS van het vak werden in dit project nog twee nieuwe leeromgevingen toegevoegd: de wiskundeomgevingen van SOWISO3 en de IkTel omgeving (de Nederlandse versie van Khan Academy)4 om de adaptiviteit van het instructiemateriaal aan het wiskundige niveau van individuele studenten te realiseren en de flexibiliteit van studenten te vergroten. Het dashboard COACH dat in dit project wordt ontwikkeld geeft een student gedurende een cursus de mogelijkheid om zijn of haar studiegedrag in diverse leeromgevingen tezamen te monitoren. Een student kan een analyse krijgen over eigen leergedrag ten opzichte van het leergedrag van de medestudenten. Dit dashboard wordt gekoppeld aan een learning record store (LRS) waarin de data van het gebruik van digitaal lesmateriaal door studenten uit verschillende kanalen waar studenten online leren automatisch en continu worden verzameld en geanalyseerd (Figuur 1). De LRS is gebaseerd op de open standaard Experience API waardoor de LRS de informatie uit diverse leeromgevingen kan ontvangen en bewaren. Het werking van het dashboard is getest in onderwijsexperimenten. Een onderzoeksontwerp met een pretest-posttest experimentele en controle groep is gehanteerd. De studenten waren bij hun eerste inlog random verdeeld in twee groepen (experimentele en controle groep). Beide groepen volgden veder hetzelfde vak bij dezelfde docent met hetzelfde lesmateriaal. De data over het gebruik van het online lesmateriaal van beide groepen werd continu verzameld. De enige verschil tussen de twee groepen is dat de studenten in de experimentele groep toegang hadden tot hun COACH dashboard en studenten in de controle groep niet. De data over het leergedrag van studenten met en zonder COACH zijn geanalyseerd. Studenten hebben daarnaast aan het begin van de cursus diagnostische toetsen gemaakt en een enquête ingevuld over hun studiehouding zodat er meer achtergrondinformatie beschikbaar is.

1 2 3 4

2

Course Signals, Purdue University, http://www.itap.purdue.edu/learning/tools/signals/ (laatst bezocht 22 juli 2014) Ashcraft, M. H., & Moore, A. M. (2009). Mathematics anxiety and the affective drop in performance. Journal of Psychoeducational Assessment, 27(3), 197-205. SOWISO, http://www.sowiso.nl/nl/ (laatst bezocht 22 juli 2014) IkTel, de Nederlandse Khan Academy: http://www.iktel.nl (laatst bezocht 22 juli 2014)


Figuur 1: Dataflow in de pilot De projectperiode was ongeveer 1 jaar met de start in juni 2013. De meeste technische ontwikkelingen vonden plaats in de zomer 2013 zodat in september/oktober al het eerste pilot (onderwijsexperiment) plaats kon vinden. Het tweede pilot vond plaats in januari/februari 2014. Inhoudelijk waren de werkzaamheden bij dit project verdeeld in vier werkpakketten: WP1: Techniek en datakoppeling WP2: Pilots in het onderwijs WP3: Evaluatie en effectenonderzoek WP4: Disseminatie en projectmanagement Het project is uitgevoerd bij de FNWI van de UvA onder de projectleiding van André Heck (FNWI) in de samenwerking met het ICT Services (ICTS) van de UvA, contactpersoon Alan Berg. De betrokken medewerkers waren Sander Latour (AI master student) die coördinatie van WP1 in handen had, Natasa Brouwer (FNWI) met de coördinatie van WP3. De coördinatie WP4 van WP2 was gedaan door André Heck die naast zijn rol als projectleider ook de docent van het vak was waar de pilots waren uitgevoerd. Bij twee werkpakketten zijn onverwachte problemen plaatst gevonden. Werkpakket Techniek en datakoppeling A. Complexiteit in e-mail accounts van studenten Aan het begin van het project werd verondersteld dat elke student een e-mail account zou hebben van de universiteit die gekoppeld is aan een Google Account. Dat bleek echter niet meer in alle gevallen zo te zijn. De email accounts zijn cruciaal in de identificering van studenten over de verschillende leersystemen heen. Dit is opgelost door de accounts deels accounts aan te maken met de juiste email-adressen en deels de inlog te koppelen aan Blackboard. Via SURFconext kunnen studenten met hun uvanet-id terecht in de wiskundige leeromgeving B. Schaalbaarheid van de LRS De LRS kon niet omgaan met de opvraging van grote hoeveelheden data. De implementatie van de LRS die gekozen was voor dit project bleek niet in staat te zijn om binnen 30 seconden een redelijk aantal activiteiten te communiceren naar onze scripts. Dat is opgelost door een dynamische verwerving te ontwikkelen die de grootte van de hap uit de data die wordt opgevraagd varieert aan de hand van de mogelijkheid van de LRS om er op te antwoorden. Verder wordt de data op de server waar het dashboard werd gehost gecached om het dashboard snel te kunnen genereren. 3

SURF stimuleringsregeling Learning Analytics 2013 Werkpakket Pilot in het onderwijs Door de genoemde problemen in werkpakket Techniek en datakoppeling kon het experiment niet helemaal volgens het oorspronkelijke plan uitgevoerd worden en is aan het begin zo niet alle data verzameld. Door ernstige en langdurige ziekte van de docent (gelijk ook de projectleider van dit project) moest vervolgens het onderwijsontwerp aangepast worden en kon de learning analytics interventie als onderdeel van het experiment in dit project niet volledig volgens het oorspronkelijke plan uitgevoerd worden. Omdat het wiskunde onderdeel een substantiële online en zelfstandige leren component heeft, konden de studenten het eerste deel van het vak nog steeds regulier afronden zonder een vervangende docent. Door de genoemde tegenvallers hebben we besloten om nog een tweede experiment uit te voeren in het kader van het SURFproject in een identieke onderwijssetting. Het tweede experiment is van start gegaan in januari 2014 bij het vak Inleiding Cognitieve Neurowetenschappen bij de opleiding Psychobiologie. Bij dit vak wordt het wiskunde gedeelte op een identieke manier aangeboden als bij Bio-organische chemie, biochemie en celbiologie en het wordt gegeven door dezelfde docent.

3. Resultaat WP1 Techniek en datakoppeling In de zomer 2013, vóór de start van het onderwijs, is de learning record store (LRS) opgezet en een dashboard ontwikkeld. De LRS is een centrale opslag faciliteit en is opgezet om data te ontvangen en later te ontsluiten. De koppelingen zijn gemaakt in de leeromgevingen die studenten bij dit vak kunnen gebruiken, SOWISO en IkTel om de activiteiten van studenten door te sturen naar de Learning Record Store (LRS). In beide systemen zijn maatregelen genomen om alleen de data van studenten door te sturen die ook daadwerkelijk met de cursus van ons project verbonden zijn. Data worden nagenoeg direct doorgestuurd naar de LRS nadat een gebeurtenis had plaatsgevonden. Een voorbeeld van een gebeurtenis die wordt gecommuniceerd naar de LRS is het bekijken van 10 seconden in een video of het beantwoorden van een vraag in een oefening. Er is van te voren besloten om geen uitgebreide mechanismen te ontwikkelen om bepaalde studenten niet mee te nemen in de communicatie van activiteiten naar de LRS. In plaats daarvan zouden er op het moment dat een student bezwaar zou maken tegen zijn of haar digitale spoor een uitzondering worden toegevoegd aan de programmacode van de systemen om de data dan wel nooit mee te nemen in de verwerking dan wel direct te verwijderen. Tot op heden is er nog geen student geweest die zich heeft gemeld, ook al is deze mogelijkheid van bezwaar tijdens het college nadrukkelijk genoemd. Het student gerichte dashboard COACH is in de zomer ontwikkeld en gekoppeld aan de LRS. Dit dashboard kan zo een overzicht van de activiteiten van een student geven ongeacht het systeem waarin die activiteit heeft plaatsgevonden. In Figuur 2 is een screenshot te zien van het dashboard van een student waarin een overzicht te zien is van zijn/haar gedane toetsen en de bijbehorende score. Een toets wordt weergegeven in een groen kader als de score minimaal 80% is, hetgeen de eis was binnen het vak. Daarnaast geeft het dashboard aan deze student ook een overzicht van de gedane oefeningen (tab Oefeningen) en de door de leeromgeving gegeven schatting van de vaardigheid van de student op dat onderdeel, en een lijst van de bekeken video’s (tab Video’s). In de laatste tab wordt een uitleg gegeven over de dashboard. De ‘barcode’ bovenaan het dashboard (figuur 2) geeft een beeld over hoe de student er voor staat ten opzichte van de rest van de groep. Elk streepje stelt een student voor. De positie van het streepje is bepaald aan de hand van het relatief aantal punten wat de student opgeteld gehaald heeft voor de toetsen. Een andere student die minder punten heeft gehaald staat meer links, of omgekeerd meer rechts. Als veel studenten ongeveer hetzelfde aantal punten hebben verzamelt dan overlappen de lijnen waardoor ze donkerder worden. Zo kan je in een oogopslag zien waar de meeste studenten zich bevinden en hoe jij er voor staat. De bedoeling van deze visualisatie is om studenten tijdiger te laten beginnen doordat ze zien dat andere studenten al verder zijn in de stof. De visualisatie is verder geheel anoniem en er is bewust geen gebruik gemaakt van signaalkleuren of woorden die een oordeel geven over de voortgang. 4


Figuur 2: Screenshot van het dashboard van een student Daarnaast geeft het dashboard aan elke student ook aanbevelingen op maat. Hiervoor is er een systeem ontwikkeld dat op basis van de data in de LRS aanbevelingen genereert. Dit systeem suggereert oefeningen en uitleg materiaal binnen de context van een toets. Bijvoorbeeld in het onderstaande Figuur is een aanbeveling te zien voor de oefening “rekenen met machtsverbanden” voor een student die de toets over verbanden en functies nog moet halen:

Figuur 3: Aanbeveling voor de student welke oefening nuttig is voor de toets De aanbevelingen zijn bedoeld om studenten te helpen extra les- en oefenmateriaal te vinden wanneer ze de toets moeilijk vinden om te halen, of wanneer ze van te voren al besluiten eerst nog wat meer te oefenen alvorens aan de toets te beginnen. Er worden geen aanbevelingen getoond voor toetsen die door de student al zijn gehaald. De aanbevelingen worden gegenereerd op basis van het gedrag van andere studenten die de toets al wel gehaald hebben. De reeks activiteiten die dergelijke studenten uitgevoerd hebben voordat ze de toets succesvol hadden afgerond wordt verzameld. Vervolgens wordt aan elke activiteit een gewicht toegekend dat uitdrukt hoe waarschijnlijk het is dat die activiteit doorslaggevend is geweest voor deze student om de toets te halen. Dit gewicht is gebaseerd op de voortgang binnen de activiteit (bijvoorbeeld hoe lang er naar een video is gekeken) en de tijd die er zat tussen de activiteit en het halen van de toets, waarbij de tijd gemeten wordt aan de hand van het aantal activiteiten en niet de daadwerkelijke uren. Vervolgens worden de activiteiten tussen studenten vergeleken en aanbevelingen geëxtraheerd. De aanbevelingen zijn vervolgens gesorteerd op de mate van zekerheid en de hoeveelheid van bewijs. Bij het verzamelen van de te tonen aanbevelingen voor een specifieke student binnen de context van een specifieke toets wordt deze sortering aangehouden. Hierdoor komen de overduidelijke verbanden tussen activiteiten en het halen van de toets eerder dan de verbanden die alleen bij een selecte groep studenten blijken op te gaan. Door ze alleen te sorteren en niet te filteren is het voor een student toch nog mogelijk om indien alle voor de hand liggende hulpmiddelen geprobeerd zijn alsnog tips te krijgen die minder universeel bleken te zijn maar misschien essentieel om bepaalde voorkennis bij te werken. Activiteiten 5

SURF stimuleringsregeling Learning Analytics 2013 die de student al heeft gevonden worden uit de lijst van aanbevelingen gehaald, zodat alleen nieuw materiaal wordt gesuggereerd. In totaal zijn er twee algoritmen ontwikkeld om deze aanbevelingen te genereren. Het a priori algoritme dat aangegeven was als methode in de projectaanvraag bleek bij het uitwerken niet voldoende te zijn voor onze behoeften. Daarom is er een tweede algoritme ontwikkeld dat meer met de volgorde van activiteiten doet, zoals eerder beschreven in de tekst. WP2 Pilot in het onderwijs In de zomer, nog voor de start van het academisch jaar, zijn het onderwijsexperiment en het onderzoeksontwerp geëxpliciteerd tot nodige acties. Als onderwijscasus is het wiskunde gedeelte van het vak Bio-organische chemie, biochemie en celbiologie gekozen. Studenten in dit vak hebben een heterogene voorkennis in wiskunde. Ze krijgen online lesmateriaal om zelfstandig en flexibel te kunnen werken, uitgaande van hun eigen niveau en op eigen tempo. Voor de effectmeting zijn studenten random verdeeld in twee groepen, in een groep waar ze hun dashboard kunnen zien (experimentele groep) en een groep waar ze geen toegang tot het dashboard hebben (controle groep). Een pre- en een posttest zijn gepland om inzicht te krijgen in de motivatie en leerstrategieën van studenten en eventuele verandering ervan tijdens de cursus. Met de start van de cursus zou het experiment moeten starten en zou het gebruik van het online lesmateriaal van beide groepen tijdens de cursus continu verzameld worden. Dat werd in gang gezet maar door onverwachte tegenvallers kon het experiment niet volledig uitgevoerd worden volgens het plan. In januari/februari 2014 is daarom nog een experiment uitgevoerd bij het vak Inleiding Cognitieve Neurowetenschappen bij de opleiding Psychobiologie waar het wiskunde gedeelte op identieke manier wordt aangeboden als in het kader van het vak Bio-organische chemie, biochemie en celbiologie. Onverwachte problemen en veranderingen ten aanzien van het projectvoorstel zijn beschreven in hoofdstuk 2 van deze rapportage. In Figuur 4 is te zien hoe studenten in hun digitale leeromgeving het dashboard te zien kregen.

Figuur 4: Dashbord in de elektronische leeromgeving van de student 6

SURF stimuleringsregeling Learning Analytics 2013 WP3 Evaluatie en effectenonderzoek De data van elke pilot (onderwijsexperimenten) die zijn verzameld in de learning record store (LRS) zijn uit de LRS geëxporteerd. Door de tegenvallers bij de uitvoering is bij de analyse van data gefocust in de data van de tweede pilot. De data van de eerste pilot zijn gebruikt om het systeem te optimaliseren. De data van de tweede pilot zijn ook uitgebreid geanalyseerd door Ilse van der Linden in haar bachelor project Kunstmatige intelligentie 5. Het aantal studenten die ingeschreven waren voor het vak Inleiding Cognitieve Neurowetenschappen in januari/februari 2014 was 311. 289 studenten hebben deelgenomen aan het tentamen. Deze studenten hebben allemaal de online wiskunde gedeelte met minimaal 80% afgerond. Wiskunde was een kwart onderdeel van het tentamen. 120 studenten hebben het tentamen gehaald en 169 niet. De data verzameld in de LRS waren 3 soorten objecten: - Toetsdata uit de SOWISO - Vragen gesteld in het SOWISO omgeving - Video’s bekeken in Iktel.nl omgeving Deze objecten zijn beschreven door een actie statement waarin hun type en hun specifieke naam (naam specifieke assessment of vraag of media) staan en een werkwoord. De meest voorkomende werkwoorden waren: launched en completed en hiernaast nog progressed, interacted en answered. In de analyse zijn andere statements met heel zeldzaam voorkomende werkwoorden niet meegenomen. In tabel 1 zijn de aantallen gegeven dat een statement voorkwam in de LRS. Tabel 1: Statements in LRS Object Launched Assessment 8209 Question 21982 Media 39 Totaal 30230

Verb Completed 8576 26484 3 35061

Totaal 16785 48834 203 65822

Studenten die eerder met het werk zijn begonnen en langer voor de deadline de eindtoets hebben gedaan hebben gemiddeld 0.5 punt hoger gescoord. Het verschil tussen studenten met en zonder dashboard was niet significant. WP4 Disseminatie en projectmanagement Het project is in juni prima van start gegaan. Op 21 augustus 2013 was er een kick off bijeenkomst van het hele projectteam (Figuur 5_. Deze bijeenkomst had een inhoudelijk en organisa-torisch karakter. Daarna is er regelmatig werkoverleg geweest binnen het ontwikkelteam (WP1) en is contact onderhouden tussen de werkpakketen. Het project heeft meegedaan aan de activiteiten en bijeenkomsten georganiseerd door SURF in het kader van Learning analytics subsidieregeling. Zo zijn ideeën uitgewisseld met andere projecten die ook deel maken aan deze regeling.

5

Van der Linden, I. (2014) Indicators of Study Success, Bachelor Thesis Artificial Intelligence, University of Amsterdam.

7


Figuur 5: Kick off bijeenkomst op 21 augustus 2013: Presentaties en discussie

Er zijn twee blogs geschreven, een voor het Nederlandse publiek op SURFspace en een voor het publiek op de faculteit waar het project draait en de UvA: - Blog op de UvA, ICTO-FNWI blog: Sander Latour: “LA COACH project goed op weg”, datum 1-10-2013. http://ictofnwi.wordpress.com/2013/10/01/la-project-coachgoed-op-weg/ - Blog op SURFspace: Sander Latour: “Actiever studeren met COACH: Stimuleringsproject LA 2-13 nr.2”, datum: 2-10-2013. https://www.surfspace.nl/artikel/1364-actiever-studeren-met-coachstimuleringsproject-la-2013-nr-2/ - Learning Analytics is voor de FNWI van de UvA een belangrijke thema en is een van de pijlers van ICTO-FNWI. Een serie van learning analytics blogs waar onder anderen over COACH wordt gerapporteerd is zo te vinden op de ICTO-FNWI blog: http://ictofnwi.wordpress.com/category/learning-analytics/ - De informatie over het project is voor de docenten van de UvA te vinden op de kennisplatform Starfish, een kennisnetwerk voor en door de docenten: http://starfish.innovatievooronderwijs.nl/project/11/ Er zijn bij diverse gelegenheden korte presentaties gegeven over het project (een bijvoorbeeld bij de Focus groep Learning analytics, Amsterdam regio in december 2013) en hebben de leden van het projectteam één op één veel informatie aan de geïnteresseerden verstrekt. Sander Latour heeft een presentatie over COACH gegeven op de LASI 2014 (Learning Analytics Summer Institute) bijeenkomst in Zeist 30 juni -1 juli 2014 (Figuur 6). Een publicatie is in voorbereiding om op te sturen naar een tijdschrift. Op de SURF Onderwijsdagen 2014 worden de projectresultaten gepresenteerd.

8


Figuur 6: Presentatie van COACH op LASI 2014 in Zeist door Sander Latour.

4. Conclusies In dit project is aangetoond dat het mogelijk is met één learning analytics dashboard het studiegedrag van studenten in verschillende digitale leeromgevingen continu te monitoren en te weerspiegelen. De resultaten van dit project hebben vervolgens aangetoond dat COACH dashboard aan elke student een adequate spiegel biedt waarop zij of hij eigen leergedrag continu kan monitoren ten opzichte van het leergedrag van de medestudenten. Op basis van het leergedrag kan COACH adviezen geven over het lesmateriaal dat andere studenten bij hun studie in een vergelijkbare situatie goed heeft geholpen. Het project COACH heeft aangetoond dat het verzamelen van de data uit verschillende bronnen in een learning record store mogelijk is en dat het gebruik van Experience API of Tin Can API als standaard aan te bevelen is6. Er is ervaring hiermee opgedaan en we weten nu waar liggen de valkuilen bij het gebruik van LRS. Deze ervaring kan gebruikt worden bij het opzetten van grotere learning record stores. Uit de pilots in het onderwijs zijn er geen significante verschillen in studiesucces gevonden tussen de experimentele groep met een dashboard en de controle groep zonder dashboard. Dat is niet zo vreemd als we het weten dat de cursus toetsgestuurd was opgezet met strakke deadlines voor de digitale toetsen. Bovendien was dit een zeer korte cursus.

5. Continuering De FNWI van de UvA wil in elk geval met COACH en het principe van mirroring van studeigedrag in learning analytics verder gaan. Bij de UvA wordt in het komend academisch jaar een project aangevraagd om COACH verder in het onderwijs in te zetten en om het op te schalen waarbij een grotere UvA brede learning record store wordt gebruikt. Een publicatie is nog in voorbereiding om de resultaten te delen in een tijdschrift.

6

9

Tin Can API, http://www.tincanapi.com (laatst bezocht op 23 juli 2014).

COACH Constructive Overview Aggregating Comparative Hits

Recommend Documents