TITEL TOOLS EN DIENSTEN VOOR LEARNING ANALYTICS

TITEL EN DIENSTEN TOOLS VOOR LEARNING ANALYTICS

2

Tools en diensten voor learning analytics

VOORWOORD In deze brochure vindt u informatie over enkele tools en diensten voor learning analytics. De toolbeschrijvingen in deze brochure zijn afkomstig van de leveranciers en vertegenwoordigen niet de opvattingen van SURF. Genoemde leveranciers zijn geen preferred suppliers. Deze brochure geeft een eerste overzicht van beschikbare tools. Hierin is ook opgenomen welke bij SURF aangesloten instellingen de beschreven producten gebruiken. Dit maakt het makkelijker te informeren naar gebruikerservaringen met deze tools.

SURF en learning analytics SURF onderzoekt sinds 2011 in samenwerking met het hoger onderwijs de mogelijkheden van learning analytics in Nederland. Instellingen experimenteren hierbij op kleine schaal met learning analytics, en maken daarbij onder andere gebruik van de in deze brochure beschreven tools.

Disclaimer Deze brochure bevat enkele beschrijvingen van tools en diensten op het gebied van learning analytics. Deze lijst is niet volledig, geeft geen kwaliteitsoordeel en wordt niet actief bijgehouden. SURFmarket heeft nog niet met alle leveranciers overeenkomsten afgesloten. Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is. SURFmarket kijkt naar de belangen voor alle onderwijsinstellingen (vraagbundeling), de technische ontsluiting via SURFconext en aandachtspunten zoals Service Level Agreement en HO-normenkader. Er kunnen geen rechten aan deze lijst ontleend worden.


3

INHOUDSOPGAVE Introductie tools voor learning analytics

4

Toolbeschrijvingen van leveranciers BLACKBOARD ANALYTICS FOR LEARN

6

BUSINESS INTELLIGENCE DEVELOPMENT FRAMEWORK

9

EESYANALYTICS

11

INZICHT IN ZICHT

13

PROF – PROGRESS TEST FEEDBACK

15

SCORION

18

SOWISO

20

STUDENT ACTIVITY METER (SAM)

23

STUDENT ANALYTICS SERVICE

25

Overzicht toolgebruikers

27

Overzicht software in SURF-experimenten learning analytics

29

4


INTRODUCTIE TOOLS VOOR LEARNING ANALYTICS Anjo Anjewierden en Wibo Bakker Deze inleiding geeft in vogelvlucht inzicht in de samenhang tussen de verschillende databronnen en tools die gebruikt kunnen worden om learning analytics te realiseren, overigens zonder al te specifiek te worden. Als je kijkt naar het aanbod dan wordt in één oogopslag duidelijk dat het hier om een breed veld gaat, dat nog volop in ontwikkeling is: kant-en-klare oplossingen zijn dan ook nog niet uitgekristalliseerd.

Duidelijke link tussen de tools en beschikbare data In het algemeen geldt dat er een sterke afhankelijkheid is tussen de beschikbare data (en de databronnen), en de tools die gebruikt kunnen worden. Zo is er in de zeven grassrootsprojecten uit de SURF-innovatieregeling Learning Analytics 2012 regelmatig voor gekozen om zelf tools te ontwikkelen om de beschikbare data te kunnen analyseren (denk hierbij aan Vak voor vak, Pinpoint, UvA analytics, ProF). Ook bij commerciële aanbieders van tools voor learning analytics is er vaak een sterke koppeling tussen de gepresenteerde tools en de typen data (en/of databronnen) die door die tools verwerkt en geanalyseerd kunnen worden.

Statische en dynamische data Het is zinvol om te kijken welke soorten data over studenten en de leeromgeving beschikbaar zijn, en waar die data vandaan komen. We maken daarbij een onderscheid tussen statische data die bijvoorbeeld inschrijfgegevens en studieresultaten vastleggen, en dynamische data die het leerproces of studiegedrag weerspiegelen. De meeste ho-instellingen in Nederland gebruiken studentinformatiesystemen (SIS) en studentvolgsystemen om essentiële gegevens vast te leggen over vakken die leerlingen volgen en de resultaten die ze behalen. Naast tekstuele informatie betreft het vaak eenvoudige numerieke gegevens. Om patronen in deze data te vinden kunnen standaard tools voor statistische analyse (Excel, SPSS) gebruikt worden. Het lastige is echter dat de studieresultaten weinig zeggen over hoe het studiegedrag te verbeteren is. Naast het analyseren van studieresultaten kan ook gekeken worden naar data over studiegedrag: de activiteiten die leiden tot resultaten. Veel leeractiviteiten vinden tegenwoordig plaats op internet. De meeste ho-instellingen in Nederland gebruiken hiervoor elektronische leersystemen (ELO’s). Ook bieden enkele organisaties MOOCs aan, een vrij toegankelijke variant van ELO’s. Hierin worden cursusmaterialen geplaatst zoals documenten en weblectures en kunnen studenten samenwerken, opdrachten inleveren en soms ook toetsen maken, alhoewel hier ook aparte toetsapplicaties voor zijn. Om het gebruik hiervan in kaart te brengen kunnen logfiles, of speciale trackingtools worden gebruikt, denk bijvoorbeeld aan Google Analytics of Piwik. Met behulp van deze tools kan bijvoorbeeld worden vastgelegd welk materiaal studenten bekijken, en hoe vaak en hoe lang ze dat doen. Door deze data – in combinatie met data over studieresultaten – te analyseren kan worden vastgesteld wat succesvol studiegedrag is. De meest interessante data zijn te vinden in leeromgevingen die gebruik maken van technieken voor machine learning. Machine learning werkt vaak het beste bij een specifiek domein (bijvoorbeeld thermodynamica of wiskunde) of methode (het maken van een concept map, het schrijven van een samenvatting). De data die in deze


leeromgevingen wordt geproduceerd, is zo specifiek dat er speciale tools voor kunnen worden ontwikkeld, die niet alleen rekening houden met de data, maar ook met de pedagogische relevantie van de data. Bijvoorbeeld welke concepten en relaties tussen concepten relevant zijn, of welke termen in een samenvatting voorkomen.

Mogelijkheden van social media Daarnaast zijn er applicaties voor social media. Ook hier is in potentie belangrijke data te vinden die iets kan zeggen over hoe studenten in een groep leren, denk bijvoorbeeld aan Facebook of Twitter. Soortgelijke, maar meer rudimentaire functionaliteiten worden ook door ELO’s aangeboden, zoals chatmogelijkheden en discussiefora. Activiteiten in deze applicaties kunnen gevolgd en gevisualiseerd worden met bijvoorbeeld Social Network Analysis (SNA) tools. Vooralsnog worden deze alleen voor onderzoek gebruikt.

Dashboards bieden inzicht Analyses van studiedata kunnen gevisualiseerd worden in dashboards. Hierop kunnen management, docenten of studenten studiegedrag monitoren, en/of aanwijzingen krijgen over hoe dit te verbeteren is. Voor veel ELO’s zijn eenvoudige dashboards beschikbaar. Tegenwoordig wordt echter ook geëxperimenteerd met dashboards die datastromen uit verschillende softwareapplicaties integreren. Vaak betreft het open-sourceproducten. Een voorwaarde is dan echter wel dat de data makkelijk uit de applicaties te halen zijn. Het voordeel van deze dashboards is dat ze het makkelijker maken om uitgebreide analyses te visualiseren, die zijn gebaseerd op data over studieresultaten én studiegedrag.

Tools moeten goed op elkaar zijn afgestemd Er is voorlopig nog geen allesomvattende tool voor learning analytics die breed kan worden ingezet. Tools zijn vaak specifiek voor een bepaald onderwijsdomein of hebben slechts betrekking op een deel van de zogenoemde cyclus van learning analytics. Om de hele cyclus te voltooien, van dataproductie, verzameling, analyse, visualisering tot interventie, zijn vaak diverse tools nodig die met elkaar samenwerken. Daarom moet bij de keuze voor tools goed worden opgelet in hoeverre de data en de analyses die ze produceren uitwisselbaar zijn. Daarbij is het handig om voort te bouwen op eerdere ervaringen die gebruikers met deze tools hebben opgedaan.

5

6


BLACKBOARD ANALYTICS FOR LEARN FUNCTIONALITEIT Beoogde gebruikers: Campus leaders, instructors, staff and students.

Firmanaam: Blackboard International Contactpersoon: Richard Burrows E-mail: [email protected] Adres: 175 Oxford Street London W1D 2JS United Kingdom Website: www.blackboard.com/platforms/ analytics/overview.aspx Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is.

Zo kan Blackboard Analytics for Learn worden gebruikt: The Analytics for Learn solution is a packaged eLearning Analytics Solution. It includes a dimensional data warehouse and provides self-service reporting, dashboards, and trend analysis so that users can visualize and analyze the wealth of information within both the Blackboard Learn 9.1 platform and their student information system. Blackboard Analytics for Learn helps you meet challenges like these: • Increasing student retention by identifying students at risk • Identifies areas for improving student performance • Identifying online learning best practices • Determining ROI of LMS investments • Capacity planning • Integrating administrative (ERP/SIS) data with instructional (LMS) data for reporting and analysis With Blackboard Analytics for Learn you will: • Eliminate information delivery bottlenecks by providing self-service access to actionable information • Measure student achievement against goals by monitoring and analyzing trends to enact curriculum and pedagogical change over time • Establish and track Key Performance Indicators - a single source of the truth for monitoring strategic goals and enabling data-driven decision making The Blackboard Analytics application delivers information to your end-users quickly, with short implementation process. The data warehouse is populated with institutional data in days, followed by a services engagement that includes knowledge transfer, data validation, and embedding of your business rules. Our solution covers a much wider base than any other alternative on the market. Our learning analytics data model delivers 15 Fact Tables and more than 100 Measures, including many that are derived or calculated by Blackboard Analytics for Learn, and don’t exist natively in the LMS or SIS. The measures are then embedded in the data model and can be customized with institutional business rules.

Welke data wordt gebruikt en gegenereerd? The Blackboard Analytics for Learn platform transforms raw data from your LMS and SIS into actionable information. The application provides a library of standardized metrics and descriptive attributes consistent with best practices in higher education management. Blackboard Analytics provides its customers with detailed documentation that includes a data dictionary, ERD designs, and a full view into our underlying code. This will enable the institution to not only better understand the application as delivered, but empower them to extend it with customized table structures, new data sources, and advanced metrics and measures.


Wie is eigenaar van de data? The Institution / Client

Hoe vrij beschikbaar en transporteerbaar is de data? The data in the warehouse is accessible via SQL and MDX Queries. When using the Pyramid Analytics visualization tool, reports can be exported to MS Excel or MS Powerpoint. MS SQL Server Reporting Services reports can be exported to multiple formats including MS Excel, CSV and PDF.

TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? As an analytics tool designed for use with Blackboard Learn it is designed specifically for use in educational settings, and comes bundled with reports designed to inform students, instructors, department and institutional leadership. A Dutch localized version of Blackboard Analytics for Learn will be released in 2014 and as of January 2014, we have customers across the world such as: • • • • • • • • • • • •

The University of Maryland, Baltimore County (United States) Coppin State University (United States) The University of Westminster (United Kingdom) The University of Pretoria (South Africa) Swinburne University (Australia) University of Queensland (Australia) The University of Western Sydney (Australia) Charles Darwin University (Australia) Nanyang Technological University (Singapore) King Khalid University (Saudi Arabia) King Abdulaziz University (Saudi Arabia) King Faisal University (Saudi Arabia)

INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? Blackboard Analytics is built on a solid foundation of Microsoft SQL Server and Microsoft Analysis Server to create, host, and manage the dimensional data warehouse. Blackboard Analytics includes sample reports delivered in Microsoft SQL Server Reporting Services as well as more than 50 Business Intelligence reports and dashboards delivered in Pyramid Analytics tool set. In addition we have proven that our data warehouse is compatible with most BI and reporting tools on the market including Microsoft Excel pivot tables. Utilizing On Line Analytical Processing (OLAP) technology, we deliver a self-service environment that shifts institutions from the “report writer/report requester” world to an end-user defined reporting environment. This technique allows non-technical users to interact with the underlying data model without engaging technical resources.

7

8


TOEKOMSTIG GEBRUIK In welke mate is het product ‘future proof’? Blackboard Analytics is built on Microsoft SQL Server, which is the leading commercial database software, and provides the strongest foundation for continuity and upgrade. The core code of Blackboard Analytics is separate from the configuration and customizations, so facilitating easy upgrade of both Blackboard Analytics and Blackboard Learn. Unlike other data warehouse solutions, the Blackboard Analytics for Learn is easily updated as new LMS upgrades become available. Most upgrades have minimal effect on the underlying data model, because they are generally designed around the transactional nature of the LMS and SIS; however even those upgrades that require change are easily handled within our architecture, generally with a delivered upgrade script.

Visie op ontwikkeling product / learning analytics Analytics for Learn shall provide critical insights and information that helps students, instructors, and administrators maintain visibility on key performance metrics, guide decision making with appropriate and timely data, and maintain adaptability to each institutions unique requirements and achieving strategic goals. Focus areas for product development include responding to client and market feedback such that reports and dashboards are tuned to better meet institutional needs all over the world. Also key is building in additional flexibility and extensibility to the data model so that each institution may accommodate a variety of academic structures, program offerings, and flexible course delivery means (e.g. self-paced learning or flexible academic terms). The development team will work closely with existing and future Analytics clients to clearly understand requirements and respond directly in kind with capabilities that help solve critical institutional challenges through timely and accurate reports, dashboards, and insights.


BUSINESS INTELLIGENCE DEVELOPMENT FRAMEWORK FUNCTIONALITEIT Firmanaam: Valid B.V. Contactpersoon: Boris Corvers E-mail: [email protected] Telefoon: 06-15835042 Adres: Flight Forum 565, 5657 DR Eindhoven Website: www.valid.nl Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is

Beoogde gebruikers: Afdelingshoofden, managers Bedrijfsvoering, managers Finance, managers HRM, managers Marketing & Communicatie, student Informatie Zaken, IT & informatiemanagers.

Zo kan het Business Intelligence Development Framework worden gebruikt: Valid benadert business intelligence en learning analytics zowel vanuit een businessperspectief als vanuit technologisch perspectief. Aan de businesszijde beoordelen we hoe u binnen uw organisatie informatie consolideert, analyseert en distribueert. Daarbij leggen we vast wie wanneer welke informatie nodig heeft voor strategische, tactische en operationele beslissingen. In de eerste fase van onze dienstverlening worden vooral de behoeftes geanalyseerd. De ervaring leert dat het credo “think big, act small” het beste werkt voor businessintelligence-trajecten. In kleine stappen wordt toegewerkt naar de wenselijke situatie. Geheel afhankelijk van uw huidige situatie wordt gestart met een pilot om de toegevoegde waarde en de kracht van de werkwijze aan te tonen. Stapsgewijs kan de business intelligence en learning analytics succesvol in de organisatie worden uitgerold, met de voor u belangrijkste databronnen (zoals SIS, ELO, DLWO, DUO, etcetera) en rapportages en dashboards op het gebied van bijvoorbeeld inschrijvingen, switchgedrag, uitschrijvingen, studievoortgang, diploma-rendementen en onderwijskwaliteitscontrole. Het Business Intelligence Development Framework van Valid bestaat uit een bewezen architectuur en Microsoft-technologieën die zorgdragen voor de informatieverwerking en rapportages. Door het business- en techniekperspectief te combineren kunnen we samen met u een geïntegreerde businessintelligence-oplossing realiseren.

Diensten die Valid in dit kader levert zijn: Consultancy - Development - ETL-werkzaamheden - Testen - Projectmanagement

Welke data worden gebruikt en gegenereerd? De belangrijkste databronnen zijn de systemen die het primaire proces bewaken, zoals een SIS, ELO, DLWO, maar ook bronnen als DUO en NSE. Daarnaast kunnen ook bijvoorbeeld financiële en HRM-systemen als bron worden gebruikt. Deze combinatie van bronnen voorziet de organisatie van rapportages, dashboards, scorecards, kubussen en vrij te gebruiken Excel-sheets op het gebied van bijvoorbeeld inschrijvingen, switchgedrag, uitschrijvingen, studievoortgang, diploma-rendementen en onderwijskwaliteitscontrole.

Wie is eigenaar van de data? De onderwijsinstelling blijft altijd de eigenaar van de data en de ICT-afdeling faciliteert normaliter een omgeving voor data-opslag. Valid kan ook voorzien in storage en hosting, indien wenselijk.

9

10


Hoe vrij beschikbaar en transporteerbaar zijn de data? Data zijn zo vrij beschikbaar als de interne organisatie het toelaat. Er worden vooraf afspraken gemaakt over hoe toegang en autorisatie in te regelen. Daarnaast wordt natuurlijk aansluiting gezocht bij de wensen op het gebied van security en encryptie.

TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? Oplossingen van Valid worden gebruikt door onder andere: Technische Universiteit Eindhoven, Universiteit Maastricht, Fontys Hogescholen, Hogeschool Zuyd, Arcus College en ROC Midden Nederland. [ILLUSTRATIE]

INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? De oplossingen voor business intelligence en learning analytics zijn op maat afgestemd op de behoefte van de individuele instellingen en instituten. Ze maken allen echter wel gebruik van het BI Framework van Valid. Hierdoor hebben ze voordeel van ‘best practice’-oplossingen gerealiseerd bij anderen. Het maatwerk zit vaak in de aan te sluiten databronnen en de specifieke wensen in de presentatielaag. Tot nu toe zijn alle installaties lokaal ingeregeld, maar met een Microsoft-cloudplatform als Windows Azure & SharePoint kan er eenvoudig een PaaS/SaaS-oplossing worden gemaakt. De architectuur vormt hierin geen belemmering. Valid heeft de competenties in huis om een “As a Service”-model te implementeren. Indien wenselijk kunnen we ook toewerken naar centrale ontsluiting via SURFconext.

TOEKOMSTIG GEBRUIK In welke mate is het product ‘future proof’? Valid hanteert het motto “Stay ahead”, hetgeen betekent dat we altijd naar technologieën kijken die op de roadmap staan van onze technologiepartners (zoals Microsoft) en toepasbaar zijn voor onze oplossingen. Alle cloudgebaseerde technologieën worden ingezet om toekomstvaste diensten te leveren volgens het ‘pay per use’ model. Met meer dan 300 medewerkers is Valid ‘small enough to care & big enough to deliver’. Onze Special Interest Group Business Intelligence zorgt ervoor dat we ook op business intelligence en learning analytics relevante technologieën toe kunnen passen.

Visie op ontwikkeling product / learning analytics: Oplossingen zullen meer en meer gebruikt gaan worden op basis van ‘anytime, anywhere and any device’. Daarnaast zorgt individualisering van het onderwijs ervoor dat monitoring van de resultaten en sturing op individueel niveau noodzakelijk is. Een andere tendens is dat externe data gecombineerd gaan worden met interne instellingsdata, en die worden bij voorkeur real time inzichtelijk gemaakt (Big Data). Dit betekent dat de gebruikte technologie rekening moet houden met deze ontwikkelingen om waarde te blijven houden voor de gebruikers. Valid kiest voor Microsofttechnologieën als SharePoint, die rekening houden met bovenstaande ontwikkelingen en integratie met de gehele ICT-omgeving.


EESYANALYTICS FUNCTIONALITEIT

Firmanaam: EesySoft Contactpersoon: Michel Visser E-mail: [email protected] Telefoon: 06 - 83239788 Adres: Beech Avenue 54-80, Schiphol-Rijk Website: www.eesysoft.com/education Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is.

Eesysoft analyseert het gebruik van de digitale leer-en werkomgeving door student, docenten en medewerkers. Via real-time rapportages krijgt de gebruiker inzicht in de mate waarin gebruik wordt gemaakt van de beschikbare functionaliteit.

Beoogde gebruikers: Budget holders digitale leer- en werkomgeving, head of learning and teaching, functioneel beheer.

Zo kan EesyAnalytics worden gebruikt: EesyAnalytics wordt veelal gebruikt om inzicht te krijgen in het gebruik van Blackboard, maar kan mogelijk ook voor andere webbased softwareoplossingen binnen de digitale leer- en werkomgeving (DLWO) worden ingezet. Tevens zorgt de module EesyMessaging ervoor dat er op basis van deze analyse zeer gericht gecommuniceerd kan worden met bijvoorbeeld docenten die een specifieke functionaliteit nog niet (optimaal) gebruiken. Doelstelling is adoptie van de DLWO te verhogen.

Welke data worden gebruikt en gegenereerd? Op individueel gebruikersniveau analyseert EesyAnalytics het gebruik van applicaties: welke functionaliteit wordt gebruikt, door wie (bijvoorbeeld docent, student of faculteit), hoe lang, wanneer, et cetera.

Wie is eigenaar van de data? EesyAnalytics wordt als SaaS-oplossing aangeboden. De data zijn eigendom van de klant en worden opgeslagen binnen de SaaS-infrastructuur van EesySoft.

Hoe vrij beschikbaar en transporteerbaar zijn de data? Data zijn beschikbaar via reports als raw data (CSV file).

TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? Circa 23 instellingen hebben het EesySoft building block voor EesyAnalytics geïnstalleerd. Dit zijn in Nederland onder andere: Saxion, TU Delft, Haagse Hogeschool, Hogeschool Leiden, Avans, Radboud Universiteit, Universiteit Leiden, Hanzehogeschool.

INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? EesyAnalytics vereist installatie van het EesySoft Building Block (voor Blackboard) of het toevoegen van de trackingcode (javascript) aan de webbased applicatie. Verder werkt het product als SaaS-oplossing.

11

12


TOEKOMSTIG GEBRUIK In welke mate is het product ‘future proof’? EesyAnalytics is voortgekomen uit feedback van klanten die EesySoft reeds enkele jaren gebruiken voor in-application support. We streven naar 2 upgrades per jaar, plus specifieke kleine wijzigingen op basis van de feedback van onze gebruikers.

Visie op ontwikkeling product / learning analytics: EesySoft benadert learning analytics vanuit een pragmatische invalshoek. Dit in tegenstelling tot de onderzoekende methoden waarbij veelal datamining-technieken worden ingezet. Wij geven inzicht in het gebruik van de DLWO door docenten en studenten. Door deze informatie te vergelijken met studieresultaten kan worden onderzocht of er een causaal verband bestaat tussen deze twee variabelen.


INZICHT IN ZICHT FUNCTIONALITEIT Beoogde gebruikers

Firmanaam: UP learning Contactpersonen: Theo Osse e-mail: [email protected] telefoon: 06-29289540 David Bezemer e-mail: [email protected] telefoon: 06-40224142 Adres: Business & Science Park, Agro Business Park 82, 6708 PW Wageningen Website: www.uplearning.nl Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is.

UP ondersteunt zowel de onderwijsorganisatie als de administratieve organisatie van instellingen in het mbo en hoger onderwijs. Onze diensten zijn gericht op alle betrokkenen bij het leerproces van de student. Of dit nu managementinformatie is om de organisatie te sturen, of informatie om de student direct te begeleiden. Bij alle informatie staat de student centraal. Daarnaast biedt UP leeroplossingen voor de zakelijke markt.

Zo kan de methodiek van UP worden gebruikt UP steekt in op de ondersteunende kant van learning analytics met behulp van bestaande tooling, met eventueel uitbreiding van bestaande systemen. De eerste stap is een gesprek met ‘de gebruiker’ en ‘de klant’ om de informatiebehoefte vast te stellen. Daarna brengt UP de bestaande systemen in kaart en stelt vast welke gegevens nodig zijn om tot de benodigde informatie te komen. Met diverse betrokkenen vindt daarna een sessie plaats. Er wordt in kaart gebracht welke systemen input leveren, of aanpassingen nodig zijn en of er nog een latente informatiebehoefte is. Daarna vindt de uitwerking plaats, waarin er diverse rapportagemogelijkheden zijn zoals bijvoorbeeld dynamische dashboards, heat maps, real-time indicatoren en rapportages op basis van evaluatiedata.

Welke data wordt gebruikt en gegenereerd? UP maakt zo veel mogelijk gebruik van data en tools die al aanwezig zijn binnen de organisatie, of dat nu ons SIS (EduArte of Alluris) of Blackboard of Moodle is. Maar ook systemen die niet door UP zijn geleverd of worden ondersteund kunnen uiteraard meegenomen worden. De inzet van de op de instelling beschikbare businessintelligence-tools heeft onze voorkeur. Of het nu Business Objects, Microsoft Business Intelligence of Cognos is. Van de bestaande data, eventueel aangevuld met externe bronnen, maakt UP met deze tools de informatie die aansluit bij de informatiebehoefte van de gebruiker.

TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? UP biedt sinds 1997 oplossingen op het gebied van didactiek, online leren en SIS. Dit doet UP in de zakelijke markt onder andere bij KLM, Shell, Belastingdienst en Achmea, en binnen het onderwijs bij de Open Universiteit, Universiteit van Amsterdam, Hogeschool Arnhem en Nijmegen en meer dan 30 mbo-instellingen. Daarnaast bestaan er diverse partnerships met partijen die op grotere schaal (learning) analytics inzetten binnen organisaties en onderwijsinstellingen, waarbij UP haar specifieke expertise inbrengt.

INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? Omdat UP voor learning analytics geen softwarepakket van de plank levert, maken wij zo veel mogelijk gebruik van de bestaande infrastructuur en architectuur. Dit is onafhankelijk van de gekozen systemen, of dit nu SaaS in één van de eigen beveiligde

13

14


datacentra of op locatie bij de klant of leverancier is. Door deze platformonafhankelijke werkwijze, onafhankelijk van derden, komt UP samen met de klant tot een solide oplossing binnen bestaande IT-ecosystemen. Om dit mogelijk te maken, gebruikt UP kennis over de vele mogelijkheden om data te benaderen in deze systemen. Met behulp van specifieke methoden voor data-mapping, combineert UP data uit alle onderliggende bronsystemen.

TOEKOMSTIG GEBRUIK In welke mate is de dienstverlening ‘future proof’? UP blijft ook op het gebied van learning analytics werken met een flexibel portfolio producten, diensten en partners. Centrale gedachte daarbij is dat learning analytics gestuurd en geïnitieerd moet worden vanuit een vraag of probleem, en niet vanuit de technologie. Deze visie wordt blijvend ondersteund met marktonderzoeken, publicaties, didactische modellen en advies.

Visie op ontwikkeling product / learning analytics: Meer doen met bestaande data is waar UP voor staat. Met bestaande data (actueel én historisch) kan steeds accurater worden voorspeld. Dit in plaats van enkel achteraf rapporteren en constateren. Door alleen de hiaten in kaart te brengen en daar een oplossing voor te bieden, kan learning analytics in iedere omgeving efficiënt worden ingevoerd. Implementatietrajecten zijn daardoor kort. Door learning analytics worden interventies in toenemende mate op basis van actuele en complete data gepleegd. Hierdoor neemt de kwaliteit van en de grip op interventies toe. Zowel op strategisch als uitvoerend niveau.


Firmanaam: Maastricht University Contactpersonen: Jeroen Donkers E-mail: [email protected] Frank van de Kamp E-mail: [email protected] Adres: Dep. EDUC, FHML. Postbus 616, 6200 MD Maastricht Website: www.ivtg.nl Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is.

PROF – PROGRESS TEST FEEDBACK FUNCTIONALITEIT Beoogde gebruikers: Management, middelmanagement, beleidsmedewerkers, studieloopbaanbegeleiders en studieadviseurs, docenten, studenten.

Zo kan ProF worden gebruikt: The ProF-system (Progress test Feedback) is intended to provide online longitudinal feedback on progress test results to students and staff. Although the ProFsystem was originally developed specifically for the progress test in medicine, it has been generalized to deal with general progress tests. A progress test, in this respect, is a test that is taken at regular intervals during a student’s trajectory (e.g. twice or four times a year) and is exactly the same for all levels of students. The test is taken at the level of graduation which means that starting students score lower than students at the end of their study. The standards for each student are based on the score distribution within the student’s peer group. The scores for the progress test may be differentiated in several types of subscores, e.g. on disciplines or knowledge categories. This type of test allows for a true measurement of progress. By comparing their own results with those of their peers (aggregated), students can analyze their strong and weak points in their own development. Moreover, educators can study the behavior of their student population. The progress test can be administered by multiple institutions simultaneously, as is for example the progress test in medicine. In this case, the progress test also acts as a benchmark between institutions. For more background on progress testing we refer to www.ivtg.nl. Students can browse through their progress test data using an intuitive dashboard that allows the selection of parameters along a series of dimensional axes, such as: total score, or detailed score, raw data or cumulative, type of score and the peergroup data which should be presented as background. The data can be presented in a longitudinal or momentaneous view. The dashboard allows the student to switch easily between all parameters. This gives the students much freedom to explore their results and make their own analysis. Staff members can see data on the level of peer groups and may or may not, depending on their permissions, see results of individual students. The ProF application is enhanced with a web-analytics tool (Piwik) that makes it possible to trace the use of the system by students and staff members. Please contact us if you wonder whether test outcome data of you institute or consortium might be suitable for being displayed by ProF.

Welke data wordt gebruikt en gegenereerd? The ProF system takes the outcome data of a series of progress tests (which should be provided by the client in a required format) and pre-computes longitudinal views, cumulative scores and group aggregates for all students. Next to this, the webanalytics tool Piwik is used to generate ProF usage data.

15

16


Wie is eigenaar van de data? Client organisations have access to the data and remain the owner of the data.

Hoe vrij beschikbaar en transporteerbaar is de data? Consortia can extract data by the client as needed. Piwik website usage reports can be downloaded by the client in several formats.

TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? ProF is currently in use in three different settings: A) Medicine (Maastricht University / MUMC, Radboud universiteit Nijmegen / UMCN, Universiteit Groningen / UMCG, Leiden University / LUMC, Vrije Universiteit Amsterdam / This configuration involves about 12.000 users. B) G eneral practitioners (Huisartsopleiding Nederland (UMCN, LUMC, UMCG, AMC, UMCU, MUMC, UM, Erasmus MC, VUmc) This configuration involves about 1.900 users. C) Psychology at Maastricht University This configuration involves about 950 users. The ProF system was first evaluated on its usability during a pilot study at Groningen University. The reactions of students were very promising. Since 2009 the system is continuously in use within the 5 partners of the iVTG. In 2012, an investigation of the usage of ProF was performed in the SURF Learning Analytics Innovation project. The usage varied greatly among groups of students. We concluded that it is important to incorporate the use of ProF in the curriculum, and to advocate the use of ProF by tutors and study advisors. A follow-up study in 2013 showed an increased usage and, more importantly, signs for a positive longitudinal effect on test outcomes.

INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? The system consists of three parts: (I) an import/computation module, (II) a central data warehouse and (III) the user interface – including Piwik web analytics. The import/computation module is developed in Perl and Project R and uses a local MySQL database for its computations. The data warehouse is implemented as a MySQL database. The user interface is developed in PHP. ProF does not support the Tin Can API, but for institutions that are member of SURF it allows federated login through SURF Conext. For other users, individual passwords can be used to login into the system. Each consortium of institutes that run a progress test together will have their own private data warehouse and version of computation module. We call this a “configuration”. All configurations share the same user interface. The ProF system is offered as SAAS. The application is hosted by an external provider (Pine Digital Security BV).

TOEKOMSTIG GEBRUIK In welke mate is het product ‘future proof’? Since its first version in 2009, ProF has been extended continuously. The first additional functionality was connection to SURF Federation (now SURFconext). In 2011 the system was made configurable so that multiple consortia can use ProF, each having their own data warehouse and import/computation module version. In 2012 a connection was introduced with the web-analytics tool Piwik.


The development and maintenance of the system is done at Maastricht University. Next to regular maintenance, the introduction of ProF to new consortia always leads to requests for new functionality. Since everyone shares the same user interface, we will coordinate these requests and try to find solutions that fit all consortia. Substantial changes will have to be negotiated and will request additional funding.

Visie op ontwikkeling product / learning analytics We envision several extensions to ProF in the coming years. The navigational structure will be improved to motivate students even more to stroll through their data. We will try to improve the prognosis model, based on advanced data analysis methods. The system will become more adaptable to the specific needs of consortia. More languages (next to Dutch and English) will eventually become available.

17

18


SCORION FUNCTIONALITEIT Firmanaam: Parantion Contactpersonen: Roel Smabers & Robert Smeenk Telefoon: 0570-622939 Adres: Munsterstraat 9 7418 EV Deventer, Postbus 2109 7420 AC Deventer Website: www.parantion.nl Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is.

Beoogde gebruikers: Studenten, docenten, begeleiders en opleiding.

Zo kan Scorion worden gebruikt: Het doel van Scorion is om talentontwikkeling te ondersteunen door het leerproces en leerresultaat inzichtelijk te maken voor de student, de docent, begeleiders en de opleiding. Doordat alle resultaten vastgelegd worden via vragenlijsten en documenten en een grote verscheidenheid aan toetsen feedbackmethoden kunnen worden toegepast, kunnen de data goed worden vergeleken. De open standaarden zorgen voor brede analysemogelijkheden. De grafische weergaven en het gebruik van de Scorion App geeft real-time inzicht in resultaat.

Welke data wordt gebruikt en gegenereerd? Data worden verzameld op het niveau van de student, de docent, maar ook over de volle breedte van de opleiding. Het persoonlijke dashboard en filtering zorgen voor analytics op maat.

Wie is eigenaar van de data? De data zijn eigendom van de licentiehouder. Meestal is dat de opleidingsinstantie, maar data kunnen ook van de student zijn wanneer een opleiding dit zou willen.

Hoe vrij beschikbaar en transporteerbaar is de data? De data kunnen in allerlei soorten formaten worden geëxporteerd of gekoppeld. Bijvoorbeeld: Excel, SPSS, CSV, XML, PDF en Word.

TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? Scorion wordt onder meer gebruikt door SURF, TUDelft, UMCG, UvA, RuG, Avans, Erasmus Medisch Centrum, Academisch Ziekenhuis Maastricht, UMC st Radboud, Hogeschool Leiden, Hogeschool Utrecht, Hogeschool de Kempel Saxion, Fontys, INHOLLAND en de Politieacademie. Fontys heeft onderzoek gedaan naar het gebruik van Scorion. Verder doen bijna alle instituten gebruikersonderzoek naar al hun applicaties. Informatie kan desgewenst bij desbetreffende instanties en Parantion worden ingewonnen.

INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? Scorion is een volledige private cloudoplossing die draait vanaf twee datacenters op Nederlandse bodem. Configuratie en dataopslag zijn volledig redundant uitgevoerd. Scorion ondersteunt SURFconext.


TOEKOMSTIG GEBRUIK In welke mate is het product ‘future proof’? Enkele van de nieuwe functionaliteiten die in 2013 ontwikkeld zijn; - Integratie met GoogleMaps. Hiermee kunnen geografische posities worden gekoppeld. Een mooi voorbeeld hiervan is: www.oursaxionworld.com. - De hybride app, die klantspecifiek configureerbaar is, inclusief een persoonlijk dashboard, werkt op alle platforms en devices. Gebruikmakend van PhoneGap, Sencha en HTML5. - JIT (Just in time) surveying met de app door koppeling met bestaande systemen. Bijvoorbeeld lesevaluatie met app, op basis van lestijden, afkomstig uit roostersystemen. Er wordt gewerkt in ontwikkelsprints van circa 4 weken, en er wordt 12 keer per jaar geüpdatet. Dit gebeurt zonder dat gebruikers dat merken, en dus zonder downtime. Nieuwe functionaliteit is nagenoeg altijd instelbaar, zodat de gebruiker de keuze heeft om deze ‘aan of uit te zetten’. Verwachte ontwikkelingen voor 2014: - Een ‘tailormade’ dashboard voor gebruikers. Met behulp van XML en HTML zijn dashboards geheel aan te passen. Hiermee kunnen klanten hun eigen dashboard inrichten. - Doorontwikkeling van de datamanager: Flexibele filtering, gebruikers kunnen zelf filters instellen. Hierdoor is het mogelijk om eigen datasets te creëren. - Delen van specifieke (gedeeltes van) datasets en delen van het dashboard. Met behulp van de ‘analistenlink’ kunnen gebruikers bepaalde data in laten zien door collega’s. - Koppelingen met Blackboard en Turnitin. - Functionaliteit voor het inleveren van opdrachten.

19

20


SOWISO FUNCTIONALITEIT Firmanaam: SOWISO bv Contactpersoon: Marc Habbema E-mail: [email protected] Telefoon: 06-46112535 / 020-7520000 Adres: Science Park 400, 1098 XH Amsterdam Website: www.sowiso.com Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is.

Beoogde gebruikers: NOTE: The focus of our e-learning platform is the exact sciences. We can identify multiple end users of our product, and our platform ensures that they all benefit from its features. • Students. The students that follow the courses on our platform benefit from the advanced interactivity in their learning experience. They get instant feedback exactly where and when they need it. They receive more than binary wrong/correct feedback. Because of the effective feedback and hints, our application is more of a learning-system than just a testing-system. • Teachers. For the teachers our platform eases their workload by taking over some of their repetitive tasks and by providing targeted attention to the students at all times. Moreover, because of the extensive progress reports, the teacher can identify problematic subjects/skills and students. The interactive learning content can be exported to multiple formats and channels. • Authors. Because of the user-friendly authoring tool, the authors (often these are the teachers) have a tool to create rich interactive e-learning without them needing to code. The authoring tool accepts multiple input-languages, such as TeX, but also has a what-you-see-is-what-you-get type input editor. • Educational institutions. Our platform is modestly priced, so institutions can benefit in a financial way as well. The increase in productivity and learning results more than enough compensate for the costs incurred. We adhere to a very transparent pricing structure with campus-wide licenses. We also offer a comprehensive first year university calculus-course based on the platform. The platform is scalable and can be used by multiple departments within an institution at the same time. The platform also has community-features, so that co-creation and co-learning is stimulated. It’s even possible to have cooperation in content creation between different institutions.

Zo kan SOWISO worden gebruikt: The SOWISO e-learning platform is a turn-key state-of-the-art e-learning solution for the exact sciences in higher education. It enables institutions to create, manage and publish the next generation e-learning. Progress reports / learning analytics is just one feature of this platform. A list of some of the features of this platform is provided here: • Learning management system with student/teacher/author/admin profiles and functions. The platform acts as an LMS/CMS in which courses can be presented for students. • Interactive e-learning with intelligent communication between user and software. Interpretation of open answers and targeted feedback and hints. The software is not only able to see that a mistake is made, but also what that mistake is. Apart from exercises, the e-learning also includes theory-pages. • Randomization. The exercises are composed with random parameters: students can practice a particular problem/skill as intensive as they want. • Progress reports for students and teachers at any desired level of detail. Very suited for learning analytics and predictive learning. • Authoring tool for teachers/authors so they can create interactive content without programming knowledge. This holds for exercises, theory and tests. • Tests can be composed and taken by teachers. These can be entrance or exit-level (diagnosing) tests. Less formal (self-)tests are also possible.


•T ags and metadata make sure the platform can be applied in a diagnosing and remedial way by the use of learning-taxonomy. •C ommunity features enable students, teachers and authors to co-create and colearn • Cross-browser, cross-device HTML5 future-proof technology, accessible through PC or tablet the like. No use of flash or java-applets that require local installation of software. • Cloud-based. The platform is cloud-based: the client/student only needs a device with a browser to access the platform. The platform can be installed on a local server if the institution desires so. •A ll mathematical subjects are covered by our platform, ranging from arithmetic to advanced calculus. • 1 4 exercise types Our platform currently provides templates for a lot of exercise types, like open exercises or more graphical exercises. Many more types are constantly being developed. •M ulti-channel publishing The interactive content can be exported to different formats (pdf, LaTeX, MS Word, ePub) with the click of one button. In general, all these features enable institutions to create future-proof technology enhanced learning that fit the needs of their students. A demo-website is available at: http://demo.sowiso.nl

Welke data wordt gebruikt en gegenereerd? The data generated for the progress reports is actually an incredible amount: Userid, school, class, chapter, subject, question, correct/wrong answer, hints/solutions asked, types of errors made, date, time, day. But apart from this also the random parameters that were generated for that particular exercise are stored, so that students and teachers can use a replay-functionality so that one can see the exact same context in which the particular answers were given. Finally, also meta-data tags that describe skills or categories of mistakes are stored. This all means that the progress-reports can be based on many types of stored data. A teacher can for example run reports on the types/categories of mistakes that his or her students have made in a particular course. The teacher can adapt to this in coming meetings. The ‘cockpit, that teachers or students have in the reporting-tool is easily customizable. Because the platform is capable of dealing with open answers and providing targeted feedback, a whole lot of specific detailed user data is stored. The data, and thus the Learning Analytics that can be performed with it, is a direct result of the learning process of the student.

Wie is eigenaar van de data? The data is stored in a database. Concerning intellectual property, there is a clear distinction. All content that is created by the client on the platform, and the user-data that is generated by its use of the platform, is owned by the client on that particular platform. SOWISO remains the legal owner of the platform.

Hoe vrij beschikbaar en transporteerbaar is de data? The data is flexible and open, because it can be exported in any format, like xml, json, csv, excel or ods. It’s also possible to import existing digital material. Theory in the form of text, pictures or movies can be incorporated. Also exercises (preferably with XML-type structure) can be imported.

21

22


TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? The SOWISO e-learning platform is relatively new, but already being used at around a dozen universities, colleges and publishers. Some of them are: The University of Amsterdam, Leiden University, Amsterdam University of Applied Sciences, Eindhoven University of Technology and many more. We are in the process of expanding to for example Scandinavia and Sout-East Asia. All our projects have been delivered on-time, on budget. The company providing the e-learning platform is a spin-off from the Technical University of Eindhoven, at which the underlying technology was developed and tested many times. For a use-case of our platform, we can refer to a university of applied sciences. A course was developed to complement the existing class-room education. Over 14.000 exercises were made by around 40 students. After the exam was made, this was one of the results: Number of exercises made

0

30

50

100

150

300

600

Average grade

5,79

5,88

5,91

5,90

6,12

6,91

8,00

% of students passing

61%

63%

65%

67%

71%

82%

100%

39

31

27

25

19

12

4

Number of students

INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? The platform is partly based on many years of scientific research at the Technical University of Eindhoven. When it comes to the exact sciences, it is the most advanced solution out there. The platform is also very flexible and open in architecture so we can deal with future developments/trends/standards in the e-learning world. We can call on different (mathematical, graphical, social, analytical, etcetera) programs as services. The open architecture ensures us that we can do this in the future as well. The technology we use is HTML5-proof and works on all types of devices and browsers. We support SURF Conext and Kennisnet Entree. We will also support the Tin Can API and the LTi standard.

TOEKOMSTIG GEBRUIK In welke mate is het product ‘future proof’? As an innovative company with strong co-operation with many players in the educational market, we are constantly up-to-date with current demands and desires for future developments. Personal attention is a proven concept in education. Our platform provides this attention on two levels. First, because of the intelligent feedback that is provided to the student. Second, because of the extensive progress reports, the teacher can adapt his or her teaching towards the students’ needs. Apart from this, we believe in a class-room future in which testing is not a precondition for establishing a student’s level of knowledge. An intelligent system which constantly monitors progress on all types of dimensions, and which can present the student in an adaptive way with the most suited content, is able to define at which point the student has reached the desired end-level. Concerning updates, we work with major and minor releases that are periodically released. All upgrades are backward compatible, so that developed content will always be supported.


STUDENT ACTIVITY METER (SAM) FUNCTIONALITEIT Firmanaam: KU Leuven

Beoogde gebruikers:

Contactpersoon: Sten Govaerts E-mail: [email protected]

Zo kan de Student Activity Meter worden gebruikt:

Website: http://www.role-widgetstore.eu/ tool/student-activity-meter Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is.

Students and teachers

The Student Activity Meter visualizes time spent and resource use of students to enable awareness for students and teachers and to support self-reflection for students. One of the three available visualizations shows the time spent of all students over the period of the course, enabling students and teachers to see when students are active and what they are doing. For example, teachers can detect dropouts early with this visualisation or students can see whether they spend the expected amount of time. The Parallel Coordinates visualisation provides more details on resource use, time spent and other metrics depending on the course. For instance, in a computer-programming course teachers can get a better understanding on the use of programming tools and taught concepts if tool use is tracked. A third visualization displays the distribution of various metrics tracked in the course. A student’s personal information is highlighted in all visualisations and can be compared against minimum, maximum and averages, when she (the student) is authenticated.

Welke data wordt gebruikt en gegenereerd? The Student Activity Meter (SAM) uses tracking data from various platforms. For better performance, the Student Activity Meter uses a preprocessing step that collects the data and calculates metrics. This preprocessing step transforms basic log records (e.g. timestamp, user info, action, resource, etc.) into a higher level format compatible with SAM (see https://github.com/ROLE/ROLE/wiki/Widgetstudent-activity-meter-preprocessing-scripts for more info). We have provided scripts for various data sources, e.g. Contextualised Attention Metadata (CAM) and Moodle (http://www.moodle.org). The Student Activity Meter easily allows the use of custom metrics as the visualizations will dynamically update based on the data provided. The preprocessing scripts are open source and freely available.

Wie is eigenaar van de data? The data used by the preprocessing scripts is owned by the owner of the tracked data. The owner has full control over the data and can decide where he applies SAM.

Hoe vrij beschikbaar en transporteerbaar is de data? SAM uses a simple JSON format (see https://github.com/ROLE/ROLE/wiki/Widgetstudent-activity-meter-preprocessing-scripts). The JSON data is structured per course and can be used by any installation of SAM.

23

24


TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? SAM has been evaluated in 4 real-world settings: (1) a computer science course at KULeuven, (2) an agroforestry course at CGIAR (http://www.cgiar.org), (3) a MOOC on learning analytics and (4) a computer science course at the Carlos III University of Madrid. The main results were that SAM was perceived as useful by teachers and students. From these evaluations we have also discovered that the SAM can be used in many different situations beyond what the original developers would have foreseen. SAM was also integrated by SURF in an internal project.

INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? SAM consists of an Adobe Flash application that reads a set of preprocessed data files to enable faster performance and scalability. Scripts to generate these files exist for a few platforms, e.g. Moodle. The Flash application of SAM is installed by copying a directory to a web server.

TOEKOMSTIG GEBRUIK In welke mate is het product ‘future proof’? The source code of SAM is open source and free. Thus developers can extend SAM if needed. Furthermore, SAM can be customised without any implementation by adding new metrics to the data files, which will be automatically shown in the visualisations.


STUDENT ANALYTICS SERVICE Firmanaam: Deloitte Consulting Contactpersoon: Theo Bakker E-mail: [email protected] Telefoon: 06-10999307 Adres: Laan van Kronenburg 2 1183 AS Amstelveen Website: www.deloitte.nl Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is.

FUNCTIONALITEIT De Student Analytics Service van Deloitte biedt onderwijsinstellingen de basis om studenten optimaal en op maat te begeleiden. Op basis van een combinatie van gegevens uit uw bestaande informatiesystemen, verrijkt met externe bronnen, segmenteren we studentgroepen en opleidingen naar uitval, studieduur en excellentie. Vervolgens bepalen we hoe u bestaande maatregelen voor studiesucces veel gerichter kunt inzetten. Hiermee bereikt u een efficiënte inzet van middelen en een beter studierendement.

Beoogde gebruikers: Management, middelmanagement, beleidsmedewerkers, tutoren, studieloopbaanbegeleiders en studieadviseurs

Zo kan de Student Analytics Service worden gebruikt: Met deze service heeft de Faculteit der Geesteswetenschappen (UvA) historische studentgegevens geanalyseerd uit 7 bronsystemen. Op basis hiervan zijn 12 segmenten gevonden binnen de gehele populatie en is een voorspellend algoritme voor uitval ontdekt. Parallel aan het project zijn gesprekken met medewerkers gevoerd om de werkpraktijk en houding ten aanzien van rendementsbevorderende maatregelen beter te begrijpen. De uitkomsten worden gebruikt om bestaande studiesuccesmaatregelen beter toe te snijden op de behoeften binnen de faculteit van zowel studenten als medewerkers. Een segmentatie en basis voor gerichte studiesuccesmaatregelen kan er als volgt uitzien:

Figuur 1 Studentanalytics?

25

26


Welke data wordt gebruikt en gegenereerd? Voor de analyse en segmentatie maakt de Student Analytics Service gebruik van gegevens uit de gehele studieloopbaan van de student die we verrijken met externe data: CRM-gegevens over voorlichting, Studielink, SIS-inschrijf/SIS-Volg, roostergegevens, HR-gegevens, DLWO et cetera, aangevuld met gegevens van DUO en CBS.

Wie is eigenaar van de data? De aanleverende instelling is eigenaar van de data (DUO- en CBS-gegevens zijn eigendom van het ministerie van OC&W en het CBS). De data worden opgeslagen op de servers van Deloitte voor uitvoering van de opdracht en als back-up bewaard om de uitkomsten van onderzoek en analyses te kunnen rechtvaardigen als hier op een later tijdstip vraag naar is.

Hoe vrij beschikbaar en transporteerbaar is de data? De data komen uit bestaande systemen: beschikbaarheid is verbonden met de datapolicy van deze systemen. De onderwijsinstelling ontvangt een algoritme en formule om de segmentatie zelfstandig te kunnen herhalen. Informatie wordt niet gedeeld tenzij hierover toestemming is van de onderwijsinstelling zelf.

TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? De Student Analytics Service is ingezet op de Faculteit der Geesteswetenschappen (UvA). Verdere referenties zijn op aanvraag beschikbaar bij Deloitte (zie contactdata).

INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? De Student Analytics Service is geen softwarepakket, maar een consultancydienst voor student analytics. Data moeten goed met elkaar te verbinden zijn. De meest gangbare bestandsformaten (ODBC database, Excel, CSV, et cetera) kunnen ingelezen worden. Analyses van gegevens en rapportages zijn op te schalen naar elke gewenste omvang.

TOEKOMSTIG GEBRUIK In welke mate is het product ‘future proof’? Als leverancier van kennis is Deloitte gericht op voortdurende innovatie van haar dienstverlening. Data analytics is één van de speerpunten in alle vormen van onze dienstverlening. Op basis van analyses van trends in het hoger onderwijs (en andere industrieën) passen wij in nauw contact met onze Member Firms in het buitenland onze dienstverlening en proposities voortdurend aan.

Visie op ontwikkeling product / learning analytics: De ontwikkeling van student analytics zal ertoe leiden dat de norm voor begeleiding van studenten in het hoger onderwijs wezenlijk zal gaan veranderen. Het nieuwe leenstelsel zal studenten kritischer maken over de studiebegeleiding die onderwijsinstellingen bieden. De snelheid waarmee studenten feedback krijgen en de breedte aan adviezen voor een beter studiesucces zullen sterk toenemen. Meer en meer zullen verschillende datasets met elkaar gecombineerd worden. Het eigenaarschap en de portabiliteit van data zal sterker bij de student komen te liggen evenals de toestemming of het verzoek om data ten gunste van zijn/haar succes te gebruiken. Voor een gericht beleid hiervoor bieden wij een Privacy Adviesdesk Service.


27

Universiteiten Erasmus Universiteit Rotterdam Open Universiteit

•

Radboud Universiteit Nijmegen Rijksuniversiteit Groningen Technische Universiteit Delft Technische Universiteit Eindhoven Tilburg University Universiteit Leiden Universiteit Maastricht Universiteit Twente Universiteit Utrecht Universiteit van Amsterdam Vrije Universiteit Amsterdam Wageningen University

Hogescholen Amsterdamse Hogeschool voor de Kunsten ArtEZ hogeschool voor de kunsten Avans Hogeschool Christelijke Agrarische Hogeschool Aeres Christelijke Hogeschool Ede Windesheim Driestar Hogeschool Fontys Hogescholen Gereformeerde Hogeschool De Haagse Hogeschool Hanzehogeschool Groningen HAS Den Bosch Hogeschool iPabo Hogeschool van Arnhem en Nijmegen Hogeschool Inholland Hogeschool Leiden Hogeschool Rotterdam Hogeschool Utrecht Hogeschool van Amsterdam

•

Student Analytics

SOWISO

Scorion

SAM

ProF

Inzicht in zicht

EesyAnalytics

Business Intelligence Development Framework

Instellingen die deelnemen in SURF

Blackboard Analytics

OVERZICHT TOOLGEBRUIKERS

Koninklijke Academie van Beeldende Kunsten Hogeschool voor de Kunsten Utrecht Hogeschool Zeeland Hotelschool Den Haag Iselinge Hogeschool NHTV internationaal hoger onderwijs Breda NHL Hogeschool Hogeschool de Kempel Marnix Academie Saxion Stenden Hogeschool Design Academy Eindhoven Hogeschool Van Hall Larenstein Zuyd Hogeschool

Overige Academisch Medisch Centrum Amsterdam Academisch Ziekenhuis Maastricht Erasmus MC Koninklijke Bibliotheek Koninklijke Nederlandse Academie van Wetenschappen Leids Universitair Medisch Centrum Nederlandse Organisatie voor Toegepaste Natuurwetenschappelijk Onderzoek Nederlandse Organisatie voor Wetenschappelijk Onderzoek Politieacademie RIVM UMC St Radboud Nijmegen Universitair Medisch Centrum Utrecht Universitair Medisch Centrum Groningen Universiteit voor Humanistiek VU Medisch Centrum Maken gebruik van deze learning analytics tools Instellingen die gebruik maken van dit consultancybureau

Student Analytics

SOWISO

Scorion

SAM

ProF

Inzicht in zicht

EesyAnalytics

Instellingen die deelnemen in SURF

Business Intelligence Development Framework


Blackboard Analytics

28


29

OVERZICHT SOFTWARE IN SURFEXPERIMENTEN LEARNING ANALYTICS Software die gebruikt is in door SURF ondersteunde learning analytics experimenten, klik op de projectnaam voor meer informatie over het project

Stimuleringsregeling Learning Analytics 2013 Learning Analytics, formatieve toetsing & leerdisposities

Instelling

Software

Blackboard, MyMathLab, Maastricht University

MyStatLab, Collector, SPSS, Excel Khan Academie, SOWISO,

COACH

Universiteit van Amsterdam

IMAGE ME

UMC Utrecht

VQuest

Technische Universiteit

SAM (Student Activity Meter),

Eindhoven

Step up!

Hogeschool van Arnhem en

QMP (Question Mark

Nijmegen

Perception), ESCTA

Saxion

Blackboard, Scorion

LADA

Leren van data

Student aan het stuur Studiesucces voorspellen met Blackboard Learn Studiesucces voorspellen met statische en dynamische data Blackboard Mining

Hanzehogeschool Groningen

Universiteit Utrecht Universiteit Leiden

Learning Analytics voor vraaggestuurde didactiek

Hogeschool Utrecht

en begeleiding

Learning Record Store

Blackboard, EesyAnalytics, ProgRESS OSIRIS, Studion (Blackboard), ‘FSW UU tool’ (SPSS, Excel) Blackboard, Cortana, R Blackboard, OSIRIS, SPSS, Excel

Innovatieregeling Learning Analytics 2012 Curriculum Mining

MAIS (Meten, Analyseren, Informeren, Sturen)

Technische Universiteit Eindhoven

TU Delft

CurriM, ProM

Blackboard (Early Warning System) CELEX (lexicale database),

Pinpoint

Universiteit Twente

Schooltas (ThiemeMeulenhoff) ProF, Piwik, KMINE,

ProF Analytics

Ontwikkelde software in dit project

Maastricht University

RapidMiner, Fuzzy Mining, PROM6.1

User needs van docent en student


bij inzet van learning analytics

Vrije Universiteit Amsterdam

UVAnalytics


Vak voor Vak

Universiteit Leiden

Fronter, CAM, SAM, Google Charts, Javascript, Blackboard, Piwik PHP, MySQL, Evasys, VvV-applicatie, uSis

COACH VQuest visualisatiemodule

30


COLOFON De brochure ‘Tools en diensten voor learning analytics’ is een uitgave van SURF. Eindredactie Judith Evertse – Rosetta Lingua Tekst en Research Ontwerp en opmaak Vrije Stijl Utrecht Datum april 2014 Copyright De brochure ‘Tools en diensten voor learning analytics’ is beschikbaar onder de licentie Creative Commons Naamsvermelding 3.0 Nederland (www.creativecommons.org/licenses/by/3.0/nl).

SURF Graadt van Roggenweg 340 Postbus 2290 3500 GG Utrecht T +31 (0)30 234 66 00 F +31 (0)30 233 29 60 [email protected] www.surf.nl

2014

beschikbaar onder de licentie Creative Commons Naamsvermelding 3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl

TITEL TOOLS EN DIENSTEN VOOR LEARNING ANALYTICS

Recommend Documents