e)

Deliverable M13 Eindrapport

TELMME (SURF (Tender 2008))

Deliverable: M13 Eindrapport TELMME versie: 1.0 september 2011

Schrijvers: Arjeh Cohen (TU/e), Hans Cuypers, Rik Kaasschieter (TU/e)

Korte beschrijving: Buitenlandse studenten en HBO-ers die starten met een masteropleiding aan een Nederlandse technische universiteit hebben grote verschillen in kennisachtergrond. Met name de verschillen in wiskundekennis zijn groot. Wiskunde is in de technische opleidingen vaak een sleutelvak. Om uitval en studievertraging te voorkomen, kunnen aankomende studenten met behulp van digitaal toets- en oefenmateriaal hun wiskundekennis meten en bijspijkeren. In het systeem geregistreerde studenten worden begeleid door een docent. De leerstof is in het Engels beschikbaar, en de vorderingen van studenten zijn door de student zelf en door zijn docent te volgen. Op deze manier kunnen studenten beter voorbereid starten met hun opleiding. Deelnemende instellingen: Technische Universiteit Eindhoven, Technische Universiteit Delft, Universiteit Twente Projectleider: A.M. Cohen Begindatum: dinsdag 1 september 2009 Einddatum: donderdag 1 september 2011 c

TELMME Consortium 2009

Page 1 of 22



Project ref.no.

SURF/NAP project TELMME (Tender 2008)

Project titel

TELMME— Technology-Enhanced Learning of Mathematics for Masters Education

Deliverable status

rapport voor Mid Term Review

Contractuele ringsdatum

afleve- Projectmaand 25 - september 2011

Afleveringsdatum laat- september 2011 ste versie Deliverable titel

Eindrapport

Type

Document

Versie

1.0

Aantal pagina’s

22

WP dat aan de deliverable bijdroeg

1

WP/verantwoordelijke

Arjeh M. Cohen

Auteurs

Arjeh Cohen (TU/e), Hans Cuypers, Rik Kaasschieter (TU/e)

SURF project officer

Annette Peet

c


Page 2 of 22



Inhoudsopgave 1 Inleiding

3

2 De klankbordgroep

4

3 Het projectteam

5

4 De aanpak 4.1 Werkpakket 1: Management . . . . . . . . . . 4.1.1 Doel . . . . . . . . . . . . . . . . . . . 4.1.2 Activiteiten en resultaten . . . . . . . 4.2 Werkpakket 2: Techniek . . . . . . . . . . . . 4.2.1 Doel . . . . . . . . . . . . . . . . . . . 4.2.2 Activiteiten en resultaten . . . . . . . 4.3 Werkpakketten 3-4-5: Content . . . . . . . . . 4.3.1 Doel . . . . . . . . . . . . . . . . . . . 4.3.2 Activiteiten en resultaten . . . . . . . 4.4 Werkpakket 6: Testen . . . . . . . . . . . . . 4.4.1 Doel . . . . . . . . . . . . . . . . . . . 4.4.2 Activiteiten en resultaten . . . . . . . 4.5 Werkpakket 7: Disseminatie en duurzaamheid 4.5.1 Doel . . . . . . . . . . . . . . . . . . . 4.5.2 Activiteiten en resultaten . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

8 10 10 10 11 11 12 13 13 13 14 14 14 16 16 16

5 Conclusies

18

6 Veranderingen in het project ten opzichte van de planning 6.1 Vermenging fasen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 130 uur van Twente’s bijdrage aan Tests WP6 naar Statistiek WP5 . . . . 6.3 100 uur van Eindhoven’s bijdrage aan Lineaire Algebra WP3 naar Techniek WP2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4 Twente intern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.5 300 uur van Delft naar Eindhoven . . . . . . . . . . . . . . . . . . . . . . .

19 19 19

7 Financi¨ en

20

c


19 19 20

Page 3 of 22


1


Inleiding

Dit document behelst het eindrapport van TELMME en is bedoeld als input voor de Final Review, die gepland staat voor 14 oktober 2011. Het project is redelijk volgens plan verlopen. Er zijn grote vorderingen gemaakt met de ontwikkeling van de techniek en de inhoud. Een uitgebreide en uiteenlopende serie tests laat zien dat TELMME helpt de instroom vanuit het HBO sneller de vereiste wiskundevaardigheden aan te leren. De gelegenheid tot het nauwkeurig meten van effecten was echter beperkter dan verwacht. De ervaringen in TELMME en de belendende projecten Wortel TU/e en Experience Mathness leiden ertoe dat de drie partners binnen 3TU.AMI doorgaan met samenwerking in de didactiek van elektronisch verrijkt onderwijs, en dat de MathDox technieken naar alle waarschijnlijkheid worden ingezet in het reguliere Bachelor onderwijs aan de TU/e vanaf 1 september 2012. In het eerste jaar heeft een verschuiving van uren (van Twente naar Eindhoven) plaatsgevonden in verband met ziekte van een medewerker. In het tweede jaar heeft een verschuiving van uren (van Delft naar Eindhoven) plaatsgevonden in verband met een grote behoefte aan meer uren voor WP2 (Techniek). Verder vonden er vier relatief kleine verschuivingen van één deelproject naar een ander (elk jaar twee), die echter geen verandering van locatie met zich meebrengen. Alle deliverables zijn klaar en te vinden op de website www.telmme.tue.nl. De indeling van deze rapportage volgt grotendeels die van het controlling document. Eerst, in §2, worden de activiteiten van de klankbordgroep besproken. Vervolgens, in §3, de structuur van het projectteam met de aan het project gewerkte uren en in §4 de aanpak met de voornaamste resultaten. In §5 bespreken we de voornaamste conclusies die we aan het eind van het project uit onze resultaten en de opgedane ervaringen trekken. De veranderingen in gerealiseerde uurbestedingen ten opzichte van het controlling document staan aangegeven in §6. Dit eindrapport wordt afgesloten met §7 waarin de financiële verantwoording te vinden is.

2

De klankbordgroep

De klankbordgroep bestond deels uit gebruikers van de te ontwikkelen producten en deels uit experts in de technologie en didactiek van andere (de algemene) universiteiten. In de eerste categorie zijn de volgende personen toegetreden. • Dr.ir. S.P.G. Moonen, opleidingsdirecteur Bouwkunde, TU/e • Ir. P.F.A.M. Janssens, opleidingsdirecteur Scheikundige Technologie, TU/e • Dr. J.F.M. Tonino, opleidingsdirecteur Informatica, TUD • Ir. M. Rijkeboer, bacheloronderwijscoördinator opleiding Werktuigbouwkunde, UT

c


Page 4 of 22



Vanwege drukke werkzaamheden en de geringe betrokkenheid van de Informatica-opleidingen in Delft bij het project, heeft Tonino zich in de zomer van 2010 teruggetrokken met de uitdrukkelijke melding dat hij het project nog steeds zeer zinvol acht en een warm hart toedraagt. De tweede categorie bestaat uit de volgende personen. • Prof. dr. P. De Bra, Technische Universiteit Eindhoven • Dr. L. van Gastel, Amstel Instituut, Universiteit van Amsterdam • Prof. dr. J. Jeuring, Universiteit Utrecht • C. de Joode, Haagse Hogeschool, locatie Rijswijk • A.P.W. Vissers, Fontys Hogeschool ICT Eerstgenoemde is een expert op het gebied van adaptiviteit voor documenten en websites. De volgende twee personen hebben ervaring met andere projecten op gebied van interactieve wiskunde (bijvoorbeeld Intelligent Feedback en NKBW). De laatstgenoemde personen kennen de zij-instromers vanuit het HBO aan de bron. Taak van de klankbordgroep. In het totaal is gepland dat de klankbordgroep vijf maal bij elkaar komt. Dit zijn uiteindelijk vier bijeenkomsten geworden: 1. bij de kick-off op 23 september 2009, 2. in een bijeenkomst op 5 februari 2010 in TU/e waarbij bijna alle deelprojectleiders aanwezig waren, 3. aan het einde van de workshop op 8 september 2010 op de Domstad Hogeschool te Utrecht. 4. op de avond van de eerste dag van de ELAM conferentie op 6 juni 2011 in Eindhoven. De groep adviseerde het projectmanagement over de wiskundig-inhoudelijke en de didactische aspecten van het project. Zij wees op mogelijkheden voor samenwerking en voor disseminatie. De klankbordgroep heeft er op aangedrongen dat met een svn-server gewerkt werd ter voorbereiding van deliverables. Deze aanbeveling is uitgevoerd. Ook heeft de groep geholpen bij de totstandkoming van het implementatieplan, deliverable M12.

3

Het projectteam

In het controlling document werden per deelproject de naam van de voorziene leider en de namen van kandidaat-projectmedewerkers genoemd. Op het moment van indienen had elk van de betrokkenen ingestemd met hun beoogde inzet. Er zijn echter in de loop van c


Page 5 of 22



het project taken uitgewisseld (op grond van beschikbaarheid en expertise), dan wel aan nog nieuwe medewerkers toegewezen. Daarom geven we hieronder de uiteindelijke lijst, met achter elke naam het aantal uren dat de betreffende persoon gewerkt heeft aan het betreffende deelproject. WP1 Management – Arjeh Cohen (TU/e, projectleider, 335) – Hans Cuypers (TU/e, technische zaken, 18) – Rik Kaasschieter (TU/e, administratie, 91) – Henk van Tilborg (TU/e, Eindhoven, 27) – Jacob van der Woude (TUD, Delft, 41) – Jan Willem Polderman (UT, Twente, 52) WP2 Technisch – Hans Cuypers (TU/e, deelprojectleider, 372) – Jan Willem Knopper (TU/e, ICT, 722) – Wim Caspers (TUD, tester, 15) – Guit-Jan Ridderbos (TUD, tester, 7) – Jan-Kees van Ommeren (UT, tester, 10) – Pranab Mandal (UT, tester, 42) WP3 Lineaire Algebra – Hans Cuypers (TU/e, schrijver, 278) – Luc Habets (TU/e, schrijver, 27) – Henk van Tilborg (TU/e, deelprojectleider, 32) – Benne de Weger (TU/e, schrijver, 90) – Bernard Meulenbroek (TUD, reviewer, 86) – Mike Boldy (UT, reviewer, 99) WP4 Analyse – Arjeh Cohen (TU/e, reviewer, 59) – Hans Cuypers (TU/e, schrijver, 22) – Luc Habets (TU/e, schrijver, 18) – Georg Prokert (TU/e, reviewer, 127) – Sjoerd Rienstra (TU/e, reviewer, 6) c


Page 6 of 22



– Wim Caspers (TUD, schrijver, 136) – Hans Melissen (TUD, schrijver, 7) – Peter van Nieuwenhuizen (TUD, schrijver, 88) – Guit-Jan Ridderbos (TUD, schrijver, 67) – Paul Visser (TUD, schrijver, 156) – Jacob van der Woude (TUD, deelprojectleider, 76) – Ruud van Damme (UT, reviewer, 72) WP5 Statistiek en Stochastiek – Emiel van Berkum (TU/e, reviewer, 38) – Arjeh Cohen (TU/e, reviewer, 59) – Jacques Resing (TU/e, reviewer, 81) – André Hensbergen (TUD, reviewer; 70) – Hans Melissen (TUD, reviewer, 30) – Pranab Mandal (UT, schrijver, 376) – Jan-Kees Van Ommeren (UT, schrijver, 260) – Jan Willem Polderman (UT, deelprojectleider, 51) WP6 Praktijktesten – Fitzner (TU/e, 16) – Hulshof (TU/e, 29) – Rik Kaasschieter (TU/e, effectenanalyse, 87) – Jan Willem Knopper (TU/e, 30) – Emiel van Berkum (TU/e, deelprojectleider, 161) – Frans Martens (TU/e, instroom vanuit HBO, 114) – Ruud Pellikaan (TU/e, Bouwkunde instroom, 163) – Sjoerd Rienstra (TU/e, Scheikunde instroom, 188) – Wim Caspers (TUD, Informatica instroom, 28) – Ingeborg Goddijn (TUD, instroom vanuit HBO, 9) – Bernard Meulenbroek (TUD, instroom vanuit HBO, 41) – Peter van Nieuwenhuizen (TUD, 22) – Paul Visser (TUD, instroom vanuit HBO, 82) – Guit-Jan Ridderbos (TUD, verscheidene tests, 7) c


Page 7 of 22



– Jacob van der Woude (TUD, 18) – Mike Boldy (UT, instroom vanuit HBO, 133) – Ruud van Damme (UT, instroom vanuit HBO, 144) – Jan-Kees van Ommeren (UT, Werktuigbouw instroom, 74) WP7 Disseminatie – Hans Cuypers (TU/e, 30) – Yves Houben (TU/e, PR medewerker, 35) – Hans Sterk (TU/e, deelprojectleider, 251) – Wim Caspers (TUD, 50) – Bernard Meulenbroek (TUD, 29) – Peter van Nieuwenhuizen (TUD, 8) – Paul Visser (TUD, 52) – Jacob van der Woude (TUD, 42) – Mike Boldy (UT, 164) – Pranab Mandal (UT, schrijver, 40) – Jan-Kees van Ommeren (UT, 6)

4

De aanpak

Opdeling in werkpakketten. Het project TELMME liep van 1 september 2009 tot 1 september 2011 en is onderverdeeld in de volgende zeven werkpakketten. • WP1: Management. Dit werkpakket had tot doel leiding te geven aan het hele project, de contacten tussen de verschillende werkpakketten te bewaken, en het overleg tussen de verschillende instellingen en overige betrokkenen te onderhouden. • WP2: Techniek. Binnen het werkpakket techniek werd een elektronische leeromgeving opgezet, waarmee het online lesmateriaal van het project aan de studenten wordt aangeboden. Tevens ondersteunde dit project de makers van wiskundige content, door middel van het ontwikkelen van een aantal authoring tools. • WP3: Content-Lineaire Algebra, WP4: Content-Analyse, WP5: ContentStatistiek. Deze drie werkpakketten verzorgden de samenstelling en ontwikkeling van binnen TELMME te gebruiken e-learning materialen. • WP6: Testen. Het binnen het project gemaakte lesmateriaal werd gedurende het project in verschillende pilots uitgeprobeerd en geëvalueerd. Daartoe diende het werkpakket Testen. c


Page 8 of 22



• WP7: Disseminatie. Dit werkpakket verzorgde de disseminatie van de projectresultaten zowel binnen de deelnemende instellingen als daarbuiten. De deliverables staan op het interne deel van de website www.telmme.tue.nl. Voor toegang tot het interne deel zijn de loginnaam telmme en het wachtwoord intern nodig. Fasering. De startdatum van het project was 1 september 2009. Elk van de werkpakketten doorliep de volgende fasen. De projectfasen—oorspronkelijk Definitiefase september 2009 - november 2009 Ontwikkelfase 1 december 2009 - april 2010 Testfase 1 april 2010 - september 2010 Ontwikkelfase 2 september 2010 - januari 2011 Testfase 2 januari 2011 - juli 2011 Afsluiting augustus 2011 Tijdens de definitiefase werden inventarisaties en keuzes gemaakt. De ontwikkelfasen 1 en 2 werden gebruikt voor ontwikkeling van techniek en onderwijsmaterialen, terwijl in de testfasen 1 en 2 het TELMME gerelateerde onderwijs ge¨ımplementeerd werd aan de zij-instromers en het aangeboden materiaal geëvalueerd werd. Om de onderlinge samenhang tussen de verschillende werkpakketten te waarborgen, werd deze indeling in fasen voor elk van de werkpakketten in grote lijnen aangehouden. Niettemin is gebleken dat • het testen niet altijd optimaal in de geplande periodes kon plaats vinden; • de ontwikkelfase pas zeer gericht kon werken als eenmaal bekend was welke inhoud in een test aan bod komt; • de ontwikkelaars graag bijstellingen aanbrachten aan het materiaal naar aanleiding van ervaringen in de tests. Daarom is het plan voor het tweede jaar in die zin herzien dat de Testfase 2 meteen in september 2010 begint in plaats van in januari 2011. De herziene fasering aan het einde van het eerste jaar was als volgt. De projectfasen—herzien Definitiefase september 2009 - november 2009 Ontwikkelfase 1 december 2009 - april 2010 Testfase 1 april 2010 - september 2010 Ontwikkelfase 2 september 2010 - januari 2011 Testfase 2 september 2010 - juli 2011 Afsluiting augustus 2011 c


Page 9 of 22



De werkpakketten. Voor elk van de werkpakketten beschrijven we nu de doelstellingen als in het controlling document, de concrete deliverables, en de meest saillante resultaten. De verantwoordelijken van en medewerkers aan elk deelproject staan vermeld in §3.

4.1 4.1.1

Werkpakket 1: Management Doel

Het doel van het werkpakket management was het coördineren van de werkzaamheden, het afstemmen met de probleemeigenaren, subsidiegevers en partijen in het veld, en het afleggen van verantwoording over de werkzaamheden en budgetten. Verder viel onder projectmanagement het onderhouden van de communicatie tussen betrokkenen door overleg, projectbijeenkomsten, website en nieuwsbrief. 4.1.2

Activiteiten en resultaten

Het management coördineerde de werkzaamheden binnen het project en verzorgde de communicatie met de probleemeigenaren, de subsidiegevers en partijen in het veld. Tevens verzorgde het management de (financiële) administratie van het project. In het bijzonder werd bijgehouden hoeveel uur welke personen op welke taken in welke periode gaan werken (§3 vermeldt het eindresultaat). Het management organiseerde bijeenkomsten van de werkpakketleiders, de managementploeg en de projectleiders, evenals de in §2 genoemde bijeenkomsten van de klankbordgroep. Ongeveer eenmaal per kwartaal was er een videoconferentie, waarin alle problemen die zich in het project voordeden werden geadresseerd. De laatste vijf vonden plaats op 1 okt 2010, 11 februari 2011, 1 april 2011, 1 juli 2011, en op 16 september 2011. De kwaliteitsbewaking van documenten werd vereenvoudigd door het svn-systeem. Daarin konden deliverables geplaatst worden, die dan toegankelijk werden voor iedere medewerker aan het project. Ook werden de van een speciale naam voorziene deliverables van daar automatisch gecopieerd naar het interne deel van de project website www.telmme.tue.nl. Nieuwe versies konden gemakkelijk ge-upload worden, zonder gevaar van verlies van oude informatie. Behalve de gebruikelijke administratieve en financiële kwartaalrapportages, verzorgde het management de volgende deliverables. Om de rapportage samen te doen vallen met kwartaalrapportages, hebben enkele rapporten van fasen ook de functie van kwartaalrapporten gekregen. Omdat de fasen niet helemaal met de kwartalen te matchen waren, zijn twee extra deliverables verschenen: M6-b en M6-c. Voor de volledigheid is hier de hele lijst. • M4: januari–maart 2010 • M6: april–juni 2010 • M6-b: juli–september 2010

c


Page 10 of 22



Deliverables WP1 nr Deliverable Type M1 Projectinrichting Doc M2 Rapport Definitiefase Doc M3 Planning Ontwikkelfase 1 Doc M4 Rapport Ontwikkelfase 1 Doc M5 Planning Testfase 1 Doc M6 Rapport Testfase 1 Doc M6-b Rapport derde kwartaal 2010 Doc M6-c Rapport vierde kwartaal 2010 Doc M7 Planning Ontwikkelfase 2 Doc M11 Tussenrapport Doc M8 Rapport Ontwikkelfase 2 Doc M9 Planning Testfase 2 Doc M10 Rapport Testfase 2 Doc M12 Implementierapport Doc M13 Eindrapport Doc

Co¨ ord.

TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e

Fase Definitie Definitie Definitie Ontw. 1 Ontw. 1 Test 1

Test 1 maand 12 Ontw. 2 Ontw. 2 Afsluiting Test 2 Afsluiting

• M6-c: oktober–december 2010 • M8: januari–maart 2011 • M10: april–september 2011 Volgens afspraak met SURF zijn in de laatste kwartaalrapportage de twee laatste maanden van het project (juli en augustus 2011) meegenomen. In deliverable M12 staat beschreven welke maatregelen genomen zijn om de resultaten van het project van nut te laten zijn. Er wordt een minimum en een meer ambitieus scenario beschreven. Tenslotte worden drie nieuwe ontwikkelingen geschetst die aangeven die de verwachtingen omtrent indaling van TELMME in reguliere activiteiten positief stemmen: het ontstaan van de firma SOWISO, de adoptie van TELMME methoden in het regulier onderwijs en aandacht in 3TU.AMI (samenwerkingsverband van de wiskundegroepen van de drie TU’s) verband voor didactiek van het elektronisch verrijkt onderwijs.

4.2 4.2.1

Werkpakket 2: Techniek Doel

Binnen het werkpakket Techniek stond centraal: • het opzetten van een elektronische leeromgeving (ELO); • het vaststellen van het technische format waarin de content wordt aangeleverd;

c


Page 11 of 22



• het creëren van authoring tools voor het aanmaken van de content; • beheer en onderhoud van de leeromgeving en tools, en support aan de gebruikers. 4.2.2


Gedurende de definitiefase zijn de wensen aan en de te realiseren mogelijkheden voor de te maken e-learning materialen en uitleveromgeving ge¨ınventariseerd. Deze wensen zijn opgesteld aan de hand van het didactische plan dat binnen het werkpakket content wordt opgesteld. Aan de hand van deze wensen is een format voor het realiseren van de e-learning materialen vastgesteld, dat aansluit op de nationale en internationale standaarden voor e-learning. De gewenste functionaliteiten zijn in de voor het project voorziene leeromgeving, gebaseerd op Moodle en MathDox software van de TU/e, gerealiseerd. Het resultaat draait als de website www.telmme.nl. Gedurende de verschillende testfasen stond de ELO ter beschikking van de pilots. De ELO zal ook gedurende vervolgprojecten gebruikt worden om de leermaterialen aan docenten en studenten aan te bieden. Op het interne deel van de project website www.telmme.tue.nl is een aantal authoring tools geplaatst, die door het deelproject ontwikkeld zijn om het de schrijvers (WP3-45) makkelijker te maken de e-learning materialen te creëren. In het bijzonder kunnen de auteurs hiermee content aanmaken in de voor hun vertrouwde LATEX-omgeving. De aangemaakte bronteksten in LATEX worden vervolgens automatisch omgezet in het voor het ELO systeem vereiste MathDox format. In de tweede ontwikkelfase heeft, aan de hand van de evaluaties van de ELO en tools gemaakt gedurende testfase 1, een verbeterslag plaatsgevonden en zijn de versies 1.0 van de ELO en van de authoring tools opgeleverd. Naast de ELO en authoring tools is tevens een database met front end ontwikkeld ter beheer van de ontwikkelde lesmaterialen. Deze tool, de MathDox Content Manager, wordt gebruikt om vanuit de database lespakketten samen te stellen, die binnen de ELO gebruikt kunnen worden. Deze lespakketten worden in SCORM-format aangemaakt. SCORM is de standaard voor het aanleveren van deze lespakketten die door de belangrijkste ELO’s (zoals Blackboard, Moodle, Sakai) wordt ondersteund. De verschillende sofware componenten worden uitgebreider beschreven in het Eindrapport techniek (Te9).

c


Page 12 of 22


TELMME (SURF (Tender 2008)) Deliverables WP2

nr Te1 Te2 Te3 Te4 Te5 Te6 Te7 Te8 Te9

Deliverable Specificaties ELO Specificaties doc. format ELO alpha versie Handleiding ELO, alpha vs Authoring tools Handleiding authoring tools ELO Handleiding ELO gebruik Eindrapport Techniek

Type

Co¨ ord.

Doc Doc Appl Doc Appl Doc Appl Doc Doc

TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e

Fase Definitie Definitie Ontw. 1 Ontw. 1 Ontw. 1 Ontw. 1 Ontw. 2 Ontw. 2 Afsluiting

Naar aanleiding van de wensen van zowel gebruikers als schrijvers voor meer feedback mogelijkheden, zijn de authoring tools verder uitgewerkt dan aanvankelijk gepland was. Hierdoor is het aantal uren dat binnen het werkpakket Techniek is besteed groter dan oorspronkelijk begroot.

4.3 4.3.1

Werkpakketten 3-4-5: Content Doel

De werkpakketten Content-Analyse (WP4), Content-Statistiek (WP5) en Content-Algebra (d.w.z. Lineaire Algebra; WP3) hebben tot doel het samenstellen en ontwikkelen van goede en waardevolle online cursussen Analyse, Statistiek en Algebra voor de doelgroep van het project. 4.3.2


De drie werkpakketten belast met het maken van content zijn gestart met het maken van een gezamenlijk didactisch model voor het aan te bieden onderwijs. Aan de hand van dit model (en natuurlijk de mogelijkheden geboden door de techniek) zijn afspraken over de opzet van de cursussen gemaakt. In twee workshops op locatie zijn de contentontwikkelaars op de hoogte gebracht van dit didactische model om te anticiperen op de specifieke technische problemen die de ontwikkelaars tegen konden komen. Daarna is online materiaal verzameld en ontwikkeld. Hierbij is deels uitgegaan van reeds bestaand materiaal. Voor elk van de drie werkpakketten leverde één partner de auteur(s), terwijl de andere partners aanvullend materiaal leverden, en de inhoud kritisch lazen om de auteur(s) van feedback te voorzien. Het totale aantal theoriepagina’s en het aantal opgaven aanwezig op de website www.telmme.nl bedraagt Lineaire Algebra (WP3): theorie-pagina’s: 52; opgaven: 246 Analyse (WP4): theorie-pagina’s: 18; opgaven: 240 c


Page 13 of 22



Statistiek (WP5): theorie-pagina’s: 26; opgaven: 259 Het lesmateriaal is tijdens de pilots in testfase 1 gebruikt en geëvalueerd (zie WP6). Aan de hand van de resultaten van deze evaluaties zijn gedurende de tweede ontwikkelfase het didactische model en de leermiddelen aangepast en uitgebreid om tijdens de pilots in de tweede testfase te worden gebruikt en geëvalueerd. De leermaterialen zijn van metadata worden voorzien conform de afspraken gemaakt binnen het NKBW-project. Deliverables WP3-4-5 nr C1 C2 CAN 1 CAN 2 CAN 3 CS 1 CS 2 CAL 1 CAL 2 CAL 3 CAN 4 CS 3 CS 4 CAL 4 C3

4.4 4.4.1

Deliverable Didactisch model online cursus Workshop Didactisch model Inhoudsbeschrijving Analyse Online cursus Analyse versie 1 Online cursus Analyse Inhoudsbeschrijving Statistiek Online cursus Statistiek versie 1 Inhoudsbeschrijving Algebra Online cursus Algebra versie 1 Online cursus Algebra Metadata Analyse Online cursus Statistiek Metadata Statistiek Metadata Algebra Eindrapport Content

Type

Co¨ ord.

Doc Meet Doc Appl Appl Doc Appl Doc Appl Appl Doc Appl Doc Appl Doc

TU/e TU/e TUD TUD TUD UT UT TU/e TU/e TU/e TUD UT UT TU/e TU/e

Fase Definitie Definitie Definitie Ontw. 1 Ontw. 2 Definitie Ontw. 1 Definitie Ontw. 1 Ontw. 2 Ontw. 2 Ontw. 2 Ontw. 2 Ontw. 2 Afsluiting

Werkpakket 6: Testen Doel

De binnen het project gemaakte online cursussen werden binnen het werkpakket Testen gedurende twee periodes uitvoerig getest en geëvalueerd. De effecten van het volgen van de cursussen op het studieverloop en de studieresultaten werden geanalyseerd en naast de hoofddoelen van het project gelegd. 4.4.2


Op elk van de drie participerende instellingen werd via pilot projecten uitgebreid gebruik gemaakt van de online-cursussen op www.telmme.nl in de gebieden Analyse, Statistiek en Algebra. Elk van de drie instellingen leverde in definitiefase 1 een planning voor deze pilots. Omdat in de tests de betrokken docenten met nieuwe technieken te maken kregen, zijn ze vooraf ge¨ınstrueerd over hun nieuwe taak. Hier zijn enkele kengetallen over het gebruik van de website na twee jaar. c


Page 14 of 22



Figuur 1: Het gebruik van www.telmme.nl

Aantal geregistreerde gebruikers: 1481 Aantal gemaakte opgaven: 132160 Aantal paginabezoeken: ongeveer 300000 Aantal tot stand gekomen opgaven: 650, waarvan ongeveer 240 analyse, 250 lineaire algebra en 160 statistiek Aantal gerealiseerde cursussen: 33 Hier volgen de meest markante conclusies. • TELMME helpt! De gemiddelde scores zijn in verschillende tests omhoog gegaan (variërend van 0,5 tot 1,5 punt) en de slagingspercentages ook. • TELMME helpt vooral als er consistent geoefend wordt. Als de studenten een kritisch aantal sessies met TELMME gedurende een cursus uitgevoerd hebben, lijkt de slaagkans voor het tentamen bijzonder hoog te worden. • De randomisatie en feedback zijn sterke eigenschappen van het systeem. • Aan de opbouw van opgaven, de editor en feedback dient verder geslepen te worden. • De TELMME-leeromgeving zonder meer aanbieden aan studenten die uit het HBO instromen, is geen garantie voor succes. De meest effectieve vorm van studeren bestaat uit een goed ge¨ıntegreerde mix van elektronisch materiaal en persoonlijk contact met een docent. • Blijvende moeilijkheden met de wiskundestof bij gebruik van TELMME lijken een indicatie te zijn dat de wiskunde ook later als struikelblok ervaren zal worden. Onderstaande tabel geeft een overzicht van de deliverables binnen het werkpakket WP6. c


Page 15 of 22



nr T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12 T13 T14 T15 T16 T17 T18 T19 T20

4.5 4.5.1

Deliverable Test planning TUD Test planning UT Test planning TU Planning Effectmeting Evaluatie protocol TUD Evaluatie protocol UT Evaluatie protocol TU/e Workshop didactiek Rapport Pilot 1 TUD Rapport Pilot 1 UT Rapport Pilot 1 TU/e Evaluatie protocol 2 TUD Evaluatie protocol 2 UT Evaluatie protocol 2 TU/e Rapport Effectmeting 1 Rapport Pilot 2 TUD Rapport Pilot 2 UT Rapport Pilot 2 TU/e Rapport Effectmeting 2 Eindrapport Testen

Type

Co¨ ord.

Doc Doc Doc Doc Doc Doc Doc Meet Doc Doc Doc Doc Doc Doc Doc Doc Doc Doc Doc Doc

TUD UT TU/e TU/e TUD UT TU/e TU/e TUD UT TU/e TUD UT TU/e TU/e TUD UT TU/e TU/e TU/e

Fase Definitie Definitie Definitie Definitie Ontw. 1 Ontw. 1 Ontw. 1 Ontw. 1 Test 1 Test 1 Test 1 Ontw. 2 Ontw. 2 Ontw. 2 Ontw. 2 Test 2 Test 2 Ontw. 2 Afsluiting Afsluiting

Werkpakket 7: Disseminatie en duurzaamheid Doel

Dit werkpakket verzorgde de disseminatie van de projectresultaten zowel binnen de deelnemende instellingen als ook daarbuiten. Het doel van dit werkpakket was de resultaten van het project te verspreiden en blijvend beschikbaar te stellen, niet alleen aan de participerende instellingen maar ook aan de overige instellingen in het Hoger Onderwijs in Nederland. 4.5.2


Dit werkpakket verzorgde de disseminatie van de projectresultaten zowel binnen de deelnemende instellingen als daarbuiten. Dit gebeurde onder meer door middel van presentaties en publicaties over de resulaten van het project. Daarnaast werden de binnen het project ontwikkelde e-learning materialen verspreid. Er is een project website opgezet: www.telmme.tue.nl. Daarin staat nieuws, informatie over het project, contactadres, en een communicatiekalender met activiteiten. Op het interne deel zijn opgenomen: rapportages, bijeenkomsten, publicaties, presentaties, deliverables, en verwijzingen naar relevante websites.

c


Page 16 of 22



Volgens planning is een workshop gehouden aan het einde van het eerste jaar. Daarin stond uitwisseling van ervaringen opgedaan in de tesfase centraal. De bijeenkomst vond plaats op 8 september en telde zo’n 25 bezoekers. Een tweede, veel grotere bijeenkomst is gehouden op 6 en 7 juni 2011. Deze was gericht op verdere kruisbestuiving met andere HOinstellingen (zo had Meta Kamminga zitting in het programmacomité). Er waren ongeveer 70 deelnemers. Meer informatie is te vinden op de website www.telmme.tue.nl/ELAM2011/program.html

Met name in het tweede jaar heeft de afstemming en contact met bestaande netwerken en andere projecten meer aandacht gekregen. Het gaat in het bijzonder om: SIG wiskunde (SIGMA), 3TU.AMI, Centrum voor aansluiting VSNU, NKBW, ONBETWIST en andere NAP-projecten. Ook is contact gezocht met consortia in het buitenland. TELMMEis besproken op de NKBW2-bijeenkomst van 8 maart 2010, Cuypers heeft een grote presentatie van TELMME gegeven op het openingscongres van het 3TU.AMI (Applied Mathematics Institute) in Delft op 15 april 2010. Meulenbroek en Visser hebben TELMME op de InterTU studiedag naar voren gebracht en Cuypers heeft de Universitat Oberta de Catalunya bezocht en bericht over TELMME. Bij de NKBW-bijeenkomst ‘Wiskunde op de drempel’ op 15 december 2009 in Amsterdam en bij het Nederlands Mathematisch Congres op 22 en 23 april in Utrecht zijn TELMMEflyers verspreid. In het tweede jaar werd het project gepresenteerd op bijeenkomsten voor het hoger onderwijs, zoals het Nederlands Mathematisch Congres. Informatie over TELMME is verspreid via effectieve kanalen als Kennislink, NVS-NVL, WiskundeEbrief, Wiskunde PersDienst, wiskundeonderwijs webwijzer WWM (de website van de samenwerkende niet-commerciële wiskundeonderwijswebsites in Nederland), en de JEM website. De ontwikkelde onderwijsmaterialen zullen zoveel mogelijk onder open licenties (Creative Commons) beschikbaar zijn. Ze worden van metadata voorzien conform de standaarden opgesteld binnen de NKBW-projecten. De grootste en meest in het oog springende disseminatie-activiteit van het project is de al genoemde workshop ‘E-learning and Mathematics’. Op deze workshop, die gehouden werd op 6 en 7 juni, 2011, kwamen meer dan 70 experts en gebruikers op het gebied van e-learning en wiskunde samen, om hun ervaringen en expertise te delen. De deelnemers waren niet alleen afkomstig uit het gehele Nederlandse hoger onderwijs, maar ook uit de uitgeverswereld en e-learning industrie en uit het buitenland (o.a., Oostenrijk, Spanje, Engeland, België en Duitsland).

c


Page 17 of 22



nr D1 D2 D3 D4 D5 D6 D7 D8

Deliverable Disseminatieplanning Project Website Workshop 1 Brochure Workshop 2 Overzicht Presentaties Overzicht Publicaties Eindrapport Dissem.

Type

Co¨ ord.

Doc Web Meet Doc Meet Doc Doc Doc

TU/e TU/e TU/e TU/e TU/e TU/e TU/e TU/e

Fase Definitie Ontw. 1 Ontw. 2 Ontw. 2 Afsluiting Afsluiting Afsluiting Afsluiting

Het is wellicht vermeldenswaard dat TELMME de MathJax website gehaald heeft. Zie http://www.mathjax.org/resources/articles-and-presentations/mathematics-e-learning-community-benefits-from-mathjax/

5

Conclusies

Aan het einde van het project zijn de volgende conclusies getrokken. WP1: De implementatie van de resultaten van TELMME zijn geborgd in een indaling van de TELMME methoden in het regulier vak Calculus voorzien in het hervormde Bachelor programma dat naar verwachting op 1 september 2012 zal starten in Eindhoven, in een 3TU.AMI project over de didactiek van het gebruik van elektronisch verrijkte leermethoden, en in de oprichting van een spin-off, SOWISO b.v., van de TU/e, die de MathDox technologie gebruikt. WP2: De techniek heeft een werkbaar systeem opgeleverd. De door een ander project gefinancierde inspanning ter verbetering van de capaciteit (meer dan 200 gebruikers tegelijkertijd) van MathDox heeft geleid tot robuuste software. De mogelijkheden voor het vanuit LATEX voorbereiden van opgaven zijn vergroot. WP3-4-5: De inhoud op de gebieden Lineaire Analyse, Statistiek en Analyse heeft een goede basisverzameling opgaven tot stand gebracht. In alle drie onderdelen zijn open, geparametriseerde en van feedback voorziene opgaven ingevoegd. Er blijft ruimte voor verbetering op het gebied van feedback en gecompliceerder gestructureerde opgaven. Tevens zullen enkele gebieden die nog niet aan bod gekomen zijn worden geadresseerd. WP6: Er is een uitgebreid stel tests uitgevoerd, die een gevarieerd beeld opleveren. De indrukken zijn dat TELMME helpt bij de verbetering van het wiskundeniveau van de instroom. In het bijzonder hebben studenten die de hele cursus lang van TELMME gebruik maken, er veel profijt van. De studenten ervaren TELMME ook als plezierig en nuttig. Wel wordt opgemerkt dat TELMME van meer feedback voorzien zou moeten zijn en dat TELMME geen panacee is: begeleiding in de klassieke zin naast TELMME blijft geboden.

c


Page 18 of 22



WP7: De brochure is gemaakt, de kick-off en de twee workshop zijn gehouden: de eerst meer intern, met zo’n 25 participanten, de tweede naar buiten (HBO en buitenland gericht) met zo’n 70 participanten. De ontvangst van TELMME is goed. Aan de zichtbaarheid is gewerkt door presentaties van TELMME op congressen, zoals de Nederlandse Mathematische Congressen en 3TU onderwijsbijeenkomsten.

6

Veranderingen in het project ten opzichte van de planning

Door voortschrijdend inzicht en wegvallen van enkele medewerkers, zijn de volgende veranderingen in het werk ten opzichte van het controlling document tot stand gekomen.

6.1

Vermenging fasen

Een belangrijke verandering in de planning ten opzichte van het controlling document is de vermenging van de ontwikkelfase 2 met testfase 2. Hiertoe was besloten omdat veel tests beter in het eerste kwartaal van een academisch jaar vallen dan later, en omdat de tests sterker dan verwacht bepalend waren voor de inhoud van de interactieve documenten. Door de twee fasen parallel en over een langere periode te laten lopen, werden deze bezwaren opgeheven en kwam er grotere flexibiliteit voor de medewerkers in de uitvoering van hun taken.

6.2

130 uur van Twente’s bijdrage aan Tests WP6 naar Statistiek WP5

In het eerste jaar is hard gewerkt om de cursussen Statistiek van inhoud te kunnen voorzien. Dit is gelukt, maar leverde in eerste instantie alleen multiple choice vragen op. In het tweede jaar is dit ruimschoots goed gemaakt, zodat nu ook voor Statistiek open vragen met feedback in de database zitten.

6.3

100 uur van Eindhoven’s bijdrage aan Lineaire Algebra WP3 naar Techniek WP2

Omdat bestaand Lineaire Algebra materiaal relatief eenvoudig omgezet kon worden in interactieve opgaven, zijn er uren vrijgekomen, die ingezet werden ter verfijning van de Techniek WP2. Daartoe is 100 uur uit Lineaire Algebra WP3 die in Eindhoven wordt uitgevoerd omgezet naar Techniek WP2.

6.4

Twente intern

De Universiteit Twente heeft de volgende interne verschuivingen aangebracht. Deze maakten niets uit voor de verdeling over de drie partners. c


Page 19 of 22



• WP2 van 50 naar 60 • WP3 van 150 naar 100 • WP4 van 75 naar 85 • WP5 van 630 naar 750 • WP6 van 400 naar 300 • WP7 van 200 naar 210

6.5

300 uur van Delft naar Eindhoven

De Technische Universiteit Delft heeft een totaal van 300 uur werk overgeheveld naar de Technische Universiteit Eindhoven. Hoewel er erg veel goed werk gedaan is in Delft, heeft men daar relatief weinig uren voor gedeclareerd. Eindhoven kon die uren goed gebruiken voor aanvulling management WP1 en Techniek WP2, die te krap ingeschat waren. Een klein restant is gebruikt voor een laatste controle van de content (WP3-4-5). Hier is het overzicht van deze overheveling in urenverdeling van Delft naar TU/e WP6: 250 van TUD naar TU/e WP7: 50 van TUD naar TU/e totaal in geld: 14625 euro

De hierdoor in Eindhoven te besteden uren zijn ingezet als aangegeven in Tabel 1. 11 uur naar WP1 met 100 procent subsidie dus 256 uren naar WP2 met subsidiegrootte 9 uren naar WP 3 met subsidiegrootte 9 uren naar WP 4 met subsidiegrootte 9 uren naar WP 5 met subsidiegrootte totaal

825 12480 439 439 439 14622

euro euro euro euro euro euro

Tabel 1: Verdeling nieuwe Eindhovense uren

7

Financi¨ en

De in §6.5 gemelde verschuivingen van financiën tussen universiteiten ten opzichte van de begroting in het controlling document zijn verwerkt in onderstaand kostenoverzicht.

c


Page 20 of 22



De financiële gegevens, bijgeleverd in §7, leiden tot de volgende observaties. • Het management WP1 heeft veel meer uren nodig gehad dan begroot. De overschrijding is deels door overheveling vanuit Delft gecomponseerd, en wordt deels door de TU/e gedragen worden. • Het techniek WP2 heeft ook veel meer uren nodig gehad dan begroot voor verfijning van het reeds tot stand gebrachte systeem en aanpassing aan de wensen van de schrijvers en testers. Hiertoe is 100 uren overgeheveld vanuit WP3 binnen de TU/e en een deel van de overgebleven uren uit Delft; zie §6.3. • De aanmaak van inhoud WP3-4-5 heeft een goed stel opgaven opgeleverd. • De tests hebben een rijk en divers beeld van het gebruik van TELMME opgeleverd. • De grootste inzet bij Disseminatie WP7 is in de ELAM conferentie gestoken, de grote afsluitende workshop op 6 en 7 juni 2011. Concluderend: • Enkele posten materiële kosten worden niet uitgenut. • De uren nodig voor management WP1 en techniek WP2 zijn in het oorspronkelijke voorstel te bescheiden ingeschat. De met SURF afgestemde verschuivingen hebben enige verlichting gebracht in deze knelpunten.

Referenties [1] MathDox, www.mathdox.org/; manual www.mathdox.org/player/. [2] Sowiso, www.sowiso.nl.

c


Page 21 of 22



Kostenoverzicht Rapportage over periode:

TELMME apr t/m aug 2011

datum:

Begroting conform controlling document met mutatie (1) d.d. 15-06-10 kenmerk: NAP 10.1316, mutatie (2) d.d. 32-11 (mail Arjeh Cohen), mutatie (3) d.d. 30-3-11 (mail Annette Peet) en mutatie (4) d.d. 24-8-11 kenmerk 11972

Materiele kosten: Management * Technisch Lineaire Algebra Analyse Statistiek en Stochastiek Praktijktesten Disseminatie TU/e ingepland Totaal mat. Kosten Subsidie 65%:

TUD WP1 WP2 WP3 WP4 WP5 WP6 WP7

TU/e

UT

(A)

30-sep-11

Prognose kosten (€) tot restant op einde project begroting

Realisatie projectkosten t/m rapportage periode (B) t/m voorgaande periode 0 2.971 0 0 0 0 5.036

0 0 0 0 0 3.154 0

0 2.971 254 121 0 3.455 5.036

0 0 0 0 0 0 0

0 2.971 254 121 0 6.610 5.036

in rapportage periode 0 0 254 121 0 6.610 0

3.154 2.050

11.837 7.694

0 0

14.991 9.744

6.984 4.540

0 0

12508,65 8130,62

0 0 0 0 0 0 0

(A)-(B) -11475,50 1086,00 3562,50 -1088,00 7050,00 -6300,50 -3487,50

TUD

TU/e

UT

Totaal

0 0 0 0 0 0 0

(A)-(B) 0,00 29,00 413,50 546,00 666,00 6390,15 4464,00

200 200 200 4.000 1.000

3.000 267 267 266 5.000 7.500

200 200 200 4.000 1.000

0 3.000 667 667 666 13.000 9.500

5.600 3.640

16.300 10.595

5.600 3.640

27.500 17.875

8.007 5.205

TUD 3.075 1.650 6.450 39.713 7.500 15.488 13.575

TU/e 35.326 82.050 31.988 17.400 13.350 58.988 23.663

UT 3.900 3.900 7.425 5.400 51.525 26.325 15.750

Totaal 42.301 87.600 45.863 62.513 72.375 100.801 52.988

in rapportage periode 6.975 18.900 6.750 10.575 11.925 44.138 32.325

87.451 54.844 3.075

262.764 147.835 35.326

114.225 71.711 3.900

464.439 274.390 42.301

131.588 80.998 6.975

0 0 0

-10653,00 534,63 0,00

in rapportage Totaal periode 3.000 3.000 825 825 1.561 1.146 264 0

0 0 0 0

(A)-(B) 0,00 1175,00 939,12 0,00

t/m rapportage periode (B)

Personele kosten: Management * Technisch Lineaire Algebra Analyse Statistiek en Stochastiek Praktijktesten Disseminatie TU/e ingepland Totaal pers. Kosten Subsidie 65%: * subsidie 100% (max € 34.463) 34.463

WP1 WP2 WP3 WP4 WP5 WP6 WP7

TUD 3.750 3.750 11.250 37.500 11.250 21.000 11.250

TU/e 23.325 80.436 30.675 17.550 11.925 51.000 22.500

UT 3.750 4.500 7.500 6.375 56.250 22.500 15.750

(A) 30.825 88.686 49.425 61.425 79.425 94.500 49.500

t/m voorgaande periode 35.326 68.700 39.113 51.938 60.450 56.663 20.663

99.750 62.400 3.750

237.411 139.156 23.325 162.481

116.625 73.369 3.750

453.786 274.925 30.825

332.853 193.393 35.326

TUD 1.000 0 394 0

TU/e 1.000 825 1.167 264

UT 1.000 0 0 0

t/m rapportage periode (B)

Overige kosten: Accountant Administratie, etc. Reiskosten Onvoorzien TU/e ingepland Totaal overige Kosten Subsidie 65%:

TUD 1.000 600 800 0

TU/e 1.000 800 900 264

UT 1.000 600 800 0

(A) 3.000 2.000 2.500 264

t/m voorgaande periode 0 0 415 264

2.400 1.560

2.964 1.927

2.400 1.560

7.764 5.047

679 441

1.394 906

3.256 2.116

1.000 650

5.650 3.672

4.971 3.231

0 0

2114,12 1374,18

Totaal projectkosten eigen bijdrage totaal Subsidie SURF totaal

107.750 36.400 71.350

256.675 81.673 175.003

124.625 42.306 82.319

489.050 160.379 328.671

341.539 107.175 234.364

91.999 31.123 60.875

277.857 84.886 192.971

115.225 38.964 76.261

485.080 154.973 330.107

143.543 47.799 95.744

0 0 0

3969,37 5406,53 -1436,16

Overzicht opvraging subsidie: Maximale subsidie (A) Opgevraagde subsidie t/m voorgaande periode rapportage periode: - materiele kosten - personele kosten - overige kosten Totaal subsidie rapportage periode Resteert op te vragen subsidie toekomstige rapportage periode

Totaal 328.671

234.364

4.540 87.973 3.231 95.744 -1.437

c


Page 22 of 22

e)

Recommend Documents