Study Coach And Learning Environment

Study Coach And Learning Environment for Computer Based Training

Voortgangsrapportage Periode juli 2006 t/m september 2006

Penvoerende instelling: Participerende instellingen:

LUMC Erasmus MC, UMCU, UMC St Radboud,

Universiteit Leiden Erasmus Universiteit Rotterdam Universiteit van Utrecht Radboud Universiteit Nijmegen

Inhoudsopgave Inhoudsopgave ........................................................................................................................ 2 Samenvatting ........................................................................................................................... 3 Projectdoelstelling................................................................................................................... 3 Voortgang per fase .................................................................................................................. 3 Fase 1 Opstellen leerdoelenboom voor COO materiaal........................................................ 3 Fase 2 Inventariseren en klasseren van COO materiaal....................................................... 4 Fase 3 Functioneel ontwerp studiecoach .............................................................................. 4 Fase 4 Technische realisatie studiecoach............................................................................. 4 Vervanging hardware MedischOnderwijs.nl ...................................................................................... 4 Manual MedischOnderwijs.nl ............................................................................................................ 4

Fase 5 Integratie van LRS.Net met de bestaande ICT infrastructuur.................................... 5 Koppeling LRS.Net-WebCT .............................................................................................................. 5

Fase 6 Inbedding in het onderwijs ......................................................................................... 5 Erasmus MC ..................................................................................................................................... 5 UMCU ............................................................................................................................................... 5 UMC St Radboud .............................................................................................................................. 5

Fase 7 Promotie projectresultaten ......................................................................................... 6 Flyers en advertenties....................................................................................................................... 6

Fase 8 Evaluatie .................................................................................................................... 6 Pilot Evaluatie ................................................................................................................................... 6 De evaluatie van de wijze van klasseren .......................................................................................... 6 Onderzoeksvragen Evaluatie SCALE project.................................................................................... 6 Reportserver ..................................................................................................................................... 7

Knelpunten ............................................................................................................................... 7 Standlijnenoverzicht................................................................................................................ 7 Kennisdisseminatie ................................................................................................................. 8 Slice of life......................................................................................................................................... 8

Kostenoverzicht....................................................................................................................... 8 Declaratie ............................................................................................................................. 10 Bijlagen................................................................................................................................... 11 Bijlage 1 Functioneel Ontwerp ............................................................................................. 11 Bijlage 2 Manual medischonderwijs voor Enduser en Administrator................................... 11 Bijlage 3 Afrondingsplan van het Scale project in Utrecht................................................... 11 Bijlage 4 Bijdragen Slice of Life ........................................................................................... 13 E-poster: The connection between a Course Management System LRS.Net: Controlled access from an E-Learning system to CBT programs................................................................................. 13 Auditorium presentation: Success factors and pitfalls for cooperative projects in the Netherlands. 15

Bijlage 5 Nederlandse Flyer................................................................................................. 16 Bijlage 6 Pilot Evaluatie ....................................................................................................... 16 Bijlage 7 Evaluatie wijze van klasseren ............................................................................... 31 Bijlage 8 Onderzoeksvragen Evaluatie SCALE project ....................................................... 32

2

Samenvatting In het derde kwartaal van dit jaar is de studiecoach verder ontwikkeld en geimplementeerd. Het werkt veelbelovend. De promotie van het project (flyers en advertenties) is in volle gang. Er is eerder gestart met de Evaluatie van het project en de eerste Pilot resultaten zijn inmiddels bekend. De technische structuur voor een doorlopende Evaluatie van MedischOnderwijs.nl (de reportserver) is ingericht en operationeel. In augustus is MedischOnderwijs.nl, zonder noemenswaardige problemen naar een nieuwe server verplaatst, waardoor er veel capaciteit voor extra gebruikers is bijgekomen. In de bijeenkomst van de projectgroep is in goed overleg een knelpunt dat bij UMCU ontstaan was ten aanzien van de Inbedding in het onderwijs, opgelost.

Projectdoelstelling Reeds 25 jaar wordt aan de Nederlandse medische universiteiten gebruik gemaakt van Computer Ondersteund Onderwijs (COO). Voor deze onderwijsvorm zijn inmiddels honderden programma’s gemaakt die in het medisch onderwijs (studies geneeskunde en biomedische wetenschappen) ieder hun eigen leerdoel en toepassing hebben. Met COO bedoelen wij in deze, alle denkbare vormen van elektronisch studiemateriaal, variërend van casuïstiek, tutorials, simulaties tot toetsen. Iedere instelling gebruikt hierbij zijn eigen materiaal. Het merendeel hiervan wordt als zelfstudie materiaal aangeboden. Het volgen van dit onderwijs is vaak niet verplicht en wordt niet getoetst. De toegenomen kwaliteit van het COO materiaal, zowel inhoudelijk als technisch, alsook de toegenomen kwantiteit vraagt om een meer structurele plaats in het onderwijs en in de toetsing. Met andere woorden de resultaten van de projecten uit het verleden moeten indalen in de organisatie van het onderwijs. De studies Geneeskunde van de universiteiten in Nederland zijn gebaseerd op het Raamplan 2001(Metz, Verbeek-Weel, and Huisjes). Eén van de belangrijkste uitgangspunten hiervan is het aanleren van de vaardigheden, waarmee de arts de gezondheidsproblemen van patiënten kan benaderen en oplossen. Elk COO is bedoeld ter ondersteuning van het aanleren van 1 of meerdere van deze vaardigheden en kunnen omschreven worden als de COO leerdoelen. Binnen het project moet aan de student een eenvoudige en snelle toegang tot (een specifieke selectie van) het COO materiaal geboden worden, waarbij de studie historie van de student in relatie tot de leerdoelen in de tijd automatisch wordt bewaakt. Behalve een longitudinale follow-up van een student over verschillende studiejaren, wordt het hierdoor ook voor de student mogelijk zijn eigen studieprestaties met betrekking tot de verschillende leerdoelen in te zien, voor zover dat gedekt wordt door het aangeboden materiaal. Het systeem zelf kan automatisch studenten van een individueel studieadvies voorzien. De belangrijkste doelstelling van dit project is dus het koppelen van studie-informatie wat betreft het gebruik van COO met de curriculum database en de individuele student. Daarnaast is het belangrijk dat alle deelnemende instellingen de beschikking krijgen over COO materiaal van de zusterfaculteiten. Hoewel in het verleden hier al vaker afspraken over gemaakt zijn (zie bijlage) blijkt het in de praktijk niet altijd eenvoudig om te achterhalen waar welk materiaal zich bevindt en of dit ook geschikt is voor het eigen onderwijs. Door de directe beschikbaarheid van de lessen en de metadata waarin de leerdoelen zijn vastgelegd wordt dit proces vele malen simpeler. Deze ontwikkeling sluit aan op het concept van een LCMS (een Leerobject Content Management Systeem). Verschil hiermee is enerzijds dat de “leerobjecten” bestaan uit grote afgebakende modules en anderzijds dat de te ontwikkelen database slechts de metadata van de lessen bevat en niet de objecten zelf.

Voortgang per fase Fase 1 Opstellen leerdoelenboom voor COO materiaal Deze fase is inmiddels met succes afgerond.

3

Fase 2 Inventariseren en klasseren van COO materiaal In Utrecht wordt met de afdeling dermatologie onderhandeld over de voorwaarden om hun casus op te nemen in MedischOnderwijs.nl. Vooralsnog wil Dermatologie de lessen graag in eigen hand wil houden vanwege patientmateriaal dat niet openbaar mag worden. In Rotterdam zijn alle lessen geklasseerd, er zijn nog een aantal nieuwe lessen ingevoerd en ook de komende maanden zullen er nog lessen ingevoerd worden.

Fase 3 Functioneel ontwerp studiecoach Aan het Functioneel Ontwerp is een gedetailleerd ontwerp van de studiecoach, een beschrijving van de relatie tussen functionaliteit van SCALE en andere systemen, en een detail interface beschrijving van het nieuwe grafisch ontwerp (zie bijlage Bijlage 1 Functioneel Ontwerp), toegevoegd. De SLI is ondertekend door deelnemende instanties en inmiddels zijn er door de instituten administrators aangemeld.

Fase 4 Technische realisatie studiecoach Vervanging hardware MedischOnderwijs.nl De website MedischOnderwijs.nl wordt gehost op 2 DELL servers van het type 1655. Dit zijn 2 blades die onderdeel uitmaken van een chasis met blades voor andere onderwijs applicaties. De eerste server bevat de IIS server met het .NET framework die de MedischOnderwijs.nl applicatie host. Deze applicatie maakt gebruik van zijn SQLserver database die op de tweede server staat. Beide servers staan in de DeMiliterized Zone (DMZ; een stukje netwerk binnen het bedrijfsnetwerk dat naar buiten communiceerd), waar vanuit alleen de eerste IIS server vanuit de wereld bereikbaar is. In 2004 heeft het LUMC veel problemen met de harddisks van het type DELL 1655 gehad. Onderwijs is hier vrijwel gespaard van gebleven. Omdat DELL deze problemen niet heeft kunnen oplossen, is er voor gekozen alle 1655 in het LUMC te vervangen voor het type 1855. Ook onderwijs moest hier in mee. In de maand juni zijn de nieuwe onderwijs servers opgebouwd en voorzien van alle benodigde onderwijsapplicaties. 29 augustus is deze nieuwe server configuratie in gebruik genomen. Hierbij moest het domein MedischOnderwijs.nl verplaatst worden. Deze actie bestond uit de volgende handelingen: 1. Oude webserver uit productie nemen 2. Backuppen van MedischOnderwijs.nl database (oude server) 3. Restoren van deze database op de nieuwe server 4. Omzetten domeinnaam 5. Kopieren oude LOG files van de oude server naar de nieuwe server 6. Nieuwe webserver weer in productie nemen. Deze acties hebben ongeveer 20 minuten in beslag genomen. Er is bij deze actie geen dataverlies opgetreden.

Manual MedischOnderwijs.nl De manual voor LRS.Net is geupdated en als bijlagen zijn de Manuals voor Enduser en Administrator toegevoegd (zie bijlage Bijlage 2 Manual medischonderwijs voor Enduser en Administrator).

4

Fase 5 Integratie van LRS.Net met de bestaande ICT infrastructuur Koppeling LRS.Net-WebCT De koppeling LRS.Net-WebCT-vista is volledig operationeel. Er is een koppelingsapplicatie geschreven, die het gebruik van rich-URL’s binnen WebCT mogelijk maakt. Deze applicatie maakt mogelijk dat studenten die beschikken over een WebCT-vista inlogaccount, direct toegang krijgen tot het COO-materiaal binnen LRS.Net en, zonder hiervoor nogmaals in te moeten loggen, een les kunnen starten die beschikbaar is gesteld binnen LRS.Net.

Fase 6 Inbedding in het onderwijs Erasmus MC Met ingang van het nieuwe studiejaar 2006/2007 wordt al het webgebaseerde ingeroosterde COO via MedischOnderwijs.nl (via RichURL links in Blackboard) aangeboden. Dit zijn in de eerste drie maanden ongeveer 15 elektronische zelfstudieopdrachten in de eerste vier jaar van het curriculum. Een deel van de programma's wordt (vanwege technische beperkingen) nog niet via internet aangeboden, maar alleen via het lokale netwerk en CD-ROM. Deze programma's zullen de komende tijd worden omgezet. Ook is op de Blackboardsites van alle onderwijsblokken een directe link geplaatst naar MedischOnderwijs.nl, zodat studenten en docenten rechtstreeks, zonder opnieuw in te loggen, kunnen zoeken naar aanvullend lesmateriaal. Het aantal accounts van Rotterdamse studenten is daardoor in de afgelopen drie maanden explosief gestegen en bedraagt nu bijna 1000.

UMCU Binnen de virtuele docentenkamer “community for teachers” in WebCT-vista is aandacht besteed aan het beschikbare COO-materiaal, dat in LRS.Net te raadplegen is. Ook zijn de WebCT-vista designers op de hoogte gebracht van de nieuwe koppelingsapplicatie, die nu binnen WebCT-vista voorhanden is, zodat ook zij de docenten kunnen stimuleren om nieuw COO-materiaal te laten maken, of dat docenten hun studenten kunnen verwijzen naar bepaalde COO-lessen binnen LRS.Net. In Utrecht zal ten behoeve van de inbedding in het onderwijs veel overleg nodig zijn met coördinatoren, om te kunnen selecteren welke COO programma’s geschikt zijn voor het onderwijs. Verder kan het bestaande COO onderwijs nu echt ingebouwd worden in Webct. De koppeling tussen Webct en LRS is gerealiseerd. Een en ander vergt nog aanzienlijke inspanningen, sommige kosten zijn reeds gemaakt. De negatief bijgestelde begroting leidt in Utrecht tot problemen om de geplande afronding van het Scale project uitvoerbaar te maken. Zie in Bijlage 3 Afrondingsplan van het Scale project in Utrecht het voorstel is om in overleg te komen tot een werkbare situatie.

UMC St Radboud Er is een URL ontworpen en geïmplementeerd, die het onmogelijk maakt dat via medischonderwijs.nl aangeroepen COO, via het maken van een bookmark, later buiten MedischOnderwijs.nl gedraaid kan worden. Dit is gerealiseerd door te vereisen dat het COO opstart binnen een beperkt tijdvenster na het aanroepen vanuit MedischOnderwijs.nl; en binnen afzienbare tijd ook op controle van de identiteit van de gebruiker. Gebruik van COO via MedischOnderwijs.nl zal worden gepromoot. Ondermeer via de website van de afdeling die computer ondersteund onderwijs ontwikkelt en beheert (CIO-groep), waar een link naar MedischOnderwijs.nl is opgenomen. En via berichtgeving aan de blokcoördinatoren van het curriculum. Voor het klassikaal te draaien, specifiek voor een blok geprogrammeerd, COO tijdens daartoe geroosterde uren, zal het COO rechtstreeks bij de lokale voorzieningen toegankelijk blijven. De faciliteiten van MedischOnderwijs.nl maken het evenwel mogelijk bepaalde COO-

5

programma’s minder strikt in klassikale setting te laten draaien. Dit geldt met name in die gevallen waarin de inbreng van een docent niet noodzakelijk is. Er zijn afspraken gemaakt over het beheer van MedischOnderwijs.nl bij einde van het SCALE project. In dat kader is voor alle COO het contactadres veranderd in [email protected].

Fase 7 Promotie projectresultaten Flyers en advertenties Tijdens de congressen Slice of Life (4-8 juli 2006 Lausanne, 300 deelnemers) en AMEE (1518 september Genua, 2000 deelnemers) zijn flyers toegevoegd aan de congrestassen. Er is ook een Nederlandstalige versie van de flyer gemaakt, die op de instellingen uitgedeeld kan worden. Zie Bijlage 5 Flyer: Nederlands voor de Nederlandstalige flyer. Tevens is voor het laatste kwartaal van 2006 een advertentiecampagne gepland in diverse nationale medische tijdschriften: Tijdschrift Arts in spe Medisch Contact(KNMG) 2x Nederlands tijdschrift voor Geneeskunde 2x NTvG studenteneditie Tijdschrift voor Medisch Onderwijs 2x

Plaatsingsdatum 17 november 20 oktober (nr 42), 17 november (nr 46) 28 oktober (nr 43), 25 november (nr 47) 29 november 25 oktober (nr 5), 13 december (nr 6)

Docenten van het Erasmus MC worden op de hoogte gehouden van de vorderingen van het project middels een elektronische nieuwsbrief en door het uitdelen van flyers.

Fase 8 Evaluatie In het laatste gedeelte van dit kwartaal is begonnen met de Evaluatie fase voor het SCALE project.

Pilot Evaluatie De pilot evaluatie is bij het UMC St Radboud uitgevoerd in juli door een groepje van vier studenten gezondheidswetenschappen onder leiding van Pieter de Vries Robbé. De resultaten van deze pilot zijn te zien in Bijlage 6 Pilot Evaluatie

De evaluatie van de wijze van klasseren In september 2006 is een onderzoek gestart onder docenten over de mate van tevredenheid met de medische klassering van hun lessen. Aan de hand van een vragenlijst (zie Bijlage 7 Evaluatie wijze van klasseren) worden op elke faculteit in de periode september-oktober 2006 steeksproefsgewijs 10 docenten geïnterviewd aan de hand van een vragenlijst. De resultaten van dit onderzoek worden gepresenteerd op het NVMO-congres van 9-10 november 2006 en zullen tevens worden gerapporteerd in de volgende voortgangsrapportage. In Rotterdam zijn inmiddels vijf docenten geïnterviewd. Aan de hand van de resultaten van het onderzoek, wil de projectgroep een indicatie kunnen geven of de MeSH-thesaurus voldoet voor de medisch inhoudelijke klassering van de lessen. Daarnaast wil de projectgroep duidelijkheid krijgen of het noodzakelijk is om de toegekende medische trefwoorden van alle lessen te controleren op volledigheid en juistheid.

Onderzoeksvragen Evaluatie SCALE project Om inzicht te krijgen in het effect van de resultaten van het project SCALE is er een overzicht van mogelijke vragen voor een (doorlopende) evaluatie van MedischOnderwijs.nl opgesteld (zie Bijlage 8 Onderzoeksvragen Evaluatie SCALE project). Deze kunnen vervolgens geïmplementeerd worden op de server (report server). Dit kan zorgen voor een doorlopende evaluatie.

6

Reportserver In het LUMC wordt gewerkt aan het opzetten van een Reportserver voor MedischOnderwijs.nl. Deze service zorgt voor een webtoegang tot gegevens uit de database. Middels deze service wordt het mogelijk gemaakt om instantaan rapporten te bekijken via het web van gegevens uit de database. Het opzetten van deze service is een tijdrovend proces. Het grote voordeel hiervan is echter dat nu niet alleen de gegevens ten tijde van de evaluatie opgehaald kunnen worden, maar dat dit op elk willekeurig tijdstip daarna herhaald kan worden.

Knelpunten Tijdens het derde kwartaal is als knelpunt te benoemen de aanzienlijke inspanningen nodig in Utrecht om de geplande afronding van het Scale project uitvoerbaar te maken. De negatief bijgestelde begroting leidt daar tot problemen. In de bijeenkomst van de projectgroep is dit knelpunt in goed overleg door geringe interne schuiving van de budgetten (zie in Bijlage 3 Afrondingsplan van het Scale project in Utrecht) opgelost.

Standlijnenoverzicht Jan Feb Mrt Apr Mei Juni Juli Aug Sept Okt Nov Dec 2005 2005 2005 2005 2005 2005 2005 2005 2005 2005 2005 2005 Fase 1 Ontwikkelen classificatie Fase 2 Inventarisatie COO Fase 3 Functioneel ontwerp Fase 4 Technische realisatie Fase 5 Integratie infrastructuur Fase 6 Inbedding onderwijs Fase 7 Promotie resultaten Fase 8 Evaluatie Jan Feb Mrt Apr Mei Juni Juli Aug Sept Okt Nov Dec 2006 2006 2006 2006 2006 2006 2006 2006 2006 2006 2006 2006 Fase 1 Ontwikkelen classificatie Fase 2 Inventarisatie COO Fase 3 Functioneel ontwerp Fase 4 Technische realisatie Fase 5 Integratie infrastructuur Fase 6 Inbedding onderwijs Fase 7 Promotie resultaten

7

Fase 8 Evaluatie

Kennisdisseminatie Slice of life Van 4-8- juli 2006 is bij de University of Lausanne de 18e International meeting for medical developers and educators gehouden. Er is een posterpresentatie door UMCU gehouden over het koppelingsscript tussen de ELO WebCT en LRS.Net. Zie. Tevens werd een breakout sessie verzorgd door Rotterdam en Leiden over de management aspecten van samenwerkingsprojecten (zie bijlage 4 voor de abstracts.)

Kostenoverzicht 19

July-06 Begroting

Gerealiseerde kosten

In rapportage periode

t/m rapportage periode

51,500.00 €

16,071.54 €

6,134.17 €

22,205.71 €

Fase 1 en 2

216,949.14 €

168,068.85 €

8,112.35 €

Fase 3 en 4

Totaal Materiële kosten

200607 Restant op begroting

29,294.29 €

Gefaseerd personeel

122,552.09 €

120,857.72 €

850.28 €

176,181.19 € 121,707.99 €

Fase 5, 6 en 7

53,827.94 €

41,269.83 €

5,422.62 €

46,692.44 €

7,135.50 €

Fase 8 en Diversen

20,975.68 €

16,260.53 €

1,325.45 €

17,585.98 €

3,389.70 €

47,687.42 €

32,563.40 €

1,828.31 €

34,391.71 €

13,295.71 €

58,164.62 €

27,762.44 €

6,570.35 €

34,332.79 €

23,831.83 €

520,156.89 €

406,782.76 €

24,109.35 €

430,892.11 €

89,264.78 €

40,767.95 € 844.10 €

Projectoverstijgend personeel Projectleiding/Accountantscontrole Kennisdisseminatie/Financieel beheer Personeel inc.overhead

Subsidie Maximaal

309,672.16 €

Restant tot rapportage periode

81,963.31 €

Opgevraagd -t/m voorgaande periode -in rapportage periode -t/m rapportage periode Restant op te vragen

227,708.85 € 16,035.92 € 243,744.76 € 65,927.40 €

8

20

August-06 Begroting




51,500.00 €

22,205.71 €

845.78 €

23,051.49 €

Fase 1 en 2

216,949.14 €

176,181.19 €

9,413.86 €

Fase 3 en 4



28,448.51 €

Gefaseerd personeel

122,552.09 €

121,707.99 €

741.29 €

185,595.05 € 122,449.28 €

Fase 5, 6 en 7

53,827.94 €

46,692.44 €

5,551.26 €

52,243.71 €

1,584.23 €

Fase 8 en Diversen

20,975.68 €

17,585.98 €

1,223.47 €

18,809.45 €

2,166.23 €

47,687.42 €

34,391.71 €

1,846.91 €

36,238.62 €

11,448.80 €

58,164.62 €

34,332.79 €

6,242.14 €

40,574.92 €

17,589.70 €

520,156.89 €

430,892.11 €

25,018.92 €

455,911.03 €

64,245.86 €

31,354.09 € 102.81 €


Subsidie Maximaal

309,672.16 €


65,927.40 €


243,744.76 € 13,855.81 € 257,600.57 € 52,071.59 €

9

21

September06 Begroting




51,500.00 €

23,051.49 €

3,268.21 €

26,319.70 €

Fase 1 en 2

216,949.14 €

185,595.05 €

8,867.53 €

Fase 3 en 4



25,180.30 €

Gefaseerd personeel

122,552.09 €

122,449.28 €

1,209.29 €

194,462.58 € 123,658.57 €

Fase 5, 6 en 7

53,827.94 €

52,243.71 €

4,939.91 €

57,183.62 €

-3,355.68 €

Fase 8 en Diversen

20,975.68 €

18,809.45 €

1,377.69 €

20,187.14 €

788.54 €

47,687.42 €

36,238.62 €

1,718.73 €

37,957.34 €

9,730.08 €

58,164.62 €

40,574.92 €

6,020.49 €

46,595.41 €

11,569.21 €

520,156.89 €

455,911.03 €

24,133.64 €

480,044.67 €

40,112.22 €

22,486.56 € -1,106.48 €


Subsidie Maximaal

309,672.16 €


52,071.59 €


257,600.57 € 14,560.29 € 272,160.86 € 37,511.30 €

Declaratie De totale baten voor Scale voor deze projectperiode bedragen €44.452 en kunnen worden overgemaakt op rekeningnummer 46.41.56.629 t.n.v. LUMC/Projecten Leiden o.v.v. PSnr 30248/8204

10

Bijlagen Bijlage 1 Functioneel Ontwerp Zie http://lumc.nl/SCALE/ Rapportages

Bijlage 2 Manual medischonderwijs voor Enduser en Administrator Zie http://lumc.nl/SCALE/ Rapportages

Bijlage 3 Afrondingsplan van het Scale project in Utrecht Afrondingsplan van het Scale project in Utrecht. Inleiding Nu de LRS website goed is opgezet en de koppeling vanuit Webct met LRS werkt, kan begonnen worden met de inbedding van COO in het onderwijs bij het UMC Utrecht. De inbedding in het onderwijs is de 6e fase van het Scaleproject. In Utrecht wordt er relatief weinig gebruik gemaakt van COO in het onderwijs. Om dit structureel toe te laten nemen kan nu de LRS website worden gebruikt, waar op een eenvoudige manier op basis van trefwoorden lessen kunnen worden gezocht. We hebben hiervoor de volgende aanpak opgesteld: Inventarisatie van geschikt COO materiaal voor blokken in het eerste en tweede jaar van geneeskunde Op basis van de curriculumdatabase van Geneeskunde wordt per blok gekeken welke termen uitgebreid aan bod komen. Op basis van deze termen kan worden gezocht in de LRS database naar bijbehorende lessen. Hier wordt een eerste schifting gedaan welke lessen wellicht relevant zijn voor het betreffende blok. Aan de coordinator wordt gevraagd welke onderwerpen niet voldoende aan bod komen, ook hier worden COO lessen voor gezocht. De gevonden lessen worden aan de coördinator van het blok getoond ter beoordeling om COO materiaal op te nemen in het blok. Het betreft 8 blokken in het eerste jaar van het CRU 2006. en 8 blokken in het 2e jaar plus bij komende onderdelen van PLO, in totaal 20 blokken. Een globale schatting van de benodigde tijd per blok: - Curriculumdatabase doorzoeken en trefwoorden bepalen - LRS database doorzoeken op geschikte lessen: - Overleg met de coördinator over mogelijk geschikte lessen: - Invoeren van lessen in blok:

1 uur 4 uur 3 uur 2 uur

In totaal per blok Voor 20 blokken in het eerste en tweede studiejaar

10 uur 200 uur

Plus COO bij blokken van het 2e jaar Omdat de DOO ook het onderwijs voor Biomedische wetenschappen, Algemene GezondheidsWetenschappen en het OpleidingsCentrum moet ondersteunen kan ook voor die studies naar COO materiaal worden gezocht. De hoeveelheid benodigde tijd verhoudt zich op dezelfde manier als bij geneeskunde. Een grove schatting is dan: - BMW onderwijs 100 uur - AGW onderwijs 25 uur - OC onderwijs 75 uur

11

Dit komt met een ruwe schatting uit op 200 uur. Inpassing van bestaande COO programma’s in LRS De bestaande COO programma’s die in Utrecht worden gebruikt in het onderwijs moeten, nu de koppeling tussen Webct en LRS is gerealiseerd, nog worden ingebouwd in Webct: Bij KNO en Dermatologie worden in Electronic Teacher ET gemaakte casus aangeboden tijdens de introductieweek van het coschap. Deze casus kunnen via LRS worden ontsloten. Hiertoe moeten de casus worden ingevoerd in LRS, voor KNO is dit grotendeels gebeurd, er moeten alleen nog trefwoorden aan de casus worden gekoppeld. De voorwaarden van KNO zijn dat de content niet openbaar wordt gegeven en dat er wordt betaald voor het gebruik van de lessen. Hun voorkeur gaat uit naar het plaatsen van de content op een server die onder beheer is van de DOO. Voor dermatologie moet het invoeren in LRS nog worden uitgevoerd. Hiervoor moet eerst worden overleg met Dermatologie over de randvoorwaarden. Geschatte benodigde tijd: Invoer en classificatie 60 casus in LRS: 60 x 15 min = 900 min = 15 uur Omdat Authorware casus niet goed werken in LRS, bestaat de mogelijkheid om de casus over te zetten in een programma ontwikkeld in Leiden. Het programma moet hiervoor geïnstalleerd worden in Utrecht of er moet van de server in Leiden gebruik worden gemaakt. Geschatte benodigde tijd Invoer van 100 casus a 20 min per casus = 2000 min = 33 uur Voorbereidende werkzaamheden: Beoordelen van het programma Opzetten van server Afspraken over beheer en onderhoud Geschatte benodigde tijd 1 week = 36 uur Invoering van UVT casus in ET Als ET in een aangepaste vorm beschikbaar is, dan kunnen de casus zoals die worden gebruikt in de Utrechtse Voortgangstoets worden ingevoerd in het ET programma. Daarna kunnen ze beschikbaar worden gesteld aan studenten als oefenmateriaal. Er zijn nu 149 casus beschikbaar. Geschatte werktijden: Invoeren UVT vragen in ET Invoeren als COO materiaal in LRS met classificatie Beschikbaar stellen in webct Totaal


Voorlichtingsbijeenkomst Organiseren van een voorlichtingsbijeenkomst voor docenten en coordinatoren waarin wordt uitgelegd en toegelicht wat de mogelijkheden van de programma’s in Scale verband zijn. Geschatte benodigde tijd 18 uur Reclame in nieuwsbrief oid 500 euro reclame op Amee Koppeling Webct met LRS Kosten voor het realiseren van de koppeling tussen Webct en LRS. Lennart Herlaar heeft een koppeling geprogrammeerd op de testserver van webct en deze daarna omgezet naar de echte server van Webct. Voorlopige kosten hiervoor zijn: Ongeveer 5000 euro Verdere bijkomende kosten:

12

- Slice of life congreskosten 900 Euro - Doorgaande projectkosten 6 x 850 = 5100 Euro - Extra inzet van menskracht door Scaleteam 10 uur Bijstelling begroting In het najaar van 2005 is op grond van voorafgaande uitgaven beslist dat de Scale begroting is bijgesteld in negatieve zin voor Utrecht. In de notulen van 26 oktober 2005 is gemeld dat de begroting is bijgesteld, dit betekent voor Utrecht een bijstelling van 57679 naar 25000 euro. Hierbij is helaas geen rekening gehouden met bovenstaande uitvoering van de inbedding in het onderwijs. Dit heeft steeds als nog uit te voeren fase 6 in het plan gestaan. Door de vermindering op de begroting is de uitvoering hiervan nu ernstig in de knel gekomen. Dit zou de doelstelling van het Scaleproject ernstig schaden. Het verzoek is dan ook om de begroting ten gunste van Utrecht bij te stellen met 30000 euro. Overzicht Kosten Inventarisatie COO materiaal GNK Inventarisatie COO materiaal BMW, AGW, OC200 uur Inpassing bestaand COO materiaal Invoering UVT vragen Voorlichtingsbijeenkomst Koppeling Webct LRS 5000 Euro Amee 500 Euro Bijkomende kosten 6000 Euro Bijkomende inzet Sub totalen

11500 Euro


10 uur 568 uur a

50 = 28400 Totaal

39900 Euro

Voorstel aanpassing begroting voor UMCU Oorspronkelijk Bijstelling november 2005 57679 25000

Voorstel augustus 2006 37000

Samenvatting Voor het afronden van het Scale project is de inbedding in het onderwijs gepland. In Utrecht houdt dit veel overleg met coördinatoren in, om te kunnen selecteren welke COO programma’s geschikt zijn voor het onderwijs. Verder kan het bestaande COO onderwijs nu echt ingebouwd worden in Webct. De koppeling tussen Webct en LRS is gerealiseerd. Voor het invoeren van UVT vragen kan ook gebruik worden gemaakt van de Electronic Teacher variant uit Leiden. Een en ander vergt nog aanzienlijke inspanningen, sommige kosten zijn reeds gemaakt. De negatief bijgestelde begroting leidt in Utrecht tot problemen om de geplande afronding van het Scale project uitvoerbaar te maken. Het voorstel is om in overleg te komen tot een werkbare situatie.

Bijlage 4 Bijdragen Slice of Life E-poster: The connection between a Course Management System LRS.Net: Controlled access from an E-Learning system to CBT programs

http://coo.lumc.nl • Martien Quaak ([email protected]) / Medical Education - University Medical Center Utrecht,Utrecht, Netherlands

13

•

Bloemendaal Peter ([email protected]) / Leiden University Medical Center

•

Eggermont Sylvia ([email protected]) / Leiden University Medical Center

The presentation gives information about the integration of a Course Management System (CMS) and a Computer Based Training (CBT) portal LRS The Lesson Registration System (LRS.Net) is a portal that enables students to access all kinds of computer based training (CBT) programs on the Internet. LRS.Net is used as a web-based distribution system for CBT programs and also as a registration system for student use of these programs. For this purpose the LRS.Net is equipped with an authentication system that identifies the users of each program. In the project named "Study Coach And Learning Environment" (SCALE), four medical institutions in the Netherlands try to incorporate the LRS.Net application into their learning environment. The participating partners in this project use two different Course Mangement Systems (CMS). These CMS's are the central point for students to get all information concerning their studies. Each CMS has its own authentication system, which uniquely identifies each student. Because both CMS's and LRS.Net are on the Internet, students can go directly from their study course in a CMS to specific CBT programs in LRS.Net with a hyperlink. This does however require a double login procedure, one for the CMS and one for the LRS.Net application. These two authentication systems can coexist without any problem, but a double login is not user friendly. For this reason a connection was developed between our CMS's and the LRS.Net application. Students can now go directly to the CBT lessons from different courses in a CMS. In the background they are registered by LRS.Net. Because of the position of LRS.Net between the CMS and the specific CBT program, the following data can be registered: - Unique identification of the user, - Date on which the program was accessed - Unique identification of the program With small adaptations of the CBT program itself, LRS.Net is also able to register the following data: - Time the student has spent on a program - Performance of a student on a program (grade) - Comment of a student on a program. Through this technical feature an important integration of electronic study material is realized.

14

Auditorium presentation: Success factors and pitfalls for cooperative projects in the Netherlands Authors S. Eggermont, M. Doets, P.M. Bloemendaal Benefits to participants attending session In the Netherlands, medical computer based training (CBT) developers have been sharing their work among universities structurally for the last 15 years. Cooperative production of CBT is however still a hazardous occupation. We have been involved in several projects on governmental grants during the past 6 years and would like to share with you our mistakes and successes in joint development of CBT. Text of the abstract The Dutch government gives out grants for educational innovation. Partnerships of different compositions of Dutch medical schools have applied for these grants in the past 6 years and several cooperative computer based training (CBT) development projects were carried out. Each project was monitored closely on behalf of the government by the SURF foundation to ensure the money was spent according to the beforehand settled demands. The contribution of SURF and our own positive and negative experiences during the projects have led to a list of recommendations for successful effectuation of cooperative CBT development projects: • Make a realistic phased planning. A project planning should contain different phases with clearly defined activities, and milestones. If the phases are successive and the next phase is dependent on the product of the previous phase, try to plan an independent phase in between to leave room for possible delay. Another solution is to work with cyclic phasing where you proceed to the next phase with a prototype result of the previous phase and improve the prototype later on in the project. If you work with external partners, make sure that part of the phases are parallel and can be carried out independent of the other partners. • Organize project meetings. Organizing a startup and general meetings for the project participants is essential to get and keep all noses in the same direction. Other kinds of meetings can be as effective, such as discussing by making collective mind maps or active sessions on the workplace to see and learn from each other’s approach to the work. If milestones are reached, release the pressure with an occasional diner or social activity, to charge up for the next phase. • Keep the internal and external project environment involved. Keeping in contact with the directors of your own institution is especially important to get support for a project when the initiative lies at the bottom of the organization. Even a top down assignment for a project is no guarantee for implementation of the products of the project. Directors should be actively kept involved to make sure the project assignment is interpreted well and to enthuse them for the results. Also, create support in other institutions by presenting the progress of the project on a regular basis and discuss the results. This will increases chances of continuity of the project. • Define the result clearly before implementation. Think of what you would like to accomplish with your product. Remember that sometimes small innovations are larger than you think in terms of organizational implications. Try to get formal approval of your director for the design before implementation • Make compromises but don't try too hard All users have different demands. Try to find out which are essential for future use and make compromises for the rest. If demands of different institutions are not compatible, consider manufacturing customized versions because enforcing the middle course leaves all users unsatisfied.

15

If you make sure the products look like they were build at the own institution, for example different versions with the appropriate logos, you can prevent the “not invented here” syndrome. • Guarantee application and continuity after the project. Creating something is just the first step. To make sure CBT products continue to be used, their value should by proved by registering teaching hours and demonstrating the learning effect. Only then you can justify spending personnel and means on maintenance of the products. Leave the distribution rights, copyrights, version management, hosting and other horrors to the responsibility of the owner of the products. It saves a lot of work to keep it there. In our presentation we would like to share with you the pitfalls we stepped in and the successes we have booked during the effectuation of our projects.

Bijlage 5 Nederlandse Flyer Zie downloads pagina op http://www.lumc.nl/scale

Bijlage 6 Pilot Evaluatie Evaluatie van via Internet toegankelijk Computer Ondersteund Onderwijs

Nick Hermans Gerwin Sandker Thom Verhoeven Jan-Willem Weenink Inhoudsopgave Inleiding Het Project “Study Coach And Learning Environment (SCALE)” is een gezamenlijk project van 4 faculteiten geneeskunde in Nederland (Leiden, Nijmegen, Rotterdam en Utrecht). Het heeft tot doel een mogelijkheid te creëren om het tot nu toe in deze instellingen

16

geproduceerde digitale studiemateriaal (COO’s) onder de studenten te kunnen verspreiden, via een studie coach. Als database voor het digitale studiemateriaal is de website Medischonderwijs.nl opgezet. In het kader van het SCALE-project wordt een pilot-evaluatie uitgevoerd die later in het jaar gevolgd wordt door een definitieve evaluatie.

17

Vraagstelling Hoeveel, door wie en op welke wijze wordt er gebruik gemaakt van de website Medischonderwijs.nl voor het Computer Ondersteund Medisch Onderwijs. Methode Het onderzoek werd gestart met een globale oriëntatie van de te onderzoeken site. Na uitgevonden te hebben welke functies de site had, waar hij precies voor diende en wat enkele plus en minpunten waren, maakten we bovendien kennis met de site van “Study Coach And Learning Environment (SCALE)”, om zo uit te vinden wat er nu precies van ons werd verwacht. De eerste dagen werd er voornamelijk veel gebrainstormd en werden de eerste zelfstandige testjes van de site uitgevoerd. We konden echter niet alle gegevens bereiken en moesten dus de hulp in roepen van de super administrator, die wel toegang had tot de meeste gewenste gegevens. Door het draaien van een aantal queries zijn door de super administrator gegevens verzameld over het gebruik en de gebruikers van Medischonderwijs.nl, waarna deze gegevens door ons verwerkt zijn. Er is gekeken naar het aantal geregistreerde accounts, en van welke instelling deze eventueel afkomstig zijn. Er is onderzoek gedaan naar de dag en tijdstip van bezoek, en ook is het aantal sessies dat een geregistreerde gebruiker draait plus de lengte van deze sessies onderzocht. Naast het onderzoek naar het gebruik van de website is er ook gekeken naar de inhoud hiervan. Er is bekeken hoeveel COO’s uit welke instelling afkomstig zijn en Classificaties van de COO’s op het gebied van MeSH-termen, onderwijskundig doel en technische gegevens zijn geanalyseerd. Resultaten Inhoud Plugins Welke Plugins worden het meest gebruikt door de COO’s? Via de zoekfunctie zelf uitgezocht welke plugins het meest worden gebruikt door de COO’s. Onderstaande resultaten zijn verkregen zonder ingelogd te zijn, omdat anders de details niet zichtbaar waren. Authorware: Java: Flash: Quicktime

179 zoekresultaten 2 zoekresultaten 16 zoekresultaten 1 zoekresultaat

Windows als OS: 164 zoekresultaten Web Based (ISAPI Based) als OS: 81 zoekresultaten Het blijkt dus dat Authorware de meest gebruikte plugin is. Een plugin die op de meeste computers niet standaard aanwezig is. Deze zal dus apart geïnstalleerd moeten worden. Door middel van een notificatie of een link moet dit aan de gebruikers duidelijk gemaakt worden. Updates Het programma DEMON controleert elke avond of alle COO’s nog online staan. Is dit niet het geval, dan haalt het programma de COO direct van de site en wordt deze pas teruggeplaatst als de COO weer beschikbaar is. Zo voorkom je dat gebruikers een COO willen openen dat niet werkt. COO’s per instelling De volgende gegevens zijn verkregen door te zoeken op instelling, zowel ingelogd als niet ingelogd. Instelling

Ingelogd

Niet ingelogd

18

LUMC UMCN AMC EUR UMCU VUMC LUMC/CHDR

153 85 36 24 3 2 -

296 83 36 29 98 3

Ingelogd krijgt men 303 COO’s te zien, terwijl er toch meer dan 400 beschikbaar zijn. Niet ingelogd blijken er van de instellingen 550 COO’s te vinden. Het blijkt dus dat niet alle COO’s door een instelling zijn gemaakt of door een instelling beschikbaar worden gesteld. Afdelingen Hoeveel COO’s staan er in de verschillende vakgebieden en waarin staan de minste/meeste? Oplopend van minste naar meeste COO’s.

Internal Medicine Dermatology Microbiology Histology Surgery -> Gastroenterology Family Medicine Internal Medicine -> Infectiology Pediatrics Neurology Cytology Surgery -> Traumatology Ear-Nose-Throat Internal Medicine -> Gastroenterology Surgery Pharmacology Gynaecology

23 23 22 21 18 18 16 15 15 15 14 14 12 12 11 11

Internal Medicine -> Endocrinology Anatomy Pathology Surgery -> Orthopedics Psychiatry Internal Medicine -> Nephrology Surgery -> Thorax-Heart Physiology Ophtalmology Neurology -> Neurosurgery General -> Epidemiology Anatomy -> Embryology Surgery -> Endocrinology Surgery -> Anesthesia Social Medicine Microbiology -> Virology Internal Medicine -> Hematology General -> Medical informatics

Internal Medicine -> Pneumology

10

Body part / organic tract

General Internal Medicine -> Cardiology Biochemistry Surgery -> Vascular Gynaecology -> Obstetrics Surgery -> Urology Surgery -> Oncology Radiology Internal Medicine -> Rheumatology Clinical genetics Internal Medicine -> Oncology

10 9 9 8 8 6 6 6 6 6 5

Gastrointestinal Urogenital Skin Pulmonary Muscles & skeleton Nervous system Head & neck Vascular Cardiac Endocrine

Main Department

5 5 4 3 3 3 2 2 2 2 2 2 1 1 1 1 1 1

44 27 24 22 18 16 14 13 13 6

Onderwijskundig doel Worden er meer COO’s gebruikt waarvan het doel is kennis te vergaren, of worden ze gebruikt om al verworven kennis toe te passen? Via zoekfunctie medischonderwijs.nl is dit

19

uitgezocht. Zoeken op applying knowledge, acquiring knowledge en een combinatie hiervan. Het zoeken is gebeurd zonder te hebben ingelogd, vanwege het niet zichbaar zijn van details tijdens het inloggen. Applying Knowledge: 396 zoekresultaten Acquiring Knowledge: 325 zoekresultaten Zowel Applying als Acquiring: 290 zoekresultaten Er is hier sprake van een grote overlap. Het aantal COO’s dat alleen berust op het principe van Applying Knowledge is 106, terwijl dit voor Acquiring Knowledge 35 is. Het grootste deel van de COO’s berust dus op beide principes. Classificaties MeSH termen: Aantal COO’s uitgezet tegen het aantal MeSH termen die geklassificeerd zijn: in totaal waren er begin april (2006) 612 lessen geklasseerd van de 718. 12 5.0 0

Aantal COO's

10 0.0 0

75 .0 0

5 0 .0 0

2 5.0 0

0 .0 0 2 8.00 27 .00 26 .00 25 .0 0 2 4.0 0 2 3.0 0 2 2.00 21 .00 20 .00 19 .0 0 1 8.0 0 1 7.0 0 1 6.00 15 .00 14 .0 0 1 3 .0 0 1 2.0 0 1 1.0 0 1 0.00 9.0 0 8.00 7 .00 6 .00 5 .0 0 4.0 0 3.0 0 2.00 1 .00 .0 0

Aantal MeS H termen

Opvallend is natuurlijk de uitschieters van 10 of meer MeSH termen en het enorme aantal lessen dat 0 MeSH termen aan zich gekoppeld heeft kregen. Ook op 1 januari 2006 is er een overzicht gemaakt van de classificatie, maar dan ingedeeld per instelling. Hieruit blijkt o.a. dat ruim 70% van alle programma’s uit Leiden afkomstig is. Tevens kan er uit afgeleid worden dat ruim 90% van de geklasseerde programma’s uit Utrecht géén MeSH termen is toebedeeld. Dit kan mogelijk verklaard worden door de manier waarop de classificatie is uitgevoerd: wanneer bijvoorbeeld verschillende mensen 1 programma klasseren kan het zijn dat een programma al wel is beoordeeld op CBT-type, technical, educational en curriculum, maar dat de MeSH termen er pas later aan gekoppeld zullen worden door personen die meer kennis op dit gebied hebben. Maar dit lijkt toch niet al te waarschijnlijk gezien het feit dat bij een steekproef boven water is gekomen dat van de programma’s die in januari nog geen MeSH term hadden, ook nu nog 98% daarvan een MeSH term ontbeerd. De steekproef bestond uit 50 COO’s die allen op 1 januari geen MeSH term aan zich gekoppeld hadden, en waarvan er heden maar 1 ook op MesH termen

20

geclassificeerd is. Het is dus ongeloofwaardig dat ze minimaal 4 maanden wachten tussen het classificeren van MeSH termen en de overige criteria. Uit de gegevens blijkt bovendien dat er bij de COO’s van Nijmegen altijd minimaal 1 MeSH term is gekoppeld, dit kan dan verklaard worden door het feit dat 1 persoon de COO’s op alle gebieden klasseert, of dat de classificatie in ieder geval tegelijk plaatsvindt wanneer er wel meerdere mensen de verschillende onderdelen hebben beoordeeld. Dit zijn echter slechts theorieën, maar wat wel gezegd kan worden is dus dat alle instellingen zelf verantwoordelijk zijn voor classificatie en er dus een groot verschil is in de interpretatie van een programma. Wij adviseren dan ook dat de richtlijnen die bestaan (4 á 5 MeSH termen per COO) nageleefd worden, er hier goed op gecontroleerd wordt. Achteraf gezien was het misschien beter geweest om een commissie op te stellen die, volgens de richtlijnen, de COO’s klasseert. Nu is het zo geweest dat op de verschillende instellingen de COO’s door verschillende mensen zijn geklasseerd, waarbij de een er meer verstand vak kan hebben dan de ander (bijv. bmw-student vs. docent met meer kennis). Helaas zijn in dit overzicht nog niet de hoge uitschieters terug te vinden, dit duidt er dus op dat deze er tussen januari en april van dit jaar zijn bij gekomen, en wanneer we ze opzoeken blijkt dat ze zijn geklasseerd in Leiden. Zoveel MeSH termen aan een COO koppelen heeft natuurlijk weinig zin; het blijkt namelijk dat de termen meestal maar voor 5 of 10% in het programma terugkomen. Wanneer dit bij alle programma’s zou zijn gebeurd zou het hele nut van de MeSH termen overbodig worden aangezien je bij iedere willekeurige term ook ontzettend veel programma’s krijgt waarbij het onderwerp slechts sporadisch in het COO wordt behandeld. Spellen Game en Games Het is gebleken dat er meer spellen worden gevonden wanneer men op ‘game’ zoekt dan wanneer men op ‘games’ zou zoeken: Uitgelogd: zoeken op game: 21 resultaten zoeken op games: 17 resultaten Inloggen als student: zoeken op game: 23 resultaten zoeken op games: 16 resultaten Inloggen als particulier: zoeken op game: 23 resultaten zoeken op games: 16 resultaten Belangrijk: Het blijkt wanneer er uitgelogd wordt gezocht op ‘games’ er meer resultaten gevonden worden dan wanneer men ingelogd is. Het lijkt hier alsof er ingelogd slechts één resultaat wordt weggelaten, dit is echter niet het geval. Er worden namelijk twee resultaten van de uitgelogde resultaten weggelaten, en er komt er één extra bij. Wanneer men inlogt (en op ‘games’ zoekt), wordt er ten opzichte van de uitgelogde resultaten weggelaten: Million Dollar Psychiatrie & Million Dollar Surgeon toegevoegd: Dance Macabre Single User en Multi-player Hier is uitgelogd gezocht op ‘game’, omdat de spellen anders niet te classificeren zijn als Single User en Multi-Player. Hieruit volgden 21 resultaten. Deze resultaten zijn in onderstaande tabel geklasseerd als S (Single User), M (Multi-Player) of S/M (combinatie van Single User en Multi-Player) Spel Classificatie Kamelenrace Medische Experts M Kamelenrace Co-assistenten Geneeskunde Kamelenrace Geneeskunde beginners M Marani’s Mind Maker Striatum S, M Marani’s Mind Maker Sensory System M

M

21

Marani’s Mind Maker Cerebellum Million Dollar Doctor Phony (UK)S Skelet Tetris S Schedel Tetris S Sexy Snake S Camelrace for Medical Novices S Camelrace Pharmacology S Histology Jackpot S Dokter Bibber S Million Dollar Doctor Phony S TRC Interactive Program S Million Dollar Psychiatrie S, M Million Dollar EHBO-er S, M Million Dollar Expert Doctor S, M Million Dollar Surgeon S, M Marani’s Mind Maker Motor System

S, M

S, M

Wanneer er wordt ingelogd (als student of particulier, dat maakt geen verschil) gebeurt het volgende: Million Dollar Psychiatrie & Million Dollar Surgeon verdwijnen. Dance Macabre, Nervous System Game, Control of the Cell Cycle & 6 minuten worden toegevoegd. 21 – 2 + 4 = 23 resultaten wanneer men ingelogd is. Gebruik Registratie Het aantal geactiveerde accounts bedroeg op 1 juli 2006 een omvang van 8001 Soort emailadres Aantal Accounts [email protected] 5031 [email protected] 868 [email protected] 777 [email protected] 215 [email protected] 91 [email protected] 76 [email protected] 60 [email protected] 49 [email protected] 45 [email protected] 41 De volgende gegevens gelden voor de periode tussen 1 januari en 1 juli 2006! Tijdstip Wat is het tijdstip van bezoek gezien over een hele dag? Dit eventueel in categorieën onder verdelen. Alle bezoeken sorteren op tijdstip van bezoek (per uur gezien).

22

Mean aantal_bezoekers

1 5 ,0 00 .00

1 0 ,0 00 .00

5 ,00 0.0 0

0 .00 23 .00

22 .0 0

2 1 .0 0

1 9.00

2 0.0 0

18 .00

17 .00

1 6 .0 0

1 5.0 0

1 4.0 0

13 .00

12 .00

11 .0 0

1 0 .0 0

9 .00

8 .0 0

7.0 0

6.0 0

5.00

3 .0 0

4 .00

1.0 0

2 .0 0

.0 0

tijd_in_uren

↑ We hebben het aantal bezoekers uitgezet tegen het tijdstip op de dag (van het totaal), nu kun je zien hoeveel bezoekers er op een bepaald tijdstip van de dag aangemeld waren. Zijn er bepaalde pieken in gebruik gezien over een hele maand? Is er verschil in het gebruik doordeweeks en het gebruik in het weekend? Aantal sessies per weeknummer in 2006

3000 2500 2000 aantal sessies 1500 1000 500 0 1 2 3 4 5 6 7 8 9 1011 12 1314 15 1617 18 1920 21 22 2324 25 2627 w eek

↑Hier is het aantal sessies (het draaien van een COO) uitgezet tegen de weken. Hierdoor kun je zien hoeveel sessies er zijn gedaan per week.

23

Aantal bezoekers per dag van de week

35000 30000 25000 20000 aantal bezoekers 15000 10000 5000 0 Monday

Wednesday

Friday

Sunday

dag van de week

↑Het totaal van alle bezoekers is hier uitgezet tegen de dag van de week. Je kunt zien dat er in het weekend veel minder gebruik wordt gemaakt van de site. Wat is de gemiddelde lengte van het bezoek? Alle bezoeken sorteren op lengte van bezoek en dit in percentages weergeven. Dit kan in verschillende categorieën. Bijvoorbeeld <5 minuten, 5-15 minuten, 15-30 minuten, 30-60 minuten, 60-120 minuten en >120 minuten. Aantal sessies uitgezet tegen de duur van de sessie 20000 18000

aantal sessies

16000 14000 12000 10000 8000 6000 4000 2000 0 <5

5 tot 15

15 tot 30

30 tot 60

60 tot 90

90 tot 120

120 tot 150 tot 150 180

> 180

minuten

↑In deze grafiek is het aantal sessies uitgezet tegen de duur van de sessie. Wat opvalt is dat mensen vaak minder dan 5 minuten met een COO bezig zijn. Dit kan betekenen dat de COO niet zo lang duurt of dat met de COO niet helemaal afmaakt. Hieronder een tabel met cumulatieve percentages. Tijdsduur van een sessie

Aantal sessies

Percentage

Cumulatieve percentages

24

< 5 min 5-15 min 15-30 min 30-60 min 60-90 min 90-120 min 120-150 min 150-180 min > 180 min

18078 15948 10800 6118 2270 1111 645 390 1204

32,0 % 28,2 % 19,1 % 10,8 % 4,0 % 2,0 % 1,1 % 0,7 % 2,1 %

32,0 % 60,2 % 79,3 % 90,1 % 94,1 % 96,1 % 97,2 % 97,9 % 100,0 %

Toegang: Met behulp van welk soort e-mail adres komt de bezoeker binnen? Via een student/docent email adres of via een particulier e-mail adres (bijv. hotmail, zie hier beneden voor voorbeelden. Aantal accounts onder student/docent adres versus particulier adres

19%

Particulier Student/docent

81%

↑ In dit diagram is te zien dat 81% van de in totaal 8001 accounts zijn aangevraagd met een student/docent emailadres tegen 19% particulier (hotmail, yahoo en anders). Emailadressen sorteren op vet gedrukt gedeelte: [email protected] student [email protected] docent [email protected] [email protected]

student docent

[email protected] [email protected] [email protected]

student docent

[email protected] [email protected] [email protected] [email protected]

student docent

docent

[email protected] [email protected] [email protected]

docent docent student docent docent

25

ls deze adressen dan gegroepeerd zijn per instelling, het gemiddeld aantal bezoeken per instelling bekijken. Zo kunnen wij kijken vanuit waar het meest gebruik wordt gemaakt van medischonderwijs.nl Instelling Leiden Rotterdam Amsterdam Twente Utrecht Nijmegen Maastricht Groningen Delft

Instelling Aantal gedraaide COO’s

Aantal accounts 5268 802 109 67 40 39 38 26 6

leiden

rotterdam

utrecht

amsterdam

nijmegen

maastricht

groningen

34000

2795

290

242

240

177

148

Uit de gefilterde adressen onderscheid maken tussen docent en student (zie achter de adressen).

Aantal sessies per student versus aantal sessies per docent

3755

Student Docent

34458

↑Dit diagram laat zien dat de site veel vaker door studenten wordt bezocht dan door docenten, wat logisch is omdat er veel meer studenten zijn dan docenten. Mate van gebruik: Wordt de site eenmalig of herhaald bezocht?

26

Aantal sessies per account

6000 5000 4000 aantal accounts 3000 2000 1000 0 0

1

2 tot 5

6 tot 15 16 tot 50

50>

aantal sessies

↑In deze grafiek is te zien dat over het algemeen men per account meerdere COO’s draait. Het hoge aantal van 0 is zou men kunnen verklaren omdat de gegevens van het aantal sessies vanaf 2006 is en het aantal accounts vanaf het begin van het project. Iemand zou zich dus hebben kunnen aanmelden, 1 of meerdere keren een programma draaien voor 2006, en dan niet worden meegeteld met het aantal sessies. Hoe vaak worden de accounts daadwerkelijk gebruikt bij de drie meest voorkomende instellingen/providers? Hotmail Leiden Aantal accounts van de bepaalde instelling/provider 868 5031 Aantal accounts dat is gebruikt om een COO te 188 1657 gebruiken in de periode 1 januari 2006 -1juli 2006 Percentage van de aangemelde personen die in 21.7 32.9 een periode van 6 maanden ook daadwerkelijk gebruik heeft gemaakt van zijn/haar account om COO’s te draaien.

Rotterdam 777 725 93.3

De resultaten uit bovenstaande tabel zijn redelijk opvallend gezien de grote verschillen, maar er valt desalniettemin een logische verklaring aan te koppelen. Zo viel het grote verschil tussen de instellingen van Rotterdam en Leiden ons op. Maar naar het blijkt worden in Leiden alle studenten verplicht aangemeld bij de site, dus ook degene die er geen gebruik van willen maken, dit levert natuurlijk al een enorm verschil op. Bovendien is men in Rotterdam pas na 1 januari 2006 begonnen actief met de site te werken en dit zorgt er dus voor dat bijna iedereen zich heeft aangemeld na 2006 en wanneer ze dan maar eenmalig een COO draaien gebeurt dat dus in de gekozen periode. Het tegenovergestelde hiervan verklaart ook meteen de getallen bij de hotmail gebruikers; aangezien dit een particulier adres is, melden mensen zich alleen aan wanneer ze gebruik willen maken van de COO’s, er werd dus door ons een hoog percentage “actieve accounts verwacht”. Maar het aanmelden op de site en gebruik maken van de COO’s kan al in 2005 gebeurt zijn en als ze daarna geen gebruik meer wilden maken van de site komen ze dus wel bij de groep van “inactieve accounts”. Welke COO’s worden het meest bezocht/bekeken? COO TRC Pharmacology Database Leernet Dermatologie Huidkanker – De oudere

Aantal sessies 6675

Instelling Leiden

2223 1350

Leiden Leiden

27

(Oefening en Toets) Transport in het maagdarmkanaal Regelsystemen Fit Temperatuurregeling Hoe intelligent ben jij? CASK: GI tract microscopy Regelsystemen BIPS COO Functieonderzoek (video)

987

Leiden

857

Leiden

782 764 723 702 669

Rotterdam Leiden Leiden Leiden Leiden

Wat zijn de meest gebruikte zoektermen?

1 2 3 4 5 6 7 8 8 9 9 9 10

zoekterm ehbo dps game MILLION cask caput trc ecg hart heart gynaecologie spierweefsel authorware

aantal maal 139 65 38 34 33 29 28 25 25 24 24 24 23

Problemen & Aanpassingen Mozilla Firefox Activatie account functioneert niet via Firefox Zoekbuttons (Go, Advanced) zijn niet goed zichtbaar (Figuur 1), en als men een zoekterm intypt en men drukt op Enter, dan wordt er niet gezocht maar wordt de RSS knop geactiveerd.

Figuur 1. Classification (1) Classification is niet zichtbaar onder details als men is ingelogd (Zie figuur 2), echter wel als men niet is ingelogd (Figuur 3). Dit is een fout.

28

Figuur 2.

Figuur 3. Classification (2) Mesh roots, Curriculum en Educational onder details moeten zichtbaar zijn voor studenten als deze zijn ingelogd. Technical en CBT alleen zichtbaar voor docenten en administrators als deze ingelogd. Terugkeren naar site Als je na het uitvoeren van een COO terug wil naar medischonderwijs.nl werkt zowel de knop Vorige als de toets backspace bij COO’s van bepaalde instellingen niet. Het COO begint dan opnieuw. Wat wel werkt is pijltje naast knop Vorige uitklappen (Figuur 4) en daar klikken op medischonderwijs.nl. Oplossing is misschien door COO in nieuw venster te openen.

29

Figuur 4. Discussie Er zijn een aantal aspecten van het project die wij graag in onze evaluatie hadden onderzocht, maar die voor ons echter niet mogelijk waren om te onderzoeken. Hieronder een lijst daarvan: 1. Hoe komen bezoekers op site? Direct of via een link? (Indien mogelijk ook vergelijken welke links er het vaakst worden gebruikt). Dit bleek niet te achterhalen. Hoeveel studenten bezoeken de site per maand, en hoeveel docenten bezoeken de site per maand? Er was te weinig tijd beschikbaar om dit uit te voeren. We moesten dan uit alle accounts de docenten en studenten adressen filteren en hieruit weer met de hand tellen hoe vaak elk account een sessie had gedraaid. Dit is voor een volgende evaluatie wel interessant. 3. Wordt de site vanuit de universiteit bezocht of via thuis? We zouden dan de IPadressen van de verschillende universiteiten eruit moeten filteren en dit aantal vergelijken met de overige adressen. Dit bleek echter onmogelijk. Welk curriculum maakt het meeste gebruik van de COO’s? Ook dit bleek te veel werk omdat dan elke COO apart dient bekeken te worden. Doordat de queries die gedraaid zijn alleen gegevens gaven over de periode tussen 1 januari en 1 juli 2006, hebben wij niet het totale gebruik van het project kunnen evalueren. Voor een volgende evaluatie is het wellicht wel verstandig om de gegevens van de totale periode dat het project loopt, te analyseren. Conclusie De website wordt vooralsnog vooral door studenten en docenten uit Leiden gebruikt. Rotterdam volgt sinds enige tijd met het gebruik, Nijmegen en Utrecht blijven ver achter. Veel COO’s worden kort gedraaid (<5 minuten) en dit kan duiden op het feit dat de gebruikers het programma uit nieuwsgierigheid openen. Van de geregistreerde accounts zijn er het afgelopen half jaar weinig gebruikt, en dit is misschien omdat studenten uit Leiden anderhalf jaar geleden automatisch zijn aangemeld, terwijl de behoefte tot gebruik er niet is. Het aantal geregistreerde accounts in Leiden betreft namelijk drie keer zo veel als het aantal gebruikte accounts in Leiden het afgelopen jaar. Hoewel er richtlijnen aanwezig zijn voor het klasseren van de COO’s, worden deze niet consequent gevolgd. Het project zit nog in zijn ontwikkelingsfase, en d.m.v. promoten zal de site meer aan bekendheid moeten winnen, zodat het gebruik ook buiten Leiden zal groeien (zie hieronder). Er moeten dan echter nog wel wat technische problemen op de site worden opgelost. Promotie Medischonderwijs.nl Op alle computers in de komeetzalen en in bieb Medischonderwijs.nl toevoegen aan de bladwijzerwerkbalk (de balk waar Google nu staat). Links zetten op Blackboard en Ad Valvas.

30

Programma opnemen in blokboek, met coo’s die een raakvlak hebben met het onderwerp, gesorteerd op percentage. Flyeren bij de ingang van Medische Faculteit Advertenties in een aantal medische bladen (voor studenten). Bijvoorbeeld de Studenten NTvG.

Bijlage 7 Evaluatie wijze van klasseren Opzet onderzoek: Vinden docenten MeSH een geschikt instrument voor het beschrijven van hun COO-lessen? Probleemstelling: Voldoet MESH -volgens docenten- als medische classificatie voor COO-programma's? Onderzoekswijze: Elke deelnemende instelling vraagt tien docenten om deel te nemen aan de enquête en zorgt ervoor dat de enquêtes worden verspreid en ingevuld. Verder zorgt elke instelling ervoor dat de gegevens, die hieronder tussen haken <> staan aangegeven, vooraf worden ingevuld. Vragen enquête: 1. Met welke medische trefwoorden zou uw les beschreven moeten worden? 2. De volgende MeSH-trefwoorden zijn toegekend aan uw les: <MeSH-term><Synoniemen MeSH-term> a. Geven de toegekende MeSH-trefwoorden de inhoud van uw les goed weer? Zo nee, welke trefwoorden geven een onjuiste beschrijving? b. Zijn de toegekende MeSH-trefwoorden voldoende dekkend voor de inhoud van uw les? Zo nee, welke trefwoorden missen er nog? 3. Hierboven ziet u de context waarin het trefwoord is opgenomen in MESH. Zou een trefwoord op globaler ("hoger") niveau in deze context een betere beschrijving van uw les geven? Zo nee, zou een trefwoord op gedetailleerder ("lager") niveau in deze context een betere beschrijving van uw les geven? Voorbeeld: Naam COO-programma: Etiologie, kliniek en therapie van het Maligne Melanoom Beschrijving COO-programma: Inleiding afkomst en functie van de melanocyten. Indeling huidtypes op basis van pigmentatie. Samenhang UV-straling en het ontstaan van melanocytaire naevi en het ontstaan van melanomen. Genetische factoren voor het ontstaan van melanomen. Op basis van het klinisch aspect onderscheid maken tussen melano-cytaire naevi en melanomen. Functie van fotografische vastlegging en de derma-toscoop. Histologische indeling en prognostisch voorspellende waarde Breslow-dikte. Beargumenteren stagering en adjuvante therapieën ten behoeve van melanoom? Zelfstandig opzoeken experimentele therapieën melanoom. 1. Met welke medische trefwoorden zou uw les beschreven moeten worden? Melanoom Melanocyten UV Straling Melanocytaire naevi Moedervlek Dermatoscoop

2. De volgende MESH-trefwoorden zijn toegekend aan uw les:

31

[EN] Melanoma, Malignant Melanoma, Malignant Melanomas, Melanoma malignant, Melanomas, Melanomas malignant [NL] Chromotoforoom, Chromotophoroma, Carcinoma anthracinum, Carcinoma melanodes, Carcinoma melanoticum, Zwarte vlek, Melanoma, Melanosarcoma, Melanotisch carcinoom, Melanocarcinoma, Ontaarde moedervlek a. Geven de toegekende MESH-trefwoorden de inhoud van uw les goed weer? Zo nee, welke trefwoorden geven een onjuiste beschrijving? De engelstalige trefwoorden zijn allen correct, hoewel malignant een toevoeging zonder extra waarde is. Melanomen zijn namelijk altijd kwaadaardig. De meeste nederlandse synoniemen zijn niet correct. Melanoom is namelijk geen carcinoom of sarcoom. De termen chromotoforoom, zwarte vlek en ontaarde moedervlek worden door dermatologen niet gebruikt (zijn geen normaal jargon).

b. Zijn de toegekende MESH-trefwoorden voldoende dekkend voor de inhoud van uw les? Zo nee, welke trefwoorden missen er nog? Er missen nog een aantal trefwoorden, namelijk: Dermascopy, Melanocytes, Ultraviolet Rays, Nevus [staan allen in MESH] Melanocytaire naevi Vraag 3 Context MESH trefwoord Melanoma: Diseases Neoplasms Neoplasms by Histologic Type Neoplasms, Germ Cell and Embryonal Neuroectodermal Tumors Neuroendocrine Tumors Melanoma Hutchinson's Melanotic Freckle Melanoma, Amelanotic Melanoma, Experimental Hierboven ziet u de context waarin het trefwoord is opgenomen in MESH. Zou een trefwoord op globaler ("hoger") niveau in deze context een betere beschrijving van uw les geven? Zo nee, zou een trefwoord op gedetailleerder ("lager") niveau in deze context een betere beschrijving van uw les geven? Op gedetailleerder niveau: Hutchinson's Melanotic Freckle is een typisch engels/amerikaanse benaming. In Nederland staat dit beter bekend als Lentigo Maligna. Dit is een speciale ondervorm van melanoom. Melanoma, Amelanotic is een melanoom zonder pigment. Melanoma, Experimental heeft docent nog nooit van gehoord. Kortom: deze drie benamingen zijn te specifiek en worden niet behandeld in het COO programma. Op hoger niveau: deze trefwoorden zijn weer niet specifiek genoeg. Het gaat in dit geval echt om melanoma.

Bijlage 8 Onderzoeksvragen Evaluatie SCALE project Onderzoeksvragen Evaluatie SCALE project Versie 2, 21 september 2006 Inleiding Om inzicht te krijgen in het effect van de resultaten van het project SCALE, worden in hoofden subcategorieën onderzoeksvragen (en filters) geformuleerd. Deze kunnen vervolgens geïmplementeerd worden op de server (report server). Dit kan zorgen voor een doorlopende evaluatie. Gebruik

32

1. Wat is het aantal geregistreerde accounts van LRS.Net ? a) Hoeveel nieuwe accounts zijn gedurende periode X aangemaakt ? b) Hoeveel van elke soort gebruikers (docenten, studenten) zijn er ? c) Van welke instelling zijn de geregistreerde accounts afkomstig ? d) Wat was de verdeling van de soort gebruiker per instelling ? 2. Wat is het gebruik door de accounts ? a) Hoeveel geregistreerde accounts draaiden daadwerkelijk één of meerdere COO’s b) Hoeveel gebruikte accounts ten opzichte van het aantal geregistreerde accounts per instelling zijn er (gedurende periode X) ? c) In welke mate wordt gebruik gemaakt van lessen van de eigen instelling of die van andere instellingen ? 3. Wanneer zijn en hoe lang duren de sessies ? a) Op welke dag en op welk tijdstip van de dag bezoekt de gebruiker MedischOnderwijs.nl ? b) Hoeveel sessies draait een gebruiker ? c) Hoe lang duurt de sessie van de gebruiker ? d) Hoe vaak gebruikt welke gebruikersgroep in een bepaalde periode MedischOnderwijs.nl ? 4. Met welke zoektermen wordt hoe vaak gezocht ? 5. Welke soort gebruiker heeft (in hoeverre hebben studenten...) van de toegenomen kwantiteit van COO gebruik gemaakt ? Beschikbaarheid Lessen 1. Het aantal aanwezige lessen a) Hoeveel COO uit welke instellingen en voor wie toegankelijk ? b) Hoeveel COO worden hoe vaak bekeken ? c) Hoeveel COO gaat over welke onderwerpen ? 2. Wat is toegenomen kwantiteit van het COO aanbod gedurende periode X ? a) Hoeveel COO’s uit welke instelling afkomstig 3. Hoe wordt het aanbod van COO gewaardeerd a) Hoeveel COO wordt hoe gewaardeerd ? 4. Hoeveel COO is geklasseerd ? 5. In hoeveel rubrieken zijn lessen geklasseerd (hoeveel MeSH-termen hebben ze gekregen) ? 6. Welke zoektermen worden hoe vaak toegekend ? 7. Zijn de richtlijnen, aanwezig voor het klasseren van de COO’s, consequent gevolgd. Studiecoach 1. Hoe vaak wordt de studiecoach gebruikt ? 2. Hoe vaak wordt welke query gebruikt ? 3. Zijn via de studiecoach aangeboden lessen ook daadwerkelijk gedraaid ? Ervaring Ervaringen met studiecoach zowel van studenten als docenten. Bezit de studiecoach de gewenste functionaliteiten ? Wellicht via elektronische enquête gekoppeld aan MedischOnderwijs.nl.

Reference List

Metz, J. C. M., Verbeek-Weel, A. M. M., and Huisjes, H. J. Raamplan 2001 artsopleiding. http://intranet.lumc.nl . 2001. Ref Type: Electronic Citation

33

Study Coach And Learning Environment

Recommend Documents