EVALUATIE ONBEGRENSD LEREN

EVALUATIE ONBEGRENSD LEREN

In opdracht van de Raad van Bestuur van het UMC Utrecht stimuleert het Programma Onderwijs ICT ‘Onbegrensd Leren’ het gebruik van ICT in het onderwijs van het UMC Utrecht. Project Evaluatie is één van de ondersteunende projecten van het programma. Prof. dr. Harold van Rijen, voorzitter Onbegrensd Leren Drs. Cécile Cappetti, programmamanager Onbegrensd Leren Rianne Bouwmeester MSc, projectleider Evaluatie Kirstin Nillesen MSc, projectmedewerker Evaluatie www.onbegrensdleren.nl

VOORWOORD Een programma als Onbegrensd Leren wijkt af van de gebaande paden. Het hebben van een visie en doelen is hierbij onontbeerlijk. Maar verstandig innoveren doe je niet alleen door vooruit te blikken. Door om je heen en naar het verleden te kijken identificeer je kansen en risico’s. Reflectie en evaluatie behoren daarom tot de basis-tools voor innovatie. Voordat we begonnen met Onbegrensd Leren keken we om ons heen en legden wat we zagen en wilden vast in een strategiestudie. Tijdens het programma bleven we kijken en nu, na vier jaar produceren en vernieuwen, blikken we terug. Plan, Do, Check, Act: de vier stappen van de kwaliteitscyclus zijn alom bekend. Om voldoende aandacht voor de Check-stap zeker te stellen heeft het programma Onbegrensd Leren de evaluatie onder­ gebracht in een afzonderlijk ondersteunend project. De ondersteuning van het project Evaluatie hielp de programmamanager, projectleiders en medewerkers de kwaliteitscyclus in het oog te houden. Door ondersteuning in het terugkijken kon de rest van het programma in volle vaart vooruit, zonder de opbrengsten uit het oog te verliezen. Bij Onbegrensd Leren zetten alle medewerkers zich voortdurend in voor de verbetering van producten en diensten. Voor opgeleverde producten verzamelt project Evaluatie de ervaringen van de student, medewerker en docent en koppelt deze terug naar de projectleiders van de inhoudelijke projecten. In dit boekje willen we met u de ervaringen van al deze eindgebruikers delen. Ook vertellen de projectleiders u wat evaluatie voor hen betekent en hoe ze bevindingen tussentijds hebben ingezet in de productie en dienstverlening van Onbegrensd Leren. Afsluitend werpen we een blik op de toekomst.

Rianne Bouwmeester Kirstin Nillesen

1

INHOUD 1. Plan 5

2. Do

9

3. Check 13

4. Act

43

3

PLAN

ACT

DO

CHECK

STRATEGIESTUDIE EN VISIE In 2011 is een strategiestudie uitgevoerd naar bestaande inzet en kansrijke mogelijkheden van Onderwijs-ICT in het UMC Utrecht. Deze studie vormde het begin van het Onderwijs-ICT programma, later bekend als Onbegrensd Leren. Vijf inhoudelijke projectlijnen zijn geïdentificeerd met daarnaast ruimte voor bijzondere innovatieve initiatieven. De gedeelde belangen van deze projecten zijn behartigd in een aantal ondersteunende projecten. De koers van het programma is bepaald door een stuurgroep en een regiegroep, ondersteund door een programmabureau. Naast het realiseren van een ambitieuze productie stelde het programma zich tot doel een bijdrage te leveren aan vijf strategische doelen.

VERSTERKEN PATIËNTVEILIGHEID Training van vaardigheden en gedrag door digitale oefenmogelijkheden, simulaties en mogelijkheden om communicatie en samenwerking te bevorderen.

LEVEN LANG LEREN ICT tools bieden studenten, medewerkers en alumni de mogelijkheid om up-to-date te blijven. Deze vorm van kennisoverdracht heeft een groot bereik, is asynchroon en is niet gebonden aan tijd of ruimte.

EFFECTIEF EN EFFICIËNT ONDERWIJS Voor medewerkers kan leren op de werkplek ‘just in time’ en ‘just enough’ plaatsvinden. Studenten kunnen zich beter voorbereiden op contacturen, en het biedt mogelijkheden aan zowel studenten als docenten om het contactonderwijs beter te benutten en efficiënter gebruik te maken van tijd en ruimte. 6

AANTOONBARE LEERPRESTATIES Inzicht in individueel kennisniveau kan het leerproces verbeteren en maakt gericht bijschaven van kennis mogelijk. Op het niveau van opleiding, beroepsgroepen en uit de maatschappij is er behoefte aan het garanderen van het eindniveau van een opleiding en het aantoonbaar maken van bekwaamheid van de (zorg)professional.

(INTER)NATIONALE ATTRACTIVITEIT Het UMC Utrecht kan zijn nationale en internationale ‘presence’ en aantrekkingskracht vergroten via ICT gebonden onderwijs en -kanalen. Dit stelt studenten in staat kennis te maken met internationale topdocenten én kan er toe bijdragen dat een opleiding aantrekkelijk wordt voor (inter)nationale studenten. Maar voorop stond altijd de ambitie van de opleidingen (geformuleerd in streefdoelen) en de visie en het enthousiasme van de individuele aanvrager voor wie de producten werden gemaakt.

 

7

PLAN

ACT

DO

CHECK

‘LEARNING BY DOING’

PROJECT EVALUATIE Het project Evaluatie heeft zich bezig gehouden met het verzamelen, interpreteren en rapporteren van informatie over producten van en geleverde diensten door Onbegrensd Leren. Deze evaluatie heeft een dubbele focus: meten van de productkwaliteit en meten van de bijdrage aan de ­strategische doelen van het programma. Uitgangspunten waren triangulatie – dit is het ­combineren van verschillende bronnen om tot een uitspraak te komen – en pragmatisme – dit richtte zich vooral op het voorkomen van evaluatiemoeheid. Voornamelijk is geëvalueerd door middel van enquêtes. Daarnaast zijn er focusgroepen gehouden en zijn interviews afgenomen. Waar beschikbaar is gebruik gemaakt van elders verzamelde of automatisch geregistreerde data. De meeste evaluaties zijn uitgevoerd onder studenten, maar ook docenten en andere medewerkers zijn benaderd voor het delen van ervaringen.

RUIMTE VOOR ONVERWACHTE WENDINGEN Cécile Cappetti, programmamanager Onbegrensd Leren “Bij een zo omvangrijk strategisch programma als Onbegrensd Leren is het belangrijk om continu de vinger aan de pols te houden. Het uitvoeren van programmadoelen is geen uitgestippeld pad dat van A naar B voert. Er moet ruimte zijn voor onverwachte wendingen, ingegeven door een veranderende context, door nieuwe creatieve ideeën en door ‘lessons learned’. Het is de kunst om te balanceren tussen het behalen van de te voren bepaalde resultaten en het scheppen van voldoende kansen voor nieuwe ontwikkelingen, die het eindresultaat alleen maar beter maken. We hebben op veel vlakken zelf het wiel uit moeten vinden en daarin bewust gekozen voor ‘learning by doing’. We hebben geleerd van de feedback van de organisatie en suggesties voor verbetering ter harte genomen. Door de gegevens die het project Evaluatie tussentijds opleverde, konden wij de kwaliteit van onze producten steeds beter maken. Door regelmatig te meten konden wij volgen of we op de goede weg zaten. Door open te staan voor kritische opmerkingen en opbouwend commentaar van studenten, docenten, medewerkers, bestuurders en van elkaar konden wij onze processen en werkmethoden verbeteren en de koers aanpassen waar nodig.” 11

 

PLAN

ACT

DO

CHECK

TRENDS PER PROJECT

E-MODULES

Opdrachtgevers, inhoudsdeskundigen en gebruikers waarderen de e-modules met gemiddeld een

7,6

Meer dan 160 e-modules zijn sinds januari 2012 door het programma Onbegrensd Leren ­opgeleverd. Dit zijn online toegankelijke modules waarin leermateriaal op afwisselende wijze wordt gepresenteerd. Professioneel beeldmateriaal, zoals foto’s, video’s, illustraties en animaties, speelt hierin een centrale rol. Met behulp van interactieve werkvormen kan de deelnemer de leerstof oefenen en zichzelf toetsen. Vergroten van de efficiëntie en effectiviteit van het onderwijs was voor onze opdrachtgevers en inhoudsdeskundigen het voornaamste doel van een e-module. In meerderheid geven respondenten aan dat dit doel is behaald of dat een toekomstige bijdrage wordt verwacht. Positieve effecten zijn onder andere een toename in motivatie en kennisniveau onder studenten, meer tijd voor verdieping in het contactonderwijs en een toename in het inzicht bij de docent in de voortgang en het begrip van de studenten. Opdrachtgevers en inhoudsdeskundigen verwachten en ervaren eveneens met e-modules bij te dragen aan de patiëntveiligheid, een leven lang leren, aan aantoonbare leerresultaten en een (inter)nationale attractiviteit. Hoewel ze meer tijd kwijt waren aan de ontwikkeling van de e-module dan verwacht, staan vrijwel alle inhoudsdeskundigen achter hun keuze om een e-module te ontwikkelen. 75% zou de inzet van e-modules aanbevelen aan collega’s. De meeste e-modules zijn ontwikkeld voor studenten. Maar ook medewerkers hebben zich met e-modules flexibel kunnen bijscholen in specifieke voor hun functie relevante onderwerpen. Verder kunnen externe professionals, die participeren in de zorg van UMC-patiënten, via e-modules relevante kennis opdoen.

KLINISCH VAARDIGHEIDSONDERWIJS De inzet van verplichte e-modules ter voorbereiding op klinisch vaardigheidsonderwijs (KVO) heeft bij de eindtoets een waarneembaar positief effect op de leeropbrengsten (Kwant et al.,2015). Ook student-assistenten die de lessen begeleiden zien positieve gevolgen: “Studenten snappen beter het waarom, naast het hoe”. En: “Een student die weet waarom hij een knie op een bepaalde manier onderzoekt, gebruikt die kennis ook bij het onderzoeken van een elleboog”. 15

Echter waarschuwen de student-assistenten voor overschatting van het effect. Nu wordt nog alleen het doorlopen van de e-module gecontroleerd, niet het resultaat. Goede voorbereiding is dus nog steeds niet gegarandeerd.

VOORBEREIDING OP DE COSCHAPPEN Studenten kunnen zich voor verschillende coschappen voorbereiden met e-modules. Vooral het audiovisuele materiaal wordt gewaardeerd. Studenten denken meer van e-modules te leren dan van boeken. Door de combinatie van afbeeldingen, tekst en oefeningen beklijft de lesstof goed. Studenten geven de voorkeur aan digitale leermiddelen die in het UMC Utrecht gemaakt zijn, want die bevatten precies de content die ze nodig denken te hebben. De masterstudenten vinden e-learning een goede manier om kennis op te frissen en zouden ook graag toegang hebben tot e-learning dat primair eerder in de opleiding wordt ingezet.

LEREN OVER VEILIGHEID VOOR MEDEWERKERS Alle nieuwe UMC-medewerkers met kortdurende contracten zetten de eerste stappen door het UMC digitaal, via de e-module Kwaliteit en Veiligheid. Deze één uur durende e-module is bedoeld als efficiënt alternatief voor het ochtendprogramma van de centrale UMC-introductie. In de evaluatie geeft 67% van de respondenten aan de e-module relevant te vinden voor de eigen functie. Een meerderheid geeft aan na het doorlopen van de e-module een beter beeld te hebben van de diversiteit van de werkzaam­ heden in het UMC Utrecht (74%), de manier waarop de kwaliteit en veiligheid worden bewaakt (90%) en de mogelijkheden om hier zelf aan bij te dragen. Ook de rest van de UMC-medewerkers heeft zijn kennis over veiligheid bijgespijkerd met e-modules van Onbegrensd Leren. Deze maken deel uit van de voor alle medewerkers verplichte brandveiligheidstraining. Uit de meer dan 3000 ingevulde evaluatieformulieren maken we op dat gebruiksgemak, niveau en mate van detail in de e-module aansluiten bij de behoefte van 81 tot 92% van de UMC-medewerkers. Niet minder belangrijk: 79% van de respondenten geeft aan de e-module leerzaam te vinden. 16

CONTINU VERBETEREN EN FINE-TUNEN Anne-Petra Rozendal, projectleider e-modules “Als project hadden wij niet alleen als doel de productie van e-modules te verhogen en procesmatig te stroomlijnen. Ook het garanderen en continu verbeteren van de kwaliteit staan bij ons hoog in het vaandel. Evaluatieresultaten helpen vaststellen waar de kwaliteit naar tevredenheid is en waar verbetering mogelijk is. Toen wij in 2013 de overstap maakten naar een nieuwe vormgeving was deze niet alleen gebaseerd op onze eigen ideeën en ervaringen maar ook op die van de gebruikers. Na de overstap lieten de evaluaties zien hoe de nieuwe vormgeving door deze gebruikers werd ontvangen en konden we de e-modules verder fine-tunen. Zo blijven we zelf leren en verbeteren en houden we onze klanten tevreden.”

17

STRATEGISCHE DOELEN

‘Met aanpassingen, zodat ook werkbegeleiders en praktijkcoördinatoren toegang hebben tot het POB van de student is het zeker een verbetering. Het is ook minder fraudegevoelig.’ (opleider over digitaal Praktijk Opleidings Boek) ‘Digitale toetsing heeft een grotere betrouwbaarheid ’ (Docent over digitale toetsen)

05

‘Erg nuttig! Oogbewegingen, spieren, zenuwen enz. zijn lastig te begrijpen met alleen tekst uit een boek.’ (student geneeskunde over e-module)

AANTOONBARE LEERPRESTATIES

‘ Je kunt zelf experimenteren en aanvoelen wat er gebeurt.’ (student BMW over eSolv) ‘ Je kunt je tijdens het college helemaal focussen op het verhaal want je weet als ik het straks niet meer begrijp kan ik het gewoon terugluisteren.’ (Student over hoorcollegeopname) ‘Kennisclips geven veelal een beknopt maar zeer duidelijk overzicht van de stof.’ (Student over kennisclip)

04

EFFECTIEF EN EFFICIËNT ONDERWIJS

‘Alles heb je al een keer gezien. dat zal helpen bij het practicum.’ (Student over voorbereidende e-module)

‘ Je kunt je eigen tempo aanhouden en de simulatie aan je eigen bureau doen.’(Medewerker over e-simulatie van EZIS)

03

LEVEN LANG LEREN

‘Winst zit vooral in het niet hoeven ontcijferen van handschriften.’ (Docent over digitaal toetsen) ’De animaties en foto ’ s maken het een heel levendige ervaring waardoor het veel duidelijker is wat je gaat doen.’ (Medewerker over e-simulatie van EZIS)

18

‘Niet iedereen wilt blijven leren maar op het moment dat je die videobeelden van jezelf ziet ga je vanzelf leren.’ (begeleider videoreflectie)

‘Het Video-observatie protocol heeft gezorgd voor een juridisch juiste manier van handelen, dat geeft een veilig gevoel.’ (begeleider videoreflectie) ‘Duidelijk beeld gekregen van veiligheid in UMC Utrecht, belangrijk.’ (medewerker over veiligheidsmodule) ‘Het zorgt er voor dat ik weer alert ben op deze zaken.’ (gebruiker e-module rond veiligheid)

01

VERSTERKEN PATIENTVEILIGHEID

02

(INTER)NATIONALE ATTRACTIVITEIT

‘Alles wat wij doen, doen we voor de patiëntveiligheid en als processen door de videoreflectie ook nog efficiënter worden is dat mooi meegenomen.’ (begeleider Beelden aan Bed) ‘Als ergens kwaliteit- of veiligheidskwesties voorbij komen ben ik niet meer de enige die videoreflectie als verbetermethode oppert.’ (begeleider Beelden aan Bed)

‘Over twee jaar kunnen we dit waarschijnlijk niet meer wegdenken uit opleiding en is papier nog meer passé.’ (praktijkopleider over digitaal POB) ‘Het is werkelijk een prachtige en zeer bruikbare module, heel leerzaam voor de co-assistenten en goed in staat de stof te verhelderen.’ (externe opleider over landelijk beschikbare e-module) ‘Excellent tool; bring it to the market.’ (Patholoog over e-module Inschatten percentage kankercellen) ‘Prachtige, overzichtelijke e-module met duidelijke informatie en uitleg. De plaatjes en filmpjes zijn schitterend.’ (Externe opleider over landelijk beschikbare e-module)e-module Inschatten percentage kankercellen)

‘Een ideaal studieonderdeel voor coassistenten.’ (Externe opleider over landelijk beschikbare e-module)

19

E-SIMULATIE Een e-simulatie is een via internet toegankelijke elektronische simulatie waarin met behulp van een model ziektebeelden, fysiologische processen of (medische) softwareprogramma’s worden nagebootst. Hiermee kunnen studenten interactief en (patiënt)veilig oefenen. Het project e-simulaties ontwikkelde drie modellen waarmee meer dan zeventig e-simulaties zijn ontwikkeld. Voor medewerkers zijn er e-simulaties van het Electronisch Ziekenhuisinformatie­ systeem, EZIS. Studenten kunnen oefenen met simulaties van fysiologische processen en sinds kort met e-simulaties klinisch redeneren. Studenten en medewerkers gaven hun mening over het model voor fysiologische processen en over de EZIS-simulaties.

Studenten waarderen eSolv met gemiddeld een

7,5

eSOLV In eSolv, het simulatiemodel voor fysiologische processen worden, op basis van CellML-modellen, simulaties gegenereerd op studentniveau. Aangezien het mogelijk is ieder mathematisch model volgens CellML te beschrijven, zijn de toepassingsmogelijkheden van eSolv in het biomedisch onderwijs enorm. Er zijn momenteel 51 eSolv-simulaties gerealiseerd. De meerderheid van de studenten vindt eSolv leerzaam en zou de simulaties aanbevelen aan medestudenten. Studenten zien ook mogelijkheden voor verbetering, zoals een uitgebreidere legenda en meer uitleg in de simulatie, bijvoorbeeld met roll-overs. Ook een inzoomfunctie voor het aflezen van de grafieken wordt genoemd. Behalve in het biomedisch onderwijs is eSolv ingezet in het junior-college. Middelbare scholieren bleken met het voor studenten ontwikkelde programma goed uit de voeten kunnen.

21

Gebruikers waarderen EZIS-simulaties met gemiddeld een

7,0

EZIS-SIMULATIES Het softwaresimulatiemodel wordt gebruikt ter bevordering van ‘best practices’ in het Elektronisch ZiekenhuisInformatie Systeem (EZIS). Zo’n 75% van de gebruikers geeft aan de e-simulaties leerzaam te vinden en zou deze aanbevelen aan collega’s.

STUDENTENKLANKBORDGROEP Sape van der Werf, projectleider e-simulaties “Het e-simulatiemodel voor klinisch redeneren is een groot en tijdsintensief project. Aansluiten bij de behoefte van de doelgroep is altijd een primair doel. Daarom hebben we samen met project Evaluatie een studentenklankbordgroep samengesteld, die ons gedurende het hele proces feedback gaf op onze plannen en vertelden wat zij nodig hadden. Het model en de eerste casus draait momenteel als pilot in het onderwijs en wordt zorgvuldig geëvalueerd. We verzamelen ervaringen van studenten zodat we deze feedback mee kunnen nemen bij de ontwikkeling van nieuwe casuïstiek. Door niet alleen de docent, maar juist ook de student, actief te betrekken bouwen wij samen aan een effectief en efficiënt kwaliteitsproduct.”

22

E-LECTURES In de tijd vóór het bestaan van e-lectures, legden studenten hun telefoons op de voorste bank om zelf opnames te maken. Zo vertelde een ouderejaars geneeskundestudent. Sinds januari 2012 is meer dan 2800 uur aan hoorcolleges opgenomen. Deze opnames – aangeboden via een link in Blackboard – maken het voor studenten mogelijk hoorcolleges op ieder moment via internet terug te kijken. Het maken, bewerken en verspreiden van zoveel hoorcolleges is logistiek complex. Hoe worden de collegeregistraties ervaren en wat zijn de gevolgen ervan voor het onderwijs? Vanwege gevoelige onderwijscontent en beperkte opnamemogelijkheden in kleine onderwijsruimtes is de ­beschikbaarheid van collegeopnames in de masteropleidingen aanzienlijk lager. De evaluatieresultaten hebben daarom vooral betrekking op de bachelorfase.

KWALITEIT EN SERVICE Aanvankelijk gaven studenten aan dat opnames nog vaak mislukten of van slechte kwaliteit waren. In 2014 uitten zij zich al een stuk positiever en durfden ze meer te vertrouwen op de beschikbaarheid van opnames. Sindsdien zijn de evaluatieresultaten niet significant gewijzigd. Tijdige beschikbaarheid, zichtbaarheid van aanwijzingen, en geluidskwaliteit blijven volgens studenten de belangrijkste aandachtspunten. De meerderheid van de docenten geeft aan tevreden te zijn over het technisch functioneren (77%) en de opnamekwaliteit (59%) van de e-lectures. Ook zijn ze tevreden over de voorlichting en ondersteuning rond collegeopnames en de nabewerking ervan (tegen de 60%). Ten slotte vereist het beleid rond toestemming en archivering bijzondere aandacht; hierover heerst onder docenten (nog) veel onduidelijkheid.

EFFECTEN TIJDENS HOORCOLLEGES Het aanbieden van collegeopnames zien docenten voornamelijk als service aan de student. De zorg van enkele docenten, dat studenten door de opnames massaal weg blijven bij colleges, is inmiddels weerlegd. Zowel studenten als docenten zien dan wel een kleine afname in collegebezoek, maar de 25

overgrote meerderheid van de studenten komt naar het college voor het contact met de docent en blijft alleen weg bij overmacht. De manier waarop studenten college volgen is wel veranderd. Nu zij er meer op durven vertrouwen dat er collegeopnames beschikbaar zijn, maken ze minder aantekeningen. Ze beperken zich tot kortere notities, eventueel met verwijzingen naar onderwerpen die moeten worden teruggekeken. Hierdoor kunnen ze ontspannen en aandachtiger de docent tijdens het college volgen, en dus ook meer informatie opnemen. Anderzijds voelt een deel van de studenten zich onrustig tijdens de colleges zonder opnames. Uit angst dingen te missen, schrijven ze haastig mee. Sommige studenten ervaren een directe relatie tussen de beschikbaarheid van e-lectures en het eindcijfer. Studenten zijn nu gewend aan opnames en rekenen er op dat ze tijdig beschikbaar zijn. Docenten zien tijdens het college weinig verschil in de inzet en aandacht van studenten. De meeste docenten geven aan het onderwijs nauwelijks aan te passen bij opname van het college.

EFFECTEN OP ZELFSTUDIE Cursusevaluaties van de afdeling Kwaliteitszorg laten zien dat studenten hoorcollegeopnames en de verplichte literatuur vrijwel even leerzaam vinden. Bijna iedere student heeft dan ook gebruik gemaakt van e-lectures. De mate waarin en waarop varieert. Hoewel sommige studenten alle e-lectures in hun geheel bekijken, is de meerderheid strategisch in het gebruik. Ze kijken selectief fragmenten terug voor het nakijken en aanvullen van aantekeningen. Opvallend is het enthousiasme van studenten over de functie ‘versneld luisteren’ van e-lectures. Dit maakt het naast effectief, efficiënt. Ook worden e-lectures veel gebruikt bij de voorbereiding van tentamens. Om een indruk te geven van de populariteit: in de maand oktober 2015 is UMC-breed 18.000 keer een e-lecture bekeken. Sommige docenten en studenten uitten de zorg dat studenten zich door de beschikbaarheid van opnames te veel op de collegestof gaan richten. Hierdoor zouden ze te eenzijdig focussen op hoofd­ lijnen en de visie van de individuele docent. Deze zorg is niet geheel ongegrond. Focusgroepen laten namelijk weten dat het boek vaak meer de rol heeft gekregen van naslagwerk en minder van primaire bron. Studenten klinische gezondheidswetenschappen zien de focus op Nederlandstalige college(opname)s ten koste van Engelstalige studieboeken als een negatieve invloed op de ontwikkeling van het academische Engels. 26

KENNISCLIPS Kennisclips zijn korte e-lectures over afgebakende onderwerpen die aangeboden worden voor zelfstudie. Studenten vinden kennisclips prettig, want ze zijn kort en krachtig en van hogere kwaliteit dan de collegeregistraties waarbij vaak achtergrondgeluid te horen is. Anderzijds volgde de opmerking dat kennisclips en colleges elkaar veel overlappen. Studenten waarderen het dat ze zelf kunnen bepalen wanneer ze de clips bekijken. Vooral de combinatie van interactieve colleges en voorbereidende clips leidt volgens de studenten tot een hoger rendement. Kennisclips winnen aan populariteit en worden ingezet voor het opdoen en opfrissen van kennis. Hierdoor komt tijdens het contactonderwijs tijd vrij voor verdieping en het bespreken van casuïstiek.

WEBINARS Bij kennisclips is de docent niet direct aanspreekbaar. Dit is wel het geval bij webinars. Webinars zijn studio-opnames en zijn zowel live te volgen als later terug te kijken. Vijf Meet the Expert (MTE)-colleges zijn in deze vorm aangeboden. Studenten hoefden niet naar de universiteit te komen voor de relatief korte MTE’s. De meerderheid van hen (65%) verkoos dan ook de webinars boven een traditioneel MTE. 69% van de studenten bekeek een of meer van de webinars live. Hoewel zij de mogelijkheid hadden direct vragen te stellen aan de docent, hadden veel studenten het idee dat webinars toch wat minder interactief zijn. De overige studenten keken de webinars later terug. Redenen hiervoor waren onduidelijke roostering, andere bezigheden of het eerst verder willen bestuderen van de stof.

27

EVALUATIE ZET VERHAAL KRACHT BIJ Esther Christenhuis, projectleider e-lectures “Evaluatieresultaten geven niet alleen feedback over de kwaliteit van je werk. Ze helpen je te communiceren over wat je hebt bereikt en hoe het wordt gebruikt. Dit is handig bij het informeren van docenten maar ook bij presentaties in het UMC Utrecht en daarbuiten. Bij het internationale e-learningsymposium van het AMEE bijvoorbeeld. Mijn presentatie over e-lectures illustreerde ik daar met de positieve evaluatieresultaten van de cursus Stofwisseling II en de daarin geïntroduceerde kennisclips en webinars. Dit zet je boodschap kracht bij. Het verhaal gaat nog meer leven voor je publiek. Je staat op dat moment niet meer alleen jouw verhaal te vertellen maar verwoordt ook de mening van vele tevreden studenten.”

28

E-ASSESSMENT Sinds januari 2012 heeft het team e-assessment meer dan honderd toetsen gedigitaliseerd. Daarnaast heeft het team zich ingezet voor het verbeteren van processen, faciliteiten en toets­ kwaliteit. In 2013 bleken studenten nog huiverig voor digitaal toetsen door spookverhalen over technische storingen en onvrede over de toetsomstandigheden. Heeft het projectteam de gebruikers geënthousiasmeerd voor digitale toetsing?

STUDENTEN Uit focusgroepen waarin studenten zijn gevraagd naar de totaalervaring met digitale toetsen blijkt een lichte verbetering. De studenten toonden zich in toenemende mate positief over de toetsomstandig­ heden en het toetsprogramma. Zij geven steeds meer de voorkeur aan digitale toetsing. Toch blijft een deel van de klachten terugkomen. Negatieve reacties komen vaak voort uit digitale toetsing van grote groepen. De organisatie van dergelijke toetsen is complex en verliep in het verleden niet altijd vlekkeloos. Hiervoor is in 2014 een calamiteitenplan digitale toetsing opgesteld. Het verbeteren van processen en faciliteiten voor grote digitale toetsen heeft de afgelopen jaren veel aandacht gehad. De betrokkenen van verschillende afdelingen werken aan een steeds betere toets­ organisatie. Via samenwerking met de Universiteit Utrecht kan het UMC Utrecht sinds maart 2015 gebruik maken van een digitale toetszaal die ruimte biedt aan 480 studenten. Bij evaluatie van de digitale toetszaal gaven UMC-studenten aan tevreden te zijn over de zaal en de gebruikte chromebooks. Bachelorvertegenwoordigers geneeskunde bevestigden dit beeld in een recente focusgroep.

TEST VISION ONLINE Studenten hebben zich gewoontes aangeleerd bij het maken van papieren toetsen, zoals het markeren van vragen waar je later nog op terug wilt komen. Het toetsprogramma Test Vision Online (TVO) heeft nu nieuwe functionaliteiten, maar beschikt (nog) niet over alle mogelijkheden die studenten gewend zijn op papier. Het inzoomen op afbeeldingen en het kunnen markeren van vragen zijn voorbeelden van wensen die al wel zijn gerealiseerd.

31

DOCENTEN Docenten die de enquête invulden waren direct betrokken bij de ontwikkeling en afname van de digitale toets. Ze staan achter hun keuze voor de digitale toets en willen hier in de toekomst gebruik van blijven maken. Ook bevelen zij digitale toetsing bij collega’s aan. Het digitaliseren van de toetsing heeft volgens hen effect op de effectiviteit en efficiëntie van het onderwijs en op de aantoonbaarheid van leerresultaten. De digitalisering heeft volgens de docenten gezorgd voor een beter gebruik van beeldmateriaal in de toets. Het nakijken van een digitale toets kost minder tijd, vooral doordat handschriften niet meer ontcijferd hoeven te worden. Het ontwikkelen van een digitale toets kost echter meer tijd dan het maken van een papieren toets, maar de verwachting is dat met meer ervaring en de ontwikkeling van een digitale vragenbank de ontwikkeltijd zal verkorten. Hoewel verbetering wenselijk is zijn de docenten tevreden over het programma Test Vision Online, evenals over de ondersteuning bij de ontwikkeling en de afname van de toets.

BIJ NIEUWE ONTWIKKELING MOETEN MENSEN WORDEN GEHOORD Margreet Manrique, projectleider e-assessment “Digitale toetsing heeft veel voordelen, maar roept soms weerstand op omdat het voor docenten procesmatig complexer is dan toetsen op papier. Studenten moeten er ook vaak aan wennen. Evaluatieresultaten over dit onderwerp zijn dan ook niet altijd onverdeeld positief, maar wel heel waardevol. Juist bij een nieuwe ontwikkeling moeten mensen gehoord worden. Als je weet wat mensen ervaren weet je wat je moet proberen te verbeteren. Niet voor alles bestaat een hapklare oplossing maar we proberen alle suggesties mee te nemen. Als je vervolgens ziet dat de evaluatieresultaten positiever worden, dat mensen de voordelen beter zien en dat door jouw inspanningen eerdere klachten niet meer terug komen, dan geeft dat een goed gevoel.”

32

34

VIDEOREFLECTIE Medewerkers, studenten en docenten van het UMC Utrecht kunnen gebruik maken van Video­ reflectie en ermee hun eigen communicatie- en samenwerkingsvaardigheden observeren, bespreken, veranderen en evalueren. Verder kunnen docenten er specifiek de eigen didactische vaardigheden mee bekijken en trainen. Maar ook is het voor studenten mogelijk om bijvoorbeeld een diagnose- of een slechtnieuwsgesprek te oefenen. Ten slotte is Videoreflectie via ‘Beelden aan Bed’ te gebruiken voor het verbeteren van (complexe) zorgprocessen, onder andere in een multidisciplinair team.

PRAKTIJKONDERWIJS MEDISCH ONDERSTEUNENDE OPLEIDINGEN Beelden helpen bij het tastbaar en bespreekbaar maken van moeilijk te verbaliseren zaken, zoals communicatie, attitude, en werktempo. De student ziet zelf hoe hij overkomt en welke rol hij speelt in een (complexe) situatie. Dit zorgt voor een bewustzijn dat veel lastiger te bewerkstelligen is zonder beeldmateriaal. Zo vertellen de opleiders van de opleidingen tot operatieassistent (eerste- en tweedejaars) en anesthesiemedewerker (derdejaars) over videoreflectie in het praktijkonderwijs. Het reflecteren leidt tot eyeopeners bij de student en het heeft al snel leereffect op de technische vaardigheden. Doordat meteen wordt gezien wat niet effectief verloopt kan daarop meteen worden geanticipeerd. Het gefilmd worden en terugkijken is aanvankelijk een drempel voor de studenten. Sommigen zijn extra zelfbewust bij de eerste opnames. Daarnaast bleek het logistiek organiseren van de filmsessies een uitdaging. De beschikbaarheid van de filmende opleider tijdens leerzame momenten kan lastig zijn, omdat die dan vrij geroosterd moet zijn. Bij reflectie op technische vaardigheden is er minder spanning dan bij reflectie op niet-technische vaardigheden. Daarom vinden studenten het een goede keuze om in het eerste jaar te beginnen met het filmen van het gereedmaken van de instrumententafel. Zowel opleiders als studenten zouden graag vaker gebruik willen maken van videoreflectie.

35

VIDEOREFLECTIE IN HET BASIS KWALIFICATIE ONDERWIJS Docenten kunnen reflecteren op beelden van zichzelf in een training voor het Basis Kwalificatie Onderwijs (BKO). Zij vonden het nuttig om onderwijssituaties te bespreken, die naadloos aansluiten bij situaties waar zij in de onderwijspraktijk mee te maken hebben. Het videomateriaal is daarbij erg behulpzaam en maakt de vraagstelling concreet. Anderzijds is videoreflectie confronterend, ook voor docenten. Daarentegen gaven zij wel aan het leerzaam te vinden om zichzelf en collega’s in een veilige omgeving te kunnen bekijken. In de evaluatie van de training geven deelnemers unaniem aan in de toekomst vaker gebruik te willen maken van videoreflectie voor hun professionele ontwikkeling.

BEELDEN AAN BED Trainers van Beelden aan Bed zetten videoreflectie al enige jaren in het UMC Utrecht in om vooral de niet-technische en interdisciplinaire aspecten van complexe zorgprocessen te verbeteren. Onbegrensd Leren heeft Beelden aan Bed geholpen zijn slagkracht te vergroten en activiteiten te promoten. Met succes. Videoreflectie als verbetermethode is nu een bekend fenomeen in het UMC Utrecht. Beelden aan Bed kreeg onder andere te maken met de logistieke complexiteit van videoreflectie op de OK. Roostering op de OK is namelijk ingewikkeld; het terugkijken van de beelden diezelfde dag in een vertrouwde omgeving lukte lang niet altijd. Het zou daarom makkelijker zijn als er een speciale ruimte wordt ingericht waar trainers op gezette tijden beschikbaar zijn. Dit kan het reflectieproces bevorderen.

HET VIDEO-OBSERVATIEPROTOCOL Een belangrijk resultaat van project Videoreflectie is het ‘Video-observatie protocol UMC Utrecht’. Dit is leidend voor iedereen die zich in het UMC bezighoudt met videoreflectie. Het zorgt voor een juridisch juiste manier van handelen en veiligheid. De drempel om videoreflectie in te zetten wordt hierdoor verlaagd. Via de UMC-website wordt het protocol gemiddeld 6 keer per maand bekeken.

36

BETROKKEN EN GEDREVEN MENSEN VAN DE WERKVLOER ZIJN NODIG Liesbeth van Rensen, projectleider Videoreflectie “Projecten hebben een grotere kans van slagen als ze aansluiten bij de wensen en behoeften die leven in een organisatie. Je hebt betrokken en gedreven mensen van de werkvloer nodig. Bij het project Videoreflectie zijn we daarom begonnen met een uitgebreide inventarisatie: Wat wordt er al gedaan aan videoreflectie? Waar liggen kansen voor verbetering? Ook tijdens en bij de afronding van de projecten hebben we geprobeerd om het eigenaarschap zoveel mogelijk bij de professionals zelf te leggen. Het is dan logisch om bij de evaluatie weer terug te gaan naar de mensen bij wie je begonnen bent. Heeft het project voldaan aan de behoefte? Is er voldoende draagvlak in de dagelijkse praktijk om hiermee door te gaan? Dit maakt het mogelijk om de kwaliteit van zorg samen continu te blijven verbeteren.”

37

INNOVATIEVE PROJECTEN Projectlijn Innovatieve projecten wil de impact en meerwaarde van innovatieve onderwijskundige trends voor het onderwijs in het UMC Utrecht inzichtelijk maken. De innovatielijn bestond aanvankelijk uit een serie losse pilots: een digitaal alternatief voor het praktijkopleidingsboek van de medisch ondersteunende opleidingen, een multisource feedback tool (MSF) voor docenten, en ondersteuning bij the flipped classroom in de SUMMA-opleiding. Begin 2014 is besloten de innovatieve lijn meer projectmatig aan te pakken. De focus verschoof daarbij van het uitvoeren van complete pilots naar het doen van (praktijk)onderzoek en ‘rapid prototyping’. Studenten zijn actief bij de innovatie betrokken met stages, technische ontwikkel-opdrachten en een studentenwedstrijd. De projectlijn heeft vier adviesrapporten, een toetsingskader voor toekomstige innovatieve trends en drie prototypen opgeleverd.

DE PRAKTIJKLEER-APP Bij de medisch ondersteunende opleidingen vindt een groot deel van het leerproces plaats op de werkvloer. Praktijkopleiders leggen dit leerproces vast op speciaal daarvoor bestemde formulieren. Tot voor kort gebeurde dit alleen op papier maar tegenwoordig ook digitaal in de door de Medisch Ondersteunende Opleidingen (MOO) en Onbegrensd Leren ontwikkelde praktijkleer-app. In deze app zijn alle opdrachten en beoordelingsformulieren samen gebracht, te bekijken en in te vullen via het internet. Zowel praktijkopleiders als studenten zijn gevraagd naar hun ervaringen. Van de studenten had 93% het digitale PraktijkOpleidingsBoek (POB) gebruikt, al dan niet in combinatie met een POB op papier. Hiervan verkoos 76% digitale POB boven een POB op papier. Ze vinden het overzichtelijk, en gemakkelijk en snel in gebruik. Wel zouden studenten graag meer mogelijkheden zien in het digitale POB, bijvoorbeeld het uploaden van bestanden. Ook vinden zij het erg onpraktisch dat opleiders geen eigen toegang hebben tot het digitale POB. De opleiders sluiten zich hierbij aan. Overigens verkiest 72% van de opleiders het digitale POB boven de papieren variant.

39

ONE MINUTE WONDER Medewerkers en studenten laten leren tussen de bedrijven door; dat was het idee achter One Minute Wonder (OMW). Op iPads strategisch gepositioneerd op de OK van het Wilhelmina Kinderziekenhuis (WKZ) konden anesthesiologen, anesthesiemedewerkers, operatieassistenten en recoveryverpleegkundigen via een korte vakinhoudelijke ‘quiz’ hun kennis rond kinderoncologie testen en bijspijkeren. De vragen waren voorzien van zorgvuldig geformuleerde feedback, zodat de deelnemers snel iets konden leren. Ook werd hierdoor hun interesse geprikkeld. In twee weken tijd werden de OMW’s meer dan honderd keer gebruikt. Driekwart van de gebruikers was het er volmondig mee eens dat One Minute Wonder een leuke, snelle en laagdrempelige manier is om te leren op de werkplek. Hoewel de app enigszins vatbaar bleek voor technische storingen, was die aantrekkelijk en gemakkelijk in gebruik. 45% van de respondenten vond de content van de OMW’s moeilijk, de rest vond de vragen op niveau of had geen mening. Een deel van de respondenten gaf aan meer beroepsgerichte differentiatie te willen. Andere suggesties voor de toekomst zijn een andere plaatsing van de OMW’s op de OK, een meer gevarieerde invulling van de app en de beschikbaarheid van andere toepassingen op de iPads.

DUURZAME ONDERWIJSINNOVATIE Michèle Gerbrands, projectleider Innovatieve projecten ‘In mijn project richt ik mij op kort cyclisch praktijkonderzoek en de ontwikkeling van prototypes. Mijn collega’s en ik testen hiermee de meerwaarde van onderwijs-technologische trends en concepten voor het UMC-Utrecht. Door een cyclisch proces van ontwikkelen, testen en evalueren met de gebruiker, worden de concepten en prototypes steeds verder verfijnd. Zo werken we aan duurzame kwaliteits­ verbeteringen in het onderwijs. Dat is waar het voor ons allemaal om draait.’

40

PLAN

ACT

DO

CHECK

SLOTWOORD Vier jaar na dato legt het programma Onbegrensd Leren de lat langs de streefdoelen uit de strategie­ studie. Voor de meeste projecten geldt dat hier (ruimschoots) aan is voldaan. Zo zijn er ruim 160 e-modules gemaakt, meer dan 70 simulaties opgeleverd, meer dan 2800 uren aan e-lectures ­opgenomen, ruim 100 toetsen gedigitaliseerd en 6 projecten uitgevoerd ter bevordering van ­videoreflectie. Ten slotte heeft de projectlijn Innovatieve projecten 4 adviesrapporten geschreven en 3 uiteenlopende prototypen ontwikkeld. Zoals uit de ‘CHECK’ mag blijken is de kwaliteit van al deze producten in de loop der jaren continu verbeterd. De inzet ervan begint steeds meer vruchten af te werpen. Een paar voorbeelden. Door de inzet van e-lectures en e-modules is het onderwijs en de voorbereiding daarop effectiever geworden en lijken studenten aantoonbaar meer kennis te bezitten bij de start van het onderwijsmoment. Door e-simulaties kunnen (nieuwe) medewerkers in zelfstandig en in een veilige omgeving leren omgaan met software. Door verbetering van reflectiemogelijkheden kan het handelen van artsen (in opleiding) nog (patiënt)veiliger worden. Door digitalisering van assessments lijkt het afnemen maar vooral het nakijken van toetsen efficiënter. Dit zijn resultaten waar we trots op mogen zijn en die wij en onze innovatiepartners in het UMC Utrecht dan ook met veel enthousiasme deelden met een breder publiek op congressen en evenementen. Deze uitkomsten mogen een goede impuls zijn voor de verdere verbetering en uitrol van ICT-toepassingen in het onderwijs. Het project Evaluatie zal voor een aantal producten verder uitzoeken hoe deze het leren van de student of het functioneren van de professional verbetert. Vier onderzoeksvragen worden al op de korte termijn onder de loep genomen. Zo wordt in januari 2016 een groep studenten uit­ genodigd om een ‘heel oude, een relatief oude en een nieuwe module’ met elkaar te vergelijken. Met deze steekproef hopen wij de verbeterde vormgeving van e-modules aantoonbaar te maken. Daarnaast zal een student onderwijskunde het leereffect van e-modules in relatie tot de motivatie van studenten nader verhelderen.

44

Aan e-lectures worden twee onderzoeken gewijd. Zo wordt in een pilot het leereffect van kennisclips als toevoeging aan de EZIS-training onderzocht. Daarnaast zal een onderzoeksteam in het UMC Utrecht de theoretische en praktische kenmerken van e-lectures met elkaar vergelijken, zodat de designprincipes van ‘een goede e-lecture’ in de vorm van een adviesrapport met de opleidingen kan worden gedeeld. Aanvullend zou aandacht mogen worden besteed aan de volgende onderzoeksvragen: • Hoe beoordelen geneeskundestudenten de toegevoegde waarde van de e-simulaties klinisch redeneren? • Hoe kan het doorklikgedrag van studenten in een e-module worden verminderd, zodat de ­leeropbrengsten vergroot kunnen worden? • Hoe kan de (initiële) weerstand tegen videoreflectie worden verminderd? • Is het beschikken over een vaste locatie en een inloopspreekuur een haalbare oplossing voor de logistieke problemen rond videoreflectie? • Wat is het effect van de multisource feedback tool (MSF) op de professionele ontwikkeling van docenten? • Welke functionaliteiten in een toetsprogramma zijn belangrijk voor studenten en voor docenten, om digitale toetsing beter in de smaak te laten vallen? • Wordt het digitale toetsproces versoepeld met een database van vragen? Voor het vinden van de juiste antwoorden op deze en nieuwe vragen willen wij adviseren om een goede samenwerking tussen ontwerpers, onderzoekers, docenten en ook vooral studenten te (blijven) stimuleren. Juist door de verschillende zienswijzen kunnen globale ideeën worden uitgedacht en ontwikkeld tot realiseerbare en effectieve producten. De belangrijkste vraag is echter: waar willen wij naartoe? Terug kijkend naar de behaalde aantallen en gemeten effecten zou een nieuwe koers uitgezet moeten worden. In deze koers moet helder zijn welke producten meer of minder aandacht verdienen zodat de inzet van ICT in het UMC Utrecht nog beter kan worden afgestemd op de wensen van alle partijen. Deze koers is de start van de strategie voor de toekomst.

45

NAWOORD Dit boekje biedt noch de ruimte om alle evaluatieresultaten uitgebreid te bespreken noch om de vele bij de projecten en de evaluatie betrokken mensen bij naam te noemen.

i

Wilt u meer weten over de geëvalueerde projecten, de gebruikte methodologie of de gevonden evaluatieresultaten? Neem dan contact op met de projectleider Evaluatie, Rianne Bouwmeester: [email protected] Alle meetinstrumenten worden gearchiveerd bij de afdeling Kwaliteitszorg van het Expertisecentrum voor Onderwijs en Opleiding. De resultaten worden gebruikt als basis voor vervolgonderzoek. Deze zijn op verzoek beschikbaar voor inzage.

Literatuurverwijzing Preparation by mandatory E-modules improves learning of practical skills: a quasi-experimental comparison of skill examination results. Kelly J. Kwant, Eugene J. F. M. Custers, Femke J. Jongen-Hermus & Manon Kluijtmans BMC Medical Education (2015) 15:102 DOI 10.1186/s12909-015-0376-4

47

COLOFON Uitgever UMC Utrecht, Programma Onderwijs ICT ‘Onbegrensd Leren’ Eindredactie Lonneke Homfeld Lay-out UMC Utrecht, Multimedia, Barbara Hagoort Druk UMC Utrecht, Multimedia Uitgave November 2015