Eindrapportage Projecten programma Toetsing en Toetsgestuurd Leren

Eindrapportage Projecten programma Toetsing en Toetsgestuurd Leren Digitaal toetsen met beelden, een extra dimensie Eindrapportage mei 2014

Penvoerende instelling: UMC Utrecht, divisie Beeld Projectleider: Prof. dr. J.P.J. van Schaik Projectsecretaris en contactpersoon SURF: drs. A. van der Gijp

De eindrapportage is een zelfstandig leesbaar document, met een evaluatief karakter. Dit betekent dat een lezer, die geen van de andere stukken over het Project gelezen of gezien heeft, zich een goed beeld moet kunnen vormen van het gehele project. Uit de rapportage dient eenvoudig af te leiden zijn hoe de bereikte eindresultaten zich verhouden tot het Controlling Document. Bij elke publicatie van de (eind)resultaten van het project dient de Projectuitvoerder melding te maken van de medefinanciering van Stichting SURF. Daartoe dient hij de tekst zoals opgenomen in Bijlage 6 van de Subsidievoorwaarden in zijn publicatie op te nemen.

1

Samenvatting Het hoofddoel van het project was het optimaliseren van de kwaliteit en efficiëntie en het uitbreiden van de mogelijkheden van toetsing van beeldinterpretatievaardigheden in de voortgangstoets in de specialistenopleiding radiologie met behulp van authentieke 2D- en 3D-beeldvragen in een digitaal toetsprogramma. In het project zijn randvoorwaarden voor de organisatie en ICT infrastructuur voor de digitale toets met beelden geschept. Er is een ontwerp gemaakt voor de digitale toets en de docenten zijn getraind in het maken van de digitale beeldvragen. Er zijn veel tests en pilots uitgevoerd om de toetsafnames uiteindelijk optimaal te laten verlopen. Dit proces is uiteindelijk driemaal doorlopen als voorbereiding op de afname van drie digitale voortgangstoetsen radiologie. De in totaal 1106 toetsafnames zijn succesvol verlopen. Na de toetsafnames vonden er evaluaties plaats op deelnemers-, docent- en projectniveau. Er is een structuur opgezet voor een itembank en er zijn nieuwe feedbackmodules ontwikkeld. Een deel van de nieuwe feedbackmodules is reeds ingezet. Er is een advies geschreven over de manier van implementatie van de feedbackmodules en de itembank. Uit het project kunnen we concluderen dat digitaal toetsen met beelden veilig en betrouwbaar op grote schaal kan worden uitgevoerd en dat de implementatie hiervan de kwaliteit van toetsen met beelden kan verbeteren. De resultaten van het project zijn duurzaam, omdat de digitale voortgangstoets radiologie voortaan onderdeel zal zijn van het reguliere toetsprogramma in de medisch specialistische vervolgopleiding radiologie.

2

Inleiding Opzet en doel van het project Het hoofddoel van het project is het optimaliseren van de kwaliteit en efficiëntie en het uitbreiden van de mogelijkheden van toetsing van beeldinterpretatievaardigheden in de voortgangstoets in de specialistenopleiding radiologie met behulp van authentieke 2D- en 3D-beeldvragen in een digitaal toetsprogramma. Daarmee zal (in elk geval op langere termijn) de gepercipieerde werkdruk door opleiders bij voortgangstoetsing kunnen afnemen. De verhoging van de authenticiteit van de toetsing kan motiverend werken naar de deelnemers en daarmee indirect bijdragen aan hun studiesucces. Om dit doel te realiseren wordt een overdraagbaar prototype digitaal toetsontwerp en een procesgericht feedbacksysteem geënt op beeldinterpretatievaardigheden ontwikkeld en geïmplementeerd in de landelijke opleiding radiologie. Het feedbacksysteem koppelt, gebaseerd op het idee van learning analytics, het handelingsproces van aios tijdens beeldinterpretatie in een rapportage terug. Dat werkt studiesucces in de hand. In het project vonden eerst voorbereidende werkzaamheden plaats, zoals opstellen van de eisen voor de ICT infrastructuur en de realisatie hiervan (werkpakket 1), het herontwerpen van de toets (werkpakket 2) en het selecteren van belangrijke parameters voor feedback (werkpakket 3). Vervolgens werden er verscheidene pilots uitgevoerd en is de digitale voortgangstoets met 2D en 3D beelden uiteindelijk digitaal afgenomen (werkpakket 4). Tot slot zijn de resultaten geëvalueerd (werkpakket 5).

Belangrijkste te behalen resultaten Het beoogde resultaat van het projectvoorstel was om het digitaal toetsen van 2D- en 3Dbeeldinterpretatievaardigheden te integreren in landelijke voortgangstoetsing, in dit geval de landelijke VGT radiologie. Dit met behulp van het toetsontwerp en met de vraagtypen waarmee deze vaardigheid zo optimaal mogelijk getoetst kan worden. Daarnaast wordt het toetssysteem voorzien van een feedbacksysteem, dat de deelnemers specifieke feedback geeft over hun beeldinterpretatievaardigheden. De volgende concrete resultaten / deliverables werden beoogd te behalen: 1. Een toetsmatrijs met te dekken onderwerpen en vaardigheden in de toetsing van beeldinterpretatievaardigheden. 2. Vraagtypen die geschikt zijn om beeldinterpretatievaardigheden te meten. 3. Scoremodel voor de 2D- en 3D-vragen van de voortgangstoets radiologie. 4. Een training over toetsconstructie, in het bijzonder gericht op het construeren van toetsen met beeldvragen. 5. Een structuur van een digitale itembank met 2D- en 3D-beeldvragen 6. Een beschrijving van het feedbacksysteem gericht op een innovatieve manier van procesmatige feedback geven op beeldinterpretatievaardigheden. 7. Een format voor terugrapportage van de feedback op beeldinterpretatievaardigheden. 8. Rapportage resultaten systeemkwaliteit, psychometrische kwaliteit, en tevredenheid van aios, opleiders en examencommissieleden met de herontworpen digitale voortgangstoets en het feedbacksysteem in dit project. 9. Handboek ‘Landelijke digitale toetsing met 2D- en 3D-beelden’, waarin de kennis uit het project gebundeld wordt.

Participerende instellingen Stuurgroepleden:

3

Prof. Dr. M. Maas, voorzitter onderwijscommissie Nederlandse Vereniging voor Radiologie (NVvR) Prof. Dr. Th. J. ten Cate, hoogleraar medische onderwijskunde UMC Utrecht en voorzitter van de Nederlandse Vereniging voor Medisch Onderwijs (NVMO) Prof. Dr. J.S. Laméris, (tot begin 2014) divisievoorzitter en hoofd van de afdeling radiologie in het AMC Dr. A.J. Smeets, radioloog (St. Elizabeth ziekenhuis Tilburg) en (tot eind 2013) voorzitter NVvR Dr. J.A. Vos, radioloog (St. Antonius ziekenhuis Nieuwegein) en voorzitter examencommissie NVvR Projectleider: Prof. Dr. J.P.J. van Schaik (UMCU), hoogleraar radiologie, in het bijzonder onderwijs en opleiding Co-projectleider Amsterdam Drs. C.A. Tipker (AMC), radiodiagnostisch laborant en wetenschappelijk docent Co-projectleider Utrecht Dr. M.F. van der Schaaf (UU, Faculteit Sociale Wetenschappen, Educational Sciences), universitair onderwijskundig onderzoeker en docent Projectsecretaris Drs. A. van der Gijp (UMCU), radioloog in opleiding en promovenda medisch onderwijs Projectgroep: Prof. Dr. A.D.C. Jaarsma (AMC), hoogleraar Evidence-Based Education Drs. J.W. van den Berg (AMC), arts en promovendus medisch onderwijs Drs. C.A. Tipker AMC), radiodiagnostisch laborant en wetenschappelijk docent Drs. K. de Crom (AMC), adviseur onderwijstechnologie, focus gebieden digitaal toetsen, projectmanagement en computer-mens interactie Prof. Dr. J.P.J. van Schaik (UMCU), hoogleraar radiologie, in het bijzonder onderwijs en opleiding Dr. I.C. van der Schaaf (UMCU), radioloog Dhr. P.J. van der Schoot (UMCU), adviseur ICT Drs. C. Mol (UMCU), onderzoeker Image Sciences Institute Dr. Ir. K.L. Vincken (UMCU), universitair hoofddocent Image Sciences Institute Drs. C.J. Ravesloot (UMCU), radioloog in opleiding en promovenda medisch onderwijs Drs. A. van der Gijp (UMCU), radioloog in opleiding en promovenda medisch onderwijs Dr. M.F. van der Schaaf (UU, Faculteit Sociale Wetenschappen, Educational Sciences, universitair hoofddocent Dr. D.R. Rutgers (UMCU), radioloog en lid van de examencommissie van de NVvR (later toegetreden als nieuw projectlid)

Projectperiode 1 Maart 2012 t/m 31 April 2014 (incl. verlenging van 2 maanden)

Begroting en subsidie Totale projectbegroting: € 553.392

Toegekende subsidie: € 364.000

4

Beschrijving per werkpakket Per werkpakket: een inhoudelijk evaluatief verslag van de activiteiten en resultaten/deliverables die zijn uitgevoerd respectievelijk bereikt, afgezet tegen de afspraken die zijn gemaakt in het Controlling Document. In deze paragraaf wordt per werkpakket beschreven welke activiteiten zijn uitgevoerd conform het controlling document en op welke punten de activiteiten afwijken van het controlling document. In bijlage 2 is een overzicht opgenomen met de deliverables die opgeleverd zijn per werkpakket. Werkpakket 1 Randvoorwaarden: De voorwaarden m.b.t. infrastructuur van toetszalen, netwerk- en systeembeheer, toetssoftware, uitwisseling van toetscontent en het faciliteren van een nakijkmodel zijn in kaart gebracht. Ontwikkeling: De gebruikte toetslocaties zijn in kaart gebracht en beoordeeld op geschiktheid voor het afnemen van testen op grote schaal. Veiligheid omtrent gebruik van beelddata voor en tijdens de toets is procedureel opgezet, met speciale aandacht voor anonimisatie van patiëntendata. Er is een begin gemaakt met faciliteren van een itembank voor beelddata, met name de eisen die aan VQuest gesteld worden zijn uitgewerkt. Toepassing: Stresstests zijn uitgevoerd op 4 verschillende niveaus van toetsafname. De software is getest op gebruiksvriendelijkheid en veiligheid van antwoorden. Het reviewproces voor het werken met grote datasets is in kaart gebracht. De volgende punten wijken af van het controlling document: De functionaliteit voor het inrichten van een itembank via VQuest is nog in ontwikkeling. De volgende punten zijn extra uitgevoerd: -De beveiliging van de toets in een netwerkomgeving is op meerdere manieren getest: met externe software (Kioware) en d.m.v. group policy (Windows). -twee pilots in het AMC tijdens het blok ‘3D mens’ van de basisopleiding geneeskunde. Werkpakket 2 De volgende punten zijn uitgewerkt conform het Controlling Document: Resultaten 1. Resultaten betrouwbaarheidsanalyses, dekking toetsmatrijs en uitkomsten factoranalyse 2. Resultaten vragenlijsten deelnemers (aios en opleiders)

Deliverables Hoofdstuk 2 in het handboek ‘Landelijke digitale toetsing met 2D- en 3Dbeelden’

3.Nieuwe vraagtypen voor 2D- en 3Dbeeldvragen met psychometrische kwaliteit (onderscheidend vermogen, moeilijkheidsgraad)

- Document met vraagtypen die geschikt zijn om beeldinterpretatievaardigheden te meten

4.Toetsontwerp: toetsmatrijs

6. Docenttraining met evaluatie

- Een toetsmatrijs met te dekken onderwerpen en vaardigheden in de toetsing van beeldinterpretatievaardigheden - Document met scoremodel voor de 2D- en 3D-vragen van de voortgangstoets radiologie. - Een training over toetsconstructie van 2D- en 3D-beeldvragen

7.Structuur itembank

- Een structuur van een digitale itembank met 2D- en 3D-beeldvragen

5.Toetsontwerp: scoremodel

5

Randvoorwaarden: Een randvoorwaarde voor WP2 was het opstellen van het studentmodel. Dit heeft deels plaatsgevonden in het Surf project toetsing in Beeld. ECD 1. Studentmodel (SURF project ‘Toetsing in beeld’, lopend onderzoek)

Kernvraag Wat houden beeldinterpretatievaardigheden in? Wat willen we toetsen?

Methode Literatuurstudie en empirisch onderzoek in het lopende SURF project ‘Toetsing in beeld’

Deliverable

Beschrijving van het construct en de ontwikkeling van beeldinterpretatievaardigheden (deze deliverable is onderdeel van het SURF project Toetsing in beeld).

Ontwikkeling: De ontwikkeling van WP2 vond plaats via de procesgang van het Evidence Centered Design (ECD) van Mislevy. De volgende stappen zijn uitgevoerd:

ECD 2. Taakdomein

3. Bewijsmodel

4. Assemblage

Kernvraag Welke (toets)vragen (zowel inhoudelijk en qua vorm) zijn nodig om informatie te krijgen over de beeldinterpretatievaardigheden van de AIOS? Welke essentiële taakkenmerken moet het toetsprogramma (VQuest) daarvoor hebben? Wat telt als bewijs voor beeldinterpretatievaardigheden en hoe interpreteren we dit bewijs?

Methode Literatuurstudie Item en toetsanalyse op bestaande data

Deliverable Een toetsmatrijs met te dekken onderwerpen en vaardigheden in de toetsing van beeldinterpretatievaardigheden. Vraagtypen die geschikt zijn om beeldinterpretatievaardigheden te meten.

Item- en toetsanalyse op bestaande data

Scoringsregels en nakijkmodel van de voortgangstoets radiologie met 2D- en 3D-vragen. Een samengestelde voortgangstoets met 2D- en 3D-beeldvragen.

Hoeveel taken en welke soort taken zijn nodig in de complete toets? (welke vragen en in welke volgorde van moeilijkheid etc.)

Training en toetsconstructie met leden van de examencommissie radiologie

Een training over toetsconstructie. Een basis van een digitale itembank met 2D- en 3D-beeldvragen worden opgeleverd, waarin in ieder geval voldoende beeldvragen voor de eerste landelijke digitale voortgangstoets opgenomen zullen zijn. De digitale itembank zal een database bevatten waarin kwaliteitsindicatoren per vraag kunnen worden opgenomen na toetsafname

Toepassing: De toepassing van WP2 is terug te vinden in de uiteindelijk ontwikkelde toets. Dit is conform fase 5 in het ECD uitgevoerd. ECD 5. Presentatie (zie werkpakket 4)

Kernvraag Hoe wordt de toets gepresenteerd, hoe ziet de toets eruit? Wat zou de afnamesituatie

Methode Gebruik maken van ervaringen tijdens pilots Gebruik maken van

Deliverable Een gebruiksvriendelijk en intuïtief interface voor toetsafname en toetsconstructie 6

moeten zijn? Wat zijn technische, materiële voorwaarden om taakuitvoering op te roepen? Hoe kunnen de scores effectief gepresenteerd worden

gegevens uit de literatuur.

Specificaties over een overzichtelijke en effectieve manier van score representatie

De volgende punten wijken af van het controlling document: Geen De volgende punten zijn extra uitgevoerd: Voor de training van examencommissieleden is accreditatie verleend. Werkpakket 3 De volgende punten zijn uitgewerkt conform het Controlling Document: Randvoorwaarden: betekenisvolle parameters zijn gedefinieerd aan de hand van literatuuronderzoek. Verschillende manieren van rapporteren en visualiseren van de parameters zijn voorgesteld. Ontwikkeling: De extractie van de parameters is gerealiseerd door middel van een logfile-script, dat de ruwe data omzet in de betekenisvolle parameters. Toepassing: De logfiles zijn omgezet in parameters door middel van het logfile programma. De volgende punten wijken af van het controlling document: De rapportages zijn nog niet verspreid onder aios en opleiders. De volgende punten zijn extra uitgevoerd: -Er is een advies geschreven voor de examencommissie waarin aangedragen wordt welke feedbackmogelijkheden er zijn en hoe deze optimaal ingezet kunnen worden. -er is een feedbackmodule ontwikkeld en toegepast waarmee de gegeven antwoorden, juiste antwoorden en scores automatisch gegenereerd kunnen worden en per e-mail naar de deelnemers gestuurd kunnen worden. Werkpakket 4 De volgende punten zijn uitgewerkt conform het Controlling Document: Randvoorwaarden: Pilots en drie digitale afnamen van de voortgangstoets hebben geleid tot aanscherping van de randvoorwaarden van toetsafname (wp 1), zowel qua ICT infrastructuur als organisatie. Overall is geconcludeerd dat tijdens alle toetsafnamen aan de gestelde randvoorwaarden is voldaan. Ontwikkeling: Implementatie van de digitale voortgangstoets heeft waardevolle informatie opgeleverd met betrekking tot de presentatie van de toets(resultaten) en toetsinhoud. Deze informatie is in WP1, WP2 en WP3 gebruikt om de workflow, de (feedback op de) digitale voortgangstoets en VQuest te optimaliseren. Toepassing: naast verschillende pilots, zijn drie digitale voortgangstoetsen afgenomen. Iedere afname van de voortgangstoets had zijn eigen specifieke aandachtspunten, maar overall zijn de toetsafnamen succesvol te noemen. De volgende punten wijken af van het controlling document: Geen. De volgende punten zijn extra uitgevoerd: -een extra afname van de voortgangstoets in april 2014 - concept incidenten en calamiteitenplan Werkpakket 5a De volgende punten zijn uitgewerkt conform het Controlling Document: Randvoorwaarden: de kwaliteitsindicatoren en bijbehorende parameters die nodig zijn voor de evaluatie van de toetskwaliteit zijn vastgesteld en beschreven in het handboek H5a. Ontwikkeling: op basis van de benodigde parameters is een gebruikersevaluatie (in de vorm van een enquête) en een item- en toetsanalyseplan opgesteld. 7

Toepassing: de vragenlijsten zijn afgenomen en geanalyseerd. De itemanalyse per toets is uitgevoerd. De kwaliteit van de digitale beeldvragen is vergeleken met de kwaliteit van de schriftelijke beeldvragen. De volgende punten wijken af van het controlling document: Er is geen aparte gebruikersevaluatie ontwikkeld en afgenomen voor het feedbacksysteem, omdat deze niet in de voorgenomen vorm is toegepast onder de aios. Er is wel een gebruikersevaluatie ontwikkeld voor de evaluatie van de ontwikkelde feedbackmodule bij studenten, maar dit valt niet onder dit project. De volgende punten zijn extra uitgevoerd: Na elke digitale voortgangstoets werd er een evaluatiebijeenkomst gehouden met de projectgroep en met leden uit de staande organisatie om de belangrijkste evaluatiepunten te bespreken en plannen te maken voor verdere kwaliteitsverbetering. Werkpakket 5b De volgende punten zijn uitgewerkt conform het Controlling Document: Randvoorwaarden: definities van de itembank, het feedbacksysteem en de relatie met de ontwikkelgroep van VQuest zijn vastgelegd en deels beschreven in het advies aan de examencommissie en deels in de licentieovereenkomst. Ook de kosten voor de nieuwe digitale voortgangstoets zijn bepaald en deze zijn vergelijkbaar met de huidige kosten. De licentiekosten zijn vastgelegd in de licentieovereenkomst. Ontwikkeling: op basis van resultaten van de vragenlijsten en ervaringen van de toets zijn voortdurend aanpassingen gedaan in het toetssysteem en in de organisatie Toepassing: Er is een licentie opgesteld voor de examencommissie. De overdracht naar de staande organisatie heeft grotendeels al geleidelijk plaatsgevonden tijdens de voorbereidingen van de derde digitale voortgangstoets. Op de overdrachtsvergadering van 12 juni a.s. zal de officiële overdracht plaatsvinden. De volgende punten zijn extra uitgevoerd: Er is een advies geschreven voor de examencommissie waarin onder andere de draaiboeken zijn opgenomen ten behoeve van de borging van het project.

8

Overige zaken Kennisdisseminatie Er is veel aan kennisdisseminatie gedaan, zowel op nationaal als op internationaal niveau. De disseminatie vond voornamelijk plaats op onderwijskundige en radiologische congressen en bijeenkomsten. Als afsluitende disseminatieactiviteit is er een symposium georganiseerd in samenwerking met het project Toetsing in Beeld. Tevens is er een handboek gemaakt met de belangrijkste projectresultaten, zodat de kennis die is opgedaan tijdens dit project niet verloren gaat. Lijst met disseminatieactiviteiten -Er is geparticipeerd in alle projectbijeenkomsten van SURF. -Er is een publieksversie van het projectvoorstel gemaakt en deze is uitgedeeld aan belangrijke betrokkenen, bijvoorbeeld uit de Nederlandse Vereniging van de Radiologie. Eén van de projectleden is aangewezen als PR-coördinator om disseminatie activiteiten aan te sturen. -De examencommissie heeft een uitgebreide demo gehad van het programma en was erg enthousiast -Eén van de leden van de junior NVvR (belangenbehartiging van de radiologen in opleiding) is als contactpersoon voor de projectgroep aangewezen en heeft een individuele uitleg over het project en een demo van het programma gekregen. -Op 27 september is er tijdens de algemene ledenvergadering van de junior NVvR (hierin zijn alle aios radiologie vertegenwoordigd) een presentatie gehouden over de digitalisering van de VGT. -Tijdens de radiologendagen (jaarlijks congres) op 26 en 27 september werd het project onder de aandacht gebracht middels een stand. Aios en andere geïnteresseerden werden in de gelegenheid gesteld om te oefenen met het toetsprogramma. Er waren vier computers met een oefentoets waarmee de aios alle functionaliteiten van het toetsprogramma konden uitproberen. Er werd ook een instructiefilmpje getoond en er werden flyers uitgedeeld. Er was zeer veel animo, de stand werd steeds druk bezocht. -alle leden van de NVvR werden tevens op de hoogte gebracht van het project via de nieuwsbrief van de NVvR. -alle aios en opleiders hebben apart een e-mail gekregen waarin de nieuwe ontwikkelingen nogmaals aangekondigd werden en waarin aangekondigd werd dat er een stand zou zijn op de radiologendagen. -Tijdens de EARLI studiereis is het projectteam vertegenwoordigd door 2 projectleden. -Tijdens de training voor de examencommissieleden hebben zij nader kennisgemaakt met het project en met het toetsprogramma (hands-on). -Op het NVMO congres waren vele projectleden aanwezig en hebben hier kennis opgedaan over digitalisering van toetsing (o.a. over het IMS systeem). -Enkele projectleden zijn naar het RSNA congres in Chicago geweest. Hier zijn vooral ideeën opgedaan over het gebruik van systemen waarmee gemakkelijk data uitgewisseld kunnen worden (MIRC) en systemen voor metadatering van radiologische beelden (radlex). -de digitale VGT op 19 april kreeg aandacht op de site van het AMC en het UMCU -bericht in de nieuwsbrief van de NVvR -Artikel over de eerste digitale afname in het tijdschrift ‘Discours’ (zie bijlage ‘discours12radiologietoets’). Discours is een tijdschrift voor co-assistenten, arts-assistenten en hun opleiders in de AMC-opleidingsregio. -pecha cucha voor De onderwijsdagen gemaakt -presentatie eerste projectresultaten op de RSNA (groot radiologisch congres in de VS). Tevens een congres waar veel contacten kunnen worden opgedaan voor het verspreiden van onze ideeën en promoten van VQuest. -Presentatie over VQuest op de public meets private dag van het UMC Utrecht waar academici en de private sector bij elkaar kwamen om ideeën uit te wisselen.

9

-Presentatie over de resultaten van de VGT op de Ottawa conference (conferentie over toetsing in medical education). -Presentatie over de eerste resultaten van de VGT op het ECR congres (Europees radiologisch congres) -Handboek met projectresultaten – zowel digitaal als op schrift -Symposium met presentaties over de projectresultaten (i.s.m. het project Toetsing in Beeld) en een workshop over werken met VQuest -Presentatie projectresultaten op het CAA congres in Zeist In onderstaande tabel zijn de disseminatie-activiteiten samengevat. Activiteit / middel

Doelgroep

Datum / periode

Publieksversie project

Diverse stakeholders

1e kwartaal

Demo toetsprogramma

Examencommissie

6 maart 2012

Demo toetsprogramma

Junior NVvR

Maart 2012

Algemene leden vergadering junior NVvR (info over het project)

Junior NVvR / aios

27 september 2012

Congres radiologendagen

Aios / opleiders / leden NVvR

26 en 27 september 2012

Nieuwsbrief NVvR

Leden NVvR

Augustus 2012

E-mail met vooraankondiging over toetsafname

Aios en opleiders

September 2012

EARLI Sig 1, Brussel

SURF expertisenetwerk

28-31 augustus 2012

Training examencommissie

Leden examencommissie

13 november 2012

NVMO, Maastricht

Medici/onderwijskundigen

15-16 november 2012

RSNA, Chicago

Radiologen

25-30 november 2012

Nieuwsberichten internetsite AMC/UMCU (zie bijlage 4 en 5)

Werknemers AMC/UMC

19 april 2013

Nieuwsbrief NVvR

Radiologen en aios

26 april 2013

Artikel Discours

Werknemers AMC

Juni 2013

Presentatie RSNA, Chicago

Radiologen / radiologen in opleiding / wetenschappers

30 nov – 7 dec 2013

Pecha Kucha – De onderwijsdagen

Geïnteresseerden in onderwijs

Nov 2013

Presentatie Public Meets Private dag UMC

Publieke en private sector (academie en bedrijven)

11 oktober 2013

Presentatie ECR, Wenen

Radiologen / radiologen in opleiding / wetenschappers

6-10 maart 2014

Presentatie Ottawa Conference

Geïnteresseerden in toetsing binnen medische educatie

25-29 april 2014

Symposium ism Toetsing in beeld

SURF projectleiders en geïnteresseerden in (digitalisering van) radiologisch onderwijs

18 maart 2014

Handboek

Iedereen die meer wil weten over implementatie van digitale toetsing met beelden

31 mei 2014

Presentatie CAA

Geïnteresseerden in digitaal toetsen

30 juni 2014

10

Effectmetingen Studie-uitval: Deze projectaanvraag had als subdoel de formatieve functie van de VGT te verbeteren. In de literatuur is voldoende bewijs dat formatieve toetsing grote impact heeft op ontwikkelingen en prestaties. De verwachting is dat een authentiekere toets leidt tot een betere acceptatie van de toets en de motivatie tot dieper leren stimuleert (Gulikers, J, (2006).Authenticity is in the eye of the beholder. Academisch proefschrift. Heerlen: Open Universiteit). Dit geldt ook voor de AIOS die goed presteren. Ook zij zijn gebaat bij een formatief toetsmiddel dat de werkelijkheid zo veel mogelijk weerspiegelt, zodat dit een waardering is van de verrichte studieactiviteiten en een stimulans geeft om deze studieactiviteiten voort te zetten. Aangezien we verwachten dat een effect op studie-uitval niet tijdens de projectperiode te detecteren zou zijn en een verandering in studie-uitval bovendien aan veel andere factoren toegeschreven kan worden, hebben we gekozen om de perceptie van de deelnemers over de authenticiteit van de toets en de acceptatie van de toets als (afgeleide) effectmaten te hanteren. In de enquête hebben we de deelnemers op deze onderdelen bevraagd. De resultaten laten zien dat de deelnemers de authenticiteit van de toets beter vonden door de digitale afname: ruim 70% van de deelnemers wilde dat de toets vaker met behulp van VQuest wordt afgenomen, ongeveer 18 % was neutraal. Ook vonden de meeste deelnemers dat digitale toetsafname beter aansluit bij de klinische praktijk: slechts 8% was het oneens met deze stelling. Werkdrukvermindering Het opstellen van 2D- en 3D-beeldvragen is een arbeidsintensieve aangelegenheid. Dit komt deels doordat het zoeken van geschikte casuïstiek veel tijd kost. Daarnaast wordt bij elke vraag een uitgebreide review cyclus doorlopen, wat een forse tijdsinvestering met zich mee brengt. In deze projectaanvraag wordt een fundament gelegd voor een in de toekomst te ontwikkelen itembank, hetgeen werkdruk vermindering in de hand kan werken. De structuur van de itembank zal vrijelijk beschikbaar zijn en kan gebruikt worden door andere instellingen die radiologische beeldinterpretatievaardigheden willen toetsen. Daarnaast is de ervaring dat er naar aanleiding van de itemanalyses en het commentaar van de AIOS steeds een aantal toetsvragen vervalt, terwijl het zoeken van casuïstiek en het opstellen van deze vragen wel veel tijd heeft gekost. In de toekomstige itembank zullen kwaliteitsindicatoren en de moeilijkheidsgraad na de eerste toetsafname worden geregistreerd. Het samenstellen van de volgende toets zal daardoor efficiënter verlopen. Immers de kwaliteit en moeilijkheid van de vragen zijn op voorhand bekend en toetsvragen kunnen dan zo nodig worden aangepast of komen te vervallen. De verwachting is dat er minder toetsvragen achteraf zullen vervallen. Tijdens de projectperiode is een structuur voor de itembank opgesteld, maar nog niet in gebruik genomen. We hebben het effect hiervan op de werkdruk van de examencommissieleden dan ook niet kunnen meten tijdens de projectperiode. Daarnaast is de verwachting dat de digitale toets aanvankelijk juist extra tijd kost voor de examencommissie. Om toch een indruk te krijgen van de verwachte gepercipieerde werkdruk van de digitale toetsing voor de examencommissie hebben we gemeten hoe positief de examencommissie tegenover de digitale toetsing staat (en stond voorafgaand aan het project). De redenatie hierachter is dat als je je werk leuk vindt, je minder werkdruk percipieert. We hebben hen een korte vragenlijst voorgelegd met vragen over hun mening en houding ten aanzien van digitaal toetsen en hun motivatie voor het maken van digitale toetsvragen. De vragenlijst is ontwikkeld en door de stuurgroep en het aanspreekpunt van de examencommissie goedgekeurd. De vragenlijst is verstuurd naar alle examencommissieleden die tijdens 1 of 2 van de digitale voortgangstoetsen in de examencommissie zaten. De enquête is ingevuld door 43% van de examencommissieleden die hebben meegedaan bij de toets constructie van één of meer digitale voortgangstoetsen. De respondenten hadden reeds een positieve houding ten opzichte van digitaal toetsen voorafgaand aan het project (gemiddelde score van 4 uit 5), maar deze houding bleef vergelijkbaar tijdens het project (gem. 4,2 uit 5). De respondenten zijn gemotiveerd om digitale

11

toetsvragen te maken en vinden de digitale VGT een kwaliteitsverbetering (beiden 3,8). De digitalisering heeft volgens de respondenten wel gezorgd voor meer werk (4,2), maar de meeste respondenten vinden het de tijdsinvestering waard, gezien de kwaliteitsverbetering (3,8). Concluderend is uit deze enquête gebleken dat de examencommissieleden gemotiveerd zijn om 3D beeldvragen te maken, men de digitalisering een kwaliteitsverbetering vindt en men vindt dat de extra tijdsinvestering in verhouding staat tot de kwaliteitsverbetering. Psychometrische kwaliteit De geschatte betrouwbaarheid van beide digitale voortgangstoetsen was hoog (Cronbachs alpha rond .90) en vergelijkbaar met de betrouwbaarheid van de voorgaande schriftelijke voortgangstoetsen (.87 tot .96). De betrouwbaarheid van de 3D vragen was bij beide toetsen, indien gecorrigeerd voor het aantal vragen, iets hoger dan de betrouwbaarheid van de 2D vragen. In de eerste digitale VGT werd er hoger gescoord op de 3D beeldvragen dan op de 2D beeldvragen en in de tweede digitale VGT was er bijna geen verschil. Systeemkwaliteit Er zijn steeds verscheidene tests uitgevoerd om de systeemkwaliteit te meten. Alle tests kunnen onderverdeeld worden in twee categorieën: op student- en op docentniveau. Met studentniveau wordt bedoeld het gebruik van VQuest voor het afnemen van toetsen of het inkijken van gemaakte toetsen. Met docentniveau wordt bedoeld het samenstellen van nieuwe toetsvragen, toetsen en het nakijken van antwoorden. Als een test op studentniveau geslaagd is, betekent dit dat de omgeving geschikt is om VQuest als toetsmiddel in te zetten. Omdat de eisen (zoals wachttijd en stabiliteit) bij het inkijken minder streng zijn dan voor het afnemen, worden alle eisen op studentniveau bepaald in de zin dat het afnemen op grote schaal zonder problemen plaats kan vinden. De studentniveau test wordt op 4 manieren uitgevoerd: a. op een los werkstation, data lokaal Deze test is geslaagd. b. op een los werkstation, data op het netwerk Deze test is geslaagd. Er wordt geen gebruik gemaakt van draadloze verbindingen (bij afwezigheid van een bedraad netwerk, zoals laptops, wordt de toets per USB stick verspreid). c. in een netwerk van werkstations, data lokaal Deze test is geslaagd. Verschil met b is dat er nu meerdere toetsen tegelijk antwoorden en logfiles naar de server sturen. Dat blijkt geen probleem. d. in een netwerk van werkstations, data op het netwerk Deze test is geslaagd. (Zie opmerking bij b voor draadloze laptops). Bij elke test wordt gekeken naar de volgende punten: 1. opstarttijd VQuest Deze test is geslaagd. De opstarttijd is minimaal. 2. laadtijd 3D dataset van een bepaalde afmeting De maximale laadtijd voor een 3D dataset is ongeveer 10 sec. Niet elk werkstation of laptop haalt deze limiet. Dit is ondervangen door het tonen van een laadbalk die langzaam vol loopt. Daarmee wordt de langzame laadtijd geaccepteerd door de gebruiker. Dit geldt nog niet voor het laden van overlays (de rode structuren die zichtbaar worden bij een benoemvraag). 3. snelheid datamanipulatie (aanwijsvraag, window-leveling en scrollen) Deze test is geslaagd, de waardering uit de evaluatie is voldoende. 4. stabiliteit van het systeem Deze test is geslaagd. Bij alle grote toetsen zijn er geen noemenswaardige aantallen systemen uitgevallen. VQuest kan crashen bij een verkeerd opgestelde toets, maar dat blijkt dan al in docentmodus. In elke situatie wanneer dit gebeurt, wordt dit meteen doorgegeven aan het

12

ontwikkelteam. Daarmee wordt de foutenanalyse en stabiliteit van VQuest elke versie weer hoger. 5. betrouwbaarheid opslaan van antwoorden Deze test is geslaagd. Voor alle zekerheid worden de antwoorden tegenwoordig op 2 plaatsen weggeschreven: naar de server en lokaal. Op het einde van de toets worden alle lokale antwoorden als back-up nogmaals weggeschreven naar de server. Controle leert dat deze back-up niet gebruikt hoeft te worden, omdat er geen verschillen zijn tussen de antwoorden op server en de back-up. Het systeem kost nauwelijks extra bandbreedte, dus voorlopig houden we deze voorziening overeind (voor het geval dat er ooit iets mis gaat op de server of het netwerk). Na de ervaringen in de VU wordt voortaan ook op docentniveau getest. Dit houdt in dat een afgevaardigde van de examencommissie de toets steeds ter plaatse test. Dit om ervoor te zorgen dat alle beelden goed beoordeelbaar zijn. De kwaliteit van de beelden wordt getest op: 1. Grootte / resolutie van het beeld  evt. kunnen loze ruimten aan de zijkanten van de afbeelding nog verder worden geminimaliseerd 2. Mate van hinder door reflectie van het folie aan de randen  evt. aan te passen door de afbeeldingen te verplaatsen in de lay out 3. Mate van hinder door lichtinval (experimenteren met alternatieve ‘sfeerverlichting’)

Exploitatieplan/implementatieplan Daadwerkelijk gebruik van de projectresultaten Het belangrijkste resultaat van het project is dat de nieuwe, digitale voortgangstoets onderdeel is geworden van het reguliere toets programma en voortgezet zal worden door de staande organisatie. Tijdens de projectperiode zijn al veel stappen in het implementatieproces gezet. Na de projectperiode zal de nieuwe opzet overgenomen worden door de NVvR en in het bijzonder de examencommissie. Omdat deze bestuursorganen deelnamen in het project en de examencommissie tijdens de projectperiode de nieuwe manier van toetsing eigen zullen maken, wordt verwacht dat de overgang na het project geen grote problemen oplevert. De nieuwe opzet zal naar verwachting minstens 10 jaar volwaardig deel uitmaken van de opleiding en aangeboden worden aan honderden aios per jaar. Daarnaast kan een soortgelijk systeem met beeldvragen ingevoerd worden op diverse andere niveaus van de opleiding radiologie (coassistenten en mogelijk zelfs de specialisten radiologie), andere medische specialistenopleidingen (orthopedie, neurologie, chirurgie, dermatologie, pathologie) en zelfs in andere vakgebieden (kunst, geologie, biologie). De feedbackmogelijkheden die in VQuest mogelijk zijn worden nog niet optimaal gebruikt. Indien de onderzoeksresultaten van de visuele feedbackmodules positief blijven uitvallen (zie SURF-project ImageMe, learning analytics tender) kan dit hopelijk in de toekomst een stimulans zijn voor de examencommissie om hier gebruik van te maken. De itembank wordt nog niet ingezet om bestaande toetsvragen opnieuw te gebruiken, omdat de examencommissie de toetsvragen traditioneel bekend maakt aan de deelnemers zodat deze voor zelfstudie gebruikt willen worden. In het adviesrapport is het nut van de itembank voor zowel de kwaliteit als de efficiëntie van het vragen maken beschreven en een voorzet voor de structuur van de itembank opgenomen. Dit advies kan dan door examencommissie gebruikt worden om de voor- en nadelen van de itembank met elkaar af te wegen en vormt meteen een leidraad voor implementatie ervan. Ook over de implementatie van de feedbackmodule is een advies opgesteld.

Inbedding in de organisatie

13

Na het project zal de verantwoordelijkheid voor het maken van toetsvragen en de coördinatie van de VGT onveranderd bij de examencommissie van de NVvR liggen. Het beheer van de toetsvragen (en het bijbehorende beeldmateriaal) zal terug worden overgedragen aan de examencommissie. Het beheer zal naar verwachting wel ondersteund worden door het VQuest team. Het uitvoeren van de toetsanalyses zal onveranderd onder de verantwoordelijkheid van de NVvR vallen. De organisatie van de voortgangstoets wordt terug overgedragen aan de NVvR. Om dit te bewerkstelligen is een volledig draaiboek gemaakt voor de voorbereidingen, de afname en de resultaatverwerking van de toets. In dit draaiboek zijn ook de verantwoordelijkheden van de verschillende betrokkenen beschreven. Hoewel het NVvR bureau al een groot deel van de taken voor zijn rekening heeft genomen tijdens de laatste (derde) digitale toets, zullen nu ook de overige taken door het bureau opgepakt moeten worden. Op 12 juni a.s. is de laatste evaluatievergadering van de derde digitale VGT gepland en dan zal ook de definitieve overdracht gepland worden (van de organisatie van de digitale toets) naar de staande organisatie. Het bureau zal dan alle documentatie ontvangen (zover zij deze nog niet in bezit hebben), die nodig zijn voor de organisatie van de toets. Vanaf dat moment zal het NVvR bureau dan ook eigenaar worden van het draaiboek. De verantwoordelijk medewerker van het NVvR bureau is nauw betrokken geweest bij de ontwikkeling van het draaiboek en bij de organisatie van de voortgangstoetsen tijdens het project, zodat zij reeds op de hoogte is van het takenpakket. Om continuïteit en kwaliteit te waarborgen zijn twee contactpersonen uit het projectteam aangewezen (één uit het AMC en één uit het UMCU) die tijdens de organisatie van de komende digitale toets gecontacteerd kunnen worden bij vragen.

14

Evaluatie en lessons learned Evaluatiepunten Tijdsplanning Het project is grotendeels verlopen binnen de tijdsplanning. Doordat veel disseminatieactiviteiten aan het eind van het project of net daarna plaatsvonden is het project twee maanden verlengd. De tussendeliverables en deliverables zijn steeds op tijd opgeleverd. Twee tussendeliverables zijn vervallen na overleg met het SURF projectmanagement, omdat deze deliverables inhoudelijk te veel zouden gaan lijken op kort daarvoor opgeleverde deliverables in de betreffende werkpakketten. Het opstellen van de tussendeliverables tijdens het project kostte vrij veel tijd, maar sommige tussendeliverables konden aan het eind van het project gebruikt worden voor het handboek, zodat de tijdsinvestering zich op deze manier deels heeft terugbetaald. Budget Tijdens het project was er steeds sprake van onderuitputting. Dit kwam doordat veel facturen lang op zich lieten wachten. Vooral de facturen die via het AMC kwamen waren steeds erg vertraagd. Dit had te maken met de betrokkenheid van een onafhankelijk bedrijf dat het financiële projectmanagement van het AMC onder zijn hoede heeft, waardoor de facturen over veel schijven moesten gaan en de lijnen bepaald niet kort waren. In alle instanties duurde het erg lang voordat declaraties van projectleden bij de bedrijfsbureaus binnen waren. Dit zorgde voor een enorme vertraging. Verdere toelichting over de financiële eindrapportage is gegeven onder het kopje ‘afsluitende financiële verantwoording’. Samenwerking en communicatie Bij aanvang van het project was in het UMC reeds meerdere jaren ervaring met de digitale afname van radiologietoetsen bij studenten geneeskunde. In het AMC was dit echter niet het geval. Het AMC heeft deze hele organisatie en ICT infrastructuur weten op te bouwen in korte tijd, wat een grote organisatie is geweest. De onderlinge samenwerking tussen het UMC, UU en het AMC was erg goed: projectleden kwamen zeer regelmatig ‘bij elkaar over de vloer’ voor vergaderingen, tests en uitleg over de ICT infrastructuur en het toetsprogramma. Toen de VU TenT in beeld kwam gingen projectleden gezamenlijk naar de VU. Verder is er heel veel mailcontact en telefonisch contact onderling geweest. De gezamenlijke disseminatieactiviteiten hebben het groepsgevoel verder versterkt en zorgden voor een zeer goede sfeer in de groep. Commitment De commitment voor het project is uitermate groot. Veel projectleden hebben op avonden en in het weekend gewerkt om deadlines te halen. Dit komt waarschijnlijk door de positieve sfeer in de projectgroep en de positieve ontvangst van de projectresultaten door andere betrokkenen. Daarnaast speelt waarschijnlijk ook mee dat het belang van slagen van het project groot is.

Risico`s Tijdens de projectperiode is één van de acht risico`s opgetreden: Mogelijk risico: ICT infrastructuur ontoereikend door wijzigingen bij migratie PC`s in het AMC. De migratie brengt ongetwijfeld veranderingen met zich mee. Dit zou negatieve gevolgen kunnen hebben op de ICT infrastructuur die nodig is voor de toetsafnames. Kans: gemiddeld

15

Maatregel: Er is een projectlid van de ADICT betrokken, zodat de randvoorwaarden die nodig zijn voor het project meegenomen kunnen worden bij de migratie. De migratie van de computers in het AMC van de ICTO naar de ADICT was aanvankelijk uitgesteld tot de zomer 2013, maar enkele weken voor de eerste digitale toets bleek toch één van de zalen gemigreerd te worden vóór 19 april 2013. Na veel overleg en discussies hierover konden we uiteindelijk toch geen gebruik maken van deze zaal (hoewel deze zaal al ruim van te voren gereserveerd was). Uiteindelijk is dit opgevangen in het UMC Utrecht. Hier is een tweetal extra zalen gereserveerd en ingericht als toetszaal. Een mooie bijkomstigheid was dat het aantal deelnemers per locatie nu gelijk getrokken was, zodat de belasting beter verdeeld was. Dit risico bleef na de eerste digitale toetsafname actief (de rest van de migratie zou in de zomer plaatsvinden) en dit zou grote consequenties hebben voor de tweede digitale toetsafname (opnieuw veel extra werk om de toetsafname te realiseren, zoals nieuwe testen toetsprogramma, distributie van de toets, beveiliging). Aangezien er andere nadelen zaten aan de toetsafname in het AMC en UMC (twee locaties met veel zalen, waardoor zeer arbeidsintensieve organisatie en wisselende toetsomstandigheden), was de kans groot dat dit geen oplossing zou zijn voor de lange termijn en dat zou erg zonde zijn van de tijdsinvestering. Daarom hebben we geïnventariseerd of het mogelijk was om uit te wijken naar de VU en dit bleek een werkbare oplossing. Lessons learned Behoudens de inhoudelijk en organisatorische lessen, zijn er ook veel lessen geleerd op het gebied van projectmanagement en verandermanagement. -Projectmanagement kost veel tijd. Dit werd in dit project gedaan door de gedelegeerd projectleider en de co-projectleiders uit het AMC en de UU, terwijl dit projectleden waren die ook veel inhoudelijke taken hadden in het project. Het aanstellen van een projectmanager zou de werklast bij de projectleden kunnen hebben verlicht. -Een goede sfeer in het projectteam is cruciaal. Het team was zeer gedreven en sociaal en de sfeer was zeer goed, zodat regelmatig een stapje extra gezet werd om bepaalde doelen te behalen. -Van te voren goed nadenken over welke kosten door welke instantie gedragen zullen worden tijdens het project. Is het bijvoorbeeld wel nodig dat kosten die eerder door de staande organisatie gemaakt worden tijdens het project door de projectorganisatie worden gedragen? Als deze kosten niet overgenomen worden kun je de subsidiegelden direct inzetten voor alleen de projectontwikkeling en de vele personele uren die hierin gaan zitten. -Het is belangrijk om de staande organisatie zoveel mogelijk te betrekken in de projectontwikkelingen, zodat de veranderingen in de toekomst ook gedragen worden in de staande organisatie. Daarom is in de loop van het project een examencommissielid toegevoegd aan het projectteam en is hij samen met de verantwoordelijk werknemer van het NVvR bureau bij projectvergaderingen aanwezig geweest. -Het bleek dat de staande organisatie wel bereid was te veranderen, maar alleen stapje voor stapje. Mogelijk kwam dit onder andere doordat er aanvankelijk geen leden uit de examencommissie zitting hadden in de projectgroep (alleen in de stuurgroep). Hierdoor kregen zij initiatieven voor nieuwe ontwikkelingen in eerste instantie vaak als laatste mee, bijvoorbeeld tijdens een training, terwijl het uiteindelijk hun toets is en verantwoordelijk zijn voor de uitvoer ervan. Nadat we in overleg met de examencommissie besloten hadden om één lid deel te laten nemen aan de projectvergaderingen als lid van de projectgroep werden de implementatiestappen groter en de lijnen met de betrokken examenleden kleiner. Dit heeft de implementatie sterk bevorderd.

16

- Het afnemen van een digitale toets met beelddata op grote schaal vergt een nauwkeurige en realistische planning van alle verschillende stappen: data verzamelen, vragen maken, vragen reviewen, uiteindelijke toets samenstellen, geschikte zaal vinden en inrichten volgens veiligheidsrichtlijnen, toets meermalen testen op lokatie, toets afname volgens schema, binnen afzienbare tijd resultaten verwerken en terugkoppelen. Het is niet moeilijk in te zien dat deze stappen onderling sterk afhankelijk en consecutief zijn. Om niet in tijdnood te komen en een periode van extreme werkdruk te creëren, is het noodzakelijk ruim te plannen.

Conclusies 1) Digitaal toetsen met beelden kan veilig en betrouwbaar op grote schaal op diverse locaties geïmplementeerd worden, mits een reële planning door alle betrokkenen wordt ondersteund en nageleefd. 2) De kwaliteit van digitaal toetsen met radiologische beelden m.b.v. VQuest is op meerdere (kwaliteits-)aspecten beter ten opzichte van schriftelijke toetsing. 3) De digitale voortgangstoets radiologie is onderdeel geworden van het reguliere toetsprogramma in de vervolgopleiding radiologie. 4) De structuur voor de itembank en de feedbackmethoden zijn in dit project ontwikkeld en in een advies aan de staande organisatie wordt aangegeven hoe dit te implementeren.

17

Afsluitende financiële verantwoording Zie bijlage voor de financiële rapportage. IBAN: BIC:

NL69RABO0143774735 RABONL2U

Kenmerk: project nummer R2464 Toelichting Er is wat verschuiving opgetreden in de budgetten. We hebben budget overgehouden op de post materieel, doordat de kosten van de zaalhuur waren inbegroot, maar ten behoeve van de borging van het project zijn deze facturen na de eerste voortgangstoets verder voldaan door het NVvR bureau. Zij zullen deze kosten ook na de projectperiode moeten voldoen. Aan de andere kant was er juist budget te kort op de post personele uren. Er werden sowieso al meer uren gemaakt dan inbegroot, maar daarnaast zijn er tijdens de twee maanden verlenging van het project ook nog veel personele uren in het project gestopt. Deze personele uren hebben we na overleg met het SURF projectmanagement deels kunnen compenseren met het overgebleven budget van de materiele kosten, de post onvoorzien en de accountantskosten. De disseminatie post leek aanvankelijk nogal weinig benut. Deels komt dit doordat het zwaartepunt van de disseminatieactiviteiten in de laatste projectperiode lag. Daarnaast bleek bij een inventarisatie van de gedeclareerde kosten tbv disseminatie per projectlid dat een groot deel van de declaraties niet waren doorgekomen in het systeem (vanuit zowel het AMC, de UU als intern in het UMCU). Als gevolg hiervan konden deze kosten pas in de laatste periode worden opgenomen in de financiële eindrapportage.

18

Bijlage 1 Standlijnenoverzicht Evaluatie planning Het project is twee maanden verlengd in verband met disseminatieactiviteiten die na februari 2014 plaatsvonden. De disseminatieactiviteiten hadden hun zwaartepunt in het laatste deel van het project, doordat de eerste resultaten van het project pas in de tweede helft van het project beschikbaar waren (na de eerste digitale voortgangstoets van april 2013) en deze resultaten niet eerder ingediend konden worden bij congressen. De verlenging van twee maanden gaf ons tegelijkertijd de mogelijkheid om ook de derde digitale voortgangstoets nog te ondersteunen, zodat de overdracht naar de staande organisatie geleidelijk kon verlopen. Alle fasen binnen de werkpakketten zijn binnen de projectperiode doorlopen (groen gearceerd). De rood gearceerde gebieden zijn de maanden waarin de landelijke voortgangstoets radiologie plaats heeft gevonden. De witte kruisjes zijn momenten dat er tussendeliverables zijn opgeleverd en de zwarte kruisjes de momenten dat er einddeliverables opgeleverd zijn. De tussendeliverables waren waardevol voor het verspreiden van werklast, omdat hierdoor de projectresultaten al tijdens het project in stukjes waren opgeschreven. In de laatste periode, waarin de handboeken geschreven moesten worden en de derde digitale VGT ondersteund moesten worden, was het erg behulpzaam dat er reeds twee handboek hoofdstukken geschreven waren en dat er meerdere tussendeliverables waren om uit te putten voor het schrijven van de overige hoofdstukken. 2012 M

2013 A

M

J

J

A

S

O

N

D

2014 J

F

M

A

M

J

J

A

S

O

N

D

J

F

Planning werkpakket 1 Randvoorwaarden

x

Ontwikkeling

x

x

Toepassing Opstellen deliverables

x

Verlenging maart/april

M A

Opstellen deliverables / disseminatie

x

2012 M

2013 A

M

J

J

A

S

O

N

D

J

2014 F

M

A

M

J

J

A

S

O

N

D

J

F

Planning werkpakket 2 Randvoorwaarden Ontwikkeling

x x

x

Toepassing Opstellen deliverables Verlenging maart/april

x

x M A

Opstellen deliverables / disseminatie

19

2012

2013 M

A

M

J

J

2014

A

S

O

N

D

J

F

M

A

M

J

J

A

S

O

N

D

J

F

Planning werkpakket 3 Randvoorwaarden

x

Ontwikkeling

x

x

Toepassing Opstellen deliverables

x

Verlenging maart/april

M A

Opstellen deliverables / disseminatie

x

2012 M

2013 A

M

J

J

A

S

O

N

D

2014 J

F

M

A

M

J

J

A

S

O

N

D

J

F

Planning werkpakket 4 Randvoorwaarden Ontwikkeling

x

x

Toepassing

x

X

Opstellen deliverables Verlenging maart/april

M A

Opstellen deliverables / disseminatie

x

2012 M

2013 A

M

J

J

A

S

O

N

D

J

2014 F

M

A

M

J

J

A

S

O

N

D

J

F

Planning werkpakket 5 a) Evaluatie Randvoorwaarden Ontwikkeling

x

x x

Toepassing Opstellen deliverables

x

Verlenging maart/april Opstellen deliverables / disseminatie

x

20

b) Borging Randvoorwaarden Ontwikkeling

x x

Toepassing Opstellen deliverables Verlenging maart/april

M A

Opstellen deliverables / disseminatie

x

21

Bijlage 2 Opgeleverde deliverables In onderstaande tabel is weergegeven welke deliverables er waren opgenomen in het Controlling Document en of deze zijn opgeleverd. Twee tussendeliverables zijn vervallen na overleg met het SURF projectmanagement, omdat deze deliverables inhoudelijk te veel zouden gaan lijken op kort daarvoor opgeleverde deliverables in de betreffende werkpakketten. Twee van de einddeliverables zijn niet apart opgeleverd, maar zijn ingebed in het handboek. In onderstaand overzicht is te zien op welke (tussen)deliverables dit van toepassing is. WP 1

TD/ED* TD

ED

2

TD

ED

3

TD

ED

4

TD

Deliverables Werkdocument eisen ICT infrastructuur en organisatie Werkdocument beschrijving beveiliging, patiëntveiligheid, review proces Eventuele aanpassingen tussendeliverables 1 en 2 Hoofdstuk 1 in het handboek ‘Landelijke digitale toetsing met 2D- en 3D-beelden’

Concept studentmodel, op basis van resultaten SURF project ‘Toetsing in beeld’ Concept taakmodel: vraagtypen en toetsmatrijs Werkdocument docenttraining Eerste indicatie geschikte vraagtypen obv 1e digitale VGT Hoofdstuk 2 in het handboek ‘Landelijke digitale toetsing met 2D- en 3D-beelden’ Document met vraagtypen die geschikt zijn om beeldinterpretatievaardigheden te meten Een toetsmatrijs met te dekken onderwerpen en vaardigheden in de toetsing van beeldinterpretatievaardigheden Document met scoremodel voor de 2D- en 3D-vragen van de voortgangstoets radiologie. Een training over toetsconstructie van 2D- en 3Dbeeldvragen Een structuur van een digitale itembank met 2D- en 3Dbeeldvragen Concept betekenisvolle parameters Concept formats rapportage feedback Betekenisvolle parameters, aangepast nav 1e pilot Hoofdstuk 3 in het handboek ‘Landelijke digitale toetsing met 2D- en 3D-beelden’ Een geschikt format voor terug rapportage van de feedback op beeldinterpretatievaardigheden Beschrijving van het feedbacksysteem gericht op een nieuwe manier van procesmatige feedback geven op beeldinterpretatievaardigheden Concept presentatie van de toets voor 1e pilot VGT Ervaringen pilot digitale VGT (technisch en organisatie) Tweede concept presentatie van de toets nav ervaringen 1e pilot VGT Ervaringen digitale VGT (technisch en organisatie)

Deadline 31 Augustus 2012 31 December 2012

Opgeleverd? J J

31 Juli 2013 1e versie: 31 mei 2013

J 1e N (vervallen)

2e versie: 28 februari 2014

2e: J

30 Juni 2012

J

31 December 2012 31 Juli 2013 31 Juli 2013 31 December 2013

J J J J

31 December 2013

J

30 April 2013

J

31 December 2013

J

30 April 2013

J

30 April 2013

J

30 November 2012 31 Maart 2013 31 Oktober 2013 28 Februari 2014

J J J J

31 Juli 2013

J

28 Februari 2014

J (handboek)

28 Februari 2013 31 Mei 2013 30 September 2013 31 December 2013

J J J J

22

Hoofdstuk 4 in het handboek ‘Landelijke digitale toetsing met 2D- en 3D-beelden’ 5a TD Werkdocument toetsanalyseplan Concept vragenlijst gebruikersevaluatie Vragenlijst gebruikersevaluatie met evt aanpassingen ED Hoofdstuk 5a in het handboek ‘Landelijke digitale toetsing met 2D- en 3D-beelden’ Rapport met resultaten tevredenheidonderzoek 5b TD Concept definities beheer- onderhoud en kwaliteitsbewaking itembank en feedbacksysteem Concept definities relatie ontwikkelgroep VQuest Werkdocument beschrijving inrichting organisatie, beheer, onderhoud en kwaliteitsbewaking itembank en feedbacksysteem ED Hoofdstuk 5b in het handboek ‘Landelijke digitale toetsing met 2D- en 3D-beelden’ *TD = tussendeliverable, ED = einddeliverable ED

28 Februari 2014

J

31 Januari 2013 30 April 2013 30 November 2013 30 September 2013 28 Februari 2014 31 December 2012

J J J J

31 December 2012 30 Juni 2013

J N, (vervallen)

28 Februari 2014

J

J (handboek) J

23