Digitaal toetsen met beelden dr. Koen Vincken
Overzicht • Even voorstellen • Waarom toetsen met beelden? – Beeldinterpretatievaardigheden – Authenticiteit
• Het toetsprogramma VQuest • Onderzoek en resultaten • Toepassingen
Even voorstellen • • • • •
3D rendering (stent)
Koen Vincken, PhD Associate Professor (UHD) Image Sciences Institute (ISI), UMC Utrecht Onderwijs & Onderzoek Beeldverwerking Technology Transfer Officer, divisie Beeld
gezichtsreconstructie
breinsegmentatie
beenreconstructie
Digitaal toetsen • Cécile Ravesloot • Radiologe in opleiding (AIOS) • PhD studente Medical Education, divisie Beeld Onderzoeksvraag: • “Hoe kan toetsing van medische studenten verbeterd worden d.m.v. digitale toepassingen?”
Beeldvorming van 1632 tot 2015…
De radioloog (vroeger)
De radioloog (nu)
Probleemstelling • Huidige radiologie-toetsen zijn niet authentiek – Veranderende klinische praktijk door digitale ontwikkelingen – Toename van gebruik van volumetrische beelddata vereist andere beeldinterpretatievaardigheden
• Radiologie-toetsing moet aangepast worden om hoge kwaliteit van toetsafname te garanderen
?
papieren vraag
huidige praktijk
Beeldinterpretatievaardigheden
Synthese
Perceptie
• integreren bevindingen • differentiaal diagnose • advies/actie via verslag
• zoekstrategieën • normaal/afwijkend • patroonherkenning (stervormig? microbloeding vs. bloedvat, etc.)
Analyse • vergelijken met eerdere beeldvorming • karakteriseren bevindingen • relevant/irrelevant
Van papieren naar digitale toetsing • Digitale toetsing – van papier naar werkstation/laptop
• Software – QMP, TestVision, … – alleen voor 2D beelden
• Nieuwe vraagtypen voor beelden • Ontwikkeling van een nieuw toetsprogramma
traditioneel (Jaarbeurs)
digitale toetsing (TenT, VU)
Goede vragen maken is moeilijk….
Eerste versie van VQuest (2010)
Docentmodule: maken van een pijlvraag
Docentmodule: maken van een meetlatvraag
Meet de langste transversale diameter van de vena cava inferior ter hoogte van de inmonding in het hart.
Automatisch nakijken / rapportage
fout in graden (pijl) fout in mm (meetlat)
Eerste ervaringen met VQuest • ±500 toetsen afgenomen (inmiddels > 4000) – tussen 10 en 75 vragen per toets
• Verschillende expertise niveaus – 2e jrs geneeskunde, 4e-6e jrs artsen-in-opleiding
Nieuwe versie van VQuest (2013) • • • •
Verbeterde functionaliteit Betere 3D support / meerdere beelden per vraag Client-server versie Item bank support (in ontwikkeling) – delen van vragen over internet – reviewmodule
Uitbreiding projectgroep • drs. Christian Mol • Wetenschappelijk programmeur (ISI) • MSc Kunstmatige intelligentie
• drs. Anouk van der Gijp • Radiologe in opleiding (AIOS) • PhD studente Medical Education, divisie Beeld
• dr. Marieke van der Schaaf • Associate Professor Educatie & Pedagogiek • Sociale Wetenschappen, Univ. van Utrecht
VQuest 2.0 − aanwijsvraag Test Student (1234)
Aanwijsvraag met overlay Test Student (1234)
Drop down / Longlistmenu principe Contrast
Uncertain
Gecombineerde vragen
Ervaringen docenten • Geeft meer inzicht in kennis/kunde co-assistenten, studenten, AIOS, etc. • Geeft inzicht waar in het proces van beeldinterpretatie het fout gaat
Onderzoek m.b.v. SURF subsidies • Toetsing in beeld (2011-2014) – Kwaliteitsverbetering van digitale toetsing met multi-dimensionale beelden
• Digitaal toetsen met beelden, een extra dimensie (2012-2014) – Implementatie in de medische specialistenopleidingen
• IMAGE ME (2013-2014) – IMage interpretation Assessment using loGs for Evaluation in Medical Education
Beeldinterpretatie 2D vs. 3D • Is beeldinterpretatie van MPR* beelden anders dan van 2D beelden?
Uncertin
* MPR
= Multiplanar reformatting
Kwaliteitsonderzoek • Leiden 3D beeldvragen tot betere toetsing van radiologische beeldinterpretatie?
Kwaliteitscriteria Validiteit
3D > 2D Ervaren authenticiteit, Externe validiteit
Betrouwbaarheid
3D > 2D Cronbach’s alpha scores
Eerlijkheid
3D > 2D 3D < 2D (Ervaren) moeilijkheid
Ze vinden het makkelijker, maar het is moeilijker!
Implementatie voortgangstoets • ±380 AIOS radiologie in één zaal (TenT) – veilige toetsafname
• Er komen steeds meer (grote) toetszalen ter beschikking – UMC, AMC, Groningen, VU
• Studenten en docenten vragen om meer digitale toetssystemen – authentieker
• Beelddata kost ruimte (tot 4GB!) – distributie toets naar lokale schijf – antwoorden en backup naar (beveiligde) server
Feedback / Learning Analytics • • • •
Feedback op scores Inkijkmodule Logfile analyse Visuele feedback – – – –
playbackmodule (onder begeleiding terugkijken eigen acties) expertmodule (instructiefilm idee: hoe doet een expert het?) hotspots heatmaps
• Eyetracking
Feedback op scores Toets: VGT radiologie, 8 november 2013 AIOS:
NVvR nr: 0000 e-mail: Hieronder staat een overzicht van alle tekst- en beeldvragen, met zowel het correcte antwoord op de vraag als het door u gegeven antwoord. Totaal aantal vragen: 200 1. (Abdomen Beeldvraag) Casus: Vraag: Op deze MRI sequentie heeft de milt een abnormale signaal intensiteit. Correcte antwoord: Onjuist Gegeven antwoord: Juist
29. (Neuroradiologie meer-uit-meer Beeldvraag) Casus: 35-jarige vrouw met hoofdpijn en woordvindingstoornissen na partus. Vraag: Er zijn twee afwijkingen herkenbaar op de scan. Geef de twee afwijkingen. 1. Pericallosale bloeding 2. Splenium agenesie 3. Sinus trombose 4. Rostrum agenesie 5. Hypofyse apoplexie 6. Midline lipoom 7. Heterotopie Correcte antwoorden: 2 6 Gegeven antwoorden: 1 6
Inkijkmodule
Logfile analyse wegschrijven coupe nummers datum:
time:
ms:
action:
2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 2013-07-03 etc.
19:35:08 19:35:09 19:35:15 19:35:15 19:35:15 19:35:15 19:35:15 19:35:15 19:35:16 19:35:16 19:35:16 19:35:16 19:35:16 19:35:16 19:35:16 19:35:17 19:35:17 19:35:17 19:35:17
4009639 4010139 4016125 4016139 4016311 4016467 4016639 4016811 4016967 4017139 4017311 4017467 4017639 4017655 4017811 4017983 4018155 4018327 4018483
Entering axial @ 446 Entered question 24 250, 225, 446 250, 225, 445 250, 225, 426 250, 225, 417 250, 225, 390 250, 225, 374 250, 225, 369 250, 225, 362 250, 225, 358 250, 225, 355 250, 225, 355 250, 225, 354 250, 225, 352 250, 225, 348 250, 225, 343 250, 225, 337 250, 225, 331
Zoekgedrag door volume beelden
Drew et al. (2013), Scanners and drillers: characterizing expert visual search through volumetric images. Journal of vision.
Hotspots • Geef in antwoordmodel aan waar door alle studenten de markers zijn geplaatst (3D)
Heatmaps • Bepaal m.b.v. logfiles op welke plakken (in 3D) waar het meeste gekeken is – gebruik kleurenschaal om frequentie aan te geven
Eyetracking
Eyetracking hotspots
enkele vraag
gehele toets
Referenties • •
• • •
• •
A. van der Gijp et al. (2014), Interpretation of radiological images: towards a framework of knowledge and skills, Advances in Health Sciences Education K.P. Andriole et al. (2011), Optimizing analysis, visualization, and navigation of large image data sets: one 5000-section CT scan can ruin your whole day, Radiology C.J. Ravesloot et al. (in press), Volumetric CT-Images improve the testing of Radiological Image Interpretation Skills, European Journal of Radiology C.J. Ravesloot et al. (2015), Support for external validity of radiological anatomy tests using volumetric images, Academic Radiology A. van der Gijp et al. (in press), Volumetric and two-dimensional image interpretation show different cognitive processes in learners, Academic Radiology Handboek SURF project “Toetsing in beeld” (2014), Digitale toetsing van radiologische beeldinterpretatie Handboek SURF project “Digitaal toetsen met beelden, een extra dimensie” (2014), Handreikingen voor implementatie van digitaal toetsen met beelden
Conclusies • Veilig toetsen met (3D) beelden is haalbaar – – – – –
authentiek feedback mogelijkheden zowel voor onderzoek als onderwijs op grote schaal voor diverse vakgebieden
• In de toekomst ook voor – self assessment – delen van itembanken – review module voor docenten
