BIJLAGE 3
Projecten Educatieve Middelen Pool 2007 – 2008 Aanvraagformulier ondersteuning Onderwijscentrum VU
Questionmark Perception: voortbouwen!
drs. Marianne Schade staf- en beleidsmedewerker en secretaris Toetscommissie 26 maart 2007 Onderwijscentrum VU De Boelelaan 1105 1081 HV Amsterdam www.onderwijscentrum.vu.nl Contactpersonen: Procedure en overige vragen: mevr. C.M.J. Peters (E:
[email protected] T: 020 –598 9221) ICT&Onderwijs: dhr. drs. G.J. Los (E:
[email protected] T:020 – 598 5493) Digitaal Portfolio: mw. drs J. Poortinga (E:
[email protected] T: 020 - 598 5481) Kwaliteitszorg: dhr. dr. W. van Os (E:
[email protected] T: 020- 598 5480) Onderwijsvisie: dhr. drs. G.J. Los (E:
[email protected] T:020 – 598 5493)
1
BIJLAGE 3
1.
Projectbeschrijving
1.1 Samenvatting In de ICTO projectenronde 2004/2005 heeft het VUmc (in het bijzonder het Onderwijsinstituut) samen met het Onderwijscentrum VU een aanzet gegeven tot digitaal toetsen binnen zowel het oude (Curr.’91) als het nieuwe curriculum (VUmccompas) van het VUmc. Daarbij is gekozen voor de inzet van de toetsomgeving Questionmark Perception. Momenteel wordt dit systeem ingezet voor de Parate Kennis toetsen (PAK) van het VUmc-compas en voor bloktentamina (Curr.’91) bij de blokken Psychisch Functioneren, Hart- en Bloedsomloop en Nieren, Milieu en Interieur. Één van de ideeën van het gebruik van Questionmark Perception is daarbij geweest dat met het systeem een database van toetsvragen opgezet zou worden waarin alle toetsen van het VUmc-compas (PAK, CAT en 2V12) opgeslagen zouden kunnen worden en hergebruikt. Voor de vragen van de PAK-toetsen is dit gerealiseerd, maar dit idee is echter nog niet tot nadere uitvoering gekomen voor de andere toetsvormen. Ook is gebleken dat bij de toetsing binnen de blokken Hart- en Bloedsomloop en Nieren, Milieu en Interieur de validiteit van ontwikkelde innovatieve toetsvragen intuïtief gezien wel is toegenomen (vooruit redeneren voor beantwoorden van problemen ipv achteruit redeneren door gebruik van verschillende vraagtypen), maar dat is niet aangetoond. Tot slot is gebleken dat de psychometrische analyse die door Questionmark Perception wordt uitgevoerd op zich waardevolle gegevens oplevert, maar dat deze in praktische zin – in communicatie met docenten en examencommissie; leesbare uitdraaien – voor verbetering vatbaar is. In het voorgestelde project wordt nader onderzocht en vastgelegd hoe deze aspecten aangepast en verbeterd zouden kunnen worden en resulteert in een beleidsplan voor de langere termijn. Het project laat zich kenmerken als een uitgebreid adviesproject.
1.2 Doelstellingen Binnen de EMP projectronde project sluit het project aan bij het thema ‘toegankelijkheid van de (deeltijd-)opleidingen door middel van inzet van E-learning, en doorlopende leerlijnen’. Vooral betreft het onderdeel ‘Toetsen en beoordelen met behulp van ICT’. Vanuit het VUmc is er een groot belang dat een verdere stroomlijning van het toetsproces en opslag en beheer van toetsvragen en verder onderzoek naar digitale toetsing op langere termijn tot kwaliteitsverhoging moet leiden. Ook wil de faculteit waarborging van de continuering van het gebruik van een centraal toetsprogramma verder vorm geven. Binnen de onderwijsvisie van het VUmc-compas is dat een belangrijke doelstelling. Concreet zijn op dit moment twee doelstellingen uit het ICTO project van 2004/2005 nog niet gerealiseerd. Met name betreft dat het gebruik van Questionmark Perception voor de opslag van toetsvragen. In grove lijnen is vastgelegd hoe de toetsvragen moeten worden opgeslagen, maar door gebrek aan menskracht en een gebrekkige zoek- en printfunctie vanuit Questionmark Perception is daadwerkelijk opslaan van vragen nog niet uitgevoerd.
1.3 Afbakening
2
BIJLAGE 3
In het project zal op pilot basis, een beperkt deel van de PAK, CAT en 2V12 toetsen worden opgeslagen binnen Questionmark Perception. Hierbij zullen de nieuwe en verbeterde functionaliteiten van Questionmark Perception versie 4 (t.o.v. de oude versie 3) een nieuw perspectief opleveren. Met name de zoekmogelijkheden binnen het systeem zijn sterk verbeterd. Als uitgangspunt zal echter worden genomen wat het ‘hergebruiken’ van toetsvragen precies voor doelen zal moeten dienen. Op basis van die pilot zal een oordeel worden gegeven over het toekomstig vullen van de database. Het project richt zich niet op het daadwerkelijk volledig vullen van een database met toetsvragen. In het project zal onderzocht worden welke software voor toetsanalyse mogelijk toegevoegd kan worden aan de analysemogelijkheden van Questionmark Perception. Dat zal in combinatie worden beschouwd met het nieuwe toetsanalyse pakket dat SIMAC gaat realiseren voor het VUmc ten behoeve van het analyseren van papieren toetsen (dit wordt de vervanger van het verouderde pakket TenTam dat op dit moment wordt gebruikt). Uit het project zullen aanbevelingen komen voor mogelijk stappen: • Gebruiken en mogelijk laten aanpassen van SIMAC software • Kopen van nieuwe bestaande software (bijv. TiaPlus van CITO, Sonate TU-Delft) • Zelf (mee)ontwikkelen van software (bijv. ToetsToetser van Hogeschool Zuyd) • Zelf toevoegingen ontwikkelen bij Questionmark Perception • Add-ons gebruiken die door andere QMP gebruikers (QMP gebruikersgroep NL) ter beschikking worden gesteld Er zal tijdens het project niet daadwerkelijk overgegaan worden tot aanschaf of ontwikkeling van een toetsprogramma (tenzij op experimenteer basis). In het project zal een onderzoek worden gedaan naar de validiteit van een aantal varianten van toetsvragen. In eerste instantie zal dat gaan over de waarde van het gebruik van multiple choice vragen met verschillende hoeveelheden afleiders. Daarbij zal o.a. onderzoek van Schuwirth et al. (1996) en Rotthof et al. (2006) over Long Menu Items worden gebruikt. Daarnaast zal gekeken worden wat de mogelijkheden zijn om deze flexibel in zowel beeldschermtoetsen als pen-en-papier toetsen op te nemen en analyseren. Dat zal in combinatie met het onderzoek naar de vervanger van TenTam worden bekeken. Daarnaast zal het specifiek gaan over Een tweetal voorbeelden zijn hieronder afgebeeld.
Hierbij zullen specifieke groep studenten (beginners, gevorderden) in een setting worden gebracht waarbij ze 'hardop denkend' toetsvragen moeten beantwoorden. Het gaat er om te bepalen of dergelijke toetsvragen een ander denkproces uitlokken
3
BIJLAGE 3
('vooruit' dan wel 'achteruit' redeneren) en op die basis een beter discriminerend vermogen hebben. Dit type onderzoek is vergelijkbaar met onderzoek van Beullens et al. (2005) over klinisch redeneren bij extended matching vragen. Op basis van dit onderzoek zullen aanbevelingen kunnen worden gedaan aan de faculteit voor het al dan niet inzetten op het verder ontwikkelen van dergelijke vraagtypen.
1.4 Resultaten Zie Afbakening. Het project levert vooral rapportages en beleidsdocumenten op.
1.5 Facultair commitment De volgende documenten dienen ter onderbouwing van het commitment bij het VUmc voor het inzetten van het systeem Questionmark Perception in de toetsorganisatie. • De Zelfstudie (maart 2003) van het VUmc, ten behoeve van de onderwijsvisitatie. Hierin (pag. 39) wordt het betreurd dat een goed ontwikkeld toetssysteem voor itembanking, toetsaanmaak en toetsverwerking met een bijbehorende beheersorganisatie ontbreekt. Verbeterpunten liggen voor de hand en het nieuwe curriculum moet hierin voorzien. •
De Blauwdruk (april 2003) voor het nieuwe curriculum, wijdt een passage aan de PAK-toets en aan de inzet van computergestuurde toetsing (pag. 34 e.v.). Dit document is vastgesteld door de Raad van Bestuur en dient als uitgangsdocument voor de concepten van het nieuwe curriculum.
•
Op basis van deze documenten is het nieuwe curriculum VUmc-compas op dit moment in het tweede jaar van uitvoering gekomen. Daarin heeft Questionmark Perception inmiddels een vaste plaats verworven voor wat betreft de PAKtoetsing. Voor CAT toetsing en opslag van toetsvragen (inclusief de 2V12 openvragen) dient een vervolg te worden gegeven aan het in 2004/2005 uitgevoerde ICTO project ‘QMP: een VUmc - pilot met itembanking en beeldschermtoetsing’. Het betreft dan met name het aspect van het hernieuwd uitwerken van de wijze van opslag van toetsvragen in dit centrale systeem. De eerste ervaringen met het voor de tweede maal doorlopen van dit nieuwe onderwijsprogramma heeft al laten zien dat dringend behoefte is aan een overzichtelijke ordening in de reeds bestaande vragen (nu dus nog in tekstbestanden opgeslagen) om ongemerkte indiening van al bekende vragen te voorkomen en om het maken van nieuwe vragen te faciliteren. Dit probleem neemt exponentieel toe.
Het facultair belang is erin gelegen dat een verdere stroomlijning van het toetsproces en verdere uitbouw van digitale toetsing op langere termijn naar verwachting tot kwaliteitsverhoging zal leiden en dit complexe proces beheersbaarder. Binnen de onderwijsvisie van het VUmc-compas is dat een belangrijke doelstelling. Ook wil de faculteit verder profijt hebben van haar investering van afgelopen jaren in digitaal toetsen en een beter besluit kunnen nemen over haar voortgang daaromtrent. Vanuit het VUmc zal drs Marianne I. Schade, staf- en beleidsmedewerker en secretaris Toetscommissie betrokken zijn om het project te leiden. Verder zijn drs. Cor Camps (PAK-toetsbeheerder) en dhr. Theo de Nijs (toetsbeheerder) betrokken. Voor wat betreft het onderzoek naar innovatieve vraagtypen zullen dr. Gerard van den Bos (Fysiologie), dr. René Musters (Fysiologie) participeren.
4
BIJLAGE 3
1.6 Onderwijskundig kader Zie 1.5
1.7 Kwaliteit 1.8 Disseminatie Als onderdeel van het project zal halverwege en aan het eind van het project een bespreking plaatsvinden met de begeleidingscommissie. Verder zorgt het Onderwijscentrum voor een gedegen documentatie van de ontwikkelde toepassingen en werkwijzen en onderwijsvormen.
2. Gewenste ondersteuning Onderwijscentrum VU Van Onderwijscentrum VU wordt gevraagd om haar kennis en expertise in te brengen mbt de volgende onderdelen: • • • •
Algemeen: Continuering van de ondersteuning mbt Questionmark Perception Advies en ondersteuning bij experimenten rondom mogelijk inrichtingen van de itembank (0,05 FTE) Onderzoek naar en advies over softwareprogramma’s en procedures om het toetsanalyseproces met QMP van het VUmc efficiënter vorm te geven (0,05 FTE) Uitvoering van het onderzoek naar innovatieve vraagtypen (0,2 FTE)
3. Projectstructuur (zie criteria projectstructuur) Onderwijscentrum van de VU • ir. Silvester Draaijer, Onderwijskundige, Afdeling Hoger Onderwijs Onderwijscentrum VU, 8 uur per week • drs. Christoffel Reumer, Onderwijskundige, Taakgroep Kwaliteitszorg Onderwijscentrum VU, 1 uur per week
3.1 Projectleider en medewerkers Naam Functie Afdeling mw. drs. M. I. Schade, onderwijskundig beleidsmedewerker drs. C.J.L.H. Camps, arts, COO-ontwikkelaar en PAKtoetsbeheerder, afdeling IPO dhr. Th. de Nijs, toetsbeheerder, OnderwijsInstituut Student-assistent voor invoeren van vragen in het systeem dr. G. van den Bos, Fysioloog, Docent van de cursussen Hart- en Bloedsomloop, Nieren etc.
Projectrol
Uren p/w
projectleiding
1
uitvoering
1
uitvoering
2
uitvoering
4
Uitvoering, toelevering van vragen
1
Telefoon
Email
5
BIJLAGE 3
dr. R.J.M.P. Musters, Fysioloog, Docent van de cursussen Hart- en Bloedsomloop, Nieren etc. Mw. drs. K. Brouwer, managementassistent afdeling Microbiologie ir. Silvester Draaijer, Onderwijskundige, Afdeling Hoger Onderwijs Onderwijscentrum VU drs. Christoffel Reumer, Onderwijskundige, Taakgroep Kwaliteitszorg Onderwijscentrum VU
Uitvoering, toelevering van vragen
1
Uitvoering, toetsbankopbouw semester 1.1 Uitvoering onderzoek toetsvragen
1
Uitvoering en advies toetsanalyse programmatuur
1
8
Potentiële deelnemers aan ontwikkeling en ontwerp van vragen (nog in overlegfase): dr. E.F.I. Comans, arts prof dr. O.S. Hoekstra, arts prof.dr. P.V.J.M. Hoogland, anatoom
3. 2 Begeleidingscommissie • • • • • •
prof.dr. R.H.J. Beelen, coördinator semester 1.1 VUmc-compas prof.dr. H.J. Groenewegen, coördinator semester 1.2 VUmc-compas dr. W.van der Laarse, vicecoördinator cursus B.1.2.3 VUmc-compas prof.dr. J. Tangelder, coördinator cursus 1.2.2 VUmc-compas drs. A. de Voogd, manager sectie Onderwijs en Studentzaken van het OWI twee student-leden (optie leden JVC)
4. Planning 4.1 Projectplanning Beoogde startdatum project: 1-9-2007; Beoogde einddatum project: 31-06-2008. N.B. Het project mag maximaal 1 jaar duren en start in principe niet voor september 2007.
6
BIJLAGE 3
4.2 Activiteitenplanning 2007
Hoofdactiviteit
Omschrijving - onderzoeksplan
Maand Voor Septemb er?
Verder uitwerken van onderzoeksplan
• •
•
Septemb er Oktober
Start van project
• • • •
• •
Itembank
Toetsanalys e
Medewerker (s)
Rol medewe rker(s)
# FTE’s
Vd Bos, Musters, Draaijer
Uitwerken van onderzoeksplan Voorbereidingen treffen voor experimenten tbv dataverzamelen o Bepalen van geschikte tentamens en tijdstippen o Studenten regelen, o Toetsvragen selecteren die zowel in tentamens als in ‘hardop denken’ experimenten zullen worden gebruikt o Bezoeken van 2 onderzoeksdagen, presentatie van data gevonden op eerdere tentamens presenteren op ORD 2007 (deadline inleveren paper is 1 juni 2007) Bespreking met ervaren onderzoekers van Universiteit Maastricht en Universiteit Leuven
Met opmaak: opsommingstekens en nummering Verwijderd: -
Startbespreking, nader afbakenen van opdracht(en) Uitvoering van ‘hardop denken’ experimenten met een aantal geselecteerde vragen in combinatie met scoring op toetsen 10 beginnende studenten 10 gevorderde studenten
•
•
Inventariseren van aantallen en soort van reeds ontwikkelde toetsen en toetsvragen Nader vaststellen van doelen mbt archiveren (wat voor soort hergebruik, doelgroep etc.)
Met opmaak: opsommingstekens en nummering
Uitschrijven van functionele eigenschapp en van een aantal toetsanalyse programma’s .
Met opmaak: opsommingstekens en nummering
7
BIJLAGE 3
Novemb er
•
Verwerking en analyse van gevonden data op ‘hardop denken’ experimenten
•
• •
•
Decemb er
Onderbrengen van vragen van drie representatieve toetsen in QMP Tijd meten voor invoeren Manieren van printen onderzoeken Onderzoek van mogelijkheid om gebruik te maken van de ECABO printtool voor afdrukken van toetsen
..
..
..
Met opmaak: opsommingstekens en nummering
2008 Januari
1e tentamen tbv dataverzameling
..
..
Februari
..
…
Met opmaak: opsommingstekens en nummering
Maart
• Analyse van eerste data • Bespreking van eerste analyse aanpassing aan vervolgtentamen plegen • 2e tentamen tbv dataverzameling
..
..
April
Analyse van tweede set data
..
Met opmaak: opsommingstekens en nummering
Mei
•
Schrijven van concept onderzoeksverslag Bespreking van concept onderzoeksverslag
..
• Juni
Uitwerken van aanbevelingen op basis van bespreking
Met opmaak: opsommingstekens en nummering
..
Juli Augustu s
8
BIJLAGE 3
5. Begroting Geef in een tabel volgens onderstaand schema aan welk deel van de kosten ten laste komt van de betrokken faculteit(en), voor welk deel een beroep wordt gedaan op personele ondersteuning door het Onderwijscentrum VU en wat de totale kosten zijn.
Fac. in fte
# mnd
Fac. in K€
OND in fte # mnd
PERSONEEL projectleiding
0,05
onderwijskundige expertise
0,2
technische expertise
0,05
vakinhoudelijke expertise
0,05
secretariële ondersteuning
n.v.t.
n.v.t.
n.v.t.
n.v.t.
MATERIEEL hardware/ infrastructuur software
QMP reeds n.v.t. bekostigd QMP reeds n.v.t. bekostigd
n.v.t. n.v.t.
TOTAAL
6. Ondertekening en datum De aanvraag dient door of namens het faculteitsbestuur of het diensthoofd ondertekend te worden, alsmede voor akkoord door het Onderwijscentrum VU.
Mw. prof.dr. J.A.A.M. van Diemen-Steenvoorde
directeur Faculteit Geneeskunde
7. Referenties Beullens, J., Struyf, E., & Van Damme, B. (2005). Do extended matching multiple-choice questions measure clinical reasoning? Medical Education, 39(4), 410-417. Rotthoff, T., Baehring, T., Dicken, H., Fahron, U., Richter, B., Fischer, M., et al. (2006). Comparison between Long-Menu and Open-Ended Questions in computerized medical assessments. A randomized controlled trial. BMC Medical Education, 6(50). Schuwirth, L. W., Vleuten, C. P. v. d., Stoffers, H. E., & Peperkamp, A. G. (1996). Computerized longmenu questions as an alternative to open-ended questions in computerized assessment. Medical Education, 30(1), 50-55.
9
