INNOVATIEPROGRAMMA ONDERWIJS OP MAAT PROJECT: TOETSING EN TOETSGESTUURD LEREN

INNOVATIEPROGRAMMA ONDERWIJS OP MAAT PROJECT: TOETSING EN TOETSGESTUURD LEREN ACTIVITEITENPLAN 2015

WWW.SURF.NL/ONDERWIJS

Innovatieprogramma Onderwijs op Maat Project: Toetsing en Toetsgestuurd Leren

2

INHOUD 1. Toetsing en Toetsgestuurd Leren 3 1.1 Doelen 3

2. Werkwijze en deliverables 4 2.1 Interoperabiliteit en uitwisselbaarheid 2.2 Toetssoftware 2.3 Toetsafname (online en grootschalig digitaal toetsen) 2.4 Veilig en betrouwbaar toetsen 2.5 Organisatie en beleid voor digitaal toetsen 2.6 Innovatie in digitaal toetsen 2.7 Overzicht deliverables

4 5 6 6 7 7 8

3. Samenwerking en raakvlakken met andere projecten 9

Innovatieprogramma Onderwijs op Maat Het hoger onderwijs ziet zich geconfronteerd met een studentenpopulatie die steeds meer divers van samenstelling is, eigen devices meeneemt en verwacht overal en altijd draadloos toegang te hebben tot hun leeromgeving en (open) leermateriaal. Omdat studenten een verschillende leerbehoefte en studieaanpak hebben, voldoet het one-size-fits-all principe niet om hen optimaal te bedienen. De mogelijkheden om onderwijs op maat aan te bieden groeien dankzij ICT. Met het programma Onderwijs op Maat draagt SURFnet bij aan het realiseren van de ambitie van instellingen voor hoger onderwijs om gepersonaliseerd en flexibel onderwijs aan te bieden dat zo goed mogelijk aansluit bij de leerbehoeften van de individuele student. Binnen het programma worden zes projecten uitgevoerd: 1. Communitymanagement 2. Open en Online Onderwijs 3. Toetsing en Toetsgestuurd Leren 4. Flexibele en Persoonlijke Digitale Leeromgeving 5. Learning en Academic Analytics 6. Proeftuin


1. T OETSING EN TOETSGESTUURD LEREN Toetsen raakt het hart van het onderwijsproces. Door middel van summatief toetsen wordt vastgesteld of een student aan de vereiste kwaliteitseisen van een opleiding voldoet, formatieve toetsen (oefentoetsen en diagnostische toetsen) hebben een positief effect op het leerproces van studenten. Om vaak tussentijds formatief te kunnen toetsen, zijn veel toetsvragen nodig. Instellingen werken steeds meer samen aan het opbouwen van grote itembanken. Omdat ze niet allemaal gebruik maken van dezelfde toetssystemen, is de uitwisselbaarheid van gegevens tussen systemen van groot belang. Daarvoor zijn standaarden nodig. Als het gaat om summatieve toetsen staat vooral het veilig en betrouwbaar afnemen van toetsen centraal, ook bij grote groepen studenten. Digitaal toetsen maakt ook nieuwe vormen van toetsen mogelijk en kan het toetsproces efficiënter en gemakkelijker maken voor studenten en docenten. Kortom: digitaal toetsen biedt uitgelezen kansen om de kwaliteit van leren en toetsen in het onderwijs te verhogen.

1.1 Doelen Het project Toetsing en Toetsgestuurd Leren is onderdeel van het innovatie programma Onderwijs op Maat. Met Onderwijs op Maat draagt SURFnet in de periode 2015-2018 bij aan de ambitie van instellingen voor hoger onderwijs om gepersonaliseerd en flexibel onderwijs aan te bieden dat zo goed mogelijk aansluit bij de leerbehoeften van de individuele student. Hoofddoel van het project: Instellingen kunnen gebruik maken van een veilige en betrouwbare omgeving voor samenwerking aan en uitwisseling van digitaal toetsen. Daardoor kunnen zij de kwaliteit van het onderwijs en het studiesucces verbeteren, meer flexibiliteit voor studenten mogelijk maken en docenten efficiënter laten werken. In 2015 willen we het volgende hebben bereikt: • Interoperabiliteit en uitwisselbaarheid: het faciliteren van samenwerken aan itembanken en toetsen door het bevorderen van interoperabiliteit en uitwisselbaarheid van toetsen en toetsitems tussen systemen en over grenzen van instellingen heen. • Toetssoftware: instellingen ondersteunen bij het maken van de keuze voor toetssoftware en bij het aanbesteden van toetssoftware. • Grootschalig en online digitaal toetsen: instellingen ondersteunen bij het onderzoeken en implementeren van mogelijkheden voor grootschalig en online digitaal toetsen. • Veilig en betrouwbaar toetsen: instellingen voorzien van kennis en diensten om de toetsketen veilig en betrouwbaar in te richten. • Organisatie en beleid rond digitaal toetsen: instellingen faciliteren met kennis ontwikkeling en -uitwisseling rond de organisatie van digitaal toetsen en het ontwikkelen van instellingsbeleid op het terrein van digitaal toetsen. • Innovatieve vormen van digitaal toetsen: signaleren van nieuwe toetsvormen, kennis hierover opdoen en verspreiden.

3


2. W ERKWIJZE EN DELIVERABLES Het doel van het innovatieprogramma Onderwijs op Maat is instellingen voor hoger onderwijs op verschillende manieren te ondersteunen. Dat gebeurt op drie onderdelen: • Kennis: SURFnet biedt een platform voor kennisopbouw, -uitwisseling en professionalisering. • Diensten: SURFnet organiseert samen met instellingen en marktpartijen dat instellingen kunnen beschikken over een geïntegreerd dienstenportfolio voor onderwijs van eigen diensten, diensten van marktpartijen en diensten van SURF. • Experimenten: SURFnet stelt instellingen en marktpartijen in staat om te experimenteren met innovatieve ICT-toepassingen binnen het onderwijs en succesvolle resultaten op te schalen. De drie onderdelen versterken en beïnvloeden elkaar. Experimenten kunnen leiden tot nieuwe kennis en ervaring wat weer kan leiden tot nieuwe diensten/dienstverlening die marktpartijen kunnen bieden, of, als marktpartijen niet kunnen voldoen aan eisen op terreinen van functionaliteit, beveiliging, privacy en pricing, tot nieuwe diensten/dienstverlening van SURFnet. Door op (inter)nationaal niveau kennis uit te wisselen kan innovatie en kwaliteitsverbetering van het onderwijs worden versneld. SURFnet kan door het laten uitvoeren van experimenten met nieuwe ontwikkelingen in de onderwijspraktijk een belangrijke aanjaagfunctie vervullen voor innovatie in het hoger onderwijs, doordat kansrijke toepassingen in kaart worden gebracht en waar zinvol worden doorontwikkeld.

2.1 Interoperabiliteit en uitwisselbaarheid Kennis In toenemende mate werken instellingen samen aan en met toetsen vragenbanken. Het feit dat instellingen werken met verschillende software staat een efficiënte samenwerking in de weg. SURFnet draagt bij aan de ontwikkeling van de belangrijkste standaarden voor digitaal toetsen (Edustandaard, LTI en QTI). Via een kleine groep experts uit instellingen zorgen we voor inbreng in de standaardenwerkgroepen. Deze groep brengt eind 2015 ook advies uit aan SURFnet. Daarnaast stimuleert SURFnet oplossingen om de interoperabiliteit van toetssystemen en efficiënte uitwisseling van toetsen en toetsitems mogelijk te maken. Dit doen we door het verzamelen van lessons learned uit de praktijk en via het stimuleren van de ontwikkeling en adoptie van standaarden voor toetssoftware. Een netwerk van experts op het gebied van standaarden uit instellingen ondersteunt SURFnet bij activiteiten, zoals deelname aan standaardenwerkgroepen en verspreiden van kennis. Eind 2015 beschikt SURFnet over een advies hoe standaarden verder te ontwikkelen en het gebruik te stimuleren bij instellingen. Onderdeel van dat advies is of en hoe het gebruik van standaarden een plek kan krijgen in de bemiddelingsovereenkomsten van SURFmarket met leveranciers. In 2015 voeren we samen met het SURFmarket innovatieprogramma Efficiënte Bedrijfsvoering een communicatiecampagne om bewustwording te creëren over standaarden bij beleidsadviseurs en inkopers binnen instellingen. Ook staat een SURFacademyseminar over het onderwerp interoperabiliteit en uitwisselbaarheid op de agenda.

4


Deliverables: • Advies over gewenste rol en inzet op het terrein van standaarden • Bewustwordingscampagne over standaarden, gericht op beleidsadviseurs en inkopers toetssoftware • SURFacademy-seminar interoperabiliteit en uitwisselbaarheid

Experimenten In het kader van de in 2014 gelanceerde stimuleringsregeling ‘Uitwisseling tussen toetssystemen’ voeren instellingen twee experimenten uit. Uit deze experimenten doen we kennis op over mogelijkheden en beperkingen om interoperabiliteit en uitwisselbaarheid van toetssystemen en -data te verbeteren. In 2015 doen we nader onderzoek naar de uitwisselingsproblematiek bij drie instellingen die met een of meer andere instellingen samenwerken. Op basis van dit onderzoek produceren we lessons learned die bruikbaar zijn voor andere instellingen. De lessons learned vormen tegelijkertijd ook input voor vervolgstappen. Deliverable: • Lessons learned interoperabiliteit en uitwisselbaarheid op basis van ervaringen in 2 experimenten en 3 casussen

2.2 Toetssoftware Kennis Instellingen zien zich geconfronteerd met de vraag welk toetssoftwarepakket ze het beste kunnen aanschaffen voor instellingsbreed gebruik. SURFnet brengt daarom relevante kennis rondom toetssystemen in het Nederlandse hoger onderwijs in kaart om instellingen te ondersteunen bij hun keuze voor toetssoftware en -systemen. Daarnaast verzamelen we lessons learned en casussen rondom toetssoftware, onder meer gebaseerd op ervaringen met cloudexperimenten in 2013/2014. Deliverable: • Inventarisatie toetssoftware, bestaande uit een overzicht van veelgebruikte toetssoftware en -systemen binnen het hoger onderwijs en lessons learned en casusbeschrijvingen op basis van ervaringen binnen instellingen. • SURFacademy-seminar toetssoftware

Diensten Op basis van projecten, experimenten en kennisdeling ontstaat inzicht in toetssoftware die relevant is voor het Nederlandse hoger onderwijs. Het doel is het aanbod van toetssoftware via SURFmarket uit te breiden. SURFmarket onderhandelt met leveranciers om de toetssoftware onder gunstige voorwaarden aan instellingen aan te bieden. Het blijkt dat instellingen worstelen met onderwerpen als data-eigendom, privacy & juridische normenkader en service level agreements. SURF onderzoekt het komende jaar samen met SURFmarket wat de 10 belangrijkste vragen zijn die instellingen hebben op de hiervoor genoemde gebieden. Op basis hiervan ontwikkelt SURFnet met SURFmarket een FAQ. Om het aanbesteden van software voor instellingen te faciliteren ontwikkelt SURFnet een ‘Raamwerk vooraanbesteding’ gericht op digitale toetssystemen. SURFmarket komt met een aantal leveranciers tot ‘raamwerkafspraken’; instellingen kunnen met deze leveranciers gemakkelijker en sneller tot een overeenkomst komen, waarbij voorzien is in randvoorwaarden die voor het hoger onderwijs relevant zijn. Dit framework ontwikkelen we in een aantal stappen:

5


• Marktonderzoek behoeften instellingen (i.s.m. experts) • Plan van aanpak om tot framework & vervolg te komen (i.s.m. experts) • Raamwerkovereenkomst gereed • Exploitatie framework vanaf Q1 2016 Deliverables: • Raamwerkovereenkomst aanbesteding toetssoftware • FAQ rondom inkoop toetssoftware

2.3 Toetsafname (online en grootschalig digitaal toetsen) Kennis Bij veel instellingen is het een vraagstuk hoe ze de afname van digitale toetsen op grote schaal kunnen organiseren en hoe ze veilig online toetsen kunnen afnemen (bijvoorbeeld binnen Massive open online courses, MOOC’s). Het gaat hierbij om onderwerpen als online proctoring (het afnemen van tentamens op afstand), het inrichten van grote toetszalen en mogelijke alternatieven voor grote toetszalen. In samenwerking met instellingen die ervaring opdoen met online proctoring en op basis van ervaringen uit het buitenland maken we daarom een whitepaper. In dit whitepaper gaan we in op: • Wat is online proctoring? • Hoe is het in te zetten? • Welke ervaringen zijn er in binnen- en buitenland? • Hoe veilig en betrouwbaar is online proctoring? • Online proctoring en privacy? Momenteel werken grote instellingen plannen uit of realiseren die plannen inmiddels rondom het inrichten van grote toetszalen. Deze initiatieven brengen we in kaart, inclusief lessons learned en een aantal voorbeeldcasussen. Deliverables: • Whitepaper Online proctoring • Inventarisatie grote toetszalen • SURFacademy-bijeenkomsten Online proctoring en grootschalige toetsafname

2.4 Veilig en betrouwbaar toetsen Kennis Digitaal toetsen roept vragen op rond veiligheid en betrouwbaarheid. Iedere instelling wil risico’s op dit punt vermijden. Digitaal toetsen kan minstens zo veilig en betrouwbaar plaatsvinden als toetsen op papier. SURFnet helpt instellingen door aan de hand van enkele praktijkcasussen handvatten te ontwikkelen om de gehele toetsketen veilig en betrouwbaar in te richten. Samen met een SURF security officer, een security officer van een instelling en een ICT&Onderwijsmanager voeren we een scan uit bij drie instellingen. We lichten gezamenlijk de toetsketen door, wat resulteert in lessons learned, die we vastleggen in een richtsnoer veilige en betrouwbare toetsketen. Andere instellingen kunnen deze kennis en ervaring gebruiken om hun toetsketen veilig in te richten. Ook levert het SURFnet inzicht in de vraag van instellingen op het terrein van de veilige toetsketen. Deliverable: • Richtsnoer veilige en betrouwbare toetsketen • SURFacademy-seminar Veilige en betrouwbare toetsketen

6


Diensten Een eerste stap is vast te stellen welke diensten op het gebied van veilig en betrouwbaar toetsen al door SURFnet geleverd kunnen worden en deze onder de aandacht te brengen van instellingen. Een volgende stap is om – mede op basis van de ervaringen in de scans (zie hierboven) – het dienstenportfolio verder uit te breiden (SURFconext, lichtpaden, two-steps-authenticatie, community cloud). Deliverable: • Inventarisatie huidige mogelijkheden dienstenportfolio SURF(net) t.b.v. veilige toetsafname

2.5 Organisatie en beleid voor digitaal toetsen Het inzetten van digitaal toetsen neemt een vlucht in het hoger onderwijs. Het besef groeit dat digitaal toetsen in samenhang met het onderwijsbeleid en de ICT-strategie van instellingen opgepakt moet worden. Bovendien realiseert men zich steeds vaker dat het van belang is niet ad hoc, maar gefundeerd beslissingen te nemen over de vaak grote investeringen die met digitaal toetsen gepaard gaan. Het organiseren van het toetsproces is complex. Het vraagt om betrokkenheid vanuit zowel ICT- als onderwijsbeleid en doorsnijdt verschillende faculteiten, afdelingen en disciplines. De ervaring leert dat instellingsoverstijgende samenwerking veelbelovend is: het leidt tot verhoging van de kwaliteit van toetsen en maakt het mogelijk de investering in geld en menskracht over verschillende instellingen te delen. Hoe deze samenwerking te organiseren is echter een complex vraagstuk.

Kennis SURFnet brengt vertegenwoordigers van instellingen bij elkaar om gezamenlijk te onderzoeken hoe instellingen elkaar hierin kunnen versterken en SURFnet ondersteunt instellingen hierbij met het vastleggen van generieke kennis. Deliverables: • Handvatten voor het ontwikkelen van digitaal toetsbeleid & -organisatie, inclusief lessons learned en praktijk casussen

2.6 Innovatie in digitaal toetsen Kennis In samenwerking met de special interest group (SIG) Digitaal Toetsen en andere experts stellen we vast welke nieuwe ontwikkelingen rond digitaal toetsen relevant zijn. Deze worden uitgewerkt in een trendrapport Digitaal toetsen. Het rapport wordt gepresenteerd op Dé Onderwijsdagen. SURFnet is mede-organisator van het internationale congres Computer Assisted Assessment (CAA). Dit congres is gericht op onderzoek naar en praktische ervaringen met digitaal toetsen. Daarnaast houdt SURFnet bij welke internationale conferenties plaatsvinden op het terrein van digitaal toetsen en organiseert bij voldoende belangstelling een studiereis naar een van die conferenties. Deliverables: • Trendrapport Digitaal toetsen • CAA-conferentie

7


8

2.7 Overzicht deliverables DELIVERABLES Q1

TYPE

WANNEER

Inventarisatie toetssoftware

K

doc

Q1-Q4

SURFacademy-bijeenkomst Online procotoring

K

bijeenkomst

Q1

TYPE

WANNEER

DELIVERABLES Q2 SURFacademy-bijeenkomst Toetssoftware

K

bijeenkomst

Q2

SURFacademy-bijeenkomst Grootschalige toetsafname

K

bijeenkomst

Q2

CAA-conferentie

K

bijeenkomst

Q2

TYPE

WANNEER

DELIVERABLES Q3 Inventarisatie dienstenportfolio SURF(net) voor veilige toetsafname

D

doc

Q3

FAQ rondom inkoop toetssoftware

D

doc

Q3

Whitepaper Online proctoring

K

doc

Q3

Trendrapport Digitaal toetsen

K

doc

Q3

SURFacademy-bijeenkomst Interoperabiliteit en uitwisselbaarheid

K

bijeenkomst

Q3

TYPE

WANNEER

DELIVERABLES Q3 Bewustwordingscampagne over standaarden, gericht op beleidsadviseurs en inkopers toetssoftware

K

Lessons learned interoperabiliteit en uitwisselbaarheid, o.b.v. ervaringen in 2 experimenten en 3 casussen.

E

doc

Q4

Advies gewenste rol en inzet SURF t.a.v. standaarden

K

doc

Q4

Framework aanbesteding toetssoftware

D

doc

Q4

Inventarisatie grote toetszalen

K

doc

Q4

Richtsnoer veilige en betrouwbare toetsketen

K

doc

Q4

SURFacademy-bijeenkomst De veilige toetsketen

K

bijeenkomst

Q4

Handvatten voor het ontwikkelen van digitaal toetsbeleid & -organisatie, inclusief lessons learned en praktijk casussen

K

docs

Q4

K = onderdeel kennis D = onderdeel diensten E = onderdeel experimenten

Q4


3. S AMENWERKING EN RAAKVLAKKEN MET ANDERE PROJECTEN Het project Toetsing en Toetsgestuurd Leren is een van de zes innovatieprojecten binnen het Onderwijs op Maat innovatieprogramma, één van de 10 innovatieprogramma’s van SURF. Binnen Onderwijs op Maat heeft het project raakvlakken met de projecten Open en Online Onderwijs, zowel op het terrein van het online afnemen van toetsen als het inzetten van toetsgestuurd leren in online onderwijs. Daarnaast zijn er raakvlakken met het project Flexibele en Persoonlijke Leeromgeving: deze omgeving zou uitgerust kunnen worden met toetsvoorzieningen voor docenten en studenten. Denk aan dashboards voor docenten, waarin toetsresultaten te zien zijn en toetsen oefenbankenomgevingen voor studenten. Ook is er een raakvlak met learning analytics. Digitale toetsen leveren data, die weer gebruikt kunnen worden binnen learning analytics. Verder zijn er raakvlakken met andere innovatieprogramma’s binnen SURF, zoals het programma zoals Efficiënte Bedrijfsvoering en Geïntegreerde federatieve infrastructuur. Ook is er nauwe samenwerking met SURFmarket rondom de inkoop en aanbesteding van toetssoftware.

Relevante partners De SURF special interest groups (SIG’s) fungeren als klankbordgroep voor de innovatieprojecten. Met de special interest group Digitaal Toetsen vindt regelmatige afstemming plaats over de uitvoering van het project. Het kernteam adviseert en ondersteunt waar mogelijk bij de uitvoering van het project. Ook wordt samenwerking gezocht met communities op het gebied van digitaal toetsen binnen instellingen. Verder werken we samen met: • Kennisnet: ook voor Kennisnet is digitaal toetsen een belangrijk onderwerp. • JISC: We volgen actief de ontwikkelingen binnen JISC op het terrein van digitaal toetsen. We zijn actief betrokken bij de ontwikkelingen rondom standaarden voor digitaal toetsen, nationaal via Edustandaard en internationaal via het IMS Global Learning Consortium. We houden contact met het project 10Voordeleraar van de Vereniging Hogescholen, om over en weer kennis uit te wisselen en input te verzamelen voor beleid van SURF. Samen met de Open Universiteit organiseren we het internationale congres voor digitaal toetsen CAA (Computer Assisted Assessment). De focus van dit congres ligt op onderzoek naar digitaal toetsen en op het uitwisselen van kennis rondom de praktijk van digitaal toetsen.

9


10

Meedoen aan dit project? Vragen? Neem contact op met: Annette Peet 088 787 36 08 [email protected]

Programmamanager Onderwijs op Maat Christien Bok 088 787 36 58 [email protected]

SURF Kantoren Hoog Overborch (Hoog Catharijne) Moreelsepark 48 Postbus 19035 3501 DA Utrecht T +31 (0)88 78 73 000 [email protected] www.surfnet.nl

2015

beschikbaar onder de licentie Creative Commons Naamsvermelding 3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl

INNOVATIEPROGRAMMA ONDERWIJS OP MAAT PROJECT: TOETSING EN TOETSGESTUURD LEREN

Recommend Documents