Onderwijsvernieuwing bij het vak ‘Inleiding Strafrecht en Criminologie’
Willem de Vos en Berry Nijveld
Inhoudsopgave
Inhoudsopgave
...............................................................................iii
Hoofdstuk 1
Inleiding.......................................................................1
Hoofdstuk 2
Vormgeven van onderwijsvernieuwingen.....................3
2.1
Leren en motivatie van studenten................................................ 3
2.2
De rol van onderwijzen en instructie ............................................ 4
2.3
Het beoordelen van studenten .................................................... 6
Hoofdstuk 3
Het vak ‘Inleiding strafrecht en criminologie’...............9
3.1
Doelstellingen van de onderwijsvernieuwing.................................. 9
3.2
De zelfstudiemodules............................................................... 10
3.3
Evaluatie studiejaar 2006-2007................................................. 12
Hoofdstuk 4
Probleemstelling en onderzoeksvragen ......................13
Hoofdstuk 5
Onderzoeksopzet en instrumentconstructie ...............17
5.1
Kwantitatief onderzoek ............................................................ 17
5.2
Kwalitatief onderzoek............................................................... 19
Hoofdstuk 6 6.1
Vragenlijstresultaten..................................................21
Studie-inspanning, leren van het tentamen en het gebruik van het Plakboek en feedback................................................... 21
6.2
De evaluatie van het m.c.-computertentamen ............................. 23
6.3
Open vragen over het m.c.-computertentamen ............................ 26
Hoofdstuk 7
Het eindcijfer van de studenten..................................31
7.1
De betrouwbaarheid van het m.c.-computertentamen................... 31
7.2
Het eindcijfer en andere kengetallen .......................................... 32
7.3
Het deeltentamen, het onderdeel strafrecht en het gebruik van de zelfstudiemodules ......................................................... 33
7.4
Het eindcijfer gedurende de afgelopen studiejaren ....................... 34
7.5
Invloed van het cijfer op de enquêteresultaten ............................ 35
iii
Inhoudsopgave
Hoofdstuk 8
Interviewresultaten ...................................................37
8.1
ICT en de afname van een m.c.-computertentamen ..................... 37
8.2
De docenten en het vak ‘Inleiding Strafrecht en Criminologie’ ........ 38
8.3
Studenten en het vak ‘Inleiding Strafrecht en Criminologie’ ........... 41
Hoofdstuk 9
Samenvatting .............................................................45
9.1
Inleiding ................................................................................ 45
9.2
Onderzoeksopzet .................................................................... 45
9.3
Resultaten naar aanleiding van de afname van twee vragenlijsten .. 46
9.4
Resultaten met betrekking tot het eindcijfer en het onderwijsrendement................................................................ 47
9.5
Resultaten naar aanleiding van de interviews .............................. 47
9.6
Het beantwoorden van de onderzoeksvragen en de probleemstelling ................................................................. 49
Hoofdstuk 10 Aanbevelingen............................................................51 10.1
Het Plakboek .......................................................................... 51
10.2
Het m.c.-computertentamen ..................................................... 52
Literatuur
Bijlage 1:
..............................................................................53
Studie-inspanning, leren van het tentamen en het gebruik van het Plakboek en feedback .......................55
Bijlage 2.
iv
De tevredenheid over het m.c.-computertentamen ....57
Hoofdstuk 1
Inleiding
Bij de gesprekken binnen de Faculteit der Rechtsgeleerdheid (FRG) over een betere organisatie van het onderwijsproces en het aanbieden van onderwijs staat het doorbreken van de massaliteit en de vrijblijvendheid in het onderwijs voorop. Een manier is het invoeren van kleinschalig onderwijs, andere combinaties van onderwijs- en leervormen en nieuwe manieren van toetsing. De faculteit heeft op dit vlak de afgelopen jaren veel geïnvesteerd in onderwijsvernieuwingsprojecten. Daarnaast kampt de faculteit met een aanzienlijk rendementsprobleem dat op korte termijn moet worden aangepakt, zonder in te leveren op het niveau van de opleidingen 1 .
Eén van de onderwijsvernieuwingsprojecten binnen FRG wordt vormgegeven binnen het vak Inleiding Strafrecht en Criminologie (ISC). De doelstellingen van dit innovatieproject hebben betrekking op:
•
de ontwikkeling van zelfstudiemodules;
•
de afname van een tussentijds multiple choice (m.c.)-computertentamen;
•
het afstemmen van de componenten strafrecht en criminologie;
•
het aanpassen van de opdrachten voor de werkgroepen en mentorgroepen.
Met deze doelstellingen probeert men het onderwijs te intensiveren, de interactie met de studenten te verbeteren en de differentiatie tussen de studenten beter vorm te geven. Daarmee wordt een verbeterde studeerbaarheid en hoger studierendement nagestreefd.
In dit rapport presenteren we de resultaten van de evaluatie van het vak ISC en de invoering van een onderwijsinnovatie. We gaan na welke resultaten studenten behalen en welke meningen studenten en docenten hebben over de vernieuwing bij het vak ISC. We beperken ons bij de evaluatie van de vernieuwing tot twee zaken. We gaan ten eerste in op de ontwikkeling van de zelfstudiemodules en de waardering daarvoor. Ten tweede bespreken we de
1
1
Zie ‘Meer Kwaliteit en Rendement’. Advies van de Commissie curriculumherziening bacheloropleidingen over een vernieuwde inrichting van het bacheloronderwijs aan de Faculteit der Rechtsgeleerdheid met ingang van het studiejaar 2008/2009. Erasmus Universiteit Rotterdam; Faculteit der Rechtsgeleerdheid, september, 2007.
Hoofdstuk 1
organisatie van en tevredenheid over de afname van een tussentijds m.c.computertentamen. De evaluatie van het totale vak ISC en andere rendementsbevorderende factoren, zoals de afstemming met het onderdeel criminologie, de doceerprestaties van de docenten en de kwaliteit van het onderwijsmateriaal vallen buiten het bestek van deze studie. Daarvoor verwijzen we naar de uitkomsten van de reguliere enquête.
De opzet van het rapport ziet er als volgt uit. In hoofdstuk twee beschrijven we enkele theoretische achtergronden die voor de ontwikkeling van de onderwijsinnovatie bij ISC van belang zijn geweest. In hoofdstuk drie karakteriseren we de wijze waarop het vak ISC wordt aangeboden. We beschrijven de onderwijsinnovatie, vormgegeven aan de hand van het Plakboek, en de bedoelingen van de voorgestane aanpak. In hoofdstuk vier presenteren we voor het uitvoeren van het evaluatieonderzoek de probleemstelling en de onderzoeksvragen. In hoofdstuk vijf beschrijven we de wijze waarop de evaluatie wordt vormgegeven en gaan we in op de onderzoeksopzet en de constructie van de instrumenten. In hoofdstuk zes rapporteren we over de resultaten op basis van de afname van twee vragenlijsten. In hoofdstuk zeven analyseren we de betrouwbaarheid van het m.c.computertentamen en benaderen we het eindcijfer van de studenten voor het vak ISC vanuit verschillende perspectieven. In hoofdstuk acht bespreken we de resultaten van vijf gesprekken met ICTdeskundigen, docenten en studenten. In hoofdstuk negen vatten we het rapport samen en zetten we de belangrijkste conclusies op een rij. In hoofdstuk tien besluiten we het rapport met enkele aanbevelingen.
Op deze plaats willen we ten slotte Wil den Harder, Rob Kampman, Tom Blom en André Cheungtamhe bedanken voor hun medewerking en steun gedurende het uitvoeren van dit onderzoeksproject.
2
Hoofdstuk 2
Vormgeven van onderwijsvernieuwingen
Met behulp van het onderwijsprogramma van het vak ISC probeert men de studenten te activeren en meer verantwoordelijkheid te laten nemen voor hun eigen leerprocessen en studievoortgang. Men streeft er naar dat de studeerbaarheid en het rendement door deze maatregelen toeneemt. De wijze waarin de student zijn studie benaderd, het ontvangen onderwijs en de manier waarop wordt nagegaan of de student de leerstof beheerst zijn factoren die het leerproces van studenten beïnvloeden (Cook, 2001). In dit hoofdstuk worden deze drie factoren toegelicht, omdat zij essentieel zijn voor de vormgeving van onderwijsvernieuwingen.
2.1
Leren en motivatie van studenten We kunnen het leren van studenten definiëren als eenvoudigweg uit je hoofd leren of deze leerstof tot je te nemen, te begrijpen en vervolgens toe te passen. Deze twee verschillende manieren omschrijven we als oppervlakkig versus begripsvol en betekenisvol leren (Gibbs, 1992). Het oppervlakkig leren wordt ingegeven door extrinsieke motivatie en faalangst. De studenten leren alleen voor het afronden van een studieonderdeel en ze beperken zich veelal tot de essenties van de leerstof. Daar tegenover staat het betekenisvolle leren dat vooral steunt op intrinsieke interesse in de leerstof en een focus op de betekenis van het bestudeerde onderwijsmateriaal waarmee het eigen begrip vergroot kan worden. Het betekenisvol leren verdient de voorkeur omdat studenten daar het meest van opsteken. Met betrekking tot het leren van studenten onderscheiden we intrinsieke en extrinsieke motivatie en we kunnen ons afvragen of studenten nu grote inspanningen leveren omdat zij de activiteit zelfvervullend vinden of een natuurlijke belangstelling hebben voor het onderwerp of dat zij gedreven worden door externe druk of dwang? Ryan en Deci (2000) hebben de effecten van beloningen, communicatie en feedback op motivatie onderzocht. Het geven van beloningen en positieve feedback n.a.v. het uitvoeren van een specifieke taak dat studenten een gevoel van competentie geeft, verhoogt de intrinsieke motivatie voor het uitvoeren van die specifieke taak. 3
Hoofdstuk 2
Intrinsiek gemotiveerd gedrag kan onwelwillendheid, passieve toestemming of actieve persoonlijke betrokkenheid betekenen. Een persoonlijk betrokken student belichaamd meer autonomie en vergroot de mogelijkheid dat het gewenste gedrag wordt begrepen en geïnternaliseerd. Gevoelens van competentie en autonomie worden als twee basisbehoeften beschouwd die voor succes en welzijn allereerst vervuld dienen te zijn (Ryan en Deci, 2000). Autonomie is een basisbehoefte die vervuld moet zijn wil er sprake zijn van het versterken van de intrinsieke motivatie.
2.2
De rol van onderwijzen en instructie Tijdens het geven van hoorcolleges, werkgroepen en andere vormen van instructie is het van belang dat studenten worden aangesproken op hun wijze van studeren en leren. Studenten moeten bewust gemaakt worden van hun leerstijl en eigen wijze van studeren. Voor het aanleren van effectief leren bij studenten is een instructievorm noodzakelijk die het leren bevordert. Vormen van onderwijs die effectief leren aanmoedigen zijn (Jackson, 1997): •
Laat studenten zelf beslissingen maken (Biggs, 1996). Studenten hebben de vrijheid om beslissingen te nemen, nemen verantwoordelijkheid en voeren bewust en weloverwogen zelf gekozen studiehandelingen uit;
•
Het ontwikkelen van zelfevaluatie. Er moet tijd zijn voor reflectie en leren studeren (Bryer & Fletcher, 2000). Knight & Trowler (2000) accentueren ook peer-assessment, niet alleen als voorbereiding op zelfassessment, maar ook om het leren te versterken;
•
Het aanbieden van veel verschillende ervaringen die verder gaan dan het vaste aanbod van alsmaar het ontvangen en bijwonen van colleges (Jackson, 1997);
•
Een uitvoerbare studielast. Gewoonlijk creëren docenten tentameneisen zonder enige overweging of gedachten over de invloed daarvan op studenten. Een te zware nadruk op het beoordelen van de leerstof (overtentamineren) binnen een curriculumdeel kan de studenten dwingen om een oppervlakkige wijze van leren te kiezen om zodoende te voorkomen dat ze verdrinken in de grote hoeveelheid te tentamineren leerstof (Jackson, 1997). Een oppervlakkige wijze van leren is voor de studenten waarschijnlijk de beste strategie als er veel leerstof van verschillende curriculumonderdelen tegelijkertijd getentamineerd worden;
•
Het geven van feedback. Het geven van feedback kan variëren van informeel (voeren van discussies) tot formeel (het aftekenen van een
4
Vormgeven van onderwijsvernieuwingen
tentamen of deel van de leerstof). Bij de laatste mogelijkheid gaan we ervan uit dat het curriculumonderdeel zo is ontworpen dat het mogelijk wordt om tijdige en geschikte informatie te geven op basis van formatieve evaluatie. Feedback of informatie over de uitgevoerde competenties is zeer effectief als deze zinvol is en snel wordt gegeven (Knight & Trowler, 2000).
Bovenstaande aanwijzingen hebben het meest effect in een onderwijssetting die niet al te groot is en als persoonlijk wordt ervaren. Bij kleinschalig onderwijs gaat het om de keuze voor een specifiek didactisch concept dat uitgaat van zelfstandig werken in kleine groepen. De literatuur is duidelijk over de positieve effecten van kleinschalig onderwijs. In kleine groepen wordt diepgaand leren van studenten meer gestimuleerd. Studenten leren het meest van elkaar: in kleine groepen wordt kennis diepgaander verwerkt en kritisch denken wordt bevorderd (zie ook het klassieke werk van Astin (1993). Een ander voordeel van het leren in kleine groepen is dat de feedback loop korter gemaakt kan worden. Een korte ‘voordoen/uitleggenoefenen-feedback’ loop is één van de krachtigste instructie settings. Daarnaast geven Cooper en Robinson (2000) aan dat kleinschalig onderwijs ‘omgaan met verschillen’ bevordert. Het is van belang om ons niet alleen te concentreren op de organisatie van het kleinschalig onderwijs en de vorm waarin het gegeven wordt. Ook bij kleinschalig onderwijs gaat het nadrukkelijk om de inhoud van dat onderwijs en de ervaren kwaliteit. Het succes van kleinschalig onderwijs is namelijk afhankelijk van de kwaliteit van docenten en de wijze waarop didactische werkvormen en opdrachten gegeven worden. Zoals we kunnen verwachten blijkt uit onderzoek (Bruinsma, 2003) dat de ervaren kwaliteit van instructie en de ervaren moeilijkheid de betrokkenheid van de student beïnvloeden. Studenten die tevreden waren met de docent en de cursus, en studenten die de cursus en de opdrachten uitvoerbaar vonden, studeerden regelmatig, deden de opdrachten wanneer ze daartoe gevraagd werden en waren bij een hoger percentage colleges aanwezig. Zoals uit de dissertatie van Bruinsma blijkt, wordt de relatie tussen het aantal contacturen en studievoortgang indirect beïnvloed door aspecten, zoals de leerstof die behandeld is tijdens de college uren en de tijd die studenten nodig hebben. Deze factoren hangen weer samen met de kwaliteit van instructie, de toepasselijkheid van instructie, de motivatie van de studenten en de daadwerkelijke time-on-task (Carroll, 1963; Huitt, 1994).
5
Hoofdstuk 2
Daarnaast beïnvloedt de ervaren kwaliteit van instructie voortgang via de betrokkenheid en motivatie van de student. Studenten met een hoge mate van zelfvertrouwen realiseren een hogere studielast en halen hogere cijfers. Deze resultaten zijn een uitdaging voor de docenten en de opleiding. Bevorder het zelfvertrouwen van de studenten en stimuleer tot regelmatige studie. Zowel opleidingen als docenten kunnen de studiemotivatie beïnvloeden door middel van strategieën zoals het variëren van onderwijsmethoden, het stellen van haalbare doelen, het uitgaan van de sterke punten en interesses van de student, het minder benadrukken van cijfers, het benadrukken van mastery learning en een juiste verhouding tussen externe regulatie van de studenten en hun studie door de opleiding en de regulatie (Blumenfeld, 1992; De Corte, 2000; Tuckman, 1991) van leeractiviteiten door de student zelf.
2.3
Het beoordelen van studenten Er zijn voldoende aanwijzingen dat de wijze van beoordelen de oriëntatie van het leren bij studenten beïnvloed. Betekenisvol leren kan indirect aangemoedigd worden door het vermijden van beoordelingswijzen die het oppervlakkig leren aanmoedigen. Naast de ervaren kwaliteit van het doceergedrag, is de kwaliteit van beoordeling als significante indicator naar voren gekomen. Dat wil zeggen, wanneer studenten weten wat ze kunnen verwachten tijdens de tentamens, wanneer de tentamens een goede weerspiegeling zijn van de cursus en wanneer er voldoende tijd is voor het tentamen, is de studievoortgang hoger (Bruinsma, 2003). Het lijkt belangrijk dat studenten weten wat ze kunnen verwachten van een cursus en wat er van ze verwacht wordt tijdens een cursus (Creemers, 1994; Entwistle & Tait, 1990; Feldman, 1989, 1998; Finaly-Neumann, 1994). Een vorm van curriculumorganisatie waarbij vroegtijdig en regelmatig feedback over studievorderingen gegeven wordt, kan echter bijdragen aan een vroege (zelf)selectie van studenten. Vooral het geven van terugkoppeling is van invloed gebleken op studievoortgang. Een betere spreiding van studielast en tentamens werkt positief op de studievoortgang van studenten (Jansen, 1996). Dit komt overeen met de studie van Entwistle en Tait (1990) die lieten zien dat studenten met een oppervlakte benadering de voorkeur gaven aan ‘voorgekauwde’ informatie, terwijl studenten met een diepgaande
6
Vormgeven van onderwijsvernieuwingen
leerstofverwerking de voorkeur gaven aan colleges die hen uitdaagden en stimuleerden. Ook door het creëren van optimale condities tijdens en voor de tentamens, zoals het plannen van voldoende tijd voor het tentamen en door het geven van mogelijkheden om te oefenen, bijvoorbeeld door oefententamens te verspreiden, kan de beoordeling worden verbeterd (zie ook Holleman, van Eijl, Pilot & Ramaekers, 1999; Bruinsma, 2003).
De hierboven beschreven theoretische oriëntaties en onderwijsactiviteiten zijn van belang voor de ontwikkeling van de onderwijsvernieuwing binnen het vak ISC. In het volgende hoofdstuk gaan we nader in op de vormgeving van deze onderwijsvernieuwing.
7
Hoofdstuk 3
Het vak ‘Inleiding strafrecht en criminologie’
In paragraaf 3.1 presenteren we de doelstellingen van de onderwijsvernieuwing binnen het vak ISC. In paragraaf 3.2 karakteriseren we de zelfstudiemodules voor het vak. In paragraaf 3.3 beschrijven we enkele evaluatieresultaten van het vak uit het studiejaar 2006-2007.
3.1
Doelstellingen van de onderwijsvernieuwing Al een aantal jaren bijt het vak ISC de spits af in de bacheloropleiding, tesamen met het vak Inleiding in de Rechtswetenschappen. Dat heeft consequenties voor de samenstelling van de studentenpopulatie. Het vak wordt aangeboden aan een groep studenten met een uiteenlopende vooropleiding en dus een zeer verschillend instapniveau. In deze fase van de studie is de groep studenten met deficiënties in kennis en in taal- en overige vaardigheden groot. Ook varieert de belangstelling en motivatie voor de studie. Het vak ISC verzorgt onderwijs voor zowel studenten die nauwelijks belangstelling hebben voor wetenschappelijk onderwijs en zich geen inspanningen willen getroosten, als voor buitengewoon geïnteresseerde, gemotiveerde en vaardige studenten. Deze positie in het curriculum daagt uit tot activering van de eerst genoemde en tot differentiatie van het onderwijs, ten einde de laatstgenoemde groep een stimulerende leeromgeving te bieden. Het Plakboek – een serie zelfstudiemodules in een elektronische leeromgeving – beoogt het onderwijs voor beide groepen studenten aantrekkelijker te maken. Met de woorden activering en differentiatie worden twee belangrijke doelstellingen van de vernieuwing van het vak ISC aangeduid. Andere hoofddoelen zijn intensivering van het onderwijs en verhoging van de studeerbaarheid. Om de studeerbaarheid van het vak als geheel te vergroten is in overleg met de sectie criminologie de opbouw van het criminologieonderwijs aangepast, met als doel een betere afstemming tussen de beide componenten van het vak. Ook zijn in de zelfstudiemodules en in de mentoropdrachten die behoren bij het onderdeel strafrecht vragen opgenomen die betrekking hebben op het onderdeel criminologie. 9
Hoofdstuk 3
De doelstellingen van het onderwijsvernieuwingsproject hebben betrekking op: •
de ontwikkeling van zelfstudiemodules;
•
de afname van een tussentijds m.c.-computertentamen;
•
het afstemmen van de componenten strafrecht en criminologie;
•
het aanpassen van de opdrachten voor de werkgroepen en mentorgroepen.
Ten eerste probeert men met deze doelstellingen het onderwijs te intensiveren en de interactie met de studenten te verbeteren. Ten tweede beogen de docenten de differentiatie tussen de studenten beter vorm te geven. Ten derde verwachten de docenten dat door deze maatregelen de studeerbaarheid en het studierendement worden verhoogd.
In het onderwijsprogramma van het vak ISC vervullen het Plakboek en de afname van een tussentijds tentamen een centrale rol. De diverse intenties en wensen voor het ontwikkelen van het Plakboek en de afname van een tussentijds m.c.-computertentamen zijn terug te voeren op de doelstellingen uit de beleidsnotitie ‘Meer Kwaliteit en Rendement’ (zie voetnoot 1) en de in het vorige hoofdstuk beschreven theoretische noties en onderwijsactiviteiten.
3.2
De zelfstudiemodules Het Plakboek bestaat uit een aantal computerondersteunende zelfstudiemodules, die zijn gebaseerd op het programma van Rechten-online en wordt via SIN-online in een html-versie aangeboden. De zelfstudiemodules sluiten aan bij Capita Strafrecht, het studieboek voor Inleiding Strafrecht, dat eveneens een modulaire opzet heeft. De student wordt aangezet tot actieve(re) voorbereiding en verdieping van het onderwijs. Tevens worden delen van de studiestof voor zelfstudie gereed gemaakt. Zelfstudie wordt bevorderd en daarvoor geschikt gemaakte, uitgewerkte nadere uitleg en aanvullende documentatie wordt de studenten aangereikt. Voor elk onderdeel van de cursus worden leerdoelen expliciet geformuleerd en aan studenten bekend gemaakt. Deze leerdoelen worden vervolgens in het Plakboek en in het werkgroepmateriaal aanwijsbaar omgewerkt tot daaraan gerelateerde teksten, arresten en opgaven die van vragen worden voorzien, gericht op realisering van de doelstelling. Mede aan de hand van een in het Plakboek op te nemen oefententamen met uitgewerkte
10
Het vak ‘Inleiding strafrecht en criminologie’
beantwoording, worden de leerdoelen voor de student ook tot handvatten voor zelftoets geformuleerd. De doelstellingen van de zelfstudiemodules van het Plakboek zijn in de eerste plaats kennisgericht. In de tweede plaats wordt de in Capita Strafrecht aangeboden stof van een actuele context voorzien, ten einde de studenten inzicht te geven in de strafrechtstoepassing en de functies en effecten daarvan. In de zelfstudiemodules krijgen de studenten feedback op hun antwoorden, met een nauwkeurige verwijzing naar de toepasselijke paragrafen van Capita Strafrecht. Omdat in de zelfstudiemodules uitleg en feedback op frequent gemaakte fouten wordt gegeven, is het uitgangspunt dat in de werkgroepen elementaire uitleg achterwege kan blijven. Uiteraard is dit slechts een uitgangspunt. Waar nodig wordt ook in de werkgroep aan uitleg van – met name – de wetsystematiek en onderlinge samenhang van de diverse leerstukken aandacht besteed. Ook de inhoud van de mentorgroepen wordt op het gebruik van het Plakboek afgestemd en daardoor inhoudelijk versterkt. Daarmee wordt het onderwijsniveau en de inhoud van hoorcollege en werkgroep verhoogd: het insteekniveau van het onderwijs kan worden verhoogd op basis van de veronderstelde voorbereiding van de studenten op de module van het Plakboek. De inhoud van elke module wordt uitvoerig en expliciet toegankelijk gemaakt in uitgezocht, didactisch verantwoord onderwijsmateriaal.
Intensivering van het onderwijs en interactie Door middel van het Plakboek wordt het onderwijs eerst en vooral geïntensiveerd. Het Plakboek is een intensieve voorbereiding op het tussentijdse tentamen en is ook een aanvulling op de contacturen. Het is voor de docenten een principieel uitgangspunt dat de omvang en frequentie van de contacturen niet wijzigt. Wel wordt de inhoud van de werk- en mentorgroepen afgestemd op een beter voorbereide student. De interactie met studenten wordt intensiever, veelvormiger en vindt in feite op veel meer ‘momenten’ plaats. Ter aanvulling van het betrekkelijke massale contactonderwijs, communiceert de docent per studieonderdeel veel nadrukkelijker in de geëxpliciteerde onderwijsondersteuning die in het Plakboek is opgenomen. Het contactonderwijs wordt erop ingericht dat het voortbouwt op de zelfstudie die de studenten ter voorbereiding van een onderwerp van een module vooraf hebben kunnen verrichten en geacht worden te hebben verricht. Studenten worden uitgenodigd voor extra onderwijsactiviteiten, die zijn gebaseerd op het Plakboek. Door de ontwikkeling van het Plakboek maken
11
Hoofdstuk 3
docenten het vak inleiding strafrecht meer zichtbaar en worden studenten expliciet gevraagd om met de leerstof te leren omgaan. Deze omgang wordt meer zichtbaar en geëxpliciteerd in de vorm van uitleg, documentatie en vormen van zelftoetsing van de systematische samenhang in onderdelen van het vakgebied. Het contact met studenten over de inhoud van het vak wordt daardoor vergroot.
3.3
Evaluatie studiejaar 2006-2007 Uit de evaluatieresultaten 2006-2007 (Mevis & Den Harder, 2007) mogen we concluderen dat van de groep die gebruik heeft gemaakt van het Plakboek 70% is geslaagd (het tentamenresultaat voor de hele groep is 53%). Het gemiddelde cijfer van de groep die de zelfstudiemodules hebben gemaakt is een 6.3 terwijl de gehele groep gemiddeld een 5.6 behaalde. De meeste studenten die van het Plakboek gebruik hebben gemaakt hebben een 7 gehaald (47 studenten). Het slagingspercentage in het studiejaar 2006-2007 is hoger dan in vorige jaren. 70% van de gebruikers van de zelfstudiemodules heeft het tentamen gehaald. Enig optimisme over de rendementsverhogende potentie van het Plakboek lijkt gewettigd. Uit de studentenenquêtes blijkt verder dat de intensievere communicatie via de zelfstudiemodules door studenten wordt gewaardeerd. De studenten merken op dat de uitleg na het beantwoorden van een vraag heel duidelijk is en dat zij daarvan leren. Er is voldoende evidentie voor nader onderzoek naar de effecten van deze specifieke onderwijsvernieuwing bij FRG. In dit rapport doen wij verslag van dit onderzoek.
12
Hoofdstuk 4
Probleemstelling en onderzoeksvragen
In dit hoofdstuk presenteren we de probleemstelling en de onderzoeksvragen. Het in dit rapport beschreven onderzoek vertrekt vanuit de volgende centrale probleemstelling:
In hoeverre bevordert het Plakboek en de afname van een tussentijds m.c.computertentamen de studie van studenten bij het vak Inleiding Strafrecht en Criminologie bij de Faculteit der Rechtsgeleerdheid?
Op basis van deze probleemstelling formuleren we de volgende onderzoeksvragen: 1.
In hoeverre ondersteunt het Plakboek de studie?
2.
In hoeverre verhoogt het Plakboek het onderwijsrendement?
3.
In hoeverre wordt de studeerbaarheid door het Plakboek bevorderd?
4.
Worden studenten in hun studie geactiveerd door de afname van een m.c.-computertentamen?
In deze studie onderzoeken we niet alleen of de afname van een m.c.computertentamen van invloed is op de studiehouding van studenten. Het belang voor de afname van tentamens via computers is veel groter en er kunnen diverse andere motieven genoemd worden voor het evalueren van de studievoortgang aan de hand van een m.c.-computertentamen. Eind 2005 is namelijk binnen de FRG het plan ontstaan te onderzoeken of het gebruik van computers bij examinering praktisch mogelijk is en of hiervoor onder studenten en docenten ondersteuning bestaat. De overwegingen waren de volgende: •
Docenten ervaren een massaliteitprobleem. Zij moeten honderden handgeschreven tentamens nakijken, wat veel tijd kost;
•
Bij ‘take home’ tentamens en creditsystemen blijkt steeds op grote schaal fraude plaats te vinden. De examencommissie kan hier onvoldoende tegen optreden;
•
Studenten zijn niet meer gewend op papier te schrijven. Het is voor hen een vreemde setting geworden;
13
Hoofdstuk 4
•
Het ontwikkelen van betere mogelijkheden voor computerondersteund nakijken en het controleren van afwijkingen;
•
Het verlichten van het administratieve proces rond de tentamencorrectie;
•
Het onderzoeken van de mogelijkheden van e-tentaminering, met name voor flexibele toetsing en beoordeling. Het ontwikkelen van ‘toetsing op maat’.
Het belang van bovenstaande overwegingen wordt bevestigd door de opgedane ervaringen bij de afname van vier tentamens m.b.v. computers (Stegers-Jager e.a., 2006). Naar aanleiding van een evaluatie van deze pilot concluderen de onderzoekers dat de pilot geslaagd is. Met betrekking tot de techniek en organisatie zijn de kinderziekten overwonnen. Daarnaast zijn studenten en docenten tevreden. Op basis van deze pilot zijn ook extra argumenten naar voren gekomen om de ingeslagen weg voort te zetten, namelijk: •
De behoefte aan meer aandacht voor het formuleren en schrijven bij studenten;
•
Per computer kan mogelijk een eerste selectie van opvallend slechte uitwerkingen worden gezocht. Aan deze uitwerkingen zouden docenten dan minder tijd kunnen besteden;
•
De afname van een multiple choice tentamen zou ook makkelijker kunnen op de computer.
Uit het rapport van Stegers-Jager e.a. (2006) blijkt dat het project rijp is voor verdere uitbouw en gevolgd kan worden door implementatie. Op basis van de bovenstaande argumenten gaan we in het onderzoek nu juist ook na in hoeverre studenten en docenten tevreden zijn over de afname van een m.c.-tentamen op een computer. Daarmee onderzoeken we of de overwegend positieve ervaringen bij de afname van een gecomputeriseerd open tentamen ook gelden voor een m.c.-tentamen via de computer. Naar aanleiding van bovenstaande argumenten en overwegingen gaan we in deze studie na of het volgens studenten en docenten organisatorisch haalbaar is om bij een groep van circa 1000 studenten op een verantwoorde en betrouwbare wijze een m.c.-tentamen af te nemen op computers. We formuleren voor deze studie een vijfde en zesde onderzoeksvraag.
5.
Zijn studenten, docenten en ICT-ers tevreden over de organisatie rondom de afname van het m.c.-computertentamen?
14
Probleemstelling en onderzoeksvragen
6.
Zijn studenten, docenten en ICT-ers tevreden over de afname van het m.c.-computertentamen?
15
Hoofdstuk 5
Onderzoeksopzet en instrumentconstructie
In dit hoofdstuk lichten we in de paragrafen 5.1 en 5.2 de opzet voor het kwantitatieve en kwalitatieve onderzoek toe.
5.1
Kwantitatief onderzoek In het kwantitatief onderzoek ontwikkelen we voor het beantwoorden van de probleemstelling en onderzoeksvragen twee vragenlijsten. Met de eerste vragenlijst evalueren we aspecten rondom het gebruik van het Plakboek. De vragen zijn voornamelijk gebaseerd op de ideeën van DunbarGoddet & Gibbs (2006). De vragenlijst bestaat uit vijf verschillende clusters met vragen. Deze clusters vormen even zo vele Likertschalen. We construeren de volgende vijf Likertschalen: •
‘de mate waarin studenten studie-inspanning ervaren’
•
‘de mate waarin studenten leren door de afname van een tentamen’;
•
‘de mate waarin studenten het Plakboek gebruiken’;
•
‘De mate waarin studenten feedback ontvangen’;
•
‘De mate waarin studenten feedback gebruiken’.
Met de tweede vragenlijst evalueren we bij studenten het m.c.computertentamen. Voor de constructie van deze lijst maken we gebruik van items die zijn opgenomen in het ‘Onderzoeksverslag Pilot Computertentamens’ (Stegers-Jager e.a., 2006). Daarnaast leggen we de conceptvragenlijst ter controle voor aan inhoudsspecialisten van FRG. We nemen in de vragenlijst zes verschillende clusters met vragen op. Deze clusters vormen even zo vele Likertschalen waarmee we de tevredenheid van de studenten over het m.c.-computertentamen meten. We construeren de volgende zes schalen: •
‘Tevredenheid over de procedure voor de afname van het tentamen’;
•
‘Tevredenheid over de organisatie tijdens het tentamen’;
•
‘Tevredenheid over het activeren van de studenten’;
•
‘Tevredenheid over het gebruik van het Plakboek’;
17
Hoofdstuk 5
•
‘Tevredenheid over de computer als middel voor het afnemen van tentamens’;
•
‘Tevredenheid over het gebruik van de computer tijdens het tentamen’.
De studenten scoren de items van de elf Likertschalen in beide vragenlijsten aan de hand van de volgende antwoordmodaliteiten: 1=helemaal oneens; 2=oneens; 3=enigszins oneens; 4=enigszins eens; 5=eens; 6=helemaal eens. De vragenlijsten worden direct na de afname van het m.c.computertentamen en het eindtentamen digitaal via Sin-online aangeboden.
Voor het bepalen van de betrouwbaarheid wordt voor iedere schaal de homogeniteit berekend. We gaan na of de items tezamen op een betrouwbare wijze datgene meten wat we met de schaal willen meten. De mate waarin de items uit één schaal één kenmerk meten, noemen we de homogeniteit van een schaal. Deze vorm van betrouwbaarheid wordt voor een schaal met polychotome items (items met meer dan twee antwoordmodaliteiten) uitgedrukt in de coëfficiënt Cronbach’s Alpha. Een Likertschaal is betrouwbaar als de Cronbach’s Alpha boven de .65 ligt. In een enkel geval, wanneer we ervan overtuigd zijn dat we met een schaal een vrij brede dimensie meten, kunnen we dit criterium ruimer interpreteren. Het voordeel van een schaal boven losse items is dat de scores op de items van een schaal bij een voldoende betrouwbaarheid opgeteld mogen worden. Met de Likerttechniek kan de frequentie van het gedrag gemeten worden (Swanborn, 1982). Bij de resultaten beschrijven we met welke frequentie de activiteiten worden uitgevoerd. De gestandaardiseerde gemiddelde scores op de Likertschalen vergelijken we vervolgens met elkaar. Deze scores liggen voor iedere Likertschaal tussen de nul en één. Het gestandaardiseerde gemiddelde wordt berekend door de som van de gemiddelde scores van de respondenten op een Likertschaal te delen door de maximaal mogelijke score. De maximaal mogelijke score is het product van het aantal items en de antwoordmodaliteiten.
In het kwantitatief deel van het onderzoek analyseren we ook de betrouwbaarheid van het m.c.-computertentamen. We besluiten het kwantitatief onderzoek met een analyse van het eindcijfer en de cijfers voor de deeltentamens. We benaderen deze cijfers vanuit verschillende perspectieven.
18
Onderzoeksopzet en instrumentconstructie
5.2
Kwalitatief onderzoek Naar aanleiding van de tentamenresultaten en de resultaten van de evaluatie van het vak ISC en het m.c.-computertentamen organiseren we vijf gesprekken. In het eerste gesprek bevragen we ICT-specialisten en gaan we vooral in op de organisatie en evaluatie van het m.c.-computertentamen. Daarnaast staan de hoeveelheid uren die zij besteed hebben aan de voorbereiding en ontwikkeling van het m.c.-computertentamen centraal. Vanzelfsprekend gaan we in dit gesprek meer in op de ICT-kant van de zaak. We bespreken de techniek om deze computertentamens mogelijk te maken en de organisatie van het computertentamen. Ten slotte gaan we in op de verwachtingen en het toekomstperspectief voor de afname van computertentamens. In het tweede gesprek worden twee docenten, verantwoordelijk voor het vak ISC, geïnterviewd. We vragen ook nu weer naar hun tijdsinvestering voor het geven van het vak en de ontwikkeling van het te geven onderwijs, in het bijzonder het Plakboek. We gaan ook in op de resultaten van de studenten bij het vak ISC gedurende de laatste jaren. Het spreekt voor zich dat vooral de ervaringen en activiteiten van de docenten centraal staan. Tot slot voeren we nog drie gesprekken met studenten. We verwachten dat gedurende iedere interviewronde vijf studenten aan het gesprek deelnemen. We willen in totaal 15 studenten interviewen. De vragenlijst waarmee we het gebruik en de waardering voor het Plakboek evalueren is uitgangspunt voor deze interviews. In deze gesprekken kunnen we de bevindingen presenteren en aan de studenten voorleggen. Wellicht dat zij de resultaten kunnen toelichten en verklaren. Daarnaast vragen we de studenten om concrete verbeteringen. In de gesprekken komen onder andere de volgende vragen aan de orde: 1.
In hoeverre is hoeveelheid en verdeling van studie-inspanning beïnvloedbaar? Door welke factoren worden deze vooral beïnvloed? Denk je dat je uiteindelijk door deze factoren meer of efficiënter leert?
2.
Wordt het leren ook aangenamer of interessanter als je gedwongen wordt eerder aan het vak te beginnen? Hoe leren de studenten de leerstof beheersen?
3.
Op welke manier zou je van het maken van een tentamen nog iets kunnen leren? Is een tentamen louter bedoeld om een cijfer te krijgen?
4.
19
In hoeverre heeft het Plakboek bijgedragen tot het behalen van het vak?
Hoofdstuk 5
5.
Wordt de behoefte aan feedback voldoende ingevuld door het Plakboek? Zou je je kunnen voorstellen dat je zinvolle (peer)feedback van je collegastudenten krijgt?
6.
Studeerbaarheid. Wat maakt het volgen van het vak ISC prettiger?
Van alle gesprekken maken we allereerst verslagen die vervolgens door de onderzoekers worden bewerkt tot handzame rapportages. Deze worden vervolgens door ICT-ers, docenten en studenten op hun juistheid gecontroleerd en becommentarieerd.
20
Hoofdstuk 6
Vragenlijstresultaten
In paragraaf 6.1 geven we aan hoe de studenten denken over hun studieinspanning, het leren van het tentamen, het gebruik van het Plakboek en het ontvangen en gebruiken van feedback. In paragraaf 6.2 staat de evaluatie van het m.c.-computertentamen centraal. In paragraaf 6.3 presenteren we de door de studenten genoemde voor- en nadelen van de afname van een m.c.computertentamen.
6.1
Studie-inspanning, leren van het tentamen en het gebruik van het Plakboek en feedback Tabel 1 geeft een overzicht van de aantallen items, gemiddelden, standaarddeviaties en Chronbach’s Alpha’s van vijf Likertschalen voor het meten van de mate van studie-inspanning en de mening over het leren van het tentamen, het gebruik van het Plakboek en het ontvangen en gebruiken van feedback. We verwachten dat de items die we in de clusters (groepen) geplaatst hebben daar ook thuis horen. Deze verwachting onderzoeken we door na te gaan of alle items waaruit een schaal bestaat geschikt zijn om datgene te meten wat we met de schaal willen meten. We mogen alleen de afzonderlijke scores op de items optellen als we weten dat de items van een schaal op betrouwbare wijze hetzelfde verschijnsel meten (zie paragraaf 5.1). Een vraag die verband houdt met de homogeniteit van een schaal, is de vraag naar de bijdrage van de afzonderlijke items aan de homogeniteit van de schaal. We gaan na in welke mate een item correleert met de rest van de items uit de schaal. De mate waarin een item correleert met de rest van de schaal, afgezien van het item zelf, wordt uitgedrukt in de item-rest-correlatie, de Rir. In het algemeen kunnen we zeggen dat items met een Rir van .35 of hoger een bijdrage leveren aan de homogeniteit van de schaal (Swanborn, 1982). In bijlage 1 staan de afzonderlijke bijdragen van de items (de Rir) aan de betrouwbaarheid van de schalen. Uit de tabel kunnen we aflezen dat we erin geslaagd zijn om diverse aspecten betrouwbaar te meten. De vijf verschillende clusters met vragen zijn betrouwbare Likertschalen als we uitgaan van een acceptabele betrouwbaarheid van .65 (Cronbach’s Alpha). We kunnen met deze schalen
21
Hoofdstuk 6
nagaan hoe studenten de studie-inspanning, het leren van het tentamen, het gebruik van het Plakboek en de feedback waarderen en gebruiken. In de onderstaande tabel wordt telkens het aantal studenten tussen haakjes vermeld. Tabel 1. Aantallen items, gemiddelden, standaarddeviaties en Chronbachs Alpha’s van vijf Likertschalen voor het meten van de tevredenheid over studie-inspanning, het Plakboek en feedback Naam van de Likertschaal Aantal items Gemiddelde StandaardCronbach’s ‘De mate waarin studenten deviatie alpha 1. studie-inspanning moeten leveren’ (329). 3 .65 .18 .65 2. leren door de afname van een tentamen’ (329). 3 .55 .20 .68 3. het Plakboek waarderen’ (272) 6 .63 .16 .81 4. feedback ontvangen’ (272) 6 .58 .17 .82 5. feedback gebruiken’ (272) 3 .67 .19 .76 .00 – .17 = helemaal mee oneens; .18 – .34 = mee oneens; .35 – .51 = enigszins mee oneens; .52 – .68 = enigszins mee eens; .69 – .75 = mee eens; .76 – 1.00 = helemaal mee eens
Aan de hand van de scores in tabel 1 kunnen we zien dat de studenten gemiddeld gezien het enigszins eens zijn met de uitspraken (items) in de diverse schalen. Voor een uitgebreid overzicht van de scores van de items in de diverse schalen verwijzen we naar bijlage 1. We lichten de belangrijkste resultaten nu toe. De mate waarin studenten studie-inspanning moeten leveren De studenten moeten regelmatig studeren om het vak ISC te kunnen halen. Ze moeten vrijwel alle stof bestuderen om goed te presteren. Het is zeker niet zo dat de studenten zonder al te veel studie-inspanning het tentamen behalen. De mate waarin studenten leren door de afname van een tentamen De studenten zijn het enigszins eens met het feit dat zij door het maken van het tentamen meer verbanden in de leerstof zien. Ook hebben ze tijdens de tentamenvoorbereiding enkele nieuwe dingen geleerd. Het is echter niet zo dat zij door het maken van het tentamen veel meer dingen beter zijn gaan begrijpen. De mate waarin studenten het Plakboek waarderen De studenten zijn voorzichtig positief over het gebruik van het Plakboek. Dit gebruik maakt het studeren als activiteit wel enigszins prettiger en verbetert hun tentamenresultaat. Het gebruik van het Plakboek helpt de studenten bij een beter begrip van Capita Strafrecht en het begrijpen van de leerstof. Volgens de studenten kan de aanvullende informatie die in het Plakboek wordt geboden enigszins bijdragen aan het inzicht in de functie die het strafrecht in de maatschappij heeft.
22
Vragenlijstresultaten
De mate waarin studenten feedback ontvangen Het Plakboek vervult bij het geven van feedback zeker een functie. De studenten ontvangen op deze wijze regelmatig feedback. Door de feedback uit het Plakboek begrijpen de studenten de leerstof enigszins beter en door het maken van de opdrachten uit het Plakboek weten de studenten ook beter of zij de leerstof wel beheersen. Ook weten zij door de feedback enigszins beter hoe ze een vraag moeten beantwoorden. Het gebruik van het Plakboek zorgt er voor dat de student bij een verkeerd antwoord weet hoe hij of zij het beter kan doen. De mate waarin studenten feedback gebruiken De studenten lezen de ontvangen feedback zorgvuldig en proberen te begrijpen wat ermee bedoeld wordt. Aan de hand van de feedback bestuderen zij sommige onderdelen van de leerstof opnieuw Het komt ook voor dat zij naar aanleiding van de verwijzingen in de feedback de betreffende passages Capita Selecta nogmaals bestuderen.
6.2
De evaluatie van het m.c.-computertentamen Tabel 2 geeft een overzicht van de aantallen items, gemiddelden, standaarddeviaties en Chronbach’s Alpha’s van zes Likertschalen voor het meten van de tevredenheid over het m.c.-computertentamen. Uit de tabel lezen we af dat we, op één uitzonderling na, erin geslaagd zijn om de tevredenheid over het m.c.-computertentamen goed te meten. Vijf verschillende clusters met vragen vormen vijf betrouwbare Likertschalen, omdat de Cronbach’s alpha telkens hoger is dan .65. We zijn er niet in geslaagd om de schaal ‘De mate waarin studenten tevreden zijn over het gebruik van de computer tijdens het tentamen’ betrouwbaar te meten. De reden voor de lage betrouwbaarheid is het meten van meer dan één dimensie. Ondanks deze onvoldoende betrouwbaarheid lichten we in het vervolg ook de resultaten toe die we met behulp van deze schaal hebben verkregen.
23
Hoofdstuk 6
Tabel 2. Aantallen items, gemiddelden, standaarddeviaties en Chronbachs Alpha’s van zes Likertschalen voor het meten van de tevredenheid over het m.c.computertentamen Naam van de Likertschaal ‘De mate waarin studenten tevreden zijn over (N=432) de procedure voor de afname van het tentamen’
Aantal items
Gemiddelde
Standaarddeviatie
Cronbach’s alpha
4
.71
.20.
.74
de organisatie tijdens het tentamen
4
.80
.14
.67
het activeren van hun studiehouding
5
.74
.18
.83
het gebruik van het Plakboek
4
.77
.23
.92
de computer als middel voor het afnemen van tentamens
6
.72
.18
.76
het gebruik van de computer tijdens het 5 .77 .15 .54 tentamen .00 – .17 = helemaal ontevreden; .18 – .34 = ontevreden; .35 – .51 = enigszins ontevreden; .52 – .68 = enigszins tevreden; .69 – .75 = tevreden; .76 – 1.00 = helemaal tevreden
Aan de hand van de scores in bovenstaande tabel kunnen we zien dat de studenten gemiddeld gezien tevreden zijn over de afname van het m.c.computertentamen. Voor een uitgebreid overzicht van de scores van de items in de diverse schalen verwijzen we naar bijlage 2. We lichten de belangrijkste resultaten nu toe. De mate waarin studenten tevreden zijn over de procedure voor de afname van het tentamen De studenten zijn tevreden over de procedure voor de afname van het tentamen. Ze zijn voorafgaand aan het m.c.-computertentamen voldoende geïnformeerd over de plaats, tijdstip van afname en de procedure voor het inloggen. De instructie voor het inloggen voor de afname van het m.c.computertentamen was helder en voor de meeste studenten verliep dit inloggen voor de afname van het m.c.-computertentamen probleemloos. De mate waarin studenten tevreden zijn over de organisatie tijdens het tentamen De studenten zijn zonder uitzondering tevreden over de organisatie van het tentamen. Zij hebben voldoende tijd voor het maken van het tentamen gehad en het wisselen van de groepen voor het maken van het tentamen verliep zonder problemen. Ook waren de surveillanten goed voorbereid. Deze surveillanten hebben eventuele problemen tijdens het m.c.computertentamen goed kunnen oplossen. De mate waarin studenten tevreden zijn over het activeren van hun studiehouding De studenten zijn door het tussentijds m.c.-computertentamen eerder gaan studeren en de afname van een tussentijds computertentamen m.c. of open
24
Vragenlijstresultaten
vragen stimuleert hen om eerder actiever te gaan studeren. Ze worden door dit tentamen aangespoord om actief met de stof om te gaan. Het resultaat van een tussentijds tentamen geeft ze ook inzicht in hun kennisniveau en de studenten zijn het er enigszins over eens dat dit m.c.computertentamen een goede voorbereiding is op het tentamen. De mate waarin studenten tevreden zijn over het gebruik van het Plakboek De studenten geven aan dat zij bij de voorbereiding van het tentamen gebruik hebben gemaakt van het Plakboek. Ze geven aan dat daardoor het voor hen makkelijker is geweest om de stof te bestuderen en te leren beheersen. Ook hebben ze de verwachting dat door het werken aan het Plakboek hun tentamenresultaat verbetert. De mate waarin studenten tevreden zijn over de computer als middel voor het afnemen van tentamens De studenten ondersteunen de afname van tentamens via de computer en willen graag vaker tussentijdse toetsen op de computer maken. Ze vinden het een goed idee om fraude te voorkomen door te toetsen in een gecontroleerde omgeving. De studenten vinden het ook heel prettig om direct na het afsluiten van het tentamen het resultaat te ontvangen. Wel hebben de studenten nog enige bedenkingen als zij zouden mogen kiezen tussen een tentamen op papier of een computertentamen. Ook zijn ze er nog niet over uit of zij bij een openvraag tentamen liever gebruik maken van een computer dan van een gewoon papieren tentamenblad. De mate waarin studenten tevreden zijn over het gebruik van de computer tijdens het tentamen De studenten zijn tevreden over het gebruik van de computer tijdens het tentamen. Ze hebben het niet als vervelend ervaren dat de vragen alleen vanaf het computerscherm gelezen konden worden. Ook was de werkplek achter de computer voor het maken van een tentamen groot genoeg en vinden zij één vraag op het gehele scherm prettiger dan alle vragen op één scherm. Tot slot is het gebruik van een markeringsboxje tijdens het maken van een tentamen zinvol. Daarmee kunnen zij aangeven in hoeverre zij zeker zijn van een antwoord.
25
Hoofdstuk 6
6.3
Open vragen over het m.c.-computertentamen De studenten hebben voor de evaluatie van het m.c.-computertentamen ook op twee open vragen kunnen reageren. We hebben ze gevraagd naar de voor- én nadelen die zij verwachten van het afleggen van een computer per tentamen. De studenten noemen vijf voordelen voor de afname van een tentamen per computer:
1.
Het tentamen kan sneller nagekeken worden en de uitslag is direct bekend (123 studenten);
2.
Het maken van een m.c.-computertentamen of open tentamen via de computer gaat sneller en is effectiever (93). Het gaat de studenten dan vooral om minder tijdnood; geen geklieder; verbeteren van de mogelijkheden van zelfcorrectie; meer leesbaar schrijven (typen); de fouten zijn makkelijker te verbeteren; toevoegingen kunnen makkelijker gemaakt worden; studenten werken meer ontspannen omdat er meer tijd beschikbaar is voor het formuleren en het nakijken; het is tijdbesparend omdat het herzien makkelijker is;
3.
Een computertentamen geeft meer overzicht, is duidelijker en heeft meer structuur (28);
4.
Er kan geen fraude plaatsvinden(6);
5.
Het is voor de docent makkelijker nakijken (5).
Er zijn verschillende studenten die diverse voordelen noemen die te maken hebben met het eerder bestuderen van de inhoud van de leerstof en het activeren van de studiehouding. We geven een overzicht van de meest duidelijke en sprekende reacties. Het geeft een goed beeld van het effect van een tussentijds tentamen. •
Ik krijg beter inzicht in de stof en begin op tijd met leren, zodat ik mijzelf beter kan voorbereiden voor het hoofdtentamen;
•
Ik heb nu een sneller en helder idee over mijn eigen niveau. Het maken van een computertentamen is ook zo veel eenvoudiger dan met 'pen en papier' - ook qua de te besteden tijd;
•
Ik voel mij meer op mijn gemak. Bij een tentamen met ‘pen en papier’ en met velen in een zaal ervaar ik veel meer druk. Tegenwoordig lijkt een computerruimte meer op de natuurlijke habitat van leerlingen;
•
26
Ik start eerder met studeren en spreid de tentamenlast;
Vragenlijstresultaten
•
Ik begin op deze manier sneller met mijn studie en ervaar een beter begin;
•
1. De student ontvangt direct de uitslag. 2. In de praktijk worden vaak ook soortgelijke toetsen afgelegd via de PC. De student is hierdoor reeds gewend geraakt aan toetsingsmethodes die in zijn verdere carrière ook gedaan zullen moeten worden. 3. Studenten verdiepen zich sneller in de leerstof;
•
Ik weet nu wat er van me verwacht wordt. Tevens ben ik gestimuleerd om eerder en grondiger de stof door te nemen;
•
Ik heb de leerstof van hoofdstuk 1 tot en met 6 nu goed door en deze stof hoef ik niet meer door te nemen. Ondanks het feit dat ik deze hoofdstukken niet voor het eindtentamen hoef te bestuderen, moet ik er toch wel het nodige van afweten. Dankzij het deeltentamen weet ik nu dat ik de stof goed beheers;
•
Ik begin eerder met 'echt' leren;
•
Het voordeel is voornamelijk dat men eerder gaat beginnen met het bestuderen van de complete tentamenstof ter voorbereiding voor de (deel)tentamens;
•
Ik ga nu eerder leren en behaal betere resultaten door de manier waarop er gevraagd wordt;
•
Ik ben nu meer zeker van mijn kunnen en daarom kijk ik niet meer zo op tegen het ‘echte’ tentamen. Daarbij is een tussentijdstentamen toch wel een extra stimulans. Zowel voor mijzelf als voor de mensen om mij heen;
•
Dat mensen eerder zullen gaan beginnen met studeren;
•
Door het deeltentamen ga ik veel eerder en serieuzer met de stof om;
•
Een eerdere kennismaking met de leerstof en het eerder oefenen met de leerstof;
•
Het grootste voordeel voor mij is dat het stimuleert actief en eerder te studeren, vooral in samenwerking met het Plakboek.
De studenten noemen echter ook vier nadelen. Het aantal studenten dat deze nadelen noemt is echter veel minder. De bedenkingen m.b.t. de techniek en het uitvallen van computers zijn het grootst. We geven wederom een overzicht: 1.
Eventuele systeemproblemen met de computer en storingen (58);
2.
Het aflezen van een tentamen op een computerscherm is vermoeiend en niet prettig (18 studenten);
3.
Ervaren concentratieproblemen bij het maken van het tentamen (17);
4.
Het ervaren van onrust in de zaal (14).
27
Hoofdstuk 6
Ook nu weer beschrijven we enkele opmerkelijke ervaringen van studenten; •
Bij open vragen zou iedereen tegelijkertijd moeten typen. Het geruis van typende mensen is niet prettig. What if the computer crashes !! whaa..niet goed;
•
Het is in het algemeen wat onrustiger in vergelijking met een ‘gewone’ tentamenzaal. Ik heb sneller de neiging om te antwoorden, waardoor de foutenmarge groter wordt. Als er een storing met de computer is dan gaat heel je tentamen mis. Je bent er direct helemaal uit en dat veroorzaakt stress. Als bijvoorbeeld je potloodpunt breekt dan slijp je hem gewoon weer opnieuw;
•
Een computertentamen is vermoeiend voor 3 uur. Gedurende deze uren zit ik ook onhandig en onprettig. Wat te doen als er een computerstoring is of de elektriciteit uitvalt? Een computertentamen is minder geschikt voor het stellen van ingewikkelde vragen cq. cases. Het is in dat geval ongemakkelijk. Een pc is voor een tentamen met korte vragen wel handig;
•
Het is onprettig om lange open vragen vanaf het computerscherm te lezen. Mijn concentratie is veel beter als ik deze tentamenvragen op papier heb. Bovendien kun je op papier de hoofdzaken of interessante punten aanstrepen. Het verstrekken van de cases op papier is een mogelijke goede oplossing. Wat mij betreft blijven er dan nauwelijks nadelen over.
•
Er is bij het stellen van open vragen veel miscommunicatie. Ik vind dat open vragen (als het daar ook betrekking op heeft) nog altijd nagekeken moeten worden door een docent. Ik zag zelf ook bij het Plakboek dat het bij de open vragen heel vaak fout ging bij de formulering. Meestal was het antwoord dan wel juist, maar volgens de computer niet op de juiste wijze geformuleerd. Bij de gesloten vragen was het werken met de computer heel geschikt!
•
Het maken van open vragen op de computer zijn praktisch niet te maken, omdat het antwoord dan volgens de computer exact als het ‘goede antwoord’ moet worden getypt. Niet alle studenten kunnen tegelijkertijd het tentamen maken. Technische problemen kunnen het maken van het tentamen onmogelijk maken of resultaten verloren doen gaan;
•
Misschien dat er mensen zijn die het typen niet goed machtig zijn en dus te weinig tijd hebben om het antwoord volledig te geven;
•
Eventuele mogelijkheden via de computer om de stof beter te begrijpen zijn nog steeds onduidelijk. Deze wijze van tentamineren toont niet aan
28
Vragenlijstresultaten
wat er nu precies mis is in de wijze van studeren. Waar dient men nu beter op te letten als de vraag wordt gelezen? Ook wordt het uiteindelijke doel gemist, namelijk het beheersen van de stappen (het kennen en weten) voor een bepaalde uitvoering binnen het rechtssysteem. Het werkt te specifiek en er worden geen argumentaties gegeven. Dat is naar mijn mening wel een belangrijk onderdeel van een juridische studie.
29
Hoofdstuk 7
Het eindcijfer van de studenten
In paragraaf 7.1 gaan we in op de betrouwbaarheid van het m.c.computertentamen. In paragraaf 7.2 beschrijven we enkele kengetallen rondom de afname van het eindtentamen en het hertentamen. In paragraaf 7.3 belichten we de resultaten van het m.c.-computertentamen en het onderdeel strafrecht in het perspectief van het gebruik van de zelfstudiemodules. In paragraaf 7.4 presenteren we het eindcijfer van de studenten voor het vak ISC en het behaalde onderwijsrendement over de afgelopen studiejaren. In paragraaf 7.5 beschrijven we of de hoogte van het eindcijfer effect heeft gehad op het invullen van de vragenlijsten voor de evaluatie van het vak ISC.
7.1
De betrouwbaarheid van het m.c.-computertentamen Het tentamen bestond uit een zevental clusters. In ieder cluster zaten in het algemeen een verschillend aantal items. Een overzicht:
31
•
Cluster 1: 4 vragen;
•
Cluster 2: 8 vragen;
•
Cluster 3: 6 vragen;
•
Cluster 4: 4 vragen;
•
Cluster 5: 8 vragen;
•
Cluster 6: 7 vragen;
•
Cluster 7: 5 vragen;
•
Cluster 8: 6 vragen;
•
Cluster 9: 3 vragen;
•
Cluster 10: 3 vragen;
•
Cluster 11: 4 vragen;
•
Cluster 12: 5 vragen;
•
Cluster 13: 5 vragen;
•
Cluster 14: 3 vragen;
•
Cluster 15: 3 vragen;
•
Cluster 16: 7 vragen;
•
Cluster 17: 5 vragen;
•
Cluster 18: 9 vragen;
Hoofdstuk 7
•
Cluster 19: 3 vragen;
•
Cluster 20: 4 vragen.
Er zijn in totaal 102 vragen opgesteld. Tijdens het tentamen hebben alle studenten telkens één vraag uit ieder cluster moeten beantwoorden. In totaal heeft iedere student 20 vragen beantwoord. Per vraag kon men .1 punt voor het eindtentamen behalen. In totaal dus 2 punten. Het eindtentamen bestaat uit open vragen waarmee de overige 8 punten behaald kunnen worden. De klassieke betrouwbaarheidsanalyses kunnen we niet uitvoeren omdat alle studenten een uniek tentamen hebben ontvangen. Er is dus niet één groep studenten die (uit een bepaald cluster) allemaal dezelfde vragen hebben beantwoord. Na correlatieanalyses kunnen we aangeven welke vragen verwijderd dan wel gewijzigd moeten worden. We concluderen dat de gehele toets waarschijnlijk een bevredigende betrouwbaarheid heeft. We kunnen dit echter niet met zekerheid stellen. Het merendeel van de vragen correleert minimaal .25 met de totale toets. In de regel hanteert men echter wel .35 als criterium, maar dit lijkt een te strenge maat. Deze correlaties zijn significant (.01). In het vervolg wordt aangegeven welke vragen nader onderzocht moeten worden. Tussen haakjes de correlaties met de totale toets en zo mogelijk het significantieniveau: 1.2.3 (.10); 1.3.2 (.19). op .5 significant; 2.5.6 (.16); 2.6.1 (.16); 2.7.1 (.15) op .5 significant; 2.7.3 (.065); 2.8.1 (.16); 2.8.2 (.19) en 2.8.4 (.21) beide op .5 significant; 3.11.3 (.16) op .5 significant; 4.13.3 (.20) op .01 significant; 4.13.5 (.18) op .5 significant; 5.17.5 => door iedereen goed gemaakt.
7.2
Het eindcijfer en andere kengetallen 821 studenten hebben aan het eindtentamen en hertentamen deelgenomen. Van deze groep studenten heeft 74,4 % (611) een voldoende gescoord. Dat is een duidelijke verbetering ten opzichte van de voorgaande jaren. In vergelijking met het voorgaande jaar is er een hoger onderwijsrendement van 5%. Er zijn daarnaast 149 studenten die na een onvoldoende (eindtentamen) en een tweede poging (hertentamen) alsnog een voldoende hebben gehaald. Er zijn 120 studenten die na het eindtentamen én een hertentamen een onvoldoende hebben gehaald. 42 studenten hebben alleen aan het hertentamen deelgenomen. Van deze groep heeft de helft een voldoende gehaald.
32
Het eindcijfer van de studenten
7.3
Het deeltentamen, het onderdeel strafrecht en het gebruik van de zelfstudiemodules In de onderstaande tabel staat het aantal modules dat de studenten hebben kunnen downloaden. In de tabel is ook direct de gemiddelde scores van de studenten afgedrukt, die zij hebben behaald op het m.c.-computertentamen en het onderdeel strafrecht op het eindtentamen. Tussen haakjes staat telkens het aantal studenten dat een bepaald gemiddelde heeft gehaald én een bepaald aantal modules heeft gedownload. Op het moment van analyse, hebben de studenten niet meer dan zeven modules kunnen downloaden.
Tabel 3. Aantal gedownloade modules en resultaten Aantal gedownloade modules 0 1 2 3 4 5 6 7
Resultaat m.c.-computer-tentamen (N) 13.28 12.72 13.30 14.34 14.15 13.77 14.77 15.71
Resultaat onderdeel strafrecht (N)
(43) (25) (46) (53) (34) (47) (65) (509)
5.07 5.27 5.24 5.77 5.87 5.33 5.67 6.35
(40) (23) (41) (947) (32) (43) (61) (489)
Uit de tabel kunnen we aflezen dat studenten die meer modules downloaden een hoger cijfer voor het m.c.-computertentamen hebben behaald. Dezelfde redenering gaat ook op voor de resultaten die de studenten hebben behaald bij de beantwoording van de open vragen voor het onderdeel strafrecht bij het eindtentamen. Het downloaden van de modules heeft dus zowel effect gehad op de resultaten van het m.c.-computertentamen (18 oktober 2007) alswel het eindtentamen (23 november 2007). Studenten die minder dan 7 keer een module hebben gedownload, hebben op het m.c.-computertentamen een gemiddelde score van 13,89 (313 studenten). Dat gemiddelde is altijd nog bijna twee punten lager dan het gemiddelde (15.71) van de 509 studenten die alle zeven modules downloaden. We concluderen dat het loont om alle modules te downloaden en te bestuderen en dat deze activiteiten tot significante betere resultaten en cijfers leiden. We kunnen helaas in dit onderzoek niet nagaan op welke wijze en met welke kwaliteit deze modules zijn bestudeerd. Het is in ieder geval een opmerkelijk resultaat dat het downloaden van en werken met de modules het cijfer van het m.c.-computertentamen en het onderdeel strafrecht van het eindtentamen hebben verhoogd. We concluderen ook na het bestuderen van de correlaties in tabel 4 dat er een duidelijke significante relatie is tussen het behalen van de resultaten en het aantal modules dat is gedownload. In de onderstaande tabel staan de
33
Hoofdstuk 7
correlaties tussen de diverse resultaten en het aantal gedownloade modules. Alle correlaties zijn significant op 0.01-niveau. Uit de tabel blijkt ook dat het aantal gedownloade modules ook nog steeds een relatie heeft met het uiteindelijk eindcijfer. Tabel 4. Correlaties tussen de diverse cijfers en het aantal gedownloade modules Correlaties 1. 2. 3. 4.
Eindcijfer
Eindcijfer M.c.-computertentamens Onderdeel Strafrechtcijf. Aantal modules gedownload
1.00 0.56 0.77 0.30
M.c.-computertentamencijfer 0.56 1.00 0.48 0.31
Onderdeel strafrechtcijfer 0.77 0.48 1.00 0.27
Aantal modules gedownload 0.30 0.31 0.27 1.00
In de bovenstaande tabel kunnen we ook zien dat er significante hoge correlaties zijn tussen het eindcijfer, het cijfer voor het m.c.computertentamen en het cijfer voor het onderdeel strafrecht. Het is natuurlijk niet verrassend omdat deze cijfers betrekking hebben op de beantwoording van vragen die zijn gebaseerd op dezelfde leerstof. Het is een aanwijzing voor een goede samenhang tussen de diverse (deel)tentamens.
7.4
Het eindcijfer gedurende de afgelopen studiejaren In tabel 5 presenteren we de eindcijfers van de studenten voor het vak ISC. We beginnen bij november 2004, omdat vanaf deze datum de vakken strafrecht en criminologie voor het eerst gezamenlijk in één vak zijn aangeboden. Het Plakboek is ingevoerd vanaf september 2006. Het is opvallend dat de cijfers en het onderwijsrendement ook inderdaad vanaf het studiejaar 2006-2007 gaan stijgen. Voor november 2006 liggen de gemiddelde cijfers rond een 5 en het onderwijsrendement wordt telkens niet hoger dan 46%. Na januari 2006 liggen de gemiddelde cijfers rond een 5.5 en is het onderwijsrendement altijd hoger dan 52%. De verschillen van de resultaten op de (her)tentamens voor en na november 2006 zijn niet erg groot. Het is onmiskenbaar dat er sinds november 2006 een positieve trend is ingezet, die naar verwachting de komende jaren alleen maar sterker kan worden.
34
Het eindcijfer van de studenten
Tabel 5. Het eindcijfer voor ISC gedurende de afgelopen studiejaren Data van de (her)tentamens
Gemiddelde
November 2004 Maart 2005 November 2005 Januari 2006 -----------------------------------November 2006 Januari 2007 November 2007 Januari 2008
7.5
5.20 4.96 5.26 5.00 -------------5.58 5.34 5.59 5.33
Aantal studenten voldaan 413 100 389 168 -------------------402 185 441 172
Percentage studenten voldaan 45% 42% 46% 41% -------------------------53% 52% 57% 55%
Invloed van het cijfer op de enquêteresultaten
Tabel 6. Gemiddelden van studenten met verschillende eindcijfers en correlaties met eindcijfer Schalen
1.
Gemiddelde van studenten ≤ 4,5
De mate waarin studenten studie-inspanning ervaren
Gemiddelde van studenten ≥ 7.5
Correlaties met eindcijfers
.64 (20)
.66 (74)
.00 -.13*
2.
De mate waarin studenten leren door de afname van een tentamen
.59 (16)
.49 (74)
3.
De mate waarin studenten het Plakboek gebruiken
.66 (16)
.62 (62)
-.058
4.
De mate waarin studenten feedback ontvangen
.57 (17)
.59 (63)
0.00
5.
De mate waarin studenten feedback gebruiken
.69 (17)
.67 (65)
-.052
6.
De mate waarin studenten tevreden zijn over de procedure voor de afname van het tentamen’
.71 (43)
.74 (81)
.04
7.
De mate waarin studenten tevreden zijn over de organisatie tijdens het tentamen
.75 (43)
.84 (81)
.18*
8.
De mate waarin studenten tevreden zijn over het activeren van hun studiehouding
.73 (43)
.73 (81)
9.
De mate waarin studenten tevreden zijn over het gebruik van het Plakboek
.71 (43)
.83 (81)
10.
De mate waarin studenten tevreden zijn over de computer als middel voor het afnemen van tentamens
.73 (43)
.72 (81)
11.
De mate waarin studenten tevreden zijn over het gebruik van de computer tijdens het tentamen
.63 (43)
.72 (81)
-.041 .16* -.049 .16*
Uit tabel 6 blijkt dat er vrijwel geen noemenswaardige verschillen zijn tussen de schaalgemiddelden van studenten met een 4.5 als eindcijfer of lager en studenten met een 7.5 als eindcijfer of hoger. In de tabel kunnen we zien dat zeven van de elf schalen lage en geen significante correlaties hebben met het eindcijfer. Er zijn vier schalen die een kleine significante correlatie hebben met het eindcijfer. Deze waarden zijn echter zo laag dat we er vrijwel geen waarde aan hechten. We concluderen dat het invullen van vragenlijsten en de daarop gebaseerde schaalgemiddelden onafhankelijk is van het eindcijfer van de studenten.
35
Hoofdstuk 8
Interviewresultaten
In paragraaf 8.1 beschrijven we de resultaten van het interview met twee ICT-ers. In paragraaf 8.2 gaan we in op het interview dat wij hebben gehad met de twee verantwoordelijke docenten. In paragraaf 8.3 bespreken we de meningen over het vak ISC van zeven studenten.
8.1
ICT en de afname van een m.c.-computertentamen
Systeem Uitgangspunt was een simpele (web based) front-end oplossing te maken waarmee bij een grote groep studenten een m.c.-computertentamen afgenomen kon worden. Het vullen van het systeem, klaarzetten van vragen en het vergaren van resultaten vergt op dit moment nog te veel handmatige inspanningen van de ICT afdeling. Voor een pilot is dit acceptabel. Het streven is echter dit op termijn een zelfdraaiend en zelfvoorzienend systeem te laten zijn dat door de eindgebruikers zelfstandig gebruikt kan worden. Op dat moment is er dan geen ICT-ondersteuning noodzakelijk en wordt men op den duur overbodig. Organisatie De afnamesessie heeft, vooral op de dag van afname, veel ad-hoc ICTondersteuning gevraagd, omdat er nogal wat technische zaken (incl. inlogprocedure) niet optimaal zijn verlopen. De aanwezigheid van ICT-ers tijdens de afnamesessies was noodzakelijk. Deels zijn deze problemen terug te brengen op onvolkomenheden of onhandigheden in de infrastructuur. De toegankelijkheid tot een tentamen kan ook groter worden als de student na het aanzetten van de pc alleen nog maar met zijn ERNA-gegevens hoeft in te loggen. In totaal zijn ongeveer 30 mandagen geïnvesteerd in deze pilot. De organisatie is daarbij relatief eenvoudig geweest en liep veelal via de geëigende en bekende route (registeren via Sin-online, werkzaamheden secretariaat etc.).
37
Hoofdstuk 8
Fraude De vragen en antwoordalternatieven zijn per student gerandomiseerd om fraude te voorkomen. De vragen zijn uit een pool van 102 vragen gehaald, omdat niet alle studenten in één sessie tegelijk zitting konden hebben en het doorspelen van vragen voorkomen moest worden. In totaal zijn 22 sessies (tentamenzittingen) uitgevoerd. Toekomst In de toekomst zal security (fraudegevoeligheid) een toenemende zorg zijn. Overwogen moet worden ontwerp en archivering van tentamens en afname van het tentamen in technisch gescheiden systemen onder te brengen. Er valt een zekere gewenning te verwachten als tentamens via het gebruik van een computer worden afgenomen. In de toekomst wordt het de gewoonste zaak van de wereld. Op het ogenblik is al overleg met Bedrijfskunde over de mogelijkheden voor tentamineren m.b.v. computers. Ook het nakijken van open vraag tentamens wordt makkelijker. De docenten ontvangen leesbare tentamens en tijdens het maken van het tentamen kunnen studenten makkelijker redigeren. Enkele (m.n. de kleinere) faculteiten zijn nog terughoudend voor het massaal afnemen van computertentamens. Het CvB wil wel een kleine 4 miljoen investeren in een ruimte met 1000 computers, zodat de afname van een soortgelijk m.c.-computertentamen binnen een uur kan geschieden en veel efficiënter plaatsvindt. De exploitatiekosten (8 ton per jaar) zorgt nog voor gereserveerdheid.
8.2
De docenten en het vak ‘Inleiding Strafrecht en Criminologie’
Ontwikkeling van het Plakboek Het Plakboek is voor het eerst ingevoerd in september 2006. De cursus die vanaf september 2004 is gegeven, is dan geschikt voor een juiste 0-meting. Het Plakboek is in samenwerking met P. Mevis opgezet. D. Mentink heeft de financiën kunnen regelen. Wil den Harder heeft voor de ontwikkeling m.n. Cali als instrument gebruikt. Er wordt met de gedachte gespeeld het Plakboek concept ook te gaan toepassen bij bestuursrecht. Het Plakboekinitiatief moet wel aangemoedigd, gefaciliteerd & gefinancierd worden. De financiering louter op basis van contacturen volstaat in geen
38
Interviewresultaten
geval. Het promoten (de p.r.) en het ‘verkopen’ van het Plakboek zou nog een stuk beter kunnen. Het bedenken en formuleren van de vragen, antwoorden en feedback is een enorme klus voor de docent. Als docent moet je je zeer goed inleven in de beginsituatie en het kennisniveau van een eerste jaars student. Het Plakboek levert kwaliteitsfeedback (qualitytime) maar telt niet als contacturen. Daardoor is het Plakboekinitiatief lastig te koppelen aan de huidige beleidsrichtlijnen die zich nogal specifiek richten op het verhogen van het aantal contacturen. Het is van groot belang om te constateren dat bij de ontwikkeling van het Plakboek veel gebruik is gemaakt van de expertise en ervaring van seniordocenten. Op een bepaalde manier zou je contacturen ook op deze wijze kunnen definiëren. Doelstellingen Het gebruik van het Plakboek dwingt studenten tot een bepaalde wijze van redeneren en het oplossen van een bepaald probleem volgens een systematische aanpak. Van probleem naar analyse naar oplossing. De studenten leren hun juridische betoog beter te motiveren en meer sluitend te maken. Dit is procedureel gezien een wenselijke aanpak die moet inslijten. De docenten geven aan dat de doelstellingen voor het gebruik van het Plakboek zijn bereikt. Bij een oordeel over de kwaliteit van de studenten is het nemen van een eindcijfer alleen niet voldoende. De waarneming van de docenten en het oordeel van hen over de kwaliteit van het werk van de studenten is daarbij van groot belang. Het verhogen van het onderwijsrendement is vooral gericht op het meer activeren van de studenten. En dat is zeker het geval. Het effect van het tussentijdse examen is groot. De studenten gaan inderdaad eerder leren en hebben zo vroeger de beschikking over bepaalde basiskennis. De docenten merken dat zij kunnen voortbouwen op deze betere kennis van de studenten, zodat het niveau van de werkgroepen ook hoger wordt. De docenten merken dat het Plakboek effect heeft. Het voordoen van hoe een betoog moet worden opgebouwd werpt zijn vruchten af. Antwoorden van studenten in de werkgroepen zijn kwalitatief beter. De redeneringen en formuleringen van de studenten zijn ook van een hoger niveau. Daarnaast hebben de docenten kunnen constateren dat in dit studiejaar al 75% van de studenten is geslaagd voor het vak. Dat is ongeveer 10% meer dan de voorgaande jaren. Het hogere niveau van de studenten zien de docenten ook terug bij de antwoorden op de open vragen van het tentamen.
39
Hoofdstuk 8
Er zitten meer topcijfers tussen de tentamencijfers (rond de negen). De betere studenten lijken daarom meer profijt te hebben van het Plakboek. Werkgroepen Doordat het elementaire niveau wordt afgedekt door het Plakboek kunnen de vraagstukken en opdrachten in de werkgroepen op een hoger niveau geformuleerd worden. Het uitgangspunt is dat de opdrachten thuis voorbereid worden, wat door een redelijk aantal van de studenten ook gedaan wordt. Het is niet altijd eenvoudig om studenten zover te krijgen dat ze met het Plakboek aan de slag gaan. Vooral de goede studenten willen wel. Bij deze groep studenten is het effect dan ook merkbaar. Het onderwijsrendement is vooral bij de gemiddelde en goede studenten toegenomen. Maar dat is ook zeer belangrijk en een winstpunt. Het gebruik van het Plakboek kan door de hoeveelheid tijd afschrikken. Het duurt gemiddeld een uur om een module goed door te werken. Deze tijdsduur schrikt studenten af. De instap voor het gebruik van het Plakboek zou meer laagdrempelig moeten worden, zodat het gebruik wordt geïntensiveerd. Het is dan een idee om bij de studenten goed aan te geven om alleen de basisteksten te doen en de ‘Next-knop’ meer frequent te gebruiken. De werkvormen in de werkgroepen zijn inmiddels ook meer afgestemd op de aanwezigheid van het Plakboek. Een directe koppeling tussen het Plakboek en de invulling van de werkgroepen is wel lastig. De open werkopdrachten zijn veelal gebaseerd op casussen en zijn niet altijd direct te koppelen aan de meer gesloten opdrachten uit het Plakboek. Deze beide onderwijsvormen komen wel langzamerhand dichter bij elkaar. Correctie De correctie van tentamenvragen is eigenlijk niet uit te besteden aan studenten-assistenten of juniordocenten. Het nakijken is een kunst apart en zeer tijdsintensief. Alleen ervaren docenten zijn in staat om in een strikt genomen onjuist geformuleerd antwoord een juiste denkwijze te herkennen en daar punten aan toe te kennen. Onjuist of niet correct corrigeren zou wel eens een reden kunnen zijn voor een lager onderwijsrendement.
40
Interviewresultaten
8.3
Studenten en het vak ‘Inleiding Strafrecht en Criminologie’ Eind januari zijn de studenten uitgenodigd voor drie groepsinterviews. In deze interviews staat het verhogen van het onderwijsrendement door middel van de onderwijsvernieuwing en de studeerbaarheid van het vak centraal. In eerste instantie hebben 17 studenten zich aangemeld. Na het plannen van de interviews zijn uiteindelijk zeven studenten komen opdagen voor de gesprekken. Deze studenten hebben allen een voldoende behaald. Twee studenten hebben een zes behaald, één student een zeven en vier studenten hebben het vak met een acht of hoger afgerond. De gesprekken hebben in de derde week van februari plaatsgevonden en hebben telkens ongeveer een uur geduurd. Het beïnvloeden van studie-inspanning Het m.c.-computertentamen is het belangrijkste onderdeel dat de studieinspanning en de timing van de studenten heeft beïnvloed. Het verplichte m.c.-computertentamen geeft de studenten op een positieve manier studiedruk. De studenten worden eerder gedwongen de leerstof te bestuderen wat ook voor de inhoudelijke verdieping een positief effect heeft. Het verplichte karakter is wel van belang voor dit effect. Het m.c.computertentamen helpt bij het eerder starten met het bestuderen van de stof. Het moet dan wel een verplichte toets zijn en ook juist meetellen voor het eindcijfer om het gewenste effect te bereiken. Voor het activeren van de studenten kan het aantal tussentoetsen verhoogd worden maar dit kan ook stressverhogend werken en dus contraproductief zijn. De studenten kunnen zich voorstellen dat het geven van tussenopdrachten invloed heeft op de timing van de studie en de hoeveelheid studie-inspanning voor dit vak. Het geven van tussenopdrachten kan een bijdrage leveren aan het activeren van studenten. Deze opdrachten moeten dan wel meetellen voor het eindcijfer. De studenten vragen zich wel af of ze hier blij mee zouden zijn. Het verplichten van activiteiten (zoals voorbereiding op de werkgroep, opdrachten) kan voor de studenten een goede structuur bieden. Studenten worden daardoor meer gedisciplineerd. Dat dit een meer schools systeem inhoudt lijkt voor de studenten geen bezwaar. Als de kwaliteit er maar door verbeterd wordt. Volgens de studenten spelen enthousiaste en deskundige docenten een belangrijke rol bij het beïnvloeden van hun inzet voor het bestuderen van
41
Hoofdstuk 8
vakken. Enthousiaste docenten zijn een essentiële factor in het stimuleren van een actieve studiehouding. Studenten (ook de goede) blijken in belangrijke mate calculerend gedrag te vertonen. Er wordt strategisch gestudeerd. Zo wordt bijvoorbeeld door enkele studenten het criminologiedeel overgeslagen en concentreert men zich uitsluitend op het deel strafrecht. Het is opmerkelijk dat de studenten vertellen dat het hertentamen op een ongunstige dag in de kerstvakantie was gepland. Daardoor hadden de studenten in belangrijke mate de intentie om direct tijdens de eerste gelegenheid het tentamen te halen. Het vaststellen van een datum kan dus ook invloed hebben op de intensiteit van studeren. Gebruik van het Plakboek De studenten zijn zonder meer enthousiast over het gebruik van het Plakboek en vinden het een goed idee om het concept van het gebruik van een Plakboek ook in te voeren bij andere vakken. De werkwijze van het Plakboek kan ook voor andere vakken van belang zijn en zij moedigen het aan om deze werkwijze bij andere vakken toe te passen. Het Plakboek is een goede voorbereiding op het m.c.-computertentamen. Vooral de oefeningen in het Plakboek hebben de studenten bij het bestuderen van de leerstof geholpen. De studenten hebben het Plakboek als controlemiddel en oefening gebruikt. Door het oefenen van de vragen kan men nagaan in hoeverre de leerstof wordt beheerst. Sommige vragen van het Plakboek zijn identiek met vragen uit het m.c.-computertentamen. Volgens enkele studenten is dat ook weer niet echt wenselijk. Het doorwerken van het Plakboek kost wel veel tijd. Gebruik van lange lappen tekst bij het Plakboek moet vermeden worden. Het leest vervelend en daardoor worden deze teksten vaak overgeslagen. Het doornemen van één module duurt minstens een uur en aan het eind van de onderwijsperiode was het Plakboek nog niet volledig ontwikkeld. Volgens de studenten zijn de laatste twee hoofdstukken niet meer in de onderwijsperiode uitgewerkt in een zelfstudiemodule. Een week voor het tentamen zijn deze hoofdstukken echter wel geupload. Uit de resultaten blijkt dat deze modules nog een behoorlijk aantal keren is gedownload (hoofdstuk 18 272 keer en hoofdstuk 19 366 keer). Daarnaast zaten er nog enkele storende fouten in het materiaal. De studenten ervaren onvoldoende relatie tussen het gebruik van het Plakboek en de inhoud van de werkgroepen. Eigenlijk was er geen sprake van een koppeling. De studenten merken op dat het werken met en doorlopen
42
Interviewresultaten
van het Plakboek nog onvoldoende garantie geeft voor het behalen van het m.c.-computertentamen. Het zou zelfs zo kunnen zijn dat het m.c.computertentamen ook te behalen is zonder het gebruik van het Plakboek. De coördinerende docent merkt op dat dit inderdaad het geval kan zijn. Het Plakboek is immers bedoeld om het boek Capita Strafrecht meer studeerbaar te maken. De tentamenvragen gaan dus over het boek en indirect over het Plakboek. Volgens de docent zijn er verschillende studenten met hoge cijfers die geen enkele module hebben gedownload. Hieruit kan geconcludeerd worden dat de docenten zich keurig aan de inhoud van het boek gehouden hebben. Feedback Afgezien van enkele (digitale) fouten is de feedback die door het gebruik van het Plakboek wordt gegeven goed en zinvol. De feedback die men via het Plakboek ontvangt, wordt over het geheel genomen als waardevol aangemerkt. De uitleg die de studenten d.m.v. het Plakboek ontvangen helpt de studenten bij het beter begrijpen van de leerstof. Peer feedback (zoals in de mentorgroepen) kan wel werken. De studenten blijven wel de behoefte voelen om de juiste informatie en het correcte antwoord van een docent te vernemen. Men heeft het idee dat de feedback die onderling aan elkaar (online) gegeven wordt op den duur niet wordt gecontinueerd. Na een goed begin van enkele weken hebben de studenten niet meer de discipline om elkaar on-line feedback te geven. In sommige gevallen waar vragen of antwoorden niet klopten zou een ‘commentaar’ knop een goed idee zijn. Studenten missen door dit medium in sommige gevallen de interactie met de docenten. Tot slot Tot slot zijn tijdens de interviews diverse andere onderwerpen besproken. Het gaat om de integratie van criminologie en strafrecht in het vak ISC, de mate waarin tussen de studenten gedifferentieerd kan worden, hoe een tentamen ervaren wordt en de tevredenheid over de mentorgroepen. We bespreken deze onderwerpen in het vervolg. Bij de studenten zijn de meningen verdeeld over de mate waarin de vakken criminologie en strafrecht in het vak ISC zijn geïntegreerd. Een enkele student vindt dat de relatie tussen de criminologie en het strafrecht goed wordt gelegd. Enkele anderen ervaren dat de koppeling tussen strafrecht en criminologie slecht is uitgewerkt. Deze studenten ervaren het als twee afzonderlijke vakken die toevalligerwijs in één vak aan bod komen. De vakken zijn volgens hen niet of nauwelijks geïntegreerd. 43
Hoofdstuk 8
Het lijkt wenselijk de student een keuze te laten maken in het wel of niet laten doorlopen van bepaalde onderwijsactiviteiten. Zo kunnen ook verschillende studentgroepen bediend worden. Het is van belang te differentiëren tussen verschillende groepen studenten en waar mogelijk meer aan te bieden. Het is ook een mogelijkheid om studenten pluswerkgroepen aan te bieden. Dit wordt als een goed systeem ervaren. In het tentamen leer je het toepassen van de stof. Om er echt iets van te leren is wel de nabespreking van belang. Zonder een nabespreking hebben de studenten geen idee over wat er goed en fout is. Over het algemeen heeft men niet de indruk dat van het maken van het tentamen nog veel geleerd wordt. De inzage biedt wel een mogelijkheid om nog feedback te ontvangen, maar niet veel mensen maken hier gebruik van. Het beoordelen van de verslagen van de mentorgroepen wordt als positief beschouwd. De mentor bijeenkomsten worden wel als gezellig gezien en het is goed voor de groepsgeest. Het niveau wordt wel bedenkelijk zodra het inhoudelijk buiten de gebaande paden gaat. Het is een nadeel dat tijdens de mentorgroepen de mentor de antwoorden niet mag geven, waardoor de studenten niet weten of het geformuleerde antwoord van de groep nu goed is. De studenten mogen ook geen inhoudelijke vragen stellen in de mentorgroep.
44
Hoofdstuk 9
Samenvatting
In paragraaf 9.1 karakteriseren we in het kort de inhoud van de onderwijsvernieuwing bij het vak ‘Inleiding Strafrecht en Criminologie’. In paragraaf 9.2 presenteren we de opzet voor het evaluatieonderzoek naar de onderwijsvernieuwing. In paragraaf 9.3 vatten we de resultaten n.a.v. de afname van twee vragenlijsten samen. In paragraaf 9.4 geven we informatie over het eindcijfer en het perspectief waarmee we naar dit cijfer hebben gekeken. In paragraaf 9.5 komen de ICT-ers, docenten en studenten aan het woord. Aan het eind van de samenvatting beantwoorden we onze onderzoeksvragen en probleemstelling.
9.1
Inleiding De diverse intenties en wensen voor het invoeren van een onderwijsvernieuwing door middel van het ontwikkelen en het gebruik van het Plakboek én de afname van een tussentijds m.c.-computertentamen zijn terug te voeren op de doelstellingen uit de beleidsnotitie ‘Meer kwaliteit en rendement’ van de Faculteit der Rechtsgeleerdheid. Het Plakboek bestaat uit een aantal computerondersteunende zelfstudiemodules en is een essentiële factor die de studie van het leerboek ondersteunt en vergemakkelijkt en het niveau en de inhoud van met name het werkgroepenonderwijs verhoogt. Het is een intensieve voorbereiding op het tussentijdse tentamen en is ook een aanvulling op de contacturen. Het activeren van en differentiëren tussen studenten zijn twee belangrijke doelstellingen voor het vernieuwen van het onderwijs binnen het vak ISC. Andere doelen zijn het intensiveren van het onderwijs en het verhogen van de studeerbaarheid en het rendement van studie en vak.
9.2
Onderzoeksopzet In het onderzoek naar de tevredenheid over het vak ISC en het succes van de onderwijsvernieuwing binnen het vak staat de volgende probleemstelling centraal:
45
Hoofdstuk 9
In hoeverre bevordert het Plakboek en de afname van een tussentijds m.c.computertentamen de studie van studenten bij het vak Inleiding Strafrecht en Criminologie bij de Faculteit der Rechtsgeleerdheid? In het kwantitatief deel van het onderzoek beantwoorden we de probleemstelling m.b.v. twee vragenlijsten. Tevens onderzoeken we in dit deel de invloed van diverse factoren op de hoogte van het eindcijfer. In het kwalitatief deel van het onderzoek interviewen we twee ICT-specialisten, twee docenten en zeven studenten. In het onderzoek evalueren we ook expliciet in hoeverre studenten en docenten tevreden zijn over de afname van een m.c.-tentamen op een computer.
9.3
Resultaten naar aanleiding van de afname van twee vragenlijsten 329 studenten moeten regelmatig studeren om het vak ISC te kunnen halen. Zij zijn het enigszins eens met het feit dat zij door het maken van het tentamen meer verbanden in de leerstof zien. Voor 272 studenten vervult het Plakboek bij het geven van feedback zeker een functie. De studenten ontvangen op deze wijze regelmatig feedback. Ze lezen de ontvangen feedback zorgvuldig en proberen te begrijpen wat ermee bedoeld wordt. Aan de hand van de feedback bestuderen zij sommige onderdelen van de leerstof opnieuw. 432 studenten zijn tevreden over de afname en organisatie van het m.c.computertentamen. Zij zijn redelijk tevreden over de procedure voor de afname van het tentamen en zijn zonder uitzondering tevreden over de organisatie. Ze zijn door het tussentijds m.c.-computertentamen eerder gaan studeren en de afname van dit tentamen stimuleert hen om eerder en actiever te gaan studeren. Ook worden ze door dit deeltentamen aangespoord om actief met de stof om te gaan. Het resultaat op dit computertentamen geeft ze ook inzicht in hun kennisniveau en de studenten zijn het er enigszins over eens dat dit tentamen een goede voorbereiding is op het eindtentamen. De studenten geven aan dat zij bij de voorbereiding van het deeltentamen gebruik hebben gemaakt van het Plakboek. Het is daardoor voor hen makkelijker geweest om de stof te bestuderen en te leren beheersen. Ook hebben ze de verwachting dat door het werken aan het Plakboek hun tentamenresultaat is verbeterd.
46
Samenvatting
De studenten ondersteunen de afname van tentamens via de computer en willen graag vaker tussentijdse toetsen op de computer maken. De studenten vinden het ook prettig om direct na het afsluiten van het tentamen het resultaat te ontvangen. 123 studenten geven expliciet aan dat het tentamen sneller nagekeken kan worden en de uitslag direct bekend is. Volgens 93 studenten gaat het maken van een m.c.-computertentamen of open tentamen via de computer sneller en effectiever. 58 studenten geven aan dat zij nog wel zorgen hebben over eventuele systeemproblemen met de computer en storingen.
9.4
Resultaten met betrekking tot het eindcijfer en het onderwijsrendement 821 studenten hebben aan het eindtentamen en hertentamen deelgenomen. Van deze groep studenten heeft 74,4 % (611) een voldoende gescoord. Dat is een duidelijke verbetering ten opzichte van de voorgaande jaren. Studenten die meer modules downloaden hebben een hoger cijfer voor het m.c.-computertentamen en het onderdeel strafrecht bij het eindtentamen. Het downloaden van de modules heeft dus zowel effect gehad op de resultaten van het m.c.-computertentamen (18 oktober 2007) alswel het eindtentamen (23 november 2007). Het Plakboek is ingevoerd vanaf september 2006. Het is opvallend dat de cijfers en het onderwijsrendement ook inderdaad vanaf het studiejaar 20062007 gaan stijgen. Voor november 2006 liggen de gemiddelde cijfers rond een 5 en het onderwijsrendement wordt telkens niet hoger dan 46%. Na januari 2006 liggen de gemiddelde cijfers rond een 5.5 en is het onderwijsrendement altijd hoger dan 52%. Het is onmiskenbaar dat er sinds november 2006 een positieve trend is ingezet, die naar verwachting de komende jaren alleen maar sterker kan worden.
9.5
Resultaten naar aanleiding van de interviews ICT De 22 afnamesessies hebben veel ad-hoc ICT-ondersteuning gevraagd, omdat er nogal wat technische zaken (incl. inlogprocedure) niet optimaal zijn verlopen. De aanwezigheid van ICT-ers tijdens de afnamesessies was noodzakelijk. In totaal heeft men 30 mandagen geïnvesteerd.
47
Hoofdstuk 9
Het streven is echter dit op termijn een zelfdraaiend en zelfvoorzienend systeem te laten zijn dat door de eindgebruikers zelfstandig gebruikt kan worden. In de toekomst valt een zekere gewenning te verwachten als tentamens via het gebruik van een computer worden afgenomen. Een student geeft aan zich meer op zijn gemak te voelen, omdat bij een tentamen met ‘pen en papier’ en met velen in een zaal meer druk wordt ervaren. Er valt een zekere gewenning te verwachten als tentamens via het gebruik van een computer worden afgenomen. In de toekomst wordt het de gewoonste zaak van de wereld. Op het ogenblik is al overleg met Bedrijfskunde over de mogelijkheden voor tentamineren m.b.v. computers. Ook het nakijken van open vraag tentamens wordt makkelijker. De docenten ontvangen leesbare tentamens en tijdens het maken van het tentamen kunnen studenten makkelijker redigeren.
Docenten Het is van groot belang om te constateren dat bij de ontwikkeling van het Plakboek veel gebruik is gemaakt van de expertise en ervaring van seniordocenten. Op een bepaalde manier zou het mogelijk moeten zijn om contacturen op deze wijze zo te kunnen definiëren. Het Plakboekinitiatief moet wel aangemoedigd, gefaciliteerd en gefinancierd worden. Financiering louter op basis van contacturen volstaat in geen geval. Het promoten (de p.r.) en het ‘verkopen’ van het Plakboek zou nog een stuk beter kunnen. De docenten geven aan dat de doelstellingen voor het gebruik van het Plakboek zijn bereikt. Het gebruik van het Plakboek heeft effect. Het voordoen van hoe een betoog moet worden opgebouwd werpt zijn vruchten af. Antwoorden van studenten in de werkgroepen zijn kwalitatief beter en de redeneringen en formuleringen van de studenten zijn ook van een hoger niveau. Het effect van het tussentijdse examen is groot. De studenten gaan inderdaad eerder leren en hebben zo vroeger de beschikking over bepaalde basiskennis. De docenten merken dat zij kunnen voortbouwen op deze betere kennis van de studenten, zodat het niveau van de werkgroepen ook hoger wordt.
Studenten Het m.c.-computertentamen is het belangrijkste onderdeel dat de studieinspanning en de timing van de studenten heeft beïnvloed. Dit verplichte tentamen geeft de studenten op een positieve manier studiedruk. De studenten worden eerder gedwongen de leerstof te bestuderen wat ook voor de inhoudelijke verdieping een positief effect heeft. Het deeltentamen helpt
48
Samenvatting
bij het eerder starten met het bestuderen van de stof. Het moet dan wel een verplichte toets zijn en ook juist meetellen voor het eindcijfer om het gewenste effect te bereiken. De studenten zijn zonder meer enthousiast over het gebruik van het Plakboek en vinden het een goed idee om het concept van het gebruik van een Plakboek ook in te voeren bij andere vakken. Het Plakboek is ook een goede voorbereiding op het m.c.-computertentamen. Vooral de oefeningen hebben de studenten bij het bestuderen van de leerstof geholpen. De diepgang van de werkgroepen en de geboden feedback zijn een goede voorbereiding op het tentamen. De feedback die men via het Plakboek ontvangt, wordt over het geheel genomen als waardevol aangemerkt. De uitleg die de studenten d.m.v. het Plakboek ontvangen helpt de studenten bij het beter begrijpen van de leerstof. Volgens de studenten spelen enthousiaste en deskundige docenten een belangrijke rol bij het beïnvloeden van hun inzet voor het bestuderen van vakken. Enthousiaste docenten zijn een essentiële factor in het stimuleren van een actieve studiehouding.
9.6
Het beantwoorden van de onderzoeksvragen en de probleemstelling We kunnen positief zijn over de beantwoording van de eerste onderzoeksvraag (‘In hoeverre ondersteunt het Plakboek de studie?’). Het Plakboek ondersteunt inderdaad de studie van studenten en verhoogt ook het onderwijsrendement en de studeerbaarheid bij het vak ISC. Daarmee kunnen we ook de tweede onderzoeksvraag (‘In hoeverre verhoogt het Plakboek het onderwijsrendement?’) en de derde (‘In hoeverre wordt de studeerbaarheid door het Plakboek bevorderd?’) positief beantwoorden. Uit deze evaluatiestudie blijkt verder dat studenten in hun studie worden geactiveerd door de afname van een m.c.-computertentamen (de vierde onderzoeksvraag). Ten slotte kunnen we ook positief zijn over de beantwoording van de vijfde en zesde onderzoeksvraag. Studenten en docenten zijn tevreden over de afname en organisatie van het m.c.computertentamen. Voor de beantwoording van onze centrale probleemstelling kunnen we inderdaad concluderen dat het Plakboek en de afname van een tussentijds m.c.-computertentamen de studie bevordert van studenten bij het vak Inleiding Strafrecht en Criminologie bij de Faculteit der Rechtsgeleerdheid.
49
Hoofdstuk 10
Aanbevelingen
In paragraaf 10.1 geven we adviezen voor (het verbeteren van het gebruik van) het Plakboek. In paragraaf 10.2 formuleren we enkele suggesties voor het bevorderen van de afname van computertentamens.
10.1
Het Plakboek 1.
Pas het concept van het Plakboek ook toe bij andere vakken.
2.
Beschouw het ontwikkelen van een onderwijsvernieuwing in de vorm van het Plakboek als een vervanging voor contacturen met studenten. De wijze van feedback kunnen we zien als kwaliteitsfeedback. Het is van belang om te constateren dat bij de ontwikkeling van het Plakboek veel gebruik is gemaakt van de expertise en ervaring van seniordocenten.
3.
Onderzoek mogelijkheden voor het aanmoedigen, faciliteren en financieren van het Plakboekinitiatief. De financiering louter op basis van contacturen volstaat in geen geval.
4.
Besteed aandacht aan de promotie van het Plakboek en de public relations. De ‘verkoop’ van het Plakboek zou een stuk beter kunnen. Het gebruik van het Plakboek schrikt namelijk door de te investeren tijd en het gebruik van lange lappen tekst af. De instap zou meer laagdrempelig moeten worden, zodat het gebruik wordt geïntensiveerd.
5.
Bied het Plakboek alleen aan als het in het geheel gereed is en volledig is ontwikkeld. Geef duidelijk bij de studenten aan, indien dit niet mogelijk is, in welk stadium de ontwikkeling van de onderwijsvernieuwing zich bevindt en wat nog ontwikkeld moet worden. Vanuit oogpunt van implementatie van een onderwijsvernieuwing is het aan te bevelen een geheel afgerond product aan te bieden. Nu is het mogelijk dat studenten onterecht kritiek uitoefenen op een onderwijsvernieuwing die al in gang is gezet, maar waarvan de ontwikkeling nog niet is afgerond.
51
Hoofdstuk 10
10.2
Het m.c.-computertentamen 1.
Investeer in een ruimte met 1000 computers, zodat de afname van een soortgelijk m.c.-computertentamen binnen een uur kan geschieden en veel efficiënter plaatsvindt.
2.
Ontwikkel voor de afname van (m.c.-)computertentamens op termijn een zelfdraaiend en zelfvoorzienend systeem dat door de eindgebruikers zelfstandig gebruikt kan worden. Het onderzoeken van de mogelijkheden van e-tentaminering, met name voor flexibele toetsing en beoordeling. Het ontwikkelen van ‘toetsing op maat’.
3.
Voer meer verplichte m.c.-computertentamens in. Uit dit onderzoek blijkt het een grote invloed heeft op de studie-inspanning en timing van studenten. Voor het gewenst effect moet het wel een verplichte toets zijn die juist meetelt voor het eindcijfer.
4.
Maak voor het voorkomen van tentamenfraude meer gebruik van tussentijdse m.c.-computertentamens. In de toekomst zal security (fraude-gevoeligheid) een toenemende zorg zijn. Overwogen moet worden ontwerp en archivering van tentamens en afname van het tentamen in technisch gescheiden systemen onder te brengen.
5.
Maak gebruik van computertentamens voor het ontwikkelen van betere mogelijkheden voor computerondersteund nakijken. De docenten ontvangen leesbare tentamens en tijdens het maken van het tentamen kunnen studenten makkelijker redigeren. Het levert veel gemak en tijdwinst op.
52
Literatuur
Astin, A. (1993). What matters in college? Four critical years revisited. San Francisco: Jossey Bass. Biggs, J. (1996). Enhancing teaching through constructive alignment, Higher Education, 32 (3), pp. 347-364. Blumenfeld, P. C. (1992). APA Centennial feature: Classroom learning and motivation: Clarifying and expanding goal theory. Journal of Educational Psychology, 84 (3), 272-281. Bruinsma, M. (2003) Effectiveness of higher education: factors that determine outcomes of university education. Groningen GION, Rijksuniversiteit Groningen. Academisch proefschrift. Bryer, F. & Fletcher, (M.) (2000). Practicing what we preach. Effective Teaching and Learning conference, Duchesne College, The University of Queensland, Tertiary Education Development Institute. Carroll, J. B. (1963). A model of school learning. Teachers College Record, 64 (8), 723-733. Cook, A. (2000). Facilitating the use of flexible assessment. Assessment and Evaluation in Higher Education, vol.26, no. 6, pp. 539-549. Cooper, J.L. & Robinson, P. (2000). The Argument for making large classes seems small. New Directions for Teaching and Learning, 81, 5-16. Creemers, B. P. M. (1994). The effective classroom. London: Cassell, Schooldevelopment series. De Corte, E. (2000). Marrying theory building and the improvement of school practice: a permanent challenge for instructional psychology. Learning and Instruction, 10 (3), 249-266. Entwistle, N. J., & Tait, H., (1990). Approaches to learning, evaluations of teaching, and preferences for contrasting academic environments. Higher Education, 19,169–194. Feldman, K. A. (1989). The association between student ratings of specific instructional dimensions and student achievement: Refining and extending the synthesis of data from multisection validity studies. Research in Higher Education, 30 (6), 583-645. Feldman, K. A. (1998). In Nutshell notes. “Teaching tips in a nutshell” The University of Colorado at Denver’s One-page Newsletter for Teaching Excellence.
53
Literatuur
Finaly-Neumann, E. (1994). Course work characteristics and student’s satisfaction with instruction. Higher Education, 21 (1), 14-22. Holleman, W., Eijl, P. van, Pilot, A., & Ramaekers, S. (1999). Over curriculumfuncties. Mededeling nr.62 van het IVLOS. Universiteit Utrecht. Huitt, W. (1994). A transactional model of the teaching/learning process [Online]. Available from: http://chiron.valdosta.edu/whuitt/materials/tchlrnmd.html Gibbs, G. (1992). Improving the Quality of Student Learning (Bristol, Technical and Educational Services). Dunber-Goddat, H. & Gibbs, G. (2006). A methodology for evaluating the effects of programma assessment environments on student learning. Paper presented at the Third Biennial Joint Northumbria/EARLI SIG Assessment Conference 2006. Northumbria University. Jackson, M. (1997). But learners learn more. Higher Education Research and Development, 16 (1), pp. 101-109. Jansen, E.P.W.A. (1996). Curriculumorganisatie en studievoortgang. Een onderzoek onder zes studierichtingen aan de Rijksuniversiteit Groningen. Academisch proefschrift. GION, Groningen. Knight, P.T. & Trowler, P.R. (2000). Department-level cultures and the improvement of learning and teaching. Studies in Higher Education, 25 (1), pp. 69-83. Mevis, P.A.M. & Harder, W.H. den (2007). ‘Plakboek Inleiding strafrecht’. Een onderwijskundige vernieuwing met een vakdidactische en een inhoudelijke component via de computer. Erasmus Universiteit Rotterdam: Faculteit der Rechtswetenschappen. Ryan, R.M. & Deci, E.L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being, American psychologist, 55 (1), pp. 68-78. Stegers-Jager, K.M., Kampman, R., Mulder, R.V., de, Ven, M.J.J.M., van der (2006). Onderzoeksverslag Pilot computertentamens. Rotterdam: RISBO. Swanborn, P.G. (1982). Schaaltechnieken: Theorie en praktijk van acht eenvoudige procedures. Meppel/Amsterdam: Boom. Tuckman, B. (1991). Motivating college students: A model based on empirical evidence. Innovative Higher Education, 15 (2), 167-176.
54
Bijlage 1: Studie-inspanning, leren van het tentamen en het gebruik van het Plakboek en feedback
Voor het interpreteren van de gemiddelden gelden de volgende waarden: 0=helemaal mee oneens; 1=oneens; 2=enigszins mee oneens; 3=enigszins mee eens; 4=eens; 5=helemaal mee eens
De mate waarin studenten studie-inspanning moeten leveren Items
Gemiddelde
1.
Ik hoef niet alles te bestuderen om goed te presteren (-)
2.
Ik moet regelmatig studeren om het vak ‘Ínleiding Strafrecht en Criminologie’ te behalen Zonder al te veel studie-inspanning kan ik het tentamen behalen (-)
3.
Standaard deviatie
Item-totaal correlatie
Cronbach’s alpha if item deleted
2.10
1.26
.44
.57
3.42
1.10
.42
.59
1.51
1.13
.51
.47
Standaard deviatie
Item-totaal correlatie
2.80
1.27
.52
.56
3.07
1.24
.38
.74
2.33
1.25
.61
.44
Standaard deviatie
Item-totaal correlatie
3.35
1.27
.62
.76
3.31
1.15
.58
.77
2.40
1.20
.43
.80
3.35
1.09
.67
.75
3.40
1.00
.60
.74
2.81
1.15
.39
.81
De mate waarin studenten leren door de afname van een tentamen Items
1. 2. 3.
Gemiddelde
Door het maken van het tentamen zie ik meer verbanden in de leerstof Ik heb tijdens de tentamenvoorbereiding nieuwe dingen geleerd Door het maken van het tentamen ben ik dingen beter gaan begrijpen
Cronbach’s alpha if item deleted
De mate waarin studenten het Plakboek waarderen Items
1. 2. 3. 4. 5. 6.
Gemiddelde
Het gebruik van het Plakboek maakt het studeren als activiteit prettiger Door het gebruik van het Plakboek verwacht ik een beter tentamenresultaat Na het maken van dit tentamen zie ik in dat het gebruik van het Plakboek mijn eindresultaat niet heeft verbeterd Het gebruik van het Plakboek helpt mij bij een beter begrip van Capita Strafrecht Het gebruik van het Plakboek maakt het makkelijker om de leerstof te begrijpen De aanvullende informatie die in het Plakboek wordt geboden, geeft mij inzicht in de functie die het strafrecht in de maatschappij heeft
55
Cronbach’s alpha if item deleted
Bijlage 1
De mate waarin studenten feedback ontvangen Items
Gemiddelde
1.
Door de feedback uit het Plakboek begrijp ik de stof beter
2.
Er wordt nauwelijks feedback gegeven op mijn antwoorden in het Plakboek Door de feedback weet ik beter hoe ik een vraag moet beantwoorden Bij een verkeerd antwoord wordt het mij niet duidelijk gemaakt hoe ik het beter kan doen Door het maken van de opdrachten uit het Plakboek weet ik of ik de leerstof beheers
3. 4. 5. 6.
De feedback is niet helder genoeg
Standaard deviatie
Item-totaal correlatie
Cronbach’s alpha if item deleted
3.29
1.11
.64
.78
2.04
1.19
.65
.78
2.99
1.17
.51
.81
2.47
1.31
.59
079
3.24
1.16
.46
.82
2.35
1.25
.67
.77
Standaard deviatie
Item-totaal correlatie
3.84
0.96
.46
.80
3.34
1.25
.68
.56
2.95
1.20
.66
.59
De mate waarin studenten feedback gebruiken Items
1. 2. 3.
Gemiddelde
Ik lees de feedback zorgvuldig en probeer te begrijpen wat ermee bedoeld wordt Aan de hand van de feedback bestudeer ik sommige onderdelen van de leerstof opnieuw Naar aanleiding van de verwijzingen in de feedback bestudeer ik de betreffende passages Capita Selecta nogmaals
56
Cronbach’s alpha if item deleted
Bijlage 2. De tevredenheid over het m.c.-computertentamen
Voor het interpreteren van de gemiddelden gelden de volgende waarden: 0=helemaal mee oneens; 1=oneens; 2=enigszins mee oneens; 3=enigszins mee eens; 4=eens; 5=helemaal mee eens De mate waarin studenten tevreden zijn over de procedure voor de afname van het tentamen Items
1. 2. 3. 4.
Gemiddelde
Ik ben voorafgaand aan het m.c.-computertentamen voldoende geïnformeerd over de plaats en tijdstip van afname Ik ben voorafgaand aan het m.c.-computertentamen voldoende geïnformeerd over de procedure voor inloggen De instructie voor het inloggen voor de afname van het m.c.-computertentamen was helder Het inloggen voor de afname van het m.c.computertentamen verliep probleemloos
Standaard deviatie
Item-totaal correlatie
Cronbach’s alpha if item deleted
4.28
0.84
.30
.79
3.19
1.41
.62
.63
3.49
1.24
.78
.55
3.30
1.65
.40
.71
De mate waarin studenten tevreden zijn over de organisatie tijdens het tentamen Items
Gemiddelde
Standaard deviatie
Item-totaal correlatie
Cronbach’s alpha if item deleted
1.
Ik had voldoende tijd voor het maken van mijn tentamen
4.27
1.07
.39
.64
2.
Het wisselen van de groepen voor het maken van het tantamen verliep zonder problemen
4.02
0.98
.44
.60
3.
De surveillanten waren goed voorbereid
3.79
0.93
.51
.56
4.
De surveillanten hebben eventuele problemen tijdens het m.c.-computertentamen kunnen oplossen
3.85
0.98
.46
.59
De mate waarin studenten tevreden zijn over het activeren van hun studiehouding Items
1. 2. 3. 4. 5.
Gemiddelde
Door dit tussentijds m.c.-computertentamen ben ik eerder aan het studeren begonnen De afname van een tussentijds computertentamen m.c. of open vragen stimuleert mij om eerder actiever te gaan studeren Het resultaat van dit tussentijds m.c.-computertentamen geeft mij inzicht in mijn kennisniveau Ik word door dit m.c.-computertentamen aangespoord om actief met de stof om te gaan Dit m.c.-computertentamen is een goede voorbereiding op het tentamen van 23 november 2007
57
Standaard deviatie
Item-totaal correlatie
Cronbach’s alpha if item deleted
3.71
1.28
.60
.79
3.84
1.15
.65
.78
3.76
1.11
.61
.79
3.78
1.05
.73
.75
3.39
1.26
.50
.82
Bijlage 2
De mate waarin studenten tevreden zijn over het gebruik van het Plakboek Items
1. 2. 3. 4.
Gemiddelde
Bij de voorbereiding van het tentamen heb ik gebruik gemaakt van het Plakboek Het Plakboek heeft het gemakkelijker gemaakt om de stof te bestuderen Het ‘Plakboek heeft het gemakkelijker gemaakt om de stof te leren beheersen Door het werken aan het Plakboek verwacht ik een beter tentamenresultaat
Standaard deviatie
Item-totaal correlatie
Cronbach’s alpha if item deleted
4.19
1.24
.70
.94
3.80
1.25
.87
.88
3.75
1.24
.90
.87
3.65
1.24
.82
.90
De mate waarin studenten tevreden zijn over de computer als middel voor het afnemen van tentamens Items
Gemiddelde
Standaard deviatie
Item-totaal correlatie
Cronbach’s alpha if item deleted
1.
Ik ondersteun de afname van tentamens via de computer.
3.73
1.29
.72
.65
2.
Als ik zou mogen kiezen tussen een tentamen op papier of een computertentamen dan zou ik de volgende keer kiezen voor een computertentamen
2.79
1.60
.72
.64
3.
Ik vind het goed dat getracht is fraude te voorkomen door de toets in een gecontroleerde omgeving af te nemen
4.04
0.96
.36
.75
4.
Ik zou graag vaker tussentijdse toetsen op de computer willen maken
3.98
1.16
.63
.68
5.
Ik zou bij een openvraag tentamen liever gebruik maken van een computer dan van ‘pen en papier’
2.41
1.18
.35
.78
6.
Ik vond het prettig om direct na het afsluiten van mijn tentamen het resultaat te ontvangen
4.49
0.85
.29
.76
De mate waarin studenten tevreden zijn over het gebruik van de computer tijdens het tentamen Items
Gemiddelde
Standaard deviatie
Item-totaal correlatie
Cronbach’s alpha if item deleted
1.
Ik vond het vervelend dat ik de vragen alleen vanaf het computerscherm kon lezen (-)
1.45
1.35
.23
.54
2.
Mijn werkplek achter de computer was groot genoeg
4.21
0.76
.27
.52
3.
Ik vind één vraag op het gehele scherm prettiger dan alle vragen op één scherm Het gebruik van een markeringsboxje waarmee ik kan aangeven in hoeverre ik zeker ben van een antwoord is zinvol Het gebruik van een markeringsboxje waarmee ik kan aangeven in hoeverre ik zeker ben van een antwoord is verwarrend (-)
4.26
1.00
.20
.54
3.66
1.38
.43
.40
1.55
1.47
.44
.39
4. 5.
58
