UNIVERSITEIT GENT
FACULTEIT ECONOMIE EN BEDRIJFSKUNDE ACADEMIEJAAR 2009 – 2010
De invloed van gender en examen formaat op de prestaties van studenten Masterproef voorgedragen tot het bekomen van de graad van Master in de bedrijfseconomie
Sean Declerck onder leiding van Prof. Dr. Patricia Everaert
UNIVERSITEIT GENT
FACULTEIT ECONOMIE EN BEDRIJFSKUNDE ACADEMIEJAAR 2009 – 2010
De invloed van gender en examen formaat op de prestaties van studenten Masterproef voorgedragen tot het bekomen van de graad van Master in de bedrijfseconomie
Sean Declerck onder leiding van Prof. Dr. Patricia Everaert
-
PERMISSION Ondergetekende verklaart dat de inhoud van deze masterproef mag geraadpleegd worden en/of gereproduceerd worden, mits bronvermelding. Sean Declerck
Woord vooraf Hoewel het schrijven van een masterproef een voornamelijk individuele aangelegenheid is , heb ik toch kunnen rekenen op de steun van verschillende mensen. In de eerste plaats zou ik mijn promotor, Prof. Dr. Patricia Everaert willen danken voor de hulp bij het uitstippelen van de gebruikte structuur en voor de tips bij het uitvoeren van de data-analyse. Hierbij moet ook Evelien Opdecam zeker vermeld worden gezien zij mij doorheen het ganse traject uitstekend heeft begeleid. Verder wil ik mijn ouders, vrienden en collega’s bedanken voor de vele aanmoedigingen en de motivatie die ze me dagelijks gaven. Als laatste, maar zeker niet als minste, wil ik mijn vriendin bedanken voor de onvoorwaardelijke steun die ze me bij het maken van deze masterproef heeft gegeven. Niet alleen was ze er voor mij wanneer het eens wat minder ging, ze heeft me ook fantastisch geholpen door het lezen en herlezen van dit werk.
i
Inhoudsopgave
Woord vooraf ........................................................................................................ i Inhoudsopgave ..................................................................................................... ii Lijst van de gebruikte figuren ........................................................................... iv Lijst van de gebruikte tabellen .......................................................................... iv I. INLEIDING ................................................................................................... 1 II. LITERATUURONDERZOEK .................................................................... 3 2.1.
Gender bias in accounting ........................................................................................... 3
2.2.
Gender bias en item formaat ........................................................................................ 5
2.2.1.
Accounting ........................................................................................................... 5
2.2.2.
Andere vakgebieden ............................................................................................. 6
2.2.2.1.Gender bias en veranderen van antwoord .......................................................... 6 2.2.2.2.Gender bias en gokstrategie ............................................................................... 6 2.2.2.3.Gender bias en type vraag .................................................................................. 7 2.2.2.4.Gender bias en moeilijkheidsgraad van de vraag ............................................... 7 2.2.2.5.Gender bias en ervaring met examens ................................................................ 7
III. METHODOLOGIE ...................................................................................... 9 3.1.
Data ............................................................................................................................. 9
3.2.
Maatstaven van de variabelen ................................................................................... 10
3.3.
T-test ......................................................................................................................... 12
IV. RESULTATEN............................................................................................ 13 4.1.
Beschrijvende statistieken ......................................................................................... 13
4.2.
Dataset 1 – Eerstejaars Bachelor studenten ............................................................... 13
4.2 1.
Algemeen overzicht ............................................................................................ 13
4.2.2.
Gender en algemene prestatie............................................................................. 14 ii
4.2.3.
Gender en relatieve prestatie .............................................................................. 14
4.2.3.
Gender en type van de multiple-choice vraag .................................................... 15
4.2.4.
Gender en moeilijkheidsgraad van de vraag ...................................................... 15
4.2.5.
Discussie ............................................................................................................. 15
4.2.6.
Gender en totale score ........................................................................................ 16
4.3.
Dataset 2 – Masterstudenten ..................................................................................... 18
4.3.1.
Algemeen overzicht ............................................................................................ 18
4.3.2.
Gender en algemene prestatie............................................................................. 18
4.3.3.
Gender en relatieve prestatie .............................................................................. 19
4.3.4.
Gender en type van de multiple-choice vraag .................................................... 19
4.3.5.
Gender en moeilijkheidsgraad van de vraag ...................................................... 19
4.3.6.
Discussie ............................................................................................................. 19
4.4 . Hypotheseoverzicht ................................................................................................... 20 4.5 . Beperkingen van het onderzoek en verdere aanbevelingen ....................................... 21
IV. CONCLUSIE ............................................................................................... 22 Referentielijst ....................................................................................................... I
iii
Lijst van de gebruikte figuren Figuur 1 - Gemiddelde scores behaald op multiple-choice vragen en open vragen ............... 14 Figuur 2 - Gemiddelde scores van de masterstudenten op multiple-choice -en open vragen . 19
Lijst van de gebruikte tabellen Tabel 1 - Overzicht van de gebruikte variabelen ..................................................................... 11 Tabel 2 – Verhouding tussen mannelijke en vrouwelijke studenten ......................................... 13 Tabel 3 – Gemiddelde scores van de mannelijke en vrouwelijke Bachelorstudenten .............. 13 Tabel 4 – Gemiddelde scores van Bachelor studenten met een totale score ≥ 12 ................... 16 Tabel 5 – Gemiddelde scores van Bachelor studenten met een totale score < 12 ................... 17 Tabel 6 – Gemiddelde scores van de mannelijke en vrouwelijke Masterstudenten ................. 18
iv
I.
INLEIDING
Het gebruik van multiple-choice vragen bij examens accounting verloopt in stijgende lijn. Dit is duidelijk te merken aan de evolutie die het Certified Public Accountant (CPA) examen de laatste 40 jaar heeft ondergaan. Het CPA examen dient te worden afgelegd door Amerikaanse bachelorstudenten om een certificaat te bekomen dat nodig is om als accountant te kunnen werken. Ruim 30 jaar geleden merkten Jarnagin & Harris (1977) al op dat in de periode 19661975 het aandeel van multiple-choice vragen in het CPA examen was gestegen van negen tot 38 procent. Deze stijgende trend bleef zich verder zetten tot op heden. Tegenwoordig kan het examen online worden afgelegd en bestaat het reeds voor 80 % uit multiple-choice vragen (Snyder, 2004). Niet alleen in accounting wordt deze stijl van ondervragen meer en meer toegepast. Ook in andere disciplines kent het gebruik van multiple-choice een grote opmars. Voorbeelden hiervan zijn te vinden in economie (Chan & Kennedy, 2002; Walstad & Robson, 1997), wiskunde (Beller and Gafni, 2000; Gamer & Engelhard, 1999), programmeren (Simkin & Kuechler, 2003) en psychologie (Delgado and Prieto, 2003). Het toenemend gebruik van multiple-choice vragen wordt toegeschreven aan de vele voordelen die het formaat biedt in vergelijking met open vragen. Zo kan de ondervrager beduidend meer vragen stellen over een ruimer aantal thema’s en vermindert de arbeidslast om de examens te scoren drastisch (Jarnagin & Harris, 1977). De scoring verloopt niet alleen efficiënter, maar ook objectiever en meer betrouwbaar (Novicevic, Burrowes, Kastantin, 2005; Walstad & Becker, 1994). Daarnaast verkiezen ook studenten het oplossen van multiple-choice vragen boven dat van open vragen (Sommer & Sommer, 2009). Ze menen zich makkelijker te kunnen voorbereiden, tonen zich minder angstig voor het examen en denken dat ze meer kans hebben op slagen (Zeidner, 1987). Zeidner (1987) schrijft dit toe aan het niet zelf moeten formuleren van een antwoord en de mogelijkheid om te gokken bij het kiezen tussen de verschillende opties.
1
De mogelijkheid tot gokken wordt echter door meerdere onderzoekers als een nadeel van multiple-choice vragen beschouwd. Doordat de student kan gokken en kan steunen op het zich eenvoudigweg herinneren van een bepaald feit, is het onduidelijk in welke mate de student de vraag begrijpt en welk denkproces er schuilt achter het gekozen antwoord (Walstad & Becker, 1994). Verder zouden multiple-choice vragen niet in staat zijn om “hogere orde” denken en vaardigheden zoals begrip, analyse en synthese uit te lokken (Hancock, 1994). Eén van de grootste nadelen van het gebruik van multiple-choice is dat deze manier van ondervragen waarschijnlijk kan leiden tot gender bias (Ben-Shakhar & Sinai, 1991; Bolger & Kellaghan, 1990; Lumsden & Scott, 1987; Skinner, 1983). Bias wordt door Cole (1997) omschreven als consistente of systematische error in het meten van de vaardigheden van een student, waarbij de groepen in realiteit niet verschillen in die gemeten vaardigheden. Gender bias duidt dan op de verschillen in vaardigheden tussen man en vrouw. Uit meerder onderzoek in verschillende vakgebieden blijkt dat mannen gemiddeld gezien beter presteren dan vrouwen bij het afleggen van een multiple-choice examen (Bible, Simkin, Kuechler, 2008; Hassmen & Hunt, 1994; Ben-Shakhar & Sinai, 1991; Bolger & Kellaghan, 1990; Lumsden & Scott, 1987; Skinner, 1983). Anderzijds kan men ook stellen dat vrouwen beter presteren op open vragen in vergelijking met mannen (Lumsden & Scott, 1987). Ondermeer Traub & MacRury (1990) kwamen tot deze conclusie bij het bespreken van drie verschillende studies (Bolger, 1984; Murphy, 1982, 1980). Deze studies vonden in hun vakgebied een gender effect terug dat afhankelijk was van het soort vragen die gebruikt werden. Vrouwen presteerden telkens beter op de testen met open vragen dan op de testen met multiple-choice vragen. Men kan zich de vraag stellen welk soort examenvragen het best gebruikt worden om de kennis van een student te testen. Uit meerdere onderzoeken blijkt dat de kennis gemeten door het stellen van multiple-choice vragen hoog correleert met de kennis gemeten door open vragen (Bible et al., 2008; Hancock, 1994; Walstad en Becker, 1994). Wainer & Thissen (1993) gaan nog een stap verder door te stellen dat de leerstofbeheersing gemeten door open vragen zelfs beter kan gemeten worden door multiple-choice vragen. Hieruit zou men, samen met de vele voordelen die het gebruik van multiple-choice met zich meebrengt (zie supra), kunnen stellen dat alle examens kunnen worden opgesteld met (enkel) multiple-choice vragen.
2
Het opzet van deze studie is om verder na te gaan of het soort examenvraag en het gender van de student een invloed hebben op zijn of haar prestaties. Hiervoor voeren we een analyse uit op data afkomstig van examens accounting afgelegd door mannelijke en vrouwelijke studenten. Deze examens zijn opgebouwd uit gedeeltelijk multiple-choice vragen en open vragen. Dit brengt ons er toe om na te gaan of er gender verschillen aanwezig zijn in de prestaties op multiple-choice vragen en de open vragen en gaan we daarnaast op zoek naar de mogelijke oorzaken hiervan. Vooraleer we aanvatten met deze dataverwerking, geven we een overzicht van bevindingen aangaande de relatie tussen gender en prestaties op examens accounting. Daaropvolgend bieden we een overzicht van voorgaande onderzoeken die de link tussen gender bias en multiple-choice vragen proberen te verklaren. Na deze uiteenzetting gaan we over naar het eigenlijk onderzoeksopzet met een overzicht van de gevonden resultaten. Tenslotte worden de conclusies en bedenkingen geformuleerd.
II.
LITERATUURONDERZOEK
2.1.
Gender bias in accounting
Vooraleer we kunnen spreken van gender bias als gevolg van een bepaald examenformaat bij examens accounting gaan we na of gender een invloed uitoefent op de algemene prestaties in accounting. Een overzicht van de literatuur met betrekking tot de verschillen in prestatie als gevolg van gender bij studenten accounting geeft ons een wat onsamenhangend beeld. Toch kunnen we hier drie groeperingen in onderkennen. Enkele studies wijzen in de richting van betere prestaties voor mannen ( Lipe, 1989; Williams, 1990; Doran, Bouillon, Smith, 1991; Koh & Koh, 1999). Significante resultaten werden teruggevonden bij Doran et al. (1991) en Koh & Koh (1999). Doran et al. vonden dat mannen significant beter presteerden dan vrouwen in een inleidende cursus Accounting, maar dit resultaat werd niet bevestigd in de daaropvolgende cursus. Koh en Koh (1999) voerden een analyse uit op resultaten over een periode van drie jaar. Hoewel zij ook significante resultaten terugvonden in het voordeel van mannen bleek dit effect te verkleinen in de tijd. Mogelijke verklaring van deze gender verschillen vinden we terug bij Lipe (1989). Deze wees deze verschillen toe aan de invloed van gender van de onderwijzers. Mannen behaalden betere 3
resultaten wanneer ze onderricht kregen van mannelijke docenten en vrouwen scoorden beter bij vrouwelijke lesgevers. Een ander beeld vinden we terug bij onderzoeken van Mutchler, Turner en Williams (1987). Zij kwamen tot statistisch significante resultaten aan de hand van een longitudinale studie en een onderzoek gevoerd over drie universiteiten. In beide studies kwam duidelijk naar voor dat vrouwen beter presteerden dan mannen. Men wees dit toe aan de mogelijkheid dat vrouwen meer gemotiveerd waren doordat er toen beduidend minder vrouwelijke studenten waren dan mannelijke. Verder bemerkte men ook dat de prestaties van de studenten gerelateerd zijn aan de gender van de lesgever. Betere scores werden gehaald door zowel man als vrouw wanneer het een vrouwelijke lesgever betrof. Een derde groep van onderzoekers vindt dan weer geen significante gender verschillen terug in de prestaties van studenten accounting (Byrne & Flood, 2008; Keef & Roush, 1997; Carpenter, Friar, Lipe, 1993; Buckless, Lipe, Ravenscroft, 1991). Buckless et al. (1991) en Keef & Roush (1997) troffen op het eerste zicht wel gender effecten aan. Echter wanneer ze de studenten controleerden op academische vaardigheden verdween de gender bias bij de prestaties op examens accounting. Het is duidelijk dat dit overzicht niet leidt tot het vormen van een eenduidige conclusie. Dit brengt ons er toe verder na te gaan of er gender bias aanwezig is in de algemene prestaties van studenten bij examens accounting. Hiervoor stellen we onze algemene onderzoekshypothese voorop. H1: Er bestaat een verband tussen gender en prestaties op examens accounting. Als mogelijke oorzaak van gender bias in de prestatie van studenten accounting kwam enkel de interactie tussen student en lesgever naar voor. Begin jaren ’90 begonnen onderzoekers zich meer te focussen op de mogelijke relatie tussen gender en het soort examen. In wat volgt geven we hiervan een overzicht. We vangen aan met de bespreking van de aanwezige literatuur in accounting. Hieropvolgend verplaatsen we onze blik naar andere vakgebieden die dieper ingaan op de mogelijke oorzaken van deze link tussen gender en examentype.
4
2.2.
Gender bias en item formaat
2.2.1. Accounting Volgens Gul, Teoh & Shannon (1992) geeft de score op multiple-choice examens niet enkel de kennis weer die een student heeft over het bevraagde onderwerp. De score wordt volgens betreffende auteurs vooral beïnvloed door de individuele cognitieve stijl van de student. Cognitieve stijl omschrijft de verschillende manieren waarop personen informatie ontvangen, opslaan, verwerken en verzenden. De reden waarom we deze studie vermelden is omdat de auteurs verder ook controleerden of gender hierbij een rol speelt. Men vond dat gender geen invloed uitoefende op de cognitieve stijl en zo ook niet op de score behaald bij multiplechoice vragen. De resultaten worden echter door de onderzoekers zelf weinig generaliseerbaar geacht door de beperkte sample size, de experimentele setting en het beperken tot slecht een enkele universiteit. Een ander beeld zien we bij Lumsden & Scott (1995). Zij voerden een grootschalig onderzoek naar het gebruik van multiple-choice en open vragen in het toelatingsexamen economie voor studenten accounting. De resultaten tonen dat gender bias optrad én dat deze afhankelijk was van het gebruikte examentype. Op de multiple-choice vragen scoorden mannen hoger dan vrouwen en op de open vragen waren er geen gender verschillen aanwezig. Een laatste en meest recente studie komt van Bible et al. (2008). Zij maakten gebruik van meerdere examens accounting afgelegd door een groep van 15.000 studenten accounting aan een Amerikaanse universiteit. De examens bestonden telkens uit een deel multiple-choice en een deel open vragen. Men onderzocht of gender tot een verschil leidt tussen de scores op beide examen formaten. Een klein significant verschil werd gevonden. Vrouwen scoren ongeveer vier procent beter op de open vragen dan mannen. Samenvattend vinden we dus enerzijds een onderzoeksopzet dat geen gender verschillen onderkent (Gul et al., 1992) en anderzijds wijzen twee andere onderzoeken (Bible et al., 2008 ; Lumsden & Scott, 1995) op een voordeel van mannen (vrouwen) bij het oplossen van multiple-choice (open) vragen. Er is duidelijk nood aan verder onderzoek aangaande de relatie tussen gender en het soort examen. We stellen volgende onderzoekshypothese voorop.
5
H 2 : Gender leidt tot verschillende scores op multiple-choice vragen en open vragen in examens accounting. Mannen scoren beter op de multiple-choice vragen, vrouwen scoren beter op de open vragen. 2.2.2. Andere vakgebieden In de accounting literatuur worden geen mogelijke oorzaken voorgesteld die aan de basis kunnen liggen van de gender effecten die voorkomen bij het oplossen van multiple-choice vragen. Om hier een beter zicht op te krijgen moeten we de literatuur nagaan in de andere vakgebieden. Infra volgt een samenvatting van deze literatuur. Aan de hand van daar in terug te vinden bevindingen zullen we hypothesen vooropstellen die de oorzaak van de gender bias proberen te verklaren. 2.2.2.1.Gender bias en veranderen van antwoord Een eerste mogelijke oorzaak die naar voor komt is dat mannen en vrouwen verschillen in het aantal wijzigingen die ze maakten bij het beantwoorden van multiple-choice vragen. Skinner (1983) vond dat vrouwen dubbel zoveel van antwoord veranderden dan mannen. Dit bleek geen goede strategie te zijn. Procentueel gezien maakten vrouwen een minder aantal correcte veranderingen en lag hun eindresultaat significant lager. 2.2.2.2.Gender bias en gokstrategie Een ander onderscheid bij het oplossen van multiple-choice vragen is dat mannen en vrouwen op een andere manier gokken. Deze mogelijke reden van gender effecten werd voorgesteld door Bolger & Kellaghan (1990) en verder onderzocht door Ben-Shakhar & Sinai (1991). Zij stelden vast dat vrouwen de neiging hebben om meer multiple-choice items onbeantwoord te laten en dus minder te gokken in vergelijking met mannen. De auteurs vonden in deze studie gender bias terug maar deze bias kon slechts gedeeltelijk verklaard worden door de verschillende manier van gokken. Ander onderzoek toont aan dat wanneer gokken aangemoedigd wordt bij het oplossen van multiple-choice vragen, dus wanneer er geen toepassing is van giscorrectie, dit tot grotere gender verschillen leidt in het voordeel van mannen dan wanneer gokken wordt bestraft (giscorrectie wordt wel toegepast) (Pietro & Delgado, 1999).
6
2.2.2.3.Gender bias en type vraag Ook de aard van de vraag kan een rol spelen. Du Plessis & Du Plessis (2007) stelden multiple-choice vragen en open vragen zo op dat deze onderling met elkaar konden worden vergeleken. Volgens de auteurs kon op deze manier een meer directe vergelijking gemaakt worden tussen mannelijke en vrouwelijke studenten op gebied van hun relatieve prestaties op beide soort examens. De vragen waren onderverdeeld in drie verschillende categorieën : grafieken, kwantitatieve vragen en theorievragen. Bij de grafieken werden geen significante gender verschillen teruggevonden. Op de theorievragen scoorden vrouwen significant beter op zowel de multiple-choice vragen als op de open vragen. Bij de kwantitatieve vragen, waarbij men een berekening moest uitvoeren, scoorden mannen (vrouwen) significant beter op het multiple-choice (open vragen) gedeelte. Samenvattend wordt er enkel een verschil in prestatie tussen multiple-choice vragen en open vragen opgemerkt bij de vragen waar men een berekening moest uitvoeren. Dit brengt ons tot volgende onderzoekshypothese. H 3:
Mannen scoren significant beter op de multiple-choice vragen van kwantitatieve aard.
2.2.2.4.Gender bias en moeilijkheidsgraad van de vraag Gender bias kan volgens sommigen ook beïnvloed worden door de moeilijkheidsgraad van de vragen. Zo blijkt het oplossen van makkelijke vragen eenvoudiger te zijn voor vrouwen in vergelijking met mannen, terwijl mannen beter scoren op de moeilijke vragen in vergelijking met vrouwen (Bielinski & Davidson, 1998, 2001; Beller & Gafni, 2001). Makkelijke (moeilijke) vragen zijn die vragen die door de grootste groep studenten correct (foutief) worden beantwoord. Beller en Gafni (2001) berekenden de correlatie tussen item moeilijkheid en de gender effect grootte van het item. Met stijgende moeilijkheidsgraad bedroegen de correlaties respectievelijk 0,26; 0,47; 0,53. Aan de hand van deze gegevens veronderstelden de auteurs dat hoe moeilijker de items worden, hoe beter jongens presteren in vergelijking met meisjes. Dit brengt ons tot de volgende onderzoekshypothese. H 4:
Mannen (vrouwen) scoren beter op de moeilijke (makkelijke) multiple-choice vragen.
2.2.2.5.Gender bias en ervaring met examens Verder kunnen mannen en vrouwen verschillen in de manier waarop ze door de jaren heen ervaring opdoen om multiple-choice vragen op te lossen. Bij studenten blijken gender 7
verschillen groter te worden op later leeftijd (Cole, 1997). Een reden hiervoor kan zijn dat de snelheid waarmee mannen en vrouwen leren niet aan elkaar gelijk is (Lumsden en Scott, 1987). Vrouwen hebben volgens hen in de eerste jaren van hun studies een algemene voorsprong op mannen door hun superioriteit in het oplossen van open vragen. Maar doordat mannen sneller leren dan vrouwen keert deze voorsprong om tegen het einde van hun studieloopbaan. Op deze manier verkleint het voordeel dat vrouwen hebben bij het beantwoorden van open vragen en vergroot het nadeel dat ze ondervinden bij multiple-choice vragen. Ook Ben-Shakhar & Sinai (1991) komen tot een gelijkaardige vaststelling. Hun onderzoek richtte zich tot twee groepen, namelijk tieners en volwassenen. De gender verschillen in het voordeel van de man bij multiple-choice vragen waren groter en consistenter in de groep volwassenen. Een mogelijk hieraan gerelateerd fenomeen is testwiseness. Millman (1965) definieert testwiseness als de mogelijkheid die iemand bezit om de karakteristieken van een testformaat en/of de situatie waarin de test wordt afgenomen te gebruiken en zo een hogere score te bekomen. Los van de inhoud kan de student dus het antwoord afleiden uit bepaalde kenmerken van het testformaat. Testwiseness blijkt een grotere invloed te hebben op de prestaties geleverd bij multiple-choice vragen dan bij open vragen (Hayati & Ghojogh, 2008). Bridgeman & Morgan (1996) vonden dat studenten die beter presteren op multiple-choice vragen van een bepaalde test dan ook beter presteren op multiple-choice vragen van een andere test. In dit onderzoek kwam ook naar voor dat het vooral mannelijke studenten zijn die beter presteren op multiple-choice vragen. Van de meer ervaren studenten veronderstellen we dat ze al meer in contact zijn gekomen met beide types examens. Hierdoor zullen zij meer ‘testwise’ zijn ten opzichte van de minder ervaren studenten. Men kan dan ook verwachten dat de kloof tussen prestatie op multiplechoice vragen en open vragen groter zal worden naargelang het aantal jaren studie-ervaring dan men achter de rug heeft (Hayati & Ghojogh, 2008). Toegepast op de studenten in ons onderzoek kunnen we dus vermoeden dat het verschil in score tussen de multiple-choice vragen en de open vragen groter zal zijn bij de masterstudenten in vergelijking met de bachelorstudenten. Meer nog vermoeden we dat dit verschil groter zal zijn bij de mannelijke studenten aangezien de mannen volgens Lumsden en Scott (1987) sneller leren dan vrouwen en dit meer tot uiting komt bij het presteren op multiple-choice vragen. Dit wordt onze laatste onderzoekshypothese. 8
H5: Het verschil tussen de scores op multiple-choice vragen en open vragen zal bij de masterstudenten groter zijn in vergelijking met de bachelorstudenten. Verder zal dit verschil groter zijn voor de mannelijke studenten dan voor de vrouwelijke studenten.
III.
METHODOLOGIE
3.1.
Data
Om de onderzoekshypothesen te testen voeren we een data-analyse uit op de resultaten van het examen Accounting A. Dit examen werd afgelegd door studenten aan een grote Belgische universiteit in de periode 2008-2009. We werken met twee datasets. Enerzijds gebruiken we de scores van eerstejaars bachelorstudenten. Dit is de grootste groep waarvan het merendeel net van het middelbaar onderwijs is afgestudeerd. De andere groep is een verzameling van reeds afgestudeerde universiteitsstudenten die dit vak volgen als onderdeel van een extra masterjaar. De samenstelling van deze groep is zeer divers op gebied van voorgaande studies. Het examen werd opgebouwd uit twee delen. In het eerste deel werden 20 multiple-choice vragen beantwoord. Het tweede deel bestond uit vier open vragen. Bij de multiple-choice vragen kon men drie types vragen onderscheiden. 1. Kennisvragen: Dit zijn zuivere reproductievragen waarbij de student bijvoorbeeld de juiste definitie van een begrip moet geven. 2. Stellingvragen: Hier moet de student 1 of 2 stellingen beoordelen of deze waar of vals zijn. 3. Rekenvragen: De student dient een korte berekening uit te voeren om een oefening op te lossen. Bij alle multiple-choice vragen kon men kiezen tussen vijf opties, waarvan er slechts een juist was. Er werd geen giscorrectie toegepast. Een goed antwoord leverde 1 punt op, een fout antwoord 0 punten. De open vragen moest men schriftelijk beantwoorden en waren gericht op het oplossen van oefeningen zoals het aanvullen van journaalposten en integratievragen die peilen naar het inzicht in de jaarrekening. Elke vraag werd gequoteerd op 10 punten. 9
3.2.
Maatstaven van de variabelen
De totale score op het examen herleiden we tot een score op 20 en benoemen we als de variabele ‘TOT’. De totaalscore van de student op de multiple-choice vragen berekenen we door de som te nemen van de correct beantwoorde items in het multiple-choice gedeelte. Hierbij bekomen we een score op 20. Deze score definiëren we als de variabele ‘MC’. De totaalscore van de open vragen bekomen we door de som te nemen van de scores op de vier oefeningen in het open vragen gedeelte. Dit geeft ons een score op 40. Om te kunnen vergelijken met de score op het multiple-choice gedeelte zetten we deze score op 20. We labelen deze score als ‘OV’. Verder maken we in onze analyse een opdeling van de multiple-choice vragen op basis van het type van de vraag. We definiëren de variabelen als volgt: - ‘MC1’= som van de kennisvragen omgezet naar score op 20. - ‘MC2’= som van de stellingvragen omgezet naar score op 20. - ‘MC3’= som van de rekenvragen omgezet naar score op 20. Tot slot maken we een onderscheid tussen moeilijke en makkelijke multiple-choice vragen. De bijhorende variabelen definiëren we als volgt: -‘MCeasy’ = (som van de 10 best beantwoorde multiple-choice vragen) x 2. -‘MChard’ = (som van de 10 slechtst beantwoorde multiple-choice vragen) x 2. Wat we vooral willen nagaan in deze studie is of gender tot een verschil leidt in scores behaald op beide delen van het examen. In de literatuur vinden we twee verschillende manieren waarop dit wordt onderzocht. Enerzijds vinden we studies die een rechtstreekse vergelijking maken tussen de mannelijke en vrouwelijk studenten voor de variabelen ‘MC’ en ‘OV’. Zo krijgen we een beeld van wie er beter scoort op zowel multiple-choice als de open vragen. Deze manier wordt toegepast door ondermeer Lumsden & Scott (1995) en BenShakhar & Sinai (1991). Een belangrijk probleem dat deze manier van vergelijken stelt, is dat men niet kan verzekeren dat beide seksen over evenwaardige academische vaardigheden beschikken (Weaver & Raptis, 2001). Daarom opteren we hier om de relatieve gender verschillen te onderzoeken in de prestatie op multiple-choice vragen vergeleken met de open vragen. (Weaver & Raptis, 2001; Bolger & 10
Kellaghan, 1990; Murphy, 1982). We nemen het verschil in score behaald op multiple-choice en open vragen en kijken of dit verschil varieert voor de mannelijke en vrouwelijke studenten. Onze hypothese hier is dat er effectief een verschil zal te merken zijn. Mazzeo, Schmitt & Bleistein (1993) merkten drie mogelijke patronen op in hun analyse van verschillende onderzoeken die het effect van gender nagaan bij de scores op multiple-choice vragen en open vragen. Ten eerste kan de gemiddelde prestatie van de vrouwelijke studenten hoger liggen op beide soort examenvragen met een groter verschil in prestatie bij de open vragen dan bij de multiple-choice vragen. Ten tweede kan de gemiddelde prestatie van de mannen hoger liggen dan de vrouwen op beide soort vragen met een groter verschil in prestatie bij de multiplechoice vragen dan bij de open vragen. Ten derde kan de gemiddelde prestatie van de mannen hoger liggen dan de vrouwen op de multiple-choice vragen en ligt de gemiddelde prestatie van de vrouwen hoger dan de mannen op de open vragen. Wat de drie patronen gemeenschappelijk hebben is dat de mannelijke (vrouwelijke) studenten telkens relatief beter scoren op multiple-choice (open) vragen. In deze studie verwachten we dus ook een van voorgaande patronen terug te vinden. We definiëren hiertoe de variabele ‘MC-OV’ als het verschil tussen de score van de multiplechoice vragen en de score van de open vragen. We passen de methode om multiple-choice vragen te vergelijken met de open vragen eveneens toe op de reeds gedefinieerde variabelen. Een overzicht vinden we in tabel 1. Tabel 1 - Overzicht van de gebruikte variabelen
Variabele
Hetgeen de variabele meet
‘TOT’
Totale score behaald op het examen Accounting A
‘MC’
Score behaald op het deel met multiple-choice vragen
‘OV’
Score behaald op het deel met open vragen
‘MC-OV’
Relatieve score op de multiple-choice vragen ten opzichte van de open vragen
‘MC1-OV’
Relatieve score op de multiple-choice vragen (kennis) ten opzichte van de open vragen
11
‘MC2-OV’
Relatieve score op de multiple-choice vragen (stelling) ten opzichte van de open vragen
‘MC3-OV’
Relatieve score op multiple-choice vragen (reken) vergeleken met de open vragen
‘MCeasy-OV’
Relatieve score op de makkelijke multiple-choice vragen vergeleken met de open vragen
‘MChard-OV’
Relatieve score op de moeilijke multiple-choice vragen vergeleken met de open vragen
3.3.
T-test
Om de mannelijke en vrouwelijke studenten met elkaar te vergelijken voeren we een ‘independent samples t-test’ uit in het programma SPSS 17. Als testvariabelen selecteren we de supra gedefinieerde variabelen. Voor iedere variabele wordt een t-test uitgevoerd. De totale groep wordt opgesplitst in twee groepen aan de hand van de categorische variabele ‘gender’ (1 = mannelijk, 2 = vrouwelijk). De testen worden uitgevoerd met een significantieniveau van 0.05 Om twee groepen te kunnen vergelijken met behulp van een t-test moet de data van deze groepen aan bepaalde voorwaarden voldoen. Ten eerste dienen beide steekproeven normaal verdeeld te zijn. Zowel het aantal vrouwen en mannen bij de bachelor- als de masterstudenten zijn met meer dan dertig. We kunnen er hier dus vanuit gaan dat beide groepen bij benadering normaal zijn verdeeld. Ten tweede dienen beide steekproeven onafhankelijk van elkaar te zijn. De scores in bij de vrouwelijke studenten wordt niet beïnvloed door de score van de mannelijke studenten. Deze zijn dus onafhankelijk. Ten derde moeten de varianties van de twee onafhankelijke steekproeven aan elkaar gelijk zijn. Dit wordt gecontroleerd aan de hand van de Levine’s test voor varianties in SPSS. Wanneer voor sommige variabelen de varianties niet aan elkaar gelijk zijn, wordt een aangepaste t-test uitgevoerd. Dit duiden we aan met een asterisk naast de t-waarde in de tabellen.
12
IV.
RESULTATEN
4.1.
Beschrijvende statistieken
Dataset 1 bevat de resultaten van de 651 bachelorstudenten, dataset 2 deze van de 113 masterstudenten. Tabel 2 geeft een overzicht van de verhouding tussen mannelijke en vrouwelijk studenten voor zowel de bachelors als de masters. In beide groepen zijn er ongeveer 60 procent mannen. Tabel 2 – Verhouding tussen mannelijke en vrouwelijke studenten N
Bachelorstudenten
Aantal mannen (%)
Aantal vrouwen (%)
651
395 (60,7%)
256 (39,3%)
113
69 (61,1%)
44 (38,9%)
(Dataset 1) Masterstudenten (Dataset 2)
4.2.
Dataset 1 – Eerstejaars Bachelor studenten
4.2 1. Algemeen overzicht Tabel 3 geeft de gemiddelde scores weer van de mannelijke en vrouwelijke studenten op de in paragraaf 3.2. gedefinieerde variabelen. Daarnaast geven we ook de verkregen t-test score met bijhorend significantieniveau p. Tabel 3 – Gemiddelde scores van de mannelijke en vrouwelijke Bachelorstudenten Mannen
Vrouwen
t-test score
p-waarde
TOT
9,37
10,77
-4,284*
0,000
MC
12,40
13,26
-3,278
0,001
OV
7,85
9,52
-4,434*
0,000
MC-OV
4,55
3,74
2,959
0,003
MC1-OV
6,09
5,10
3,167
0,002
13
MC2-OV
4,08
3,80
0,646
0,519
MC3-OV
3,23
2,35
2,664
0,008
MCeasy - OV
6,92
5,94
3,571
0,000
MChard - OV
2,17
1,54
1,858*
0,064
4.2.2. Gender en algemene prestatie Zoals in tabel 3 weergegeven scoren vrouwen gemiddeld zeven procent beter dan mannen op het examen Accounting A. De t-test toont aan dat het een significant verschil betreft (p = 0,000). Verder kan men op figuur 1 duidelijk zien dat de vrouwen zowel op de multiplechoice vragen als op de geschreven vragen gemiddeld beter scoren dan de mannen. Deze gender effecten zijn bovendien significant voor zowel de multiple-choice vragen (p=0,001) als voor de open vragen (p = 0,000) (zie tabel 1).
Figuur 1 - Gemiddelde scores behaald op multiple-choice vragen en open vragen
4.2.3. Gender en relatieve prestatie Wanneer we de relatieve prestaties nagaan, krijgen we een ander beeld. Tabel 3 toont ons dat de mannelijke studenten in vergelijking met de vrouwelijke studenten significant beter scoren (gemiddeld vier procent) op de multiple-choice vragen ten opzichte van de open vragen (‘MC-OV’, p = 0,003). Mannen scoren gemiddeld 22,75 procent beter op de multiple-choice vragen. Voor vrouwen bedraagt dit verschil gemiddeld 18,70 procent.
14
4.2.3. Gender en type van de multiple-choice vraag Op elk type multiple-choice vraag presteren mannen beter dan vrouwen vergeleken met de open vragen. In tabel 3 zien we dat voor de kennis- en rekenvragen deze resultaten significant zijn (‘MC1-OV’, p = 0,002 en ‘MC3-OV’, p = 0,008). 4.2.4. Gender en moeilijkheidsgraad van de vraag De resultaten tonen ons dat op zowel de makkelijke als de moeilijke multiple-choice vragen de mannelijke studenten relatief beter scoren dan de vrouwelijke studenten in vergelijking met de open vragen. Enkel voor de makkelijke vragen is dit verschil significant (‘MCeasy – OV’ p=0,000). 4.2.5. Discussie Op basis van de analyse van de examens accounting A afgelegd door eerstejaarsstudenten vinden we significante gender verschillen terug in de totale score, e.g. op open vragen én op multiple-choice vragen. Vrouwen scoren gemiddeld zeven procent beter dan mannen. Dit ligt in de lijn van bevindingen die Mutchler et al. (1987) deden met betrekking tot de prestaties van studenten accounting. Bekijken we de relatieve prestaties op beide delen van het examen dan vinden we ook hier significante resultaten terug. Mannen scoren ongeveer 22,75 procent beter op multiple-choice vragen in vergelijking met open vragen. Daarentegen scoren vrouwen slechts 18,7 procent beter op de multiple-choice vragen. Het verschil in relatieve prestatie tussen mannen en vrouwen bedroeg vier procent en wordt significant bevonden (p = 0,003). Dit verschil van vier procent werd ook teruggevonden in de studie van Bible et al. (2008). Vrouwen scoorden in betreffend onderzoek gemiddeld vier procent beter dan mannen op de open vragen vergeleken met de multiple-choice vragen. Dit resultaat bevestigt ook de bevindingen in ander onderzoek dat mannen relatief beter scoren op multiple-choice vragen (Weaver & Raptis, 2001; Bolger & Kellaghan, 1990; Murphy, 1982). In bovenstaande resultaten herkennen we eveneens één van de patronen die Mazzeo, Schmitt & Bleistein (1993) onderscheidden. Vrouwen scoren beter op zowel multiple-choice vragen als op de open vragen met een groter verschil in prestatie bij de open vragen dan bij de multiple-choice vragen. Mogelijke oorzaken voor het beter scoren van mannen op multiple-choice vragen in vergelijking met open vragen worden verder onderzocht. Eerst gaan we na of mannen hun 15
voordeel behalen door significant beter te scoren op een bepaald type vraag. Dit is het geval voor de kennisvragen (vijf procent beter) en voor de rekenvragen (4,5 procent beter). Het beter presteren op de rekenvragen is een bevestiging van de bevindingen die Du Plessis & Du Plessis (2007) deden. Finaal vergelijken we de relatieve prestaties ook op moeilijkheidsgraad van de multiplechoice vraag. Uit de literatuur kunnen we verwachten dat op de makkelijke vragen de vrouwen relatief beter scoren dan de mannen en op de moeilijke vragen de mannen beter dan de vrouwen (Beller & Gafni, 2001). De link tussen de moeilijkheid van de vragen en het gender van de student kunnen we in deze onderzoeksresultaten echter niet terugvinden. 4.2.6. Gender en totale score Tijdens de analyses hebben we ook andere mogelijkheden onderzocht die mee kunnen spelen in het al dan niet aanwezig zijn van gender verschillen in de prestaties van studenten. We vinden een mogelijk interessant resultaat wanneer we de totale groep opdelen op basis van de totale score behaald op het examen. We onderscheiden twee groepen. De studenten in de ene groep hebben een totale score van 12 of hoger, de andere groep studenten heeft een totale score lager dan 12. Totale score ≥ 12 In tabel 4 geven we een overzicht van de gemiddelde scores behaald op de multiple-choice vragen, de open vragen en het verschil op beide. Tabel 4 – Gemiddelde scores van Bachelor studenten met een totale score ≥ 12 Mannen (N=128)
Vrouwen(N=106)
t-waarde
p-waarde
TOT
14,44
14,34
0,451
0,652
MC
15,41
15,58
-0,687
0,493
OV
13,95
13,72
0,790
0,363
MC-OV
1,46
1,85
-1,150
0,251
Wat meteen opvalt in tabel 4 is dat er geen significante verschillen terug te vinden zijn tussen man en vrouw noch voor de algemene prestaties noch voor de relatieve prestaties. We merken
16
eveneens op dat de kleine gender verschillen die hier optreden tegengesteld zijn aan die van de totale groep (zie Tabel 3). Mannen scoren iets beter dan vrouwen voor het totale examen en de vrouwen (mannen) scoren hier relatief beter op de multiple-choice (open) vragen. Totale score < 12 Tabel 5 – Gemiddelde scores van Bachelor studenten met een totale score < 12 Mannen (N=267)
Vrouwen (N=150)
t-waarde
p-waarde
TOT
6,94
8,24
-4,850
0,000
MC
10,95
11,62
-2,255
0,025
OV
4,93
6,55
-5,306
0,000
MC-OV
6,02
5,07
3,231
0,001
In de subgroep studenten die een lagere totale score dan 12/20 halen zijn de gemeten gender verschillen vergelijkbaar met die van de totale groep (zie tabel 5). Vrouwen scoren significant beter op het totale examen (p = 0,000). Mannen (vrouwen) scoren dan weer relatief beter op de multiple-choice (open) vragen (p = 0,001). Ook hier vinden we een gender verschil terug van vier procent. Discussie Als we de studenten opdelen in twee groepen op basis van hun totale score, merken we dat bij de groep die 12 of meer scoort de gender verschillen bijna volledig verdwijnen. Van een student die 12 of meer scoort op een examen mogen we veronderstellen dat hij een voldoende kennis heeft van het vak. Anderzijds zien we bij de slecht scorende groep (<12/20) de gender verschillen terugkomen die we eveneens zagen bij de analyse van de volledige groep bachelorstudenten. Dit kan erop duiden dat de invloed van gender op de prestaties voor beide examentypes enkel tot uiting komt wanneer de student over voldoende kennis beschikt over hetgeen waarover hij ondervraagd wordt. Nu kunnen we ons de vraag stellen waarom er wel gender verschillen merkbaar zijn bij de groep die minder dan 12 scoort op het examen. Wanneer de student over minder kennis beschikt over de ondervraagde leerstof zal hij logischerwijs minder zeker zijn van zijn antwoorden. Bij de multiple-choice vragen vertaalt die onzekerheid zich in een stijgend 17
gokgedrag. Aangezien er in dit examen geen giscorrectie wordt toegepast, wordt er op basis van vorig onderzoek (Pietro & Delgado, 1999) verwacht dat er gender verschillen zullen zijn in prestatie in het voordeel van de mannelijke studenten. Dit kunnen we in dit opzet ook vaststellen.
4.3.
Dataset 2 – Masterstudenten
Tabel 6 geeft de samenvattende statistieken weer van de uitgevoerde t-testen op de in paragraaf 3.2. gedefinieerde variabelen met betrekking tot de masterstudenten. 4.3.1. Algemeen overzicht Tabel 6 – Gemiddelde scores van de mannelijke en vrouwelijke Masterstudenten Mannen
Vrouwen
t-waarde
p-waarde
TOT
11,04
11,77
-1,090
0,278
MC
13,30
13,39
-0,145
0,885
OV
9,91
10,97
-1,329
0,186
MC-OV
3,41
2,42
1,656
0,101
MC1-OV
4,82
4,17
1,034
0,303
MC2-OV
2,65
4,19
-,1,191
0,236
MC3-OV
1,73
-0,78
3,091
0,03
MCeasy-OV
6,33
5,85
0,749
0,351
MChard-OV
0,52
-0,93
1,960
0,53
4.3.2. Gender en algemene prestatie In tabel 6 zien we dat vrouwelijke studenten ook in deze groep beter presteren dan de mannen. Ze halen een score die gemiddeld 3,5 procent hoger ligt dan de score van de mannen. Het verschil is echter niet significant (p= 0,278). Op figuur 2 is te zien dat vrouwen gemiddeld gezien hoger scoren op beide soort vragen met een duidelijk voordeel op de open vragen.
18
Figuur 2 - Gemiddelde scores van de masterstudenten op multiple-choice -en open vragen
4.3.3. Gender en relatieve prestatie Bekijken we in tabel 6 de relatieve prestatie van multiple-choice vragen vergeleken met open vragen (‘MC-OV’) dan doen de mannen het hier om en bij vijf procent beter dan de vrouwen. Alhoewel dit geen significant resultaat betreft (p = 0,101), merken we wel een stijging van één procent ten opzichte van de bachelorstudenten. 4.3.4. Gender en type van de multiple-choice vraag Voor kennisvragen en stellingen in het multiple-choice gedeelte worden er geen significante discrepanties met de open vragen waargenomen. In tabel 6 zien we echter wel dat voor de multiple-choice vragen van kwantitatieve aard - de rekenvragen - in vergelijking met de open vragen mannen significant beter scoren dan vrouwen (p = 0,03). Dit verschil (12,5 procent beter) ligt een stuk hoger vergeleken met de bachelorstudenten (4,5 procent beter). Dit resultaat bevestigt nogmaals het onderzoek van Du Plessis & Du Plessis (2007). 4.3.5. Gender en moeilijkheidsgraad van de vraag De resultaten in tabel 6 tonen ons dat op zowel de makkelijke als de moeilijke multiple-choice vragen de mannelijke studenten relatief beter scoren dan de vrouwelijke studenten in vergelijking met de open vragen. Geen van beide verschillen zijn significant. 4.3.6. Discussie Analyse van de prestaties van de masterstudenten op het examen Accounting A leert ons dat we ook hier één van de patronen terug vinden zoals in de studie van Mazzeo, Schmitt & Bleistein (1993). Gelijkaardig aan de bachelorstudenten behalen de vrouwen een hogere totale score in vergelijking met de mannen door zowel op de multiple-choice vragen als op de open vragen beter te presteren. Echter wordt dit resultaat hier niet significant bevonden. 19
Wat de relatieve prestaties betreft scoren mannen (vrouwen) ook hier relatief beter op de multiple-choice (open) vragen. Belangrijk voor ons onderzoek, hoewel het geen significant resultaat betreft (p = 0,101), is dat dit verschil in relatieve prestatie tussen man en vrouw gestegen is ten opzichte van de bachelorstudenten van vier procent naar vijf procent. De oorzaak hiervan is dat de kloof in prestatie tussen man en vrouw bij de masterstudenten kleiner is geworden (ten opzichte van de bachelorstudenten) op de multiple-choice vragen in vergelijking met de open vragen. Dit kunnen we ook zien als we figuur 1 en 2 met elkaar vergelijken. Het verschil in multiple-choice is nagenoeg verdwenen, maar het verschil in open vragen is nog steeds aanwezig. Een mogelijke verklaring kan gevonden worden bij Lumsden en Scott (1987). Zij stellen immers dat het voordeel van mannen in de prestatie op multiple-choice vragen vergroot en het nadeel op open vragen verkleint op latere leeftijd. In onze studie stellen we een gelijkaardige trend vast. De prestatie van mannen in vergelijking met vrouwen stijgt op beide examentypes, maar meer op de multiple-choice vragen dan op de open vragen. Als mogelijke oorzak voor het beter scoren van mannen op multiple-choice vragen in vergelijking met open vragen vinden we een significant resultaat terug met betrekking tot het type multiple-choice vraag. Mannen scoren zoals bij de bachelorstudenten significant beter op de multiple-choice vragen van kwantitatieve aard. Als laatste gaan we het verband na tussen gender en moeilijkheidsgraad van de multiplechoice vraag. Net als bij de bachelorstudenten vinden we ook hier geen significante verschillen terug. 4.4 .
Hypotheseoverzicht
Hypothese 1 stelt dat er een verband bestaat tussen gender en de prestaties van studenten op het examen accounting. In beide datasets vinden we een verband terug. De vrouwelijke studenten behalen een gemiddeld hogere score op het examen in vergelijking met de mannelijke studenten. Bij de bachelorstudenten zijn de verschillen in score significant. Bij de masterstudenten is dit niet het geval. Hypothese 2 gaat ervan uit dat gender tot verschillende scores leidt op multiple-choice vragen en open vragen in examens accounting, meer bepaald dat mannen beter scoren op de multiple-choice vragen en dat vrouwen beter scoren op de open vragen. Resultaten in beide datasets geven aan dat mannen (vrouwen) relatief beter scoren op multiple-choice (open) 20
vragen. Ook hier is dit resultaat significant bij de bachelorstudenten maar niet bij de masterstudenten. Hypothese 3 meent dat mannelijke studenten beter scoren dan vrouwelijke studenten op de multiple-choice vragen waarbij een berekening moet worden gemaakt. Zowel bij de bachelorals de masterstudenten vinden we hiervoor bevestiging, telkens met significante resultaten. Hypothese 4 onderstelt dat mannen beter scoren op de moeilijke multiple-choice vragen en dat vrouwen beter scoren op de makkelijke multiple-choice vragen. In beide datasets wordt er geen verband gevonden tussen gender, moeilijkheidsgraad van de vraag en prestaties. Hypothese 5 stelt dat het verschil tussen de scores op multiple-choice vragen en open vragen groter is bij de masterstudenten in vergelijking met de bachelorstudenten. Dit effect zal groter zijn bij de mannelijke studenten. We vinden dat het verschil tussen man en vrouw in de relatieve prestaties op multiple-choice vragen vergeleken met open vragen groter is bij de masterstudenten dan bij de bachelorstudenten. 4.5 .
Beperkingen van het onderzoek en verdere aanbevelingen
De studie is beperkt tot de studenten van een enkele universiteit wat generalisatie niet toelaat. Eveneens is de academische achtergrond van deze studenten niet bekend. Zo is het mogelijk dat een student in 1e Bachelor reeds meerdere jaren dezelfde en/of een andere studierichting heeft gevolgd, waardoor die persoon over beduidend meer studie-ervaring beschikt dan iemand die net uit het middelbaar onderwijs voortvloeit. Van de masterstudenten gaan we er van uit dat zij meer ervaring hebben met het oplossen van multiple-choice vragen. Aangezien deze groep van studenten over verschillende academische achtergronden beschikt en er niet in elk vakgebied evenveel gebruikt gemaakt wordt van multiple-choice vragen, kunnen we er niet van uitgaan dat alle leden uit deze groep over evenveel ervaring zullen beschikken. Als suggestie voor verder onderzoek lijkt het interessant om deze studie uit te breiden naar enerzijds meerdere universiteiten en anderzijds om te controleren op andere variabelen die ons toelaten om meer te differentiëren naar testwiseness toe. Mogelijke variabelen zijn het aantal jaren voorgaande ervaring in dezelfde universiteitsstudie, het aantal jaren voorgaande ervaring met een of meerdere andere universiteitsstudies. Deze variabelen dienen als maatstaf voor het aantal multiple-choice examens die de student reeds heeft afgelegd. 21
Een volgende suggestie voor verder onderzoek betreft de aandacht voor de bevindingen rond de relatie tussen gender bias en de leerstofbeheersing van de student. Het lijkt ons aangewezen verder uit te diepen of dit ook in ander onderzoek significante resultaten met zich meebrengt. Indien uit multipel onderzoek blijkt dat gender bias enkel en alleen optreedt bij studenten die de leerstof niet voldoende beheersen, dan werpt dit een ander licht op de manier waarop de ontwikkelaars van tests deze op de beste manier kunnen opstellen zodat gender bias wordt vermeden.
IV.
CONCLUSIE
Multiple-choice vragen worden meer en meer een vaste waarde in de opstelling van examens. Dit is niet verwonderlijk te noemen. Het verbeteren van multiple-choice vragen verloopt stukken sneller en eenvoudiger dan bij open vragen doordat dit machinaal kan gebeuren. Ook hebben de meeste studenten een voorkeur om hun examens af te leggen aan de hand van multiple-choice vragen (Zeidner, 1987). Meerder onderzoek toont echter aan dat door het gebruik van multiple-choice vragen in een examen er gender bias ontstaat (Bible, Simkin, Kuechler, 2008; Ben-Shakhar & Sinai, 1991; Bolger & Kellaghan, 1990). Examens worden op academisch en professioneel gebied gebruikt om belangrijke beslissingen te nemen. Het is dan ook in het belang van zowel de tester als de geteste dat men kan verzekeren dat de afgenomen test niet in het voordeel of nadeel van mannen of vrouwen speelt, en aldus onderhevig is aan gender bias. Dit proefschrift onderzoekt in welke mate gender en examen formaat een invloed uitoefenen op de prestaties van studenten. Hiertoe voeren we een data-analyse uit op de resultaten van het examen accounting A afgelegd door 651 bachelorstudenten en 113 masterstudenten aan een grote Belgische universiteit. We vinden dat mannen (vrouwen) beter scoren op multiplechoice (open) vragen. Beide soort examenvragen brengen dus een gender bias met zich mee. Deze studie gaat verder dan voorgaande onderzoeken in accounting door dieper in te gaan op welke andere factoren er mee aan de oorzaak kunnen liggen van gender bias bij prestaties op verschillende types examenvragen. We vinden dat mannen een duidelijk voordeel hebben bij het oplossen van multiple-choice vragen waarbij een berekening moet worden uitgevoerd. Daarnaast vinden we ook terug dat de relatieve gender verschillen groter zijn bij de meer ervaren, - en dus over meer testwiseness beschikkende- masterstudenten in vergelijking met de eerstejaars bachelorstudenten. 22
Als algemene conclusie kunnen we het belang van het gebruik van beide soorten examenvragen in examens accounting onderstrepen. Geen van beide formaten kan boven de ander worden verkozen, gezien beide formaten gender bias met zich meebrengen. Daar mannen een relatief voordeel ondervinden bij het oplossen van multiple-choice vragen, geldt dit relatieve voordeel ook voor vrouwen bij het oplossen van open vragen.
23
Referentielijst
Bacon, D. R. (2003). Assessing learning outcomes: a comparison of multiple-choice and short answer questions in a marketing context, Journal of Marketing Education, 25(1), pp. 31-36. Ben-Shakhar, G., & Sinai Y. (1991). Gender differences in multiple-choice tests: the role of differential guessing tendencies, Journal of educational measurement, 28(1), pp. 23-35. Bible, L. et al. (2008). Using multiple-choice tests to evaluate student’s understanding of accounting, Accounting Education, 17(S), pp. 55-68.
Bielinski, J., & Davidson, M. L. (1998). Gender differences by item difficulty interactions in multiple-choice mathematics items, American Educational Research Journal, 35, pp. 455476.
Bielinski, J., & Davidson, M. L. (2001). A sex difference by item difficulty interaction in multiple-choice mathematics items administered to national probability samples, Journal of Educational Measurement, 38(1), pp. 51-77
Bolger, N., & Kellaghan, T. (1990). Method of measurement and gender differences in scholastic achievement, Journal of Educational Measurement, 27(2), pp. 165-174.
Bridgeman, B., & Morgan, R. (1996). Succes in college for students with discrepancies between performance on multiple-choice and essay
tests. Journal of Educational
Psychology,88, pp. 333-340.
Buckless, F. A., Lipe, M.G., & Ravenscroft, S. P. (1991). Do gender effects on accounting course performance persist after controlling for general academic aptitude?, Issues in Accounting Education, 6(2), pp. 1-15.
Byrne, M., & Flood B. (2008) Examining the relationships among background variables and academic performance of first year accounting students at an Irish University, Journal of Accounting Education, 26, pp. 202 – 212.
I
Carpenter, V. L., Friar, S., & Lipe, M. G. (1993). Evidence on the performance of accounting students: race, gender and expectations, Issues in Accounting Education, 8(1), pp. 1-15
Delgado, A. R., & Prieto, G. (2003) The effect of item feedback on multiple-choice test responses, British Journal of Psychology, 91(1), pp. 73 – 85.
Doran, B. M., Bouillon, M., & Smith, C.G. (1991). Determinants of student performance in Accounting Principles I and II, Issues in Accounting Education, 6(1), pp. 74-84.
Du Plessis, S., & Du Plessis S. (2007) A new and direct test of the ‘gender bias’ in multiplechoice questions, Stellenbosch Economic Working Paper.
Gul, F. A., Teoh, H. Y., & Shannon, R. (1992) Cognitive style as a factor in accounting students’ performance on multiple choice examinations, Accounting Education, 1(4), pp. 311-319.
Hayati, A. M. & Ghojogh, A. N. (2008) Investigating the influence of proficiency and gender on the use of selected test-wiseness strategies in higher education, English Language Teaching, 1(2), pp. 169-181.
Hancock, G. R. (1994) Cognitive complexity and the comparability of multiple-choice and constructed-response test formats, Journal of Experimental Education, 62(4), pp 143-158. Harris, J. K. and Jarnagin B. D. (1977) Teaching with multiple choice questions, The Accounting Review, 52(4), pp. 930-934.
Hassmen, P. and Hunt, D. P. (1994) Human self-assessment in multiple-choice testing, Journal of educational measurement, 31(2), pp. 149-160.
Keef, S. P., & Roush, M. L. (1997) New Zealand evidence on the performance of accounting students: Race, gender and self-concept, Issues in Accounting Education, 12(2), pp. 315330.
II
Kuechler, L., & Simkin, G. (2001) How well do multiple choice tests evaluate student understanding in computer programming classes?, Journal of information System Education, 14(4), pp. 389 – 399.
Koh, M., & Koh, H. (1999) The determinants of performance in an accountancy degree program, Accounting Education, 8(1), pp. 13-29.
Lipe, M.G. (1989) Further evidence on the performance of female versus male accounting students, Issues in Accounting Education, 4(1), pp. 144-152
Lumsden, K. G. and Scott, A. (1987) The economic student reexamined : male-female differences in comprehension, Research in Economic Education, fall, pp. 365-375.
Lumsden, K. G. and Scott, A. (1995) Economic performance on multiple choice and essay examinations: a large-scale study of accounting students, Accounting Education, 4(2), pp. 153-167.
Mazzeo, J., Schmitt, A. , & Bleistein, C. (1993) Sex-related differences on constructed response and multiple-choice sections of Advanced Placement Examinations (CB Report No. 927, ETS RR 93-5). New York: College entrance Examination Board Murphy, R. J. L. (1982). Sex differences in objective test performance, British Journal of Educational Psychology, 52, pp. 213-219.
Mutchler, J. F., Turner, J. H., & Williams, D. D. (1987). The performance of female versus male accounting students, Issues in Accounting Studies, 2(1), pp. 103-111. Novicevic, M. et al. (2005) The ethics of instruction, Accounting Education, 14(3), pp. 339340.
Prieto, G., & Delgado, R. (1999) The role of instructions in the variability of sex-related differences in multiple-choice tests, Personality and Individual Differences, 27(6), pp.1067-1077.
III
Skinner, N. F. (1983) Switching answers on multiple-choice questions: Shrewdness or shibboleth?, Teaching of psychology, 10(4), pp.220-222. Snyder, A. (2004) Pilot test reveals dramatic changes, Journal of Accountancy, 197(2), pp.1112. Sommer, R., & Sommer, B. (2009) The dreaded essay exam, Teaching of Psychology, 36, pp 197 – 199.
Walstad, W. B. and Becker, W. E. (1994) Achievement differences on multiple choice and essay tests in economics, American Economic Review, 84(2), pp. 193-196
Weaver, J., & Raptis, H. (2001) Gender differences in introductory atmospheric and oceanic science exams: multiple choice versus constructed response questions, Journal of Science Education and Technology, 10, pp. 115-126.
Williams, L. K. (1991) A synthesis of research studies on performance of male and female accounting students, The Woman CPA, 22, pp. 14-15.
Willingham, W. W., & Cole, N. S. (1997) Gender and fair assessment. Mahwah, NJ: Lawrence Erlbaum Associates.
Zeidner, M. (1987) Essay versus multiple-choice type classroom exams: the student’s perspective,
Journal
of
Educational
Research,
80(6),
pp.352-358.
IV
