Analyseverslag. Probleemoplossend vermogen. bij Applicatieontwikkelaars. Master Professioneel Meesterschap

Analyseverslag

Probleemoplossend vermogen bij Applicatieontwikkelaars

Master Professioneel Meesterschap

Auteur:

E.H. van Vliet B. van Veldhuizen

Begeleidende docenten: A. Vermeulen Versie:

V1.2

Datum:

27 oktober 2013

Samenvatting In het kader van de opleiding Professioneel Meesterschap in het MBO is binnen de ICT academie Leiden een onderzoek uitgevoerd naar het probleemoplossend vermogen van eerstejaars studenten applicatieontwikkeling. Dit onderzoek laat zien dat het lastig is te voorspellen welke studenten deze vaardigheid bezitten of makkelijk ontwikkelen en welke studenten er juist problemen mee hebben. De belangrijkste conclusie die getrokken kan worden is dat studenten die in hun vooropleiding een 7 of hoger hebben gescoord voor het vak wiskunde succesvol zijn in de opleiding. De aanleiding voor dit onderzoek was het grote verschil tussen de studenten op het gebied van probleem oplossend vermogen. Sommige studenten bezitten het van nature en andere leren het ondanks de moeite die ze er in steken nauwelijks. Op het moment dat we de student bij binnenkomst al kunnen helpen bij het leren problemen op te lossen kunnen we het succes van de student in de opleiding vergroten. Uit de onderzochte literatuur blijkt dat wereldwijd veel instituten soortgelijke verschillen tussen studenten zien en daarom onderzoek verrichten naar voorspellers van succes in het programmeren. In het theoretisch kader zijn uit deze onderzoeken indicatoren gedestilleerd die ook voor onze studenten van toepassing kunnen zijn. Deze indicatoren zijn vergeleken met de data die aan het begin van het opleiding over de student verzameld worden in de vorm van intaketoetsen en vooropleidingresultaten. Dat heeft geresulteerd in een selectie van variabelen waarover de rest van het onderzoek is uitgevoerd. Daarnaast is voor de resultaten van de student gedurende de opleiding de rapportage gebruikt zoals deze aan het einde van het eerste opleidingsjaar aan de student verstrekt wordt. Bij het verwerken van de data is er voor gekozen eerst de gegevens van de rapportage aan het einde van het eerste leerjaar te groeperen in een aantal categorieën. Na het groeperen is de samenhang tussen deze cijfers gevalideerd middels het bepalen van Cronbach’s α over de categorieën. De resulterende categorieën zijn gebruikt om correlatie tussen de voorhanden gegevens aan het begin en aan het eind van het schooljaar te vinden. Voor die gevallen waar inderdaad correlatie gevonden wordt is vervolgens een regressieanalyse uitgevoerd om te bepalen hoe sterk het verband tussen de variabelen is. Belangrijkste aanbeveling uit dit onderzoek is het ontwikkelen van een programma rondom het oplossen van problemen en dit aan te bieden aan studenten die op grond van hun wiskunde resultaat in de vooropleiding moeite kunnen hebben met het verwerven van deze vaardigheid.

Inhoudsopgave Samenvatting ........................................................................................................................................... 2 1 Inleiding ....................................................................................................................................... 5 2 Geschiedenis van de onderzoekvraag ........................................................................................ 6 3 Doelstelling .................................................................................................................................. 7 4 Het theoretisch kader .................................................................................................................. 8 4.1 Probleemoplossend vermogen ................................................................................................... 8 4.2

Abstractievermogen.................................................................................................................... 8

4.2.1

Numerieke aanleg................................................................................................................ 9

4.2.2

Redeneervermogen ............................................................................................................. 9

4.2.3

Evaluatie vermogen ........................................................................................................... 10

4.2.4

Ruimtelijk inzicht ................................................................................................................ 10

4.3

Wiskunde en natuurkunde in de vooropleiding ........................................................................ 10

4.4

Toepasbaarheid in het MBO .................................................................................................... 11

4.5

Conceptueel model ................................................................................................................... 11

4.6

Variabelen en variabelenschema ............................................................................................. 12

4.7

Onderzoeksvraag ..................................................................................................................... 12

5 5.1

Onderzoeksopzet....................................................................................................................... 13 Instrumentarium ........................................................................................................................ 13

5.1.1

Variabelen intaketest ......................................................................................................... 13

5.1.2

Variabelen rapportage eerste leerjaar ............................................................................... 16

5.1.3

Variabelen vooropleiding ................................................................................................... 17

5.2

Onderzoeksgroep ..................................................................................................................... 17

5.3

Dataverzameling ....................................................................................................................... 18

5.3.1

Intake test resultaten ......................................................................................................... 18

5.3.2

Resultaten vooropleiding ................................................................................................... 19

5.3.3

Resultaten eerste studiejaar .............................................................................................. 19

5.4

Dataverwerking en analyse ...................................................................................................... 19

5.5

Voorbereiden data .................................................................................................................... 19

5.6

Betrouwbaarheid en validiteit ................................................................................................... 20

5.6.1

Categorie rekenvakken ...................................................................................................... 20

5.6.2

Categorie programmeer vakken ........................................................................................ 20

5.6.3

Cronbach’s α voor de categorie databases ....................................................................... 20

5.6.4

Niet technische vakken ...................................................................................................... 20

5.7

Validiteit gegevens intaketest ................................................................................................... 21

6 6.1

Resultaten van het onderzoek ................................................................................................... 22 Statistische analyse .................................................................................................................. 22

6.1.1

e

Intaketest en resultaten technische vakken na het 1 schooljaar...................................... 22 Eric van Vliet Master Professioneel Meesterschap in het MBO

-3-

6.1.2

Intake testresultaten en resultaten niet technische vakken na het eerste schooljaar ....... 24

6.1.3

Wiskunde en Natuur- en Scheikunde en resultaten na het eerste schooljaar .................. 25

6.1.4 Wiskunde en Natuur en Scheikunde en de resultaten voor niet technische vakken na het eerste schooljaar ................................................................................................................................... 27 6.2

Correlaties tussen resultaten eerste leerjaar onderling ............................................................ 27

7 7.1

Conclusies van het onderzoek .................................................................................................. 30 Intaketoets voorspeller succes in eerste jaar opleiding? .......................................................... 30

7.1.1

Correlatie tussen Cijfers en Rekenen ................................................................................ 30

7.1.2

Correlatie tussen Evaluatievermogen en Databases ........................................................ 31

7.2

Resultaat Wiskunde in de vooropleiding .................................................................................. 31

7.3

Natuur- en Scheikunde in de vooropleiding ............................................................................. 31

7.4

Resultaten aan het einde van leerjaar 1................................................................................... 32

7.4.1

Correlatie Niet technische vakken en Databases .............................................................. 32

7.4.2

Correlatie Programmeren en Rekenen.............................................................................. 32

8 8.1

Discussie ................................................................................................................................... 33 Resultaten intake test versus resultaten eerste leerjaar .......................................................... 33

8.1.1

Evaluatievermogen en Databases ..................................................................................... 34

8.1.2

Cijfers en Rekenen ............................................................................................................ 34

8.2

Wiskunde versus Rekenen, Programmeren en Databases ..................................................... 34

8.3

Resultaten aan het einde van leerjaar 1 onderling ................................................................... 34

8.4

Opmerkelijke bevindingen ........................................................................................................ 35

8.4.1

Numerieke aanleg.............................................................................................................. 35

9 9.1

Aanbevelingen ........................................................................................................................... 36 Extra begeleiding bij lage wiskunde resultaten ........................................................................ 36

9.2

Verder onderzoek ..................................................................................................................... 36

9.3

Interventie voorstel ................................................................................................................... 36

10

Literatuurlijst .............................................................................................................................. 38

Eric van Vliet Master Professioneel Meesterschap in het MBO

-4-

1

Inleiding De opleiding Applicatieontwikkelaar aan de ICT academie Leiden start elk schooljaar met een groot aantal studenten. Van deze studenten valt gedurende de looptijd van de opleiding een deel uit. Deze uitval wordt deels veroorzaakt doordat de student een verkeerde keuze heeft gemaakt en deels doordat de opleiding te moeilijk gevonden wordt. Een deel van de problemen voor de student lijkt te gaan over het oplossen van problemen in programmeertalen. In tegenstelling tot veel andere vakgebieden zijn er bij het programmeren nauwelijks standaard werkwijzen voor het oplossen van de problemen. Ook in mijn voormalige werkkringen als Applicatieontwikkelaar kreeg ik al te maken met projectleden die het lastig vonden om een probleem te analyseren en deze analyse te verwerken in een computerprogramma. In het kader van mijn studie Professioneel Meesterschap heb ik de mogelijkheid gekregen om onderzoek te verrichten naar het probleemoplossend vermogen van onze studenten in de opleiding tot Applicatieontwikkelaar. Daarvoor wordt gebruik gemaakt van een nulmeting bij de start van de opleiding op basis van de voor studenten verplichte intaketoets, en een meting aan het einde van het eerste schooljaar op basis van de tot dan toe behaalde resultaten van de student. Met deze gegevens als basis wordt vervolgens naar correlaties gezocht tussen beide groepen data. Dit ten doel een voorspelling te kunnen doen over de capaciteiten van de studenten op het gebied van probleemoplossend vermogen. Centrale vraag daarbij is hoe het probleemoplossend vermogen van de studenten bij de start van hun opleiding in kaart te brengen is. Deelvragen daarbij zijn de waarde van Wiskunde en Natuur- en Scheikunde in de vooropleiding. Het onderzoek is verricht onder studenten Applicatieontwikkeling. Daarmee is specifiek gezocht op de kenmerken die in dat vakgebied van belang zijn. Transfer van de onderzoeksopzet naar andere opleidingen is evenwel mogelijk. Ook daar wordt gebruik gemaakt van de intaketoets en van rapportages. De gebruikte analyses zijn daarom ook bij andere opleidingen toepasbaar.


-5-

2

Geschiedenis van de onderzoekvraag In mijn werk als docent applicatieontwikkeling aan de ICT academie Leiden kom ik jaarlijks met nieuwe studenten in aanraking die kiezen voor de studierichting applicatieontwikkeling. Bij het lesgeven in programmeervaardigheden aan deze nieuwe studenten valt het me op dat er onderscheid te maken valt tussen studenten die met relatief gemak de stof leren beheersen en toepassen terwijl er anderzijds studenten zijn die daar juist de grootst mogelijke moeite mee hebben. Deze zelfde observaties maken ook andere onderzoekers, zij het dan bij studenten aan universiteiten in informatica studierichtingen (Roberts, 2009; Kramer, 2006). De problemen die de studenten ervaren, liggen daarbij niet zo zeer op het vlak van reproduceren van de losse programmeerconstructies, maar vooral op het combineren van de constructies tot werkende programma’s. De vraag die me daarbij al langere tijd bezighoudt, is de manier waarop de studenten in de richting applicatieontwikkelaar in de context van hun vakgebied problemen leren oplossen. Sommige studenten komen de opleiding binnen en kunnen dan al op een bepaalde manier redeneren die past bij het oplossen van problemen in de vorm van computerprogramma’s. Andere studenten krijgen op uiteenlopende manieren les in het programmeren maar om een of andere reden wil het kwartje daarbij niet vallen. Studenten applicatieontwikkelaar zullen voor het uitoefenen van hun beroep problemen op moeten leren lossen om een succesvol beoefenaar te worden. Het probleemoplossend vermogen moeten ze kunnen inzetten bij het zoeken naar oplossingen voor uiteenlopende situaties die ze in hun vakgebied tegen kunnen komen. Elk leerjaar opnieuw komen we studenten tegen die grote moeite hebben om dit probleemoplossend vermogen aan te spreken en dit vervolgens te ontwikkelen. Wat op dit moment echter ontbreekt is inzicht in het probleemoplossend vermogen van de studenten en de manieren waarop dit vermogen ontwikkeld kan worden. Met dit inzicht kunnen aanpassingen gemaakt worden in het programma zodat gewerkt kan worden aan het bevorderen van het probleemoplossend vermogen van de student. Het probleem doet zich vooral voor bij de opleiding tot applicatieontwikkelaar. Ook in andere uitstroomrichtingen van de ICT-academie is het probleemoplossend vermogen van belang maar dan bij het opsporen van fouten in bestaande systemen. Bij applicatieontwikkelaars gaat het er juist om dat ze leren nieuwe oplossingen te creëren, daarbij gebruik makend van losse programmeerstatements. Op dit moment hanteren we nog een drempelloze instroom voor onze studenten. De toelatingstoetsen zouden moeten differentiëren op hun capaciteiten om problemen op te lossen en daaraan gerelateerde leeraspecten om zo al vooraf inzicht te krijgen in het mogelijke succes van de student in de opleiding.


-6-

3

Doelstelling Het doel van het onderzoek is inzicht te krijgen in het probleemoplossend vermogen van startende studenten om zo te kunnen differentiëren tussen studenten die al een zekere mate van probleemoplossend vermogen bezitten en studenten die juist extra begeleiding nodig hebben om dit vermogen aan te leren. Er is op dit moment te weinig aandacht voor studenten die moeite hebben met oplossen van problemen in de context van het beroep van applicatieontwikkelaars. In een aantal onderdelen van het curriculum komt het zijdelings aan bod omdat het probleemoplossend vermogen daar ingezet wordt voor het bedenken van programma’s die een probleem oplossen, maar specifiek materiaal om het oplossend vermogen te stimuleren en ontwikkelen is niet voor handen. Daarnaast wordt gezocht naar mogelijke toelatingseisen voor de opleiding applicatieontwikkeling. Zo zouden wiskunde en andere bètavakken in de vooropleiding kunnen bijdragen aan het succes van de student in de opleiding.


-7-

4

Het theoretisch kader

4.1

Probleemoplossend vermogen Een belangrijk aspect van het beroep van applicatieontwikkelaars is het leren oplossen van problemen in de context van hun werk als programmeur. Lister (2011) zegt daarover dat het programmeren een oefening is in het oplossen van problemen. In een multinationaal en multi-institutioneel onderzoek naar probleemoplossend vermogen van programmeurs heeft de zogenaamde McCracken groep in 2001 de volgende 5 processtappen beschreven die de studenten moeten leren (McCracken et. al., 2001, p. 128):

1. 2. 3. 4. 5.

Abstraheren van het probleem uit de beschrijving Genereren van sub-problemen Transformeren van sub-problemen in sub-oplossingen Samenvoegen van de sub-oplossingen in een werkend programma Evalueren en itereren

Stappen 1 en 2 hebben te maken met het abstractievermogen benodigd voor het programmeren. De stappen 3 en 4 hebben te maken met technische aspecten rondom programmeertalen en zijn deels afhankelijk van de gekozen programmeertaal. Als laatste is er de stap evalueren. Hierin wordt beschouwd of de 4 voorgaande stappen juist uitgevoerd zijn. Mocht dit niet het geval zijn dan volgt in deze stap nog het itereren waarbij een aantal stappen teruggegaan wordt om vanaf dat punt de oplossing te herzien. In de volgende paragrafen worden de begrippen abstractievermogen en evalueren verder belicht.

4.2

Abstractievermogen Op universiteiten over de hele wereld wordt al sinds het ontstaan van informatica als studierichting onderzoek gedaan naar het abstractievermogen van studenten die deze richting kiezen. Abstractievermogen wordt daarbij algemeen beschouwd als een voorwaarde om een succesvol programmeur te worden (Kramer, 2006, 2007; Roberts 2009; Bennedsen & Caspersen, 2006). Abstractie komt van het Latijnse woord abstrahere dat letterlijk weglaten betekent. Abstractie is het weglaten van alle niet essentiële informatie of aspecten om meer fundamentele structuren zichtbaar te maken. Kramer (2007) omschrijft het abstractievermogen in de context van computerwetenschappen als volgt: • Het verwijderen van niet essentiële informatie of aspecten om de complexiteit van een probleem te verminderen.

•

Het beschrijven van een generiek concept door gemeenschappelijke eigenschappen uit specifieke voorbeelden te abstraheren.

Beide elementen van abstractievermogen zijn van groot belang voor de applicatieontwikkelaar. Het verminderen van de complexiteit komt daarbij overeen met stap 1 uit het McCracken stappenplan. De generieke concepten ontstaan bij het zoeken naar subproblemen die in stap 2 van het McCracken stappenplan beschreven is. Eric van Vliet Master Professioneel Meesterschap in het MBO

-8-

Doordat onze hersenen maar een beperkte hoeveelheid werkgeheugen beschikken kunnen we maar een klein aantal onderdelen van een probleem tegelijk verwerken. Shaffer, Doube en Tuovinen (2003) noemen als mechanisme om deze beperkte capaciteit te omzeilen het zogenaamde ‘chunking’. Hierbij wordt informatie samengevoegd tot betekenisvolle eenheden. Zo’n betekenisvolle eenheid of chunk heeft maar 1 plek in het werkgeheugen nodig. Op deze manier kan een complexer probleem in het werkgeheugen verwerkt worden. Shaffer, Doube en Tuovinen onderschrijven dat deze techniek essentieel is bij het schrijven van computerprogramma’s. Het programma moet gesplitst worden in betekenisvolle eenheden voordat het werkelijke programmeren gestart kan worden. Een veel gebruikte eerste kennismaking met programmeren (Carney, 2010; Fain, 2004) is het maken van een rekenmachine. Om deze rekenmachine te programmeren is het noodzakelijk de verschillende onderdelen van het programma te definiëren. Op het hoogste niveau bestaat de rekenmachine uit een voor de gebruiker bruikbare userinterface. Intern zal een onderdeel aanwezig moeten zijn dat de input van de gebruiker verwerkt, en een ander deel dat de gekozen berekeningen uitvoert. Een mogelijke generalisatie voor de rekenmachine kan de keuze zijn alle knoppen qua afhandeling gelijk te beschouwen en de gewenste bewerking af te leiden van de tekst op de knop.

4.2.1 Numerieke aanleg Abstractievermogen wordt door Wing (2008) als cruciaal beschouwd in het ontwikkelen van wat zij noemt “Computational thinking”. Aan de basis van het abstractievermogen liggen, wat zij noemt, de numerieke vaardigheden. Bij het programmeren komen deze numerieke vaardigheden overeen met opstellen van berekeningen in computerprogramma’s. Daarbij gaat het dan niet om de concrete getallen maar om abstracties van deze getallen in de vorm van variabelen. Deze stap is in een programma nodig om de gewenste berekeningen herhaald uit te kunnen voeren voor verschillende waarden van de getallen. Het oplossen van numerieke problemen vereist volgens Mayer (1998) een strategie: representeren van het probleem, een oplosplan bedenken en vervolgens dat plan uitvoeren. Dit stappenplan geeft, zij het op een laag complexiteitsniveau, dezelfde vertaalslagen aan die een applicatieontwikkelaar moet maken tussen de specificatie van een applicatie en het uiteindelijke programma. Hu (2006) laat zien dat rekenkundige opgaven een goede basis leggen voor het programmeren en het oplossen van problemen middels een programmeertaal. Op het moment dat de student voldoende rekenkundig begrip heeft wordt het eenvoudiger correcte programmeerconstructies te schrijven. De regels waaraan rekenkundige opgaven moeten voldoen, vertonen namelijk een grote overeenkomst met de regels die gelden voor de operatoren in programmeertalen. In zijn conclusie sluit Hu (2006) af met de opmerking dat het leren van programmeerconstructies (toekenning, herhaling, beslissing) en problemen oplossen eigenlijk een vorm van rekenkunde is.

4.2.2 Redeneervermogen Een ander belangrijk aspect van abstractievermogen is het vermogen te redeneren. Devlin (2003) stelt dat informatica niet meer is dan het maken, manipuleren en redeneren over abstracties. Bij het schrijven van computerprogramma’s is het logisch redeneren van groot belang voor de programmeur. Computerprogramma’s gedragen zich volgens strikte, logische regels en voeren precies uit wat de programmeur geschreven heeft. Logisch redeneren helpt


-9-

de programmeur om de programma’s te construeren. Op een hoger abstractieniveau is logisch redeneren nodig om de programma’s te bedenken om een probleem op te lossen. In onderzoek naar het effect van het leren programmeren op het logisch denkvermogen van studenten vond ook Parham (2003) dat er een directe correlatie is tussen logisch denkvermogen en het oplossen van de problemen waar programmeurs tegen aan lopen in hun werk.

4.2.3 Evaluatie vermogen Voor applicatieontwikkelaars zijn deze kwaliteiten van belang bij het lezen van programmacode. Veel fouten ontstaan doordat programmeertalen zeer strikt zijn in het gebruik van letters, cijfers en leestekens. Het nauwkeurig waarnemen helpt de student bij het goede lezen en begrijpen van programma’s en de fouten die daarin kunnen optreden. Voortbouwend op het werk van de McCracken Group (McCracken et. al., 2001) onderzochten Lister et. al. (2004) de slechte opbrengsten in eerstejaars programmeercurricula. Zij concluderen dat niet het probleemoplossend vermogen zelf, maar juist de kennis en vaardigheden die voorwaardelijk zijn voor het probleemoplossend vermogen van studenten daar schuldig aan zijn. Niet zo zeer het kunnen schrijven van code maar meer nog het kunnen lezen van code beïnvloedt het resultaat van de eerstejaars studenten. Veel van de studenten blijken slecht in staat om computercode te lezen en systematisch te analyseren.

4.2.4 Ruimtelijk inzicht In onderzoek naar de grote uitval onder eerstejaars studenten computerkunde aan universiteiten onderzochten Jones & Burnett (2008) de correlatie tussen ruimtelijk inzicht en het succes van de studenten bij het programmeren. Ze beschrijven ruimtelijk inzicht als apart cluster van vaardigheden naast verbale en rekenkundige vaardigheden en redeneervermogen. Ze stellen daarbij naar eerder door hen verricht onderzoek (Jones & Burnett, 2007) dat ruimtelijk inzicht helpt bij het opstellen van mentale modellen. In de context van hun onderzoek beschouwen ze het mentale model als abstractie van het programma die gebruikt wordt bij het navigeren door de sourcecode.

4.3

Wiskunde en natuurkunde in de vooropleiding Een interessante indicator met betrekking tot abstractievermogen is wiskunde. Devlin (2003) geeft in zijn inleiding op een themanummer van ‘Association for Computing Machinery’ rondom wiskunde voor informatici, aan dat één van de manieren waarop we al meer dan 3000 jaar aan abstract denkvermogen werken, de wiskunde is. Welke vorm van wiskunde, algebra, discrete wiskunde etc. maakt daarbij minder uit. Doorslaggevend is de manier waarop met abstracties omgegaan wordt. De manier waarop abstractievermogen in de informatica gebruikt wordt, komt overeen met die in de wiskunde. Een ander vorm van abstract denkvermogen komen we tegen in de kunst. Daar staat het voor de stroming waarbij in een kunstuiting een grote hoeveelheid detail verwijderd wordt maar het oorspronkelijk onderwerp nog wel herkenbaar blijft. Onderzoeken naar abstractievermogen onder studenten nemen resultaten in wiskunde dan ook vaak mee in hun indicatoren. Byrne & Lyons (2001) vonden in hun onderzoek naar wiskunde en wetenschap in de vooropleiding van studenten een correlatie van r=0,353; Eric van Vliet Master Professioneel Meesterschap in het MBO

- 10 -

p<0,01 tussen programmeervaardigheid en wiskunde en van r=0,572; p<0,01 tussen programmeervaardigheid en wetenschapsvakken. Erdogan, Aydin & Kabaca (2008) komen tot soortgelijke resultaten in hun onderzoek naar indicatoren rond abstractievermogen. Voor wiskunde vonden zij een correlatie van r=0,447; p<0,01. Zij verklaren deze correlatie vanuit de overeenkomsten tussen de cognitieve vaardigheden die nodig zijn voor programmeren en die nodig zijn voor wiskunde.

4.4

Toepasbaarheid in het MBO De in de literatuur te vinden onderzoeken richten zich voornamelijk op informatica-onderwijs op universitair niveau. Veel onderzoeken beschouwen daarbij de vooruitgang die gemaakt wordt tijdens de eerste perioden waarin programmeeronderwijs wordt aangeboden. De onderzoekers doen dit in een poging grip te krijgen op de slechte resultaten van curricula in het onderwijs (McCracken et. al., 2001, Lister et. al., 2004). Een soortgelijke situatie doet zich in het MBO voor. In het MBO worden studenten opgeleid tot programmeur. De context waarin de MBO student opereert is wel anders, voornamelijk het MKB, maar de programmeertalen en computersystemen die geprogrammeerd worden zijn hetzelfde. De variabelen abstractie vermogen, wiskunde, natuurkunde (science) die in deze onderzoeken gebruikt worden zijn daarmee waarschijnlijk ook van toepassing op studenten aan een MBO opleiding tot applicatieontwikkelaar. Of deze hypothese inderdaad geldt zal moeten blijken uit correlatie tussen de gekozen variabelen en de studieresultaten van studenten aan het einde van het eerste leerjaar.

4.5

Conceptueel model Het conceptueel model voor het onderzoek ziet er als volgt uit:

Abstractievermogen

Probleemoplossend vermogen

Resultaat technische vakken

Wiskunde in de vooropleiding

Natuurkunde in de vooropleiding

Resultaat algemene vakken


- 11 -

4.6

Variabelen en variabelenschema In het onderstaande schema is voor de kernbegrippen gespecificeerd welke variabelen en indicatoren in dit onderzoek beschouwd worden.

Kernbegrip Probleemoplossend vermogen

Resultaat student

Variabelen Abstractievermogen

Indicatoren Numerieke aanleg Redeneer vermogen Evaluatievermogen Ruimtelijk inzicht

Wiskunde in vooropleiding Natuurkunde in de vooropleiding Resultaat technische vakken Resultaat algemene vakken

Behaalde resultaat vooropleiding Behaalde resultaat vooropleiding Behaalde resultaten technische vakken Behaalde resultaten algemene vakken

Hierin worden als onafhankelijke variabelen die variabelen beschouwd die aan het begin van de opleiding bekend zijn. Dat zijn de behaalde resultaten in de vooropleiding en de resultaten van de intaketest die bij binnenkomst wordt afgenomen. Als afhankelijke variabelen worden de studieresultaten aan het einde van het eerste leerjaar beschouwd.

4.7

Onderzoeksvraag In dit onderzoek staat de vraag centraal hoe vastgesteld kan worden voor welke studenten extra aandacht voor de ontwikkeling van probleemoplossend vermogen noodzakelijk is. Daarbij moeten de vraag en daaraan gerelateerde deelvragen beantwoord worden:

•

Voor welke studenten is extra aandacht op het gebied van probleemoplossend vermogen noodzakelijk? o Kan aan de hand van de door de student gemaakte intaketoets het probleemoplossend vermogen van leerlingen van de ICT-opleidingen van ROC Leiden bij het begin van de opleiding vastgesteld worden? o Is het behaalde cijfer voor Wiskunde in de vooropleiding een voorspeller van studiesucces in de ICT-opleidingen? o Is het behaalde cijfer voor Natuur- en Scheikunde in de vooropleiding een voorspeller van studiesucces in de ICT-opleidingen? o Is er correlatie tussen de scores op de intaketoets en de resultaten van de student na een jaar in de opleiding? o Is er correlatie tussen de verschillende vakken na een jaar in de opleiding?


- 12 -

5

Onderzoeksopzet Het onderzoek naar het probleemoplossend vermogen van eerste jaars MBO studenten is explorerend van aard. Op basis van kwantitatieve data is middels statistische analyse onderzocht of er een correlatie bestaat tussen de resultaten van de intaketest die de studenten afleggen bij het starten van een opleiding, en de resultaten in het eerste jaar van de opleiding van studenten applicatieontwikkeling. Ook zijn de resultaten uit de vooropleiding beschouwd bij het zoeken naar voorspellers voor het probleemoplossend vermogen van studenten in de opleiding tot Applicatieontwikkelaar.

5.1

Instrumentarium In het onderzoek is gebruik gemaakt van een 3-tal groepen variabelen. Dit zijn de groepen:

• • •

Resultaten bij de start van de opleiding Resultaten na 1 jaar in de opleiding Resultaten voor Wiskunde en Natuurkunde uit de vooropleiding

Voor het verzamelen van deze resultaten zijn een 3-tal instrumenten gebruikt.

5.1.1 Variabelen intaketest Alle studenten aan het ROC-Leiden worden aan het begin van de opleiding getest met behulp van een intaketest. Deze intaketest van leverancier AMN geeft inzicht in de capaciteiten en persoonlijkheid van (aankomende) studenten. De uitslag van deze test wordt vervolgens middels een 3-tal rapportages aan de school overhandigd. Deze resultaten zijn voor alle studenten die met hun opleiding gestart zijn in schooljaar 2011-2012 voorhanden als pdfbestand in het leerlingvolgsysteem. Voor de variabelen Numerieke aanleg, Redeneervermogen, Evaluatievermogen en Ruimtelijk Inzicht is gebruik gemaakt van de resultaten die de studenten op deze intaketest behalen. De volgende paragrafen beschrijven per variabele op welke wijze deze resultaten in de intaketest bepaald wordt.

5.1.1.1 Numerieke Aanleg Numerieke aanleg wordt binnen de intaketest vastgesteld op basis van de resultaten van een drietal testen. Het betreft testen rondom ‘Berekeningen’, Bewerkingen’ en ‘Cijfers’.


- 13 -

Berekeningen Bij het onderdeel berekeningen worden 18 opgaven gebruikt waarin de student uit een kort verhaal moet afleiden welke berekening uitgevoerd moet worden om het antwoord te vinden.

Figuur 1: Voorbeeldvraag Berekeningen

Bewerkingen Bij het onderdeel bewerkingen worden 16 opgaven gebruikt waarin de student een rekenprobleem krijgt aangereikt en vervolgens moet kiezen welke soorten bewerkingen nodig zijn bij uitrekenen van de oplossing. Hiervoor moet de student zich een voorstelling kunnen maken van de oplossing. Bij deze test wordt o.a. een beroep gedaan op het met elkaar in verband brengen van tekst en rekenkundige bewerkingen. .

Figuur 2: Voorbeeldvraag bewerkingen


- 14 -

Cijfers In het onderdeel cijfers komen 25 opgaven aan de orde waarin sommen van 3 getallen met wisselende operatoren uitgevoerd moeten worden. Hiermee worden vooral inzicht in rekenkundige bewerkingen, vaardigheid in het toepassen van de daarvan en om kunnen gaan met getallen.

Figuur 3: Voorbeeldvraag Cijfers

5.1.1.2 Logisch Redeneren Voor het meten van het redeneervermogen van studenten wordt een Figurentest gebruikt. In deze test wordt een vijftal figuren getoond. Vier van de vijf figuren horen bij elkaar op basis van een specifiek principe. De vijfde figuur valt af omdat dat figuur zich niet aan hetzelfde principe houdt. Figuur 4 geeft een voorbeeld van vraag uit deze test. Er worden 5 rechthoeken getoond die in grootte verschillen en geroteerd om hun centrum getoond worden. Het vijfde figuur is een cirkel die duidelijk niet bij de rechthoeken past.

Figuur 4: Voorbeeldvraag Figurentest

5.1.1.3 Evaluatie vermogen In de intake test wordt voor het in kaart brengen van het evaluatie vermogen van een student gebruik gemaakt van een zogenaamde ‘Verschillen test’. Hierin worden steeds 5 figuren getoond waarvan er 4 hetzelfde zijn en 1 afwijkend. Deze test doet met name een beroep op het nauwkeurig waarnemen en het snel visueel evalueren van informatie.


- 15 -

Figuur 5: Voorbeeldvraag Verschillen Test

5.1.1.4 Ruimtelijk inzicht Voor het bepalen van het ruimtelijk inzicht van studenten wordt een zogenaamde ‘Componenten test’ gebruikt. Met deze test wordt het ruimtelijk voorstellingsvermogen en de capaciteit tot logisch redeneren gemeten.

Figuur 6: Voorbeeldvraag Ruimtelijk Inzicht

5.1.2 Variabelen rapportage eerste leerjaar Voor de variabelen ‘Behaalde Resultaten Technische vakken’ en ‘Behaalde Resultaten Niet Technische vakken’ is gebruik gemaakt van de resultaten aan het eind van het eerste leerjaar. Daarop zijn voor de verschillende vakken in dat leerjaar cijfers opgenomen die de resultaten van de student weerspiegelen. Op de rapportage in het eerste leerjaar wordt een groot aantal vak en projectresultaten vermeld. Om tot een selectie te komen van onderdelen van deze rapportage waarop naar correlatie met de intake gegevens gezocht wordt, is de rapportage in een 6-tal groepen verdeeld van vakken met soortgelijke inhoud of waar dat niet mogelijk is als losstaand vak.


- 16 -

Tabel 1: Categorisering cijfers rapportages eerste leerjaar Categorie

Onderdelen op rapportage

Project

Gebruikt voor onderzoek Nee

Talen

NED, ENG

Ja

Programmeer vakken

PHP, Java, Javascript, CMS

Ja

Databases

DBT, SQL

Ja

Creatieve vakken

VGV

Ja

Reken vakken

Rekenvaardigheid, Logica, Rekenniveau

Ja, ja, (Nee)

Installatie Software

ISW

Ja

Loopbaanbegeleiding

Loopbaanbegeleiding

Ja

Bedrijfskunde

BDK

Ja

Voor een aantal van deze vakken geldt dat ze meerdere perioden op het rooster stonden en er meerdere cijfers aan zijn toegekend. Van deze vakken wordt het gemiddelde cijfer over het schooljaar in het onderzoek meegenomen. Om deze stap te rechtvaardigen is voor de betreffende vakken Cronbach’s α tussen de verschillende cijfers bepaald. De resultaten daarvan zijn in de volgende paragrafen beschreven.

5.1.3 Variabelen vooropleiding Voor de gegevens met betrekking tot de resultaten voor wiskunde en natuurwetenschappen in de vooropleiding is gebruik gemaakt van de cijferlijst van de student zoals deze als toelatingsdocument in KRD zijn opgenomen.

5.2

Onderzoeksgroep Het onderzoek wordt uitgevoerd onder de eerstejaars applicatieontwikkelaar studenten van cohort 2011-2012. In dit cohort zijn 48 studenten daadwerkelijk aan de opleiding begonnen. Zij vormen het eerste uitgangspunt voor het verzamelen van data. Niet alle verzamelde data zijn uiteindelijk in het onderzoek meegenomen. In onderstaande tabel is vermeld hoeveel en om welke reden groepen studenten niet in het onderzoek zijn meegenomen.


- 17 -

Tabel 2: Bepaling onderzoekgroep Aantal Studenten

Omschrijving

48

Het aantal studenten dat op 1 oktober daadwerkelijk in de opleiding Applicatieontwikkelaar ingeschreven stond en onderwijs volgde.

-6

De integrale intaketest is pas in schooljaar 2011-2012 ingevoerd. Van de studenten die het eerste leerjaar nogmaals volgen zijn derhalve geen intake test gegevens aanwezig. Deze studenten zijn in het onderzoek niet meegenomen.

-2

Ook voor studenten die intern zijn doorgestroomd na het behalen van een diploma in een andere ICT opleiding zijn geen intake test resultaten aanwezig.

-6

6 deelnemers hebben in een vroeg stadium de opleiding verlaten in verband met motivatie problemen of ten gevolge van langdurige ziekte.

-2

Voor twee studenten is geen intaketoets afgenomen.

32

Totaal aantal studenten in het onderzoek

Uiteindelijk heeft dit geresulteerd in een groep van 32 studenten waarover het verdere onderzoek uitgevoerd is. Voor deze groep geldt nog steeds dat niet elk gegeven beschikbaar is. Uit de analyse van de intake test gegevens blijkt dat de studenten die via inschrijving bij een andere opleiding binnen ROC Leiden een andere selectie testen gemaakt heeft. Hierdoor zijn niet voor alle respondenten van elke test data voorhanden.

5.3

Dataverzameling De data zijn verzameld in een Excel spreadsheet dat, na filteren, gebruikt is als input voor het statistische pakket SPSS. De volgende paragrafen beschrijven hoe de data verzameld zijn en welke voorbewerking er op heeft plaats gevonden voordat de analyse uitgevoerd is.

5.3.1 Intake test resultaten De intake test resultaten zijn als rapportages per student opgenomen in het leerlingvolgsysteem. Aangezien dit tekstuele beschrijvingen zijn van de uitkomst van de test kunnen deze niet eenvoudig gebruikt worden voor verwerking van de gegevens in Excel en SPSS. Voor gebruik van deze gegevens vanuit een digitaal verzamelbestand is contact gezocht met de leverancier van de test en na een gesprek is via een account toegang verkregen tot de brongegevens op basis waarvan de rapportages als verzamellijsten gegenereerd worden. Deze verzamellijst is geïmporteerd in Excel.


- 18 -

5.3.2 Resultaten vooropleiding De resultaten uit de vooropleiding zijn verzameld op basis van de toelatingsdocumenten van de studenten. Van slechts 5% van de voor het onderzoek geselecteerde studenten waren deze gegevens in eerste instantie voorhanden. Er is daarom besloten om deze gegevens opnieuw te verzamelen bij de studenten en alsnog in het systeem te verwerken. Er is bij het gebruik van deze gegevens alleen gebruik gemaakt op het moment dat het om een afgeronde opleiding VMBO-TL betrof. Overgangsrapportages van HAVO 4 naar HAVO 5 zijn niet beschouwd. Uiteindelijk zijn na herhaalde actie van in totaal 15 studenten de cijfers uit de vooropleiding verzameld.

5.3.3 Resultaten eerste studiejaar Voor de resultaten van het eerste studiejaar zijn de rapportages uit het ICTaL Base gebruikt. Dit is het cijferverwerking programma van de ICT academie. Een voorbeeld van een dergelijke rapportage is als bijlage 1 bijgevoegd. Als bron voor deze gegevens kon geen digitaal bestand gebruikt worden. In plaats daarvan is een rapportage voor het gehele cohort gegenereerd en de resultaten van dit cohort zijn overgenomen in het bronbestand in Excel.

5.4

Dataverwerking en analyse Voor de eerste verwerking van de benodigde gegevens is vanuit het systeem waarin de intake test gegevens opgeslagen worden een export van alle eerstejaars studenten applicatieontwikkeling van cohort 2011 van de ICT academie gemaakt. Uit deze lijst zijn vervolgens de studenten die niet aan de opleiding begonnen verwijderd aan de hand van de 1 oktober telling zoals deze is te vinden is in het studentenregistratie systeem. De resulterende gegevensset is vervolgens uitgebreid met kolommen waarin de resultaten uit het eerste leerjaar opgenomen worden. Deze kolommen zijn ingevuld aan de hand van de eindrapportage zoals deze aan het einde van het schooljaar naar de studenten is gegaan. Als laatste zijn 2 kolommen toegevoegd voor het noteren van het resultaat wiskunde en het resultaat natuurwetenschap in de vooropleiding. Deze gegevens zijn uit het studenteregistratiesysteem opgehaald en bij ontbreken daarvan onder de studenten verzameld en vervolgens handmatig ingevuld.

5.5

Voorbereiden data Voordat de data geanalyseerd zijn met behulp van SPSS zijn de schalen van de meetwaarden gedefinieerd. Voor de resultaten in de vorm van cijfers op rapporten en diploma’s is gebruik gemaakt van een ratioschaal. Binnen SPSS is daarvoor als maateenheid ‘Scale’ gekozen. De overige meetwaarden zijn op een vijfpuntsschaal gescoord. Deze zijn binnen SPSS als intervalschaal ingesteld. Binnen SPSS is dat dezelfde maateenheid als voor de ratioschaal te weten ‘Scale’.


- 19 -

5.6

Betrouwbaarheid en validiteit Gezien de grote hoeveelheid resultaten op de rapportage (zie bijlage 1) aan het einde van het eerste leerjaar is er gekozen voor het groeperen van deze resultaten op grond van overeenkomsten in het soort vak. Om deze stap te rechtvaardigen is voor de gekozen groepen de betrouwbaarheid bepaald met behulp van Cronbach’s α.

5.6.1 Categorie rekenvakken De rapportage aan het einde van het eerste schooljaar vermeldt voor de categorie rekenvakken 6 verschillende cijfers verdeeld over verschillende onderwijsperioden. Voor deze cijfers geldt een Cronbach’s α van .786. Op grond van deze waarde is voor de categorie rekenvakken het gemiddelde cijfer van de 6 cijfers gebruikt bij de correlatiebepaling.

5.6.2 Categorie programmeer vakken De rapportage aan het einde van het eerste schooljaar vermeldt voor de categorie programmeervakken 5 verschillende cijfers verdeeld over verschillende onderwijsperioden. De Cronbach’s α voor deze cijfers is .724. Op grond van deze waarde is in het onderzoek gebruik gemaakt van het gemiddelde cijfer over deze 5 vakken.

5.6.3 Cronbach’s α voor de categorie databases De rapportage aan het einde van het eerste schooljaar vermeldt voor de categorie databases 3 verschillende cijfers verdeeld over verschillende onderwijsperioden. Voor de cijfers wordt een Cronbach’s α gevonden van .748. Voor de categorie databases is daarom het gemiddelde cijfer van deze 3 vakken in het onderzoek gebruikt.

5.6.4 Niet technische vakken Op de rapportage aan het einde van het eerste leerjaar zijn een aantal groepen niet technische vakken te onderscheiden. Het betreft Engels, Loopbaanbegeleiding en Bedrijfskunde. In Tabel 3 is terug te vinden in welke perioden de betreffende vakken afgetoetst zijn. Voor de gezamenlijke cijfers voor deze vakken over de verschillende perioden geldt een Cronbach’s α van .750. Op grond van deze waarde wordt voor de variabele resultaten van niet technische vakken het gemiddelde van deze cijfers genomen. Tabel 3: Niet technische vakken Vak

Periode 2

Periode 3

Periode 4

Engels

X

X

X

Loopbaanbegeleiding

X

X

X

X

X

Bedrijfskunde


- 20 -

5.7

Validiteit gegevens intaketest Op grond van het literatuur onderzoek naar indicatoren voor probleemoplossend vermogen zijn uit de beschikbare gegevens van de intaketest een aantal testen geselecteerd waarvan de resultaten mogelijk een correlatie hebben met resultaten tijdens de opleiding. Eén van de variabelen in dit onderzoek is de numerieke aanleg. Vanuit de intaketest wordt hiervoor een score bepaald uit 3 verschillende testen te weten ‘Bewerkingen’, ‘Berekeningen’ en ‘Cijfers’. Voor deze 3 testonderdelen is intercorrelatie bepaald m.b.v. Cronbach’s α en deze levert -.103 op. Uit Tabel 4 valt af te leiden dat met het weglaten van de test Bewerkingen een resultaat van .643 te behalen is. Deze Cronbach’s α is wel acceptabel (> .60). Om deze reden zijn in het onderzoek de resultaten voor ‘Cijfers’, ‘Bewerkingen’ en ‘Berekeningen’ als aparte variabelen beschouwd en worden correlaties met andere onderzoeksgegevens tegen deze losse resultaten berekend i.p.v. de gezamenlijke score. Tabel 4: Samenhang testen Numerieke Aanleg Test

Cronbach’s α indien verwijderd

Berekeningen

-1.449

Bewerkingen

.643

Cijfers

-.403


- 21 -

6

Resultaten van het onderzoek

6.1

Statistische analyse Om te onderzoeken of er correlatie tussen testresultaten uit de intake test en de resultaten in het eerste leerjaar van de opleiding is, is gebruik gemaakt van de Pearson correlatie tussen de variabelen in het onderzoek. Als uitgangspunt zijn de afhankelijke variabelen gekozen waarbij steeds gezocht wordt naar correlatie met de verschillende onafhankelijke variabelen. De afhankelijke variabelen zijn daarin de resultaten na het eerste jaar in de opleiding en de onafhankelijke variabelen de resultaten van de intaketest en de vooropleiding aan het begin van de opleiding.

6.1.1 Intaketest en resultaten technische vakken na het 1e schooljaar Voor de resultaten zoals deze na het eerste jaar op het rapport van de student stonden is bekeken waar correlatie gevonden kan worden met de resultaten uit de intake-test. Hierbij is gebruik gemaakt van de gegroepeerde resultaten op het rapport. In Tabel 5 zijn correlaties en significantie van de correlaties alsmede het aantal studenten in de beschouwde groep vermeld. Tabel 5: Correlaties tussen intaketest resultaten en resultaten na eerste schooljaar Test

Rekenen

Programmeren

Databases

Berekeningen

Pearson Correlatie Sig. (2-tailed) N

.242 .190 31

.208 .261 31

.073 .695 31

Bewerkingen


.084 .688 25

.302 .143 25

.239 .249 25

Cijfers


.459* .018 26

.169 .411 26

.213 .295 26

Redeneervermogen


.091 .620 32

.027 .881 32

-.020 .913 32

Evaluatievermogen


-.091 .620 32

-.114 .534 32

-.381* .031 32

Pearson Correlatie .107 Sig. (2-tailed) .560 N 32 Correlatie is significant op het 0.05 niveau (2-tailed) Correlatie is significant op het 0.01 niveau (2-tailed)

.063 .732 32

.075 .682 32

Ruimtelijk inzicht

* **


- 22 -

Op twee punten wordt er tussen deze variabelen een significante correlatie gevonden. Het betreft de correlatie tussen Cijfers en Rekenen van r = .459, p (tweezijdig) < .05 en tussen Evaluatievermogen en Databases van r = -.381, p (tweezijdig) < .05. Voor deze twee gevonden correlaties is vervolgens een regressie analyse uitgevoerd om te bepalen in welke mate de spreiding in de onafhankelijke variabelen Cijfers en Evaluatievermogen de spreiding in de respectievelijke afhankelijke variabelen Rekenen en Databases verklaard. Tussen Cijfers en Rekenen wordt 21% van de resultaten voor Rekenen 2 verklaard door het resultaat voor de test Cijfers en daarmee is de invloed significant (R = .210; t = 2.523, p < .05). In Figuur 7 zijn de scatterplot en de bijbehorende regressie te vinden. Lineaire regressie Rekenen = 35.332 + 8.355 * Cijfers Cijfers = Resultaat onderdeel Cijfers Intaketoets Rekenen = Gemiddeld cijfer categorie Rekenen 2

R = .210

Figuur 7: Regressieanalyse Rekenen en Cijfers

Bij de lineaire regressie tussen Evaluatievermogen en Databases wordt gevonden dat 14.5% van de resultaten voor Databases verklaard worden door het behaalde resultaat op de 2 intaketoets voor het onderdeel Evaluatievermogen en daarmee is de invloed significant (R = 0.145; t = -2.254; p < .05). De scatterplot en de bijbehorende regressie zijn te vinden in Figuur 8. Lineaire regressie Databases = 83.318 - 5.671 * Evaluatievermogen Evaluatievermogen = Resultaat onderdeel Evaluatievermogen Intaketoets Databases = Gemiddeld cijfer categorie Databases 2

R = .145

Figuur 8: Regressieanalyse Evaluatievermogen en Databases


- 23 -

6.1.2 Intake testresultaten en resultaten niet technische vakken na het eerste schooljaar Voor de resultaten zoals deze na het eerste jaar op het rapport van de student stonden is bekeken waar correlatie gevonden kan worden met de resultaten uit de intake-test. Hierbij is gebruik gemaakt van de gegroepeerde resultaten voor de niet technische vakken op het rapport. Voor de vakken Installatie Software (ISW) en Vormgeving (VGV) geldt dat ze wel in zekere zin technisch zijn maar voor de Applicatieontwikkelaar vooral als ondersteunend worden aangeboden. Deze beide vakken zijn apart beschouwd. Tabel 6 zijn correlaties en significantie van de correlaties alsmede het aantal studenten in de beschouwde groep vermeld. Tussen geen van de beschouwde variabelen in deze tabel is een significante correlatie aanwezig. Tabel 6: Correlaties tussen intake testresultaten en resultaten na eerste schooljaar

Berekeningen


Niet technische vakken .035 .850 31

Bewerkingen


-.012 .955 25

.134 .523 25

.127 .545 25

Cijfers


.303 .132 26

.217 .286 26

.221 .277 26

Redeneervermogen


-.082 .655 32

.065 .722 32

-.142 .437 32

Evaluatievermogen


-.295 .101 32

-.071 .701 32

-.079 .669 32

Pearson Correlatie -.116 Sig. (2-tailed) .526 N 32 Correlatie is significant op het 0.05 niveau (2-tailed) Correlatie is significant op het 0.01 niveau (2-tailed)

.028 .878 32

-.105 .568 32

Test

Ruimtelijk inzicht

* **

ISW

VGV

.110 .555 31

-.150 .421 31


- 24 -

6.1.3 Wiskunde en Natuur- en Scheikunde en resultaten na het eerste schooljaar Voor het verband tussen de behaalde resultaten op de cijferlijst bij het diploma van de vooropleiding en de resultaten in het eerste jaar van de opleiding is gebruik gemaakt van de Pearson Correlatie coëfficiënt. In Tabel 7 zijn de gevonden correlaties weergegeven alsmede de mate van significantie van deze correlatie. Tabel 7: Correlaties tussen resultaten na het eerste leerjaar en cijfers Wiskunde en Natuur en Scheikunde op het diploma Cijfer

Rekenen

Programmeren

Databases

.622* .018 14

.696** .006 14

.684** .007 14


.280 .433 10

.157 .665 10

Wiskunde


Natuur en Scheikunde * **

Uit de tabel valt af te leiden dat er een significante correlatie bestaat tussen het behaalde resultaat voor Wiskunde op het diploma van de vooropleiding en de categorieën vakken in het eerste leerjaar van de opleiding. Voor het bepalen van de wiskundige relatie tussen de onafhankelijke en afhankelijke variabelen is gebruik gemaakt van curve fit binnen SPSS. Op 2 e e grond van de maximale haalbare R is de lineaire, 2 of 3 graadvergelijking bepaald die het verband tussen beide variabelen beschrijft. Tussen Wiskunde en Rekenen wordt een correlatie van r = .622, p (tweezijdig) < .05 gevonden. Vervolgens is een lineaire regressieanalyse uitgevoerd en daaruit blijkt dat het cijfer voor Wiskunde 38% van de variatie in cijfers voor Rekenen verklaart. De invloed van 2 Wiskunde op Rekenen is daarmee significant (R = 0.383, t = 2.730, p < .05). In Figuur 9 is de scatterplot van de meetwaarden, de lineaire regressie en de formule behorende bij de afhankelijkheid tussen Wiskunde en Rekenen weergegeven. Lineaire regressie Rekenen = 17,114 + 8,114 * Wiskunde Wiskunde = Resultaat Wiskunde op diploma vooropleiding Rekenen = Gemiddeld cijfer categorie Rekenen 2

R = .383

Figuur 9: Afhankelijkheid Rekenen en Wiskunde Eric van Vliet Master Professioneel Meesterschap in het MBO

- 25 -

Voor de correlatie tussen Wiskunde en Programmeren wordt r = .696, p (tweezijdig) < .01 gevonden. Lineaire regressieanalyse tussen deze variabelen laat zien dat 49% van het resultaat voor de vakken categorie Programmeren verklaard wordt door het resultaat voor 2 Wiskunde: R = 0.490, t = 3.399, p < .01. In Figuur 10 is de scatterplot van de meetwaarden weergegeven alsmede de formule voor de afhankelijkheid tussen Wiskunde en Programmeren. Lineaire regressie Programmeren = 14,643 + 8,750 * Wiskunde Wiskunde = Resultaat Wiskunde op diploma vooropleiding Programmeren = Gemiddeld cijfer categorie Programmeren 2

R = .490

Figuur 10: Afhankelijkheid Programmeren en Wiskunde Tussen de variabelen Wiskunde en Databases wordt een correlatie gevonden van r = .684, p (tweezijdig) < .01. Voor de relatie tussen Wiskunde en Database wordt met behulp 2 van kwadratische regressie een significant betere R behaald ten opzichte van een lineaire regressie. Bij de kwadratische regressie tussen deze variabelen wordt een afhankelijkheid van 57,7% gevonden. 57,7% van de spreiding in de resultaten voor databases wordt verklaard uit 2 het cijfer voor Wiskunde op de vooropleiding (R = 0.577, p < .01). Kwadratische regressie Databases = -150,589 + 57,916 * Wiskunde 2 -3,557 * Wiskunde Wiskunde = Resultaat Wiskunde op diploma vooropleiding Databases = Gemiddeld cijfer categorie Databases 2

R = .577

Figuur 11: Afhankelijkheid Databases en Wiskunde


- 26 -

6.1.4 Wiskunde en Natuur en Scheikunde en de resultaten voor niet technische vakken na het eerste schooljaar Voor het verband tussen de behaalde resultaten voor niet technische vakken op de cijferlijst bij het diploma van de vooropleiding en de resultaten in het eerste jaar van de opleiding is gebruik gemaakt van de Pearson Correlatie coëfficiënt. In Tabel 8 zijn de gevonden correlaties weergegeven alsmede de mate van significantie van deze correlatie. Uit deze tabel valt af te leiden dat er geen significante correlatie gevonden wordt tussen de cijfers voor Wiskunde en Natuur en Scheikunde en de Niet technische vakken, ISW en VGV. Tabel 8: Correlaties tussen resultaten niet technische vakken na het eerste leerjaar en cijfers Wiskunde en Natuur en Scheikunde op het diploma

Cijfer Wiskunde


Natuur en Scheikunde * **

6.2

Niet technische vakken .511 .062 14


ISW

VGV

.470 .090 14

.374 .188 14

.134 .712 10

-.024 .948 10

Correlaties tussen resultaten eerste leerjaar onderling Tijdens de analyse van verzamelde gegevens is ook de correlatie tussen de verschillende, gegroepeerde, resultaten op de rapportage aan het einde van het eerste leerjaar bepaald. De resultaten van deze correlatie analyse zijn te vinden in Tabel 10. De behaalde resultaten in de 3 categorieën vakken die voor het onderzoek gebruikt zijn vanuit e de rapportage aan het einde van het 1 leerjaar laten onderling significante correlaties zien: tussen Rekenen en Programmeren (r = .709, p (tweezijdig) < .01), tussen Rekenen en Databases (r = .622, p (tweezijdig) < .01) en tussen Programmeren en Databases (r = .660, p (tweezijdig) < .01). Ook tussen de categorie Niet technische vakken en de categorieën Rekenen, Programmeren en Databases worden significante correlaties gevonden: met Rekenen (r = .610, p (tweezijdig) < .01), met Programmeren (r = .520, p (tweezijdig) < .01) en met Databases (r = .797, p (tweezijdig) < .01). Bij het bepalen van de correlatie tussen de 4 categorieën en de vakken ISW en VGV wordt op een aantal plaatsen significante correlatie gevonden. Zo correleert het resultaat van ISW met de categorie Rekenen (r = .499, p (tweezijdig) < .05) en met de categorie Niet technische vakken (r = .386, p (tweezijdig) < .05). Het resultaat voor het vak VGV correleert significant met de categorieën: Rekenen (r = .433, p (tweezijdig) < .05), Programmeren (r = .377, p (tweezijdig) < .05), Databases (r = .567, p (tweezijdig) < .01) en de Niet technische vakken (r = .626, p (tweezijdig) < .01).


- 27 -

Rekenen

VGV

ISW

Niet technische vakken


32


.709** .000 32

32


.622** .000 32

.660** .000 32

32


.610** .000 32

.520** .002 32

.797** .000 32

32


.499** .004 32

.247 .173 32

.346 .053 32

.386* .029 32

32

Pearson Correlatie .433* .377* Sig. (2-tailed) .013 .033 N 32 32 Correlatie is significant op het 0.05 niveau (2-tailed) Correlatie is significant op het 0.01 niveau (2-tailed)

.567** .001 32

.626** .000 32

.329 .066 32

Programmeren

Databases


ISW

VGV

* **

Databases

Rekenen

Cijfer

Programmeren

Tabel 9: Correlaties tussen de resultaten op de rapportage aan het einde van leerjaar 1

1

1

1

1

1

1 32

Voor de significant correlerende resultaten is vervolgens een lineaire regressie analyse uitgevoerd. De resultaten daarvan zijn samengenomen in Tabel 10. Vooral de correlatie tussen Niet technische vakken en Databases is opvallend sterk. Dit blijkt ook uit de lineaire regressie waaruit duidelijk wordt dat het cijfer voor niet-technische vakken 2 64% van de variatie in cijfers bij Databases Programmeren verklaart (R =.636; t = 7.23; p < .01). Een tweede sterke correlatie wordt gevonden tussen Programmeren en Rekenen. Uit de lineaire regressieanalyse tussen deze twee variabelen blijkt dat 50% van de variatie in 2 cijfers bij Rekenen door Programmeren verklaard worden. (R =.503; t = 5.51; p < .01). Andere opvallende resultaten (verklaring voor de variatie in cijfers > 33%) voor de lineaire 2 regressie waarden in Tabel 10 zijn: Databases en Programmeren (R =.436; t = 4.81; p < .01), 2 2 Databases en Rekenen (R =.387; t = 4.35; p < .01), Niet technische vakken en VGV (R 2 =.739; t = 4.28; p < .01), Niet technische vakken en Rekenen(R =.372; t = 4.2; p < .01).


- 28 -

Programmeren

R t p

2

.503 5.514 < .01

Databases

R t p

2

.387 4.353 < .01

.436 4.814 < .01


R t p

2

.372 4.217 < .01

.270 3.331 < .01

ISW

R t p

2

.249 3.154 < .01

VGV

R t p

2

.187 2.630 < .05


Databases

Rekenen

Cijfer

Programmeren

Tabel 10: Lineaire regressie analyse tussen vakken in het eerste leerjaar

.636 7.233 < .01 .149 2.293 < .05

.142 2.229 < .05

.321 3.767 < .01

.379 4.281 < .01


- 29 -

7

Conclusies van het onderzoek In dit onderzoek staat de vraag centraal hoe vastgesteld kan worden voor welke studenten extra aandacht voor de ontwikkeling van probleemoplossend vermogen noodzakelijk is. Daarbij moeten de vraag en daaraan gerelateerde deelvragen beantwoord worden:

• •

7.1

Voor welke studenten is extra aandacht op het gebied van probleemoplossend vermogen noodzakelijk? Kan aan de hand van de door de student gemaakte intaketoets het probleemoplossend vermogen van leerlingen van de ICT-opleidingen van ROC Leiden bij het begin van de opleiding vastgesteld worden? o Is het resultaat van de intaketoets een voorspeller voor studiesucces in de ICT-opleidingen? o Is het behaalde cijfer voor Wiskunde in de vooropleiding een voorspeller van studiesucces in de ICT-opleidingen? o Is het behaalde cijfer voor Natuur- en Scheikunde in de vooropleiding een voorspeller van studiesucces in de ICT-opleidingen? o Is er correlatie tussen de scores op de intaketoets en de resultaten van de student na een jaar in de opleiding? o Is er correlatie tussen de verschillende vakken na een jaar in de opleiding?

Intaketoets voorspeller succes in eerste jaar opleiding? De intaketoets die studenten aan het begin van de opleiding maken laat maar in twee gevallen een significante correlatie zien met de resultaten aan het einde van het eerst jaar van de opleiding. Het betreft correlatie tussen de test Cijfers op de intaketoets en Rekenen als categorie op de rapportage aan het einde van het eerst leerjaar, en Evaluatievermogen op de intaketoets en de categorie Databases op de rapportage aan het einde van het eerste leerjaar. In de volgende paragrafen worden beide correlaties nader beschouwd. Vanuit het theoretisch kader was verwacht dat voor veel meer van de intaketoets testresultaten significante correlaties gevonden zouden worden. Mayer (1998) en Hu (2006) laten in hun onderzoeken zien dat er verband bestaat tussen de rekenkundige opgaven en programmeervaardigheden. Dit verband wordt echter niet door dit onderzoek bevestigd. Op het gebied van redeneervermogen was ook een correlatie verwacht op grond van onderzoek door Devlin (2003) en Parham (2003). In het hier uitgevoerde onderzoek is dit verband echter niet bevestigd.

7.1.1 Correlatie tussen Cijfers en Rekenen Tussen de test Cijfers die afgenomen wordt in de intaketest en het resultaat voor de categorie Rekenen wordt een correlatie gevonden van r = .459, p (tweezijdig) < .05 (Tabel 5: Correlaties tussen intaketest resultaten en resultaten na eerste schooljaar). Uit de lineaire regressie analyse blijkt verder dat er 21% van de variantie in de resultaten voor Rekenen verklaard wordt door variantie van het resultaat voor de test Cijfers en daarmee is de invloed significant: Eric van Vliet Master Professioneel Meesterschap in het MBO

- 30 -

2

R = 0.210, t = 2.523, p < .05. Daarmee kwalificeert het resultaat voor de test Cijfers als indicator voor het resultaat Rekenen na 1 jaar in de opleiding. De verhouding tussen deze variabelen laat zich formuleren als: Rekenen = 17,114 + 8,114 * Wiskunde (Figuur 7: Regressieanalyse Rekenen en Cijfers). Dat het resultaat voor de test Cijfers een correlatie vertoont met de resultaten voor Rekenen ligt voor de hand. Een deel van de stof die behandeld wordt binnen de rekenvakken heeft te maken met cijfermatig inzicht. Aan de testen rondom Bewerkingen en Berekeningen binnen de intaketest werden soortgelijke verwachtingen toegedicht. Bij deze twee test onderdelen wordt echter geen correlatie gevonden met resultaten aan het einde van het eerste leerjaar. Dat er een discrepantie zit tussen de testen Cijfers, Bewerkingen en Berekeningen blijkt mede uit de onderlinge samenhang van de resultaten voor deze test onderdelen. Op grond van de te lage Cronbach’s α tussen deze variabelen is besloten in plaats van de uitslag voor Numerieke aanleg, samengesteld uit de resultaten voor Cijfers, Bewerkingen en Berekeningen, zijn de afzonderlijke testresultaten te beschouwen (Zie ook paragraaf Validiteit gegevens intaketest).

7.1.2 Correlatie tussen Evaluatievermogen en Databases Tussen de variabelen Evaluatievermogen en Databases wordt een correlatie r = -.381 (p < .05) gevonden (Tabel 5: Correlaties tussen intaketest resultaten en resultaten na eerste schooljaar). Het feit dat hier een negatieve correlatie gevonden wordt houdt in dat hoe hoger de score in de intaketoets op de test Evaluatievermogen is, hoe lager het behaalde Cijfer in de categorie Databases.

7.2

Resultaat Wiskunde in de vooropleiding Het resultaat voor Wiskunde in de vooropleiding heeft een voorspellende waarde voor het succes in het eerste jaar van de opleiding. Bij de analyse van de correlaties tussen het resultaat voor Wiskunde in de vooropleiding en de resultaten na 1 jaar in de opleiding valt op dat het resultaat voor Wiskunde inderdaad correleert met de categorieën cijfers voor Rekenen, Programmeren en Databases (Tabel 7: Correlaties tussen resultaten na het eerste leerjaar en cijfers Wiskunde en Natuur en Scheikunde op het diploma). Daarbij ligt het voor Wiskunde en Rekenen voor de hand dat er een correlatie gevonden wordt. De opleiding gaat verder waar de gemiddelde student geacht wordt te staan voor wat betreft Rekenen. Beter begrip in de vooropleiding helpt de student daarbij in de opleiding tot Applicatieontwikkelaar. Voor de categorieën Programmeren en Databases ligt deze correlatie in lijn met reeds door anderen verricht onderzoek (Devlin, 2003, Erdogan, Aydin, & Kabaca, 2008, Byrne & Lyons, 2001).

7.3

Natuur- en Scheikunde in de vooropleiding Het resultaat voor Natuur- en Scheikunde in de vooropleiding heeft geen voorspellende waarde voor het probleemoplossend vermogen van de student. Eric van Vliet Master Professioneel Meesterschap in het MBO

- 31 -

Het behaalde resultaat voor Natuur- en Scheikunde correleert met geen van de andere in het onderzoek onderzochte variabelen. Het resultaat op het diploma van de student lijkt daarmee geen voorspellende waarde te hebben voor het probleemoplossend vermogen van de student. Dit komt niet overeen met de bevindingen van Byrne & Lyons (2001) die in hun onderzoek naar indicatoren voor abstractievermogen vonden dat kennis van Natuur- en Scheikunde helpt bij het leren programmeren. Als reden daarvoor geven ze aan dat de cognitieve vaardigheden die worden ingezet bij Natuur- en Scheikunde overeenkomen met die worden ingezet bij het oplossen van problemen in het algemeen en dus ook bij het programmeren.

7.4

Resultaten aan het einde van leerjaar 1 Bij de analyse van de data is voor de rapportage aan het einde van het eerste leerjaar bekeken of er correlatie bestaat tussen de verschillende categorieën vakken op de rapportage. Uit de resultaten van deze analyse valt te concluderen dat er inderdaad veel correlatie is tussen de vakken en categorieën onderling. Studenten die goed scoren in een bepaalde categorie, doen dat ook in andere categorieën vakken en studenten die slecht scoren doen dat ook over de breedte van het vakkenpakket. Dit is in lijn met wat Erdogan, Yadin & Kabaca (2008) in hun onderzoek onder high-school studenten concluderen. Zij vonden een correlatie van r = .621; p < 0.1 tussen programmeer en niet-programmeer vakken bij hun onderzoek naar voorspellers voor succes in het programmeren.

7.4.1 Correlatie Niet technische vakken en Databases Een opvallende correlatie tussen de vakken op de eindrapportage onderling is de correlatie tussen de categorieën Niet technische vakken en Databases. De correlatie bedraagt r = .797; p (tweezijdig) < .01 en lineaire regressie analyse levert op dat 64% van de variatie in cijfers bij Databases verklaard kan worden aan de hand van het cijfer in de categorie Niet technische 2 vakken (R = .636; t = 7.23; p < .01). Om deze onderlinge invloed te bevestigen is over de verschillende vakken die zijn samengenomen in de categorie Niet technische vakken en de categorie Databases de Cronbach’s α bepaald. Deze levert α = .779 op en daarmee is er een grote samenhang tussen de resultaten op deze in totaal 11 vakken.

7.4.2 Correlatie Programmeren en Rekenen De categorieën Programmeren en Rekenen laten een onderlinge correlatie van r = .709, p (tweezijdig) < .01 zien. Uit de lineaire regressie analyse blijkt vervolgens dat 50% van de 2 variatie in cijfers voor Rekenen het cijfer voor Programmeren verklaart (R =.503; t = 5.51; p < .01). Deze bevinding wijst erop dat de vakken in de categorie Rekenen van belang zijn bij het Programmeren. Deze bevinding wordt ondersteunt door de onderzoeken van Erdogan, Aydin & Kabaca (2008) en Byrne en Lyons (2001) die vonden dat de cognitieve vaardigheden benodigd voor het programmeren overeenkomsten heeft met de cognitieve vaardigheden die ingezet worden bij het rekenen.


- 32 -

8

Discussie

8.1

Resultaten intake test versus resultaten eerste leerjaar In het algemeen laat het onderzoek naar correlatie tussen de resultaten in de intaketest en de resultaten aan het einde van het eerste leerjaar zien dat er nauwelijks correlatie is. Op slechts twee punten is enige correlatie gevonden in één van beide gevallen is deze nog negatief ook. Deze worden in de paragraven 0 en Fout! Verwijzingsbron niet gevonden. verder besproken. Vanuit het theoretisch kader zoals dat in hoofdstuk 4 beschreven is, werd op meer punten correlatie tussen de intaketoets en resultaten aan het einde van het eerste leerjaar verwacht. Zo waren naast Cijfers, waarvoor wel correlatie gevonden is ook voor de testen Bewerkingen en Berekeningen correlaties verwacht met de categorie Rekenen conform vergelijkbaar onderzoek naar voorspellers van succes in programmeeropleidingen van Hu (2006), Mayer (1998) en Wing (2008). Zij baseren hun bevindingen op de wiskunde resultaten van studenten. De testen die in de intaketoets gebruikt worden zijn in die zin van een andere orde omdat ze slechts een klein deel van het wiskunde spectrum beslaan. Dit zou een mogelijke verklaring kunnen zijn voor het ontbreken van significante correlaties tussen de testen Bewerkingen en Berekeningen en de resultaten van de student aan het einde van het eerste leerjaar. Ook voor de test voor Ruimtelijk inzicht worden geen correlaties gevonden met de resultaten aan het einde van het eerste leerjaar. Jones & Burnett (2008) vonden wel duidelijke correlatie tussen ruimtelijk inzicht en succes bij programmeren. Een mogelijke verklaring hiervoor zou het niveauverschil tussen de studenten in hun onderzoek en die in dit onderzoek kunnen zijn. Net als hun onderzoek zijn de onderzoeken uit het theoretisch kader uitgevoerd aan universiteiten onder studenten informatica. Applicatieontwikkeling is ook een onderdeel van informatica maar het niveau waarop MBO studenten opereren is wel wezenlijk anders dan het universitaire niveau van deze studies. De aanname dat de in de theorie gevonden indicatoren ook op het MBO niveau van waarde zijn is daarmee misschien wel fout geweest. Directe theoretisch onderbouwing voor deze stelling is niet gevonden maar bij het bestuderen van de het Computer Science 1 Curriculum (CS 1) van bijvoorbeeld Duke University, de introductie op programmeren die aan universiteiten gegeven wordt en waar de meeste onderzoeken zich op richten, valt op dat het niveau dat in dit curriculum gehaald wordt op delen gelijk staat aan het niveau dat aan het eind van een 4 jarige MBO opleiding wordt gehaald, dan wel dat niveau overstijgt (CS 1, 2006). Een tweede verklaring kan schuilen in de duur van de periode waarin dit onderzoek heeft plaatsgevonden in vergelijking tot de in de theorie gevonden onderzoeken aan universiteiten. Het CS 1 programma (CS 1, 2006) wordt in een periode van een paar maanden aangeboden. Gedurende deze periode krijgen de studenten in grote lijn dezelfde stof aangeboden die onze Applicatieontwikkelaars in 4 jaar tijd aangeboden krijgen. Door de duur van dit onderzoek op te rekken tot aan het einde van de opleiding is de vergelijking met de in de theorie gevonden onderzoeken beter te maken aangezien ze over het aanbrengen van dezelfde hoeveelheid en soort kennis gaan. Dat zou tot meer significante correlaties tussen de onderzoeken aan universiteiten en het onderzoek onder de Applicatieontwikkelaars kunnen leiden. Dit leidt dan ook tot de aanbeveling om nader onderzoek bij de uitstroom aan het einde van de opleiding te verrichten.


- 33 -

8.1.1 Evaluatievermogen en Databases Uit Tabel 5: Correlaties tussen intaketest resultaten en resultaten na eerste schooljaar is voor de correlatie tussen Evaluatievermogen en Database r = -.381 bij een significantie van p = .031 af te lezen. Dit betekent dat het evaluatievermogen van een student een negatieve invloed heeft op de prestaties voor vakken rondom databases. Een mogelijke verklaring voor deze negatieve correlatie kan liggen in de inhoud van het vakgebied. Bij het bouwen van databases komt het neer op het zeer nauwkeurig volgen van een aantal goed gedefinieerde stappen. Via dit stappenplan of algoritme komt de programmeur altijd op de optimale database structuur uit. In de literatuur vinden we dat dit soort problemen waarbij het pad naar de oplossing en het resultaat goed gedefinieerd zijn zogenaamde well-structured problemen zijn. Dit in tegenstelling tot programmeren waarbij het resultaat verschillende vormen kan aannemen en het pad naar de oplossing zelf gedefinieerd moet worden. Deze problemen komen we in de literatuur tegen als ill-structured problemen (Jonassen, 1997). Bij well-structured problemen komt het daarbij aan op het volgen van het recept. Evaluatievermogen is daarbij alleen aan het einde van het algoritme gewenst om te beoordelen of de oplossing klopt. Ook de toetsing van de categorie databases is vooral gericht op reproductie van het geleerde zal het evaluatievermogen eerder tegen werken dan meewerken.

8.1.2 Cijfers en Rekenen Uit Tabel 5: Correlaties tussen intaketest resultaten en resultaten na eerste schooljaar is voor de correlatie tussen Cijfers en de categorie Rekenen r = .459 bij een significantie van p = .018 af te lezen. Deze correlatie ligt voor de hand aangezien rekenen veel te maken heeft met cijfers en operatoren die binnen deze test gebruikt worden.

8.2

Wiskunde versus Rekenen, Programmeren en Databases Bij de analyse van het cijfer op het diploma van de vooropleiding en de resultaten voor de 3 groepen vakken zijn interessante correlaties gevonden. Op grond van deze bevindingen zou voor studenten die lager dan een 7 gescoord hebben voor Wiskunde in de vooropleiding extra aandacht geschonken moet worden aan het leren oplossen van problemen. De resultaten moeten echter wel met enige voorzichtigheid beschouwd worden aangezien de groep waarvoor deze analyse mogelijk was slechts uit 14 personen bestaat.

8.3

Resultaten aan het einde van leerjaar 1 onderling De cijfers op de rapportage aan het einde van het eerste leerjaar van de opleiding vertonen onderling een grote correlatie. Uitgaande van het verschil tussen de vakken onderling zou juist verwacht worden dat een student die slecht in de technische vakken is, bij de niet technische vakken betere resultaten kan laten zien. Deze correlatie is mogelijk te verklaren door de inzet en motivatie van de student. Een gemotiveerde student zet zich beter in om goede cijfers te behalen. Dat gebeurt dan over de hele linie van de vakken en dat draagt bij aan de correlatie tussen de cijfers voor deze vakken. Onderzoek van Coffin & MacIntyre (1999) en van Bergin & Reilly naar het effect van motivatie op het studiesucces laat ook zien dat gemotiveerde studenten en dan vooral intrinsiek gemotiveerde studenten succesvoller zijn in de opleiding.


- 34 -

8.4

Opmerkelijke bevindingen

8.4.1 Numerieke aanleg In de intaketest wordt gebruik gemaakt van een drietal testen waarvan de resultaten samengenomen worden als maat voor de Numerieke aanleg van de student. Uit de betrouwbaarheidsanalyse blijkt evenwel dat de scores voor deze drie testen zeer weinig samenhang vertonen. Een directe verklaring hiervoor is niet gevonden. Het weglaten van de test voor Bewerkingen leidt tot een acceptabele samenhang met als resultaat voor Cronbach’s α = .643. De oorzaak ligt in ieder geval niet in het feit dat er naast de rekenkundige toets ook op het lezen van vragen getoetst wordt. Ditzelfde geldt namelijk voor de test rondom Berekeningen en daarmee wordt wel een acceptabele samenhang gevonden. Om te controleren of deze ontbrekende samenhang structureel voorkomt zouden alle geteste studenten gebruikt kunnen worden om Cronbach’s α tussen de 3 testresultaten te bepalen. Op grond daarvan zou contact gezocht kunnen worden met de leverancier van het toetsinstrument om uit te zoeken wat de oorzaak van dit resultaat is.


- 35 -

9

Aanbevelingen De gevonden resultaten in dit onderzoek laten geen echte doorbraken zien. Wel laat het zien dat er op een aantal punten wel voorspellende waarde gevonden kan worden op basis waarvan studenten die niet aan alle toelatingseisen voldoen een aanvullende programma krijgen om zich toch tot succesvol applicatieontwikkelaar te ontwikkelen.

9.1

Extra begeleiding bij lage wiskunde resultaten Uit het onderzoek komt naar voren dat er een sterke correlatie is tussen het behaalde resultaat voor Wiskunde in de vooropleiding en het succes van de student in de opleiding afgemeten aan de rapportage aan het einde van het eerste leerjaar. Omdat dit verband in dit onderzoek over slechts 14 studenten heeft plaatsgevonden wordt voorgesteld dit deel van het onderzoek met de studenten populatie van cohort 2012-2013 te herhalen. Van deze studenten zijn wel alle benodigde gegevens beschikbaar en daarmee zouden rond de 80 studenten in het nieuwe onderzoek beschouwd kunnen worden. Mocht er bij deze grotere groep studenten nog steeds een significante correlatie waargenomen worden, dan zal voor de studenten die laag gescoord hebben voor wiskunde in de vooropleiding een aanvullend lesprogramma ingezet worden. Hiervoor kan in ieder geval de voorgestelde interventie (paragraaf 9.3) gebruikt worden. Daarnaast kan de SLB’er van de student extra aandacht besteden aan de studievoortgang van de betreffende studenten.

9.2

Verder onderzoek Om de aanname te staven dat de in de literatuur gevonden indicatoren zoals deze binnen onderzoek aan universitaire instellingen gebruikt worden wel degelijk ook binnen het MBO toepasbaar zijn mits er een grotere tijdspanne tussen nulmeting en voortgangsmeting in acht genomen wordt kan aan het einde van het tweede leerjaar opnieuw een analyse gemaakt worden. Deze analyse zal tussen de intaketest resultaten en de resultaten aan het einde van het tweede leerjaar kunnen plaatsvinden. Indien deze aanname klopt zou er op dat moment meer correlatie gevonden moeten worden.

9.3

Interventie voorstel Op grond van de gevonden resultaten voor correlatie tussen het resultaat voor Wiskunde in de vooropleiding en de resultaten aan het einde van het eerste leerjaar kan gesteld worden dat het voor studenten met een lage score voor Wiskunde moeilijker is om de opleiding te volgen. Juist voor deze studenten kan het helpen expliciete aandacht te schenken aan probleemoplossend denken om zo het succes in de opleiding te verhogen. Om het kantelpunt te bepalen vanaf welk cijfer voor Wiskunde in de vooropleiding deze extra aandacht nodig is, zijn Curvefit analyses uitgevoerd op de relaties tussen Wiskunde en de categorieën Rekenen, Programmeren en Databases. Best fit was daarbij lineaire regressie dan wel kwadratische regressie. Daarmee is geen duidelijk kantelpunt gevonden vanaf welk cijfer voor Wiskunde het aanvullende programma interessant is. Bestudering van de verschillende scatterplots laat evenwel zien dat onvoldoendes voor de categorieën Rekenen, Programmeren en Databases alleen gescoord worden door studenten met een 5 of een 6 als resultaat voor Wiskunde op hun vooropleiding. De interventie wordt daarom voorgesteld voor Eric van Vliet Master Professioneel Meesterschap in het MBO

- 36 -

alle studenten die 6 of lager scoren voor Wiskunde in hun vooropleiding, of die studenten die geen Wiskunde in hun vakkenpakket hadden in hun vooropleiding. De interventie zelf zal de vorm krijgen van een training vergezeld van oefeningen, gericht op het aanleren van strategieën die helpen bij het oplossen van problemen. Om het effect van deze training te bepalen zal voorafgaand aan deelname aan de training middels een vragenlijst vastgesteld worden hoe de student zelf oordeelt over zijn vaardigheden op het gebied van probleemoplossend vermogen. Na afloop van de training cyclus van 3 tot 4 lesonderdelen zal dezelfde vragenlijst opnieuw voorgelegd worden om te bepalen of de training effect heeft gehad.


- 37 -

10

Literatuurlijst

CS 1. (2006). Opgeroepen op 10 03, 2013, van Principles of Computer Science: http://www.cs.duke.edu/courses/summer06/cps001/syllabus.html Bennedsen, J., & Caspersen, M. (2006). Abstraction Ability as an Indicator of Success for Learning ObjectOriented Programming. The SIGCSE Bulletin, 38(2), 39-43. Bergin, S., & Reilly, R. (2005). The influence of motivation and comfort-level on learning to program. PPIG 17 (pp. 293-304). Sussex: Sussex University. Byrne, P., & Lyons, B. (2001). The Effect of Student Attributes on Succes in Programming. Association for Computer Machinery, 36(3), 49-52. Carney, K. (2010). Visual C# .NET 2008 to 2010. Home & Learn. Coffin, R., & MacIntyre, P. (1999). Motivational influences on computer-related affective states. Computers in Human Behavior 15, 549-569. Devlin, K. (2003). Why Universities Require Computer Science Students to Take Math. Communications of ACM, 46(9), 37-39. Erdogan, Y., Aydin, E., & Kabaca, T. (2008). Exploring the Psychological Predictors of Programming Achievement. Journal of Instructional Psychology, 35(3), 264-270. Fain, Y. (2004). Java Programming. New Jersey, USA: Smart Data Processing Inc. Hu, C. (2006). It's Mathematical, After All - The Nature of Learning Computer Programming. Education and Information Technologies 11, 83-92. Insight - Intake. (sd). Opgeroepen op januari 15, 2012, van AMN: http://www.amn.nl/amn/Producten/Pages/Intake.aspx Jonassen, D. H. (1997). Instructional Design Models for Well-Structured and Ill-Structured Problem-Solving Learning Outcomes. Educational Technology Research and Development Vol 45, No 1, 65-94. Jones, S., & Burnett, G. (2008). Spatial Ability and Learning to Program. Human Technology 4(1), 47-61. Kramer, J. (2006). The Role of Abstraction in Software Engineering. ACM SIGSOFT Software Engineering Notes, 31(4), 38-39. Kramer, J. (2007). Is Abstraction the Key to Computing? Communications of the ACM, 50(4), 37-42. Lister, R. (January 2011). Concrete and Other Neo-Piagetian Forms of Reasoning in the Novice Programmer. Thirteenth Australasian Computing Education Conference (ACE 2011), (pp. 9-18). Perth, Australia. Lister, R., Adams, E. S., Fitzgerald, S., Fone, W., Hamer, J., Lindholm, M., et al. (2004). A Multi-National Study of Reading and Tracing Skills in Novice Programmers. ACM SIGCSE Bulletin 36(4), 119-150. Mayer, R. E. (1998). Cognitive, Metacognitive and Motivational Aspects of Problem Solving . Instructional Science 26, 49-63. McCracken, M., Almstrum, V., Diaz, D., Guzdial, M., Hagan, D., Kolikant, Y., et al. (2001). A Multi-National, MultiInstitutional Study of Assessment of Programming Skilss of First Year CS Students. ACM SIGCSE Bulletin, 33(4), 125-140. Parham, J. R. (2003). An Assessment and Evaluation of Computer Science Education. Journal of Computing Sciences in Colleges 19(2), 115-127. Roberts, P. (October 4-9, 2009). Abstract Thinking: a Predictor of Modelling Ability. ACM/IEEE 12th International Conference on Model Driven Engineering Languages and Systems: Educators' Symposium. Denver, Colorado, USA. Shaffer, D., Doube, W., & Tuovinen, J. (2003). Applying Cognitive Load Theory to Computer Science Education. In M. Petre, & D. Budgen (Red.), Procedings of the Joint Conference of the EASE & PPIG 2003, (pp. 333-346).


- 38 -

Wing, J. M. (2008). Computational Thinking and Thinking About Computing. Philosophical Transactions of the Royal Society, A, 3717-3725.


- 39 -

Bijlage 1: Geanonimiseerde resultatenlijst student


- 40 -

Analyseverslag. Probleemoplossend vermogen. bij Applicatieontwikkelaars. Master Professioneel Meesterschap

Recommend Documents