CW-N en CW-I Carrièrrewaardenvragenlijst normatief en ipsatief
Handleiding Ixly © 2013
Powered by
Auteurs Drs. Heleanne Rusthoven Drs. Diddo van Zand Ilse Beemsterboer, MSc. Merel Schrijver, MSc.
©
Ixly 2013 Alle rechten voorbehouden.
Voorwoord Deze handleiding bevat de relevante informatie over de persoonlijkheidsvragenlijsten CW-I en CW-N. Door middel van deze handleiding willen we gebruikers informatie geven over de constructie, achtergrond en statistische eigenschappen, om op deze manier inzicht te krijgen in de vragenlijsten. Tevens dient deze handleiding als een hulpmiddel bij de interpretatie. De CW-I en CW-N zijn niet in één dag geconstrueerd. Hier zijn meerdere jaren onderzoek aan vooraf gegaan en er hebben door de jaren heen meerdere mensen aan meegewerkt. In verschillende fasen van ontwikkeling hebben de onderstaande personen een bijdrage geleverd aan de ontwikkeling en het achterliggende onderzoek van de vragenlijsten: Diddo van Zand Petrice Broeders Mark Westerhuis Nilka Capricorne Annet van de Velde Wendy Ruiterkamp Kees van Driel Lisette van Cruijningen Jolijn Hendriks Anne Floor van Dalfsen Marije Koeman Jelle Geertsma Martijn van der Woud Ilse Beemsterboer Heleanne Rusthoven Merel Schrijver Dr. Peter Tellegen van de Rijksuniversiteit Groningen heeft een adviserende rol vervuld bij de psychometrische ondersteuning en het schrijven van de handleiding. Hiervoor onze grote dank. Daarnaast hebben vele honderden proefpersonen meegewerkt aan verschillende onderzoeken en bij de oorspronkelijke testconstructie. Tenslotte willen we onze professionele gebruikers danken voor het gebruik mogen maken van gegevens van hun kandidaten en het positief kritisch meedenken om van de CW vragenlijsten praktische betekenisvolle instrumenten te maken voor de HRM-beroepspraktijk.
2
Inhoudsopgave 1. Inleiding
4
1.1 Carrièrewaarden
4
1.2 Het meten van carrièrewaarden in de praktijk
6
2. Ontwikkeling
8
2.1 De ontstaansgeschiedenis 2.1.2 De twee versies van de CW
8 10
2.2 De structuur van de CW-N en CW-I 2.2.1 Structuur CW-N 2.2.2 Structuur CW-I 2.2.3 Ontwikkelproces
11 11 11 12
3. Normeringonderzoek
13
3.1 De normgroepen
13
3.2 Vaststellen normen
15
4. Betrouwbaarheid
18
4.1 Betrouwbaarheid van de vragenlijsten
18
4.2 Stabiliteit van de schalen
20
5. Validiteit
22
5.1 Criteriumvaliditeit 5.1.1. Concurrente validiteit: Onderzoek met de FFPI 5.1.2. Predictieve validiteit verpleegkundigenonderzoek met 360 graden-beoordelingen
22 22 25
5.2 Begripsvaliditeit 5.2.1 Begripsvaliditeit: Schaalstructuur 5.2.2 Begripsvaliditeit: Equivalentie van de CW-N en de CW-I 5.2.3 Begripsvaliditeit: Relatie met de achtergrondvariabelen 5.2.4 Begripsvaliditeit: Culturele bias 5.2.5 Begripsvaliditeit: De CW en de Werkgerelateerde Persoonlijkheidsvragenlijst
28 28 29 29 34 36
5.3 Conclusies met betrekking tot de validiteit van de CW
39
6. Toepassing, interpretatie en gebruik
40
6.1 Toepassingsmogelijkheden
40
6.2 Materiaal en instructie voor de testafname
40
6.3 Vereiste kennis voor het gebruik van de test
41
6.4 Beperkingen van de test
41
6.5 Interpretatie scores 6.5.1 Primaire, secundaire en neutrale motivatoren en demotivatoren 6.5.2 Betekenis van de carrièrewaarden 6.5.3 Interpretatie scores bij een selectiesituatie en een adviessituatie 6.5.4 De relaties tussen carrièrewaarden met betrekking tot beroepsindicaties
42 43 45 45 49
Literatuur
52
Bijlagen
55
3
1. Inleiding De carrièrewaardenvragenlijst (CW) is een persoonlijkheidsvragenlijst die in kaart brengt welke factoren van werk een persoon motiveren. De vragenlijst is door Ixly1 ontwikkeld voor het werkveld van Human Resource Management. Oorspronkelijk is een normatieve versie van de vragenlijst (CWN) ontwikkeld die als adviesmiddel ingezet kon worden. Adviseurs wilden de CW echter ook bij selectiesituaties inzetten. Bij selectiesituaties zijn kandidaten meer geneigd sociaal wenselijk te antwoorden. Ze zullen een hogere score geven op vragen die zij van belang achten voor de betreffende functie. Om deze reden is er naast de normatieve versie ook een ipsatieve versie (CW-I) van de vragenlijst geconstrueerd. Bij de ipsatieve versie wordt men “gedwongen” een keuze te maken tussen twee vragen die behoren bij verschillende carrièrewaarden. Tevens is de CW-I voor selectiesituaties genormeerd zodat mensen in deze situatie kunnen worden vergeleken met mensen binnen een selectiesituatie. Bij selectieprocedures geeft de carrièrewaardenvragenlijst inzicht in de match tussen de carrièrewaarden van de kandidaat en kenmerken van de functie. Is er een match aanwezig, dan zegt dat iets over de motivatie die een kandidaat heeft voor de betreffende functie. Bij adviessituaties ontstaat er een beeld van wat een persoon motiverend vindt in een baan. Zodoende kan er gerichter gezocht worden naar een passende functie. Deze handleiding bevat de technische informatie over de CW. Allereerst zal er op het begrip carrièrewaarden en de achtergrond van de CW worden ingegaan. Vervolgens worden de ontwikkeling, het normeringsonderzoek en de psychometrische kwaliteiten weergegeven en toegelicht. Tot slot wordt aangegeven hoe de test toegepast dient te worden, de resultaten geïnterpreteerd mogen worden en welke conclusies men hieraan kan verbinden. 1.1 Carrièrewaarden Carrièrewaarden spelen een belangrijke rol in werkgerelateerde processen zoals werktevredenheid, motivatie, binding met een organisatie en prestatie (Dose, 1997; Meglino & Ravlin, 1998; Roe & Ester, 1999). Aangenomen wordt dat de fit tussen de carrièrewaarden van de persoon en de kenmerken van de functie of het beroep een voorspellende waarde heeft op bovengenoemde processen. De onderliggende assumptie is dat mensen gemotiveerder, meer tevreden, blijer en meer verbonden zijn met de organisatie wanneer de carrièrewaarden van een individu overeenkomen met de waarden van een organisatie of een bepaalde beroepsgroep. Om die reden zijn organisaties op zoek naar personen met carrièrewaarden passend bij de betreffende functie en organisatie. Andersom prefereren individuen functies en beroepen waarbij er sprake is van een match met hun carrièrewaarden (Judge & Bretz, 1992). Super heeft in 1953 de basis gelegd voor het idee dat er tevredenheid ontstaat als de waarden van een persoon overeenkomen met de waarden in een bepaalde omgeving. Hij stelde dat tevreden zijn met je werk en/of met je leven afhangt van het feit of je je capaciteiten, belangen, persoonlijkheidstrekken en waarden op een adequate manier kan benutten (Super, 1953). Concluderend kunnen we uit dit basisidee opmaken dat wanneer de carrièrewaarden van een bepaald persoon matchen met de kenmerken van een betreffende functie, dit leidt tot tevredenheid met de functie. Uit de literatuur blijkt dat carrièrewaarden over het algemeen brede tendensen zijn die aangeven welke kenmerken en uitkomsten van het werk en welke eigenschappen in een werkomgeving iemand prefereert (o.a. Furnham, Forde & Ferrari, 1999; Hofstede, 1998; Super 1973). Volgens Schwartz (1999) zijn carrièrewaarden doelen en beloningen die mensen in hun werk zoeken. Daarnaast ziet hij carrièrewaarden als uiting van de basiswaarden van een persoon, in de werkcontext. Schwartz (1999) deelt carrièrewaarden in in vier brede categorieën, te weten:
1. 2. 3. 4.
Intrinsieke carrièrewaarden: hieronder vallen onder andere persoonlijke groei, autonomie, creativiteit en interesse. Extrinsieke carrièrewaarden: hierbij valt te denken aan salaris en zekerheid. Sociale carrièrewaarden: contact met anderen en bijdrage aan de maatschappij zijn hier voorbeelden van. Macht: zoals prestige, autoriteit en invloed.
4
Ontstaan van carrièrewaarden In de literatuur wordt veel geschreven over de ontstaanswijze van carrièrewaarden. Veelal wordt er vanuit gegaan dat het ontstaan van carrièrewaarden alleen door omgevingsfactoren wordt beïnvloed. Keller, Bouchard, Arvey, Segal en Dawis (1992) hebben echter onderzocht of er een genetische component betrokken is bij de vorming van carrièrewaarden. Zij vergeleken de carrièrewaarden van 23 eeneiige en 20 twee-eiige tweelingen die apart van elkaar waren opgegroeid. Uit dit onderzoek bleek dat zo’n 40 procent van de variantie in de carrièrewaardenmetingen werd verklaard door genetische factoren. Dit zegt niet dat de vorming van carrièrewaarden voor 40 procent door genetische componenten bepaald wordt. Het geeft echter wel aan dat er sprake is van een significante genetische component bij de vorming van carrièrewaarden (Keller et al., 1992). Gezien de kleine sample size van dit onderzoek is de generaliseerbaarheid beperkt (Sagie, Elizur en Koslowsky, 1996). Volgens aanhangers van de “gender approach” worden carrièrewaarden al gevormd voordat iemand zich op de arbeidsmarkt begeeft. Dit baseren zij op het algemeen geaccepteerde principe dat er echte mannen- en echte vrouwenberoepen bestaan. Mannen en vrouwen hebben bij voorbaat al verschillende verwachtingen met betrekking tot het werkende leven, waardoor ze andere carrièrewaarden ontwikkelen. Aanhangers van de “gender approach” zien carrièrewaarden als relatief stabiele determinanten van gedrag die mannen en vrouwen in andere richtingen sturen. Er wordt vanuit gegaan dat de verschillen in carrièrewaarden tussen mannen en vrouwen in stand blijven. Een andere benadering is de “structural approach”. Aanhangers van deze benadering impliceren dat de ontwikkeling van carrièrewaarden begint op het moment dat iemand zich op de arbeidsmarkt begeeft. Op basis van de positie die iemand bemachtigt komen carrièrewaarden tot stand. Aangezien vrouwen zich over het algemeen in lagere posities bevinden ontwikkelen zij andere carrièrewaarden dan mannen. Volgens aanhangers van de “structural approach” is dit de reden dat vrouwen meer belang hechten aan onder andere “Hulp verlenen” en mannen aan “Financiële beloning” (Hagström & Kjellberg, 2007). Stabiliteit van carrièrewaarden Carrièrewaarden zijn redelijk homogene en constante kenmerken of aspecten van de werkomgeving, taken en opbrengsten van werk, die door mensen als stimulerend of motiverend ervaren kunnen worden (Sagie et al., 1996). Uit onderzoek blijkt dat de carrièrewaarden die een persoon belangrijk vindt bijgesteld worden in de overgang van adolescentie naar volwassenheid. Adolescenten vormen, door gebrek aan ervaring, onrealistische hoge doelen van wat zij in hun carrière willen bereiken. Op het moment dat zij zich op de arbeidsmarkt begeven zullen deze doelen bijgesteld worden aangezien er dan een realistischer beeld gevormd wordt van de haalbaarheid van de doelen (Johnson, 2001). Door deze wijziging zullen er ook aanpassingen ontstaan in de carrièrewaarden die iemand belangrijk vindt. Carrièrewaarden blijven, wanneer ze tijdens de volwassenheid gevormd zijn, relatief stabiel (Judge & Bretz, 1992). Knezevic (1998) geeft dan ook als definitie dat carrièrewaarden een relatief stabiele verzameling van opvattingen zijn over wat juist, waardevol en gewenst is met betrekking tot de werkcontext (Knezevic, 1998). Carrièrewaarden en sekse Er is veel onderzoek gedaan naar de verschillen in carrièrewaarden tussen mannen en vrouwen. Onderzoek heeft uitgewezen dat jonge vrouwen meer waarde hechten aan intrinsieke, altruïstische en sociale carrièrewaarden, terwijl jonge mannen extrinsieke carrièrewaarden belangrijker vinden (Johnson, 2001). Uit recent onderzoek blijkt echter wel dat het verschil in carrièrewaarden tussen vrouwen en mannen kleiner wordt. Tegenwoordig krijgen vrouwen veel meer de kans om opleidingen te volgen en carrière te maken. Wanneer zij zich op de arbeidsmarkt gaan begeven zullen ze ervaren dat het mogelijk is om een goed salaris te krijgen en promotie te maken. Door deze mogelijkheden zullen vrouwen ook steeds meer waarde hechten aan prestige en een goed salaris (Johnson, 2001). Culturele verschillen in carrièrewaarden Naast het geslacht en de omgeving blijkt ook het land waarin iemand woont of vandaan komt een rol te spelen bij de ontwikkeling van carrièrewaarden. Elizur, Borg, Hunt en Beck (1991) vonden verschillen tussen landen met betrekking tot de rangorde van belangrijkheid van de carrièrewaarden. In Japan stond bijvoorbeeld de carrièrewaarde “Zekerheid” op nummer 1, terwijl mensen in landen als China en Israël dit minder belangrijk vonden. Daarnaast gaven de Chinese respondenten als
5
belangrijkste carrièrewaarde “Maatschappelijke bijdrage” aan. Bij de respondenten van de andere landen bleek dit echter een van de minst belangrijke carrièrewaarden te zijn (Sagie et al., 1996). 1.2 Het meten van carrièrewaarden in de praktijk Carrièrewaarden kunnen gemeten worden met een “psychologische test”. Dit begrip is als volgt te beschrijven: “Een systematische beoordeling- of meetprocedure, die het mogelijk maakt een uitspraak te doen over één of meer persoonseigenschappen van de onderzochte of van zijn/haar toekomstige gedrag of toekomstige prestaties” (Drenth, 1981). Deze beoordeling wordt gebaseerd op een objectieve en vergelijkende verwerking van de reacties en prestaties van de onderzochte op een aantal zorgvuldig uitgekozen opdrachten of vragen, die op een gestandaardiseerde manier aan hem worden voorgelegd. De reacties van de persoon vormen de testinformatie op basis waarvan een uitspraak gedaan wordt. Deze testinformatie kan op verschillende manieren verkregen worden, bijvoorbeeld door zelfbeoordeling, observatie, instrumentele meting of objectieve documentatie (Drenth, 1981). De persoonlijkheidsvragenlijst is een voorbeeld van een psychologische test. Persoonlijkheidsvragenlijsten zijn al sinds de jaren 20 van de vorige eeuw veelgebruikt in de praktijk, alleen werd er lange tijd in onderzoek geen duidelijk verband gevonden tussen criteria van goed werkgedrag en de uitkomst van de tests (Salgado & de Fruyt, 2005). Ondanks dit gegeven bleven persoonlijkheidsvragenlijsten in de praktijk populair. Naast gebruik in de (geestelijke) gezondheidszorg, de zogenaamde “psychodiagnostiek”, worden persoonlijkheidsvragenlijsten eveneens veelvuldig gebruikt in het veld van HRM-selectiepraktijk. Essentieel bij gebruik van de persoonlijkheidsvragenlijst in het werkveld van HRM is de predictieve validiteit: in hoeverre heeft persoonlijkheid, zoals deze met vragenlijsten gemeten wordt, een voorspellende waarde voor de (toekomstige) werkprestaties. De laatste jaren blijkt uit onderzoek dat persoonlijkheidsvragenlijsten een voorspellende waarde hebben bij personeelsselectie. Er blijkt echter nog weinig onderzoek te zijn gedaan naar de voorspellende waarde van carrièrewaarden (Sagie et al., 1996). Meglino, Ravlin en Adkins (1989) onderzochten of de prestatie van werknemers, die dezelfde carrièrewaarden belangrijk vinden als hun supervisor, beter zijn dan de prestaties van werknemers die andere carrièrewaarden belangrijk vinden. Er werden geen significante resultaten gevonden voor deze hypothese. De hypothese of de prestaties beter zijn als er een match is tussen de carrièrewaarden van de werknemer en de kenmerken van de functie werd bij dit onderzoek niet onderzocht. Meglino et al. (1989) vonden wel een relatie tussen carrièrewaarden en tevredenheid en toewijding. Werknemers zijn meer tevreden met hun baan en voelen zich meer verbonden aan de organisatie als hun carrièrewaarden overeenkomen met de carrièrewaarden van hun supervisor (Meglino et al., 1989). Shapira en Griffith (1990) vonden in tegenstelling tot Meglino et al. (1989) echter wel een verband tussen carrièrewaarden en prestatiebeoordelingen. Ze onderzochten of de carrièrewaarden van een groep managers en ingenieurs een aantal aspecten van gedrag kon voorspellen. Uit de resultaten komt naar voren dat een aantal intrinsieke carrièrewaarden een sterke relatie vertoont met prestatiebeoordelingen. Hun conclusie is dan ook dat carrièrewaarden iemands werkprestatie kunnen voorspellen (Shapira & Griffith, 1990).
6
De carrièrewaardenvragenlijst (CW) Het initiatief binnen Ixly tot het ontwikkelen van een vragenlijst die inzicht gaf in de carrièrewaarden van een persoon, kwam voort uit de praktijk. Er bleek geen vragenlijst voor handen te zijn die een goed en gedifferentieerd beeld gaf van de carrièrewaarden van een kandidaat. Bij het ontwikkelen van de carrièrewaardenvragenlijst is de volgende definitie van carrièrewaarden gehanteerd: Carrièrewaarden zijn redelijk homogene en constante kenmerken of aspecten van de werkomgeving, taken en opbrengsten van werk. Mensen hebben veelal enkele dominante of primaire carrièrewaarden die als stimulerend en motiverend ervaren worden. De CW is oorspronkelijk ontwikkeld om ingezet te worden bij loopbaanadvisering. Het rapport van de CW geeft inzicht in iemands primaire, secundaire en neutrale motivatoren. Daarnaast geeft het inzicht in de demotivatoren van een persoon. Het resultaat van de vragenlijst kan helpen bij het nemen van loopbaanbeslissingen. Naarmate de kenmerken van een functie beter aansluiten bij iemands persoonlijke motivatoren zal deze persoon gemotiveerder zijn, met meer plezier naar zijn werk gaan en over het algemeen beter presteren. De CW bevat een twintigtal carrièrewaarden die in vier clusters ingedeeld kunnen worden: Balans privé-werk, opbrengsten, activiteiten en omgeving. Balans privé-werk geeft de gewenste balans aan tussen werk en het privéleven. Het cluster opbrengsten bevat waarden die samenhangen met het effect van de uitvoering van taken, en zeggen iets over datgene wat het werkt oplevert: de resultaten en opbrengsten van het werk die een persoon belangrijk vindt. Activiteiten zegt iets over de werkzaamheden of type taken, de activiteiten die iemand tijdens zijn werk wil uitvoeren. Schwartz (1999) noemde deze cluster intrinsieke carrièrewaarden. Het cluster omgeving bevat waarden die relateren aan de omgeving waarin het werk wordt verricht en waarden die iets zeggen over de relatie met deze omgeving. Dit cluster toont overlap met de sociale carrièrewaarden van Schwartz (1999).
7
2. Ontwikkeling In dit hoofdstuk wordt de ontstaansgeschiedenis van de Carrièrewaardenvragenlijst in kaart gebracht. De ontwikkeling van de vragenlijst wordt beschreven. Als eerste wordt het gebruiksdoel gedefinieerd met daarbij de eerste opzet van de vragenlijst. Ten tweede worden de eerste analyses en de itemselecties beschreven. Als laatste wordt de structuur van de vragenlijst weergegeven en hoe deze tot stand is gekomen. 2.1 De ontstaansgeschiedenis Adviseurs, werkzaam in het veld van loopbaanadvisering en -selectie, ontbrak het aan een goede vragenlijst die inzicht gaf in de carrièrewaarden van een kandidaat. Zo’n vragenlijst zou een goede toevoeging voor dit werkveld zijn aangezien een match tussen functiekenmerken en individuele 1 carrièrewaarden een belangrijke voorspeller van motivatie is. Voor adviesbureau Orga was dit reden om in 1997 aan de ontwikkeling van de CW te beginnen. Gebruiksdoel Het doel is het construeren van een persoonlijkheidsvragenlijst die inzicht geeft in de carrièrewaarden van een persoon. Doelgroep De CW heeft als doelgroep de beroepsbevolking van Nederland. Constructie van de itempool Het theoretische kader bood weinig directe aanknopingspunten voor het ontwikkelen van een vragenlijst die aan het gebruiksdoel zou voldoen. Om deze reden is de ontwikkeling niet gestart vanuit een theoretisch kader over motivatie, maar vanuit een analyse van zinnen die mensen uitspreken als hen gevraagd wordt wat zij als motiverend en stimulerend ervaren in hun werk. Een tiental adviseurs heeft gedurende een half jaar genoteerd wat kandidaten als motiverend en stimulerend ervaren. In deze gesprekken is gebruik gemaakt van de gesprekstechniek motivatieanalyse (van Zand, Knispel, Rogier & Jongeleen, 2006). Deze methodiek gebruikte Orga bij trainingen voor loopbaanadviseurs en was in verschillende syllabi opgenomen. De oorspronkelijke bedenker van deze methode is Eric Deen, destijds verbonden aan Raadgevendbureau Claessens, en vereenvoudigd door Diddo van Zand. Het boek uit 2006 is de eerste publicatie waarin deze methode beschreven staat. De adviseurs stelden de kandidaten twee vragen: “Wat heb je de afgelopen tijd als een plezierige of motiverende gebeurtenis in het werk ervaren?” en “Wat maakte dat je dit als motiverend hebt ervaren?”. Het antwoord op de laatste vraag was van belang omdat verschillende personen eenzelfde situatie om andere redenen motiverend kunnen vinden. Hieronder volgt een voorbeeld van een motivatieanalyse: Vraag 1
“Wat heb je de afgelopen tijd als een plezierige of motiverende gebeurtenis in het werk ervaren?”
Antwoord 1
“Het project dat ik samen met Piet deed en waarin we een analyse gemaakt hebben van onze leveranciers.”
Vraag 2
“Wat maakte dat je dit als motiverend hebt ervaren?”
Antwoord 2a Antwoord 2b
“De samenwerking met Piet, we waren echt een team.” “We hebben een slimme, verrassende analyse gemaakt, waarmee we als nieuwelingen dingen in gang gezet hebben wat onze voorgangers niet gelukt is!” “Toen het klaar was en de we de presentatie gaven kregen we een groot compliment van de directeur. Dat moment sprong eruit voor mij.”
Antwoord 2c
De door de adviseurs genoteerde zinnen werden vervolgens gegroepeerd tot begrippen en bewerkt tot items die in een vragenlijst afgenomen konden worden. Deze methode is verwant aan de lexicografische methode die ten grondslag ligt aan de Big Five (Allport & Odbert, 1936; Cattell, 1943), met het verschil dat hier is uitgegaan van het gesproken woord. Uit eerdere observaties van het 1
Ixly is in 2005 afgesplitst van Orga en specialiseert zich in het uitgeven van tests.
8
onderzoeksteam bleek dat mensen bij het beantwoorden van vragen op signaalwoorden reageren. Er is tijdens de operationalisatie van begrippen naar itemniveau naar verklarende signaalwoorden gezocht, die een voorspellende waarde van het desbetreffende begrip zouden hebben. Het streven was dat een signaalwoord in een item maar op één begrip betrekking had. Daarnaast zijn bestaande vragenlijsten onderzocht op items die carrièrewaarden lijken te bevragen. Bijvoorbeeld de Edwards Personal Preference Scale (Tjoa, 1993) en de Career Anchors van Schein (Schein, 1975). Deze leverden nog enkele toevoegingen op aan de itempool. De eerste itempool bestond uit achttien begrippen (carrièrewaarden), ieder geoperationaliseerd door zes items. Afname itempool Eerste itempool De eerste versie van de vragenlijst is gedurende een half jaar uitgezet onder ruim 120 proefpersonen, vooral in loopbaanadviestrajecten. Dit gebeurde door een intern mobiliteitsbureau van een grote landelijke dienstverlenende organisatie. Bij iedere terugkoppeling van het resultaat van de vragenlijst werd aan de proefpersoon gevraagd wat zij van de vragenlijst en het rapport vonden. Er werd gevraagd in welke carrièrewaarden zij zichzelf het meest en het minst herkenden en welke carrièrewaarden zij misten in het rapport. Op basis van deze suggesties en aanbevelingen werd de vragenlijst aangevuld met zes nieuwe begrippen (carrièrewaarden) en werd het aantal items van ieder begrip uitgebreid van zes naar vijftien items. Tweede itempool De tweede versie van de vragenlijst is gedurende twee maanden uitgezet onder ruim 40 proefpersonen, bestaande uit vrijwilligers die interesse hadden in hun carrièrewaardenprofiel. Na deze periode zijn statistische analyses uitgevoerd en is de vragenlijst ingeperkt tot 187 items behorende bij 20 carrièrewaarden. Criteria voor het verwijderen van carrièrewaarden en items waren onderlinge samenhang en inhoudelijke breedte van de vragenlijst. Derde itempool De derde versie van de vragenlijst staat bekend als de Carrièrewaarden-N (CW-N). De N staat voor normatief, wat aangeeft dat ieder item een vijfpunts Likert-antwoordschaal bevat. De antwoordschaal loopt van ‘Zeer mee oneens’ tot ‘Zeer mee eens’. De 20 carrièrewaarden kunnen als volgt worden onderverdeeld in vier clusters. Balans privé-werk 1. Balans privé-werk Opbrengsten 2. Financiële beloning 3. Waardering en erkenning 4. Concrete resultaten 5. 6.
Zinvolle bijdrage Carrière
7.
Kwaliteit
Activiteiten 8. Creatief denken 9. 10. 11. 12.
Beïnvloeden Ondernemen Hulp verlenen Analyseren
13.
Ontwikkelen
14.
Fysiek actief zijn
De gewenste balans tussen werk en privéleven.
Gestimuleerd worden door financiële beloning en inkomen. Graag waardering en erkenning krijgen van anderen. Resultaten van eigen werkzaamheden willen zien, gericht zijn op concrete resultaten. Een bijdrage willen leveren die betekenisvol is voor anderen. Graag veel in het werk willen bereiken, hogerop willen komen. Het leuk vinden om prestaties te vergelijken met anderen. Een hoge kwaliteit van werk willen leveren, hoge eisen stellen aan het afgeleverde werk. Creatief en vernieuwend bezig zijn, ruimte hebben om te bedenken en te ontwikkelen. Het beïnvloeden van processen, mensen en groepen. Het initiëren van acties, projecten en ondernemingen. Iets voor iemand kunnen doen, diensten verlenen. Het prettig vinden complexe problemen te analyseren, daarover na te denken. Het belangrijk vinden jezelf te kunnen blijven ontwikkelen, te blijven leren in je werk. Het prettig vinden lichamelijke arbeid te verrichten, ambachtelijk werk te verrichten.
9
Omgeving 15. Autonomie 16. 17.
Zekerheid en stabiliteit Taakuitdaging
18.
Samenwerking
19. 20.
Aandacht Dynamiek (Hectiek)
Het prettig vinden om de ruimte te hebben om zelf te bepalen wat je doet. Het prettig vinden zekerheid en stabiliteit te hebben. Uitdagingen zoeken, nieuwe of moeilijke taken willen vervullen. Omgaan met mensen, onderdeel uitmaken van een sociaal geheel, een prettige sfeer. Graag in de belangstelling staan, aandacht krijgen. Het leuk vinden hard te werken, graag veel te doen willen hebben, in een drukke omgeving willen werken.
Een verdere beschrijving van de inhoud van de schalen staat beschreven in Bijlage 1. 2.1.2 De twee versies van de CW In de praktijk bleek de CW-N goed te voldoen bij loopbaanadvisering. Kandidaten herkenden zich in de uitkomsten en adviseurs vonden de lijst nuttig om inzicht te krijgen in de motivatoren en demotivatoren van kandidaten. Het versnelde de persoonlijke analysefase in loopbaanadvisering. Voor selectieonderzoek bleek de vragenlijst echter te transparant. Het bleek dat kandidaten in selectiesituaties de neiging hadden sommige vragen structureel hoog te beantwoorden, vooral gestuurd door sociale wenselijkheid, om zichzelf zo gunstig mogelijk te presenteren. Dit leidde tot de conclusie dat de normatieve vragenlijst geschikt is in adviessituaties, waarin er minder een beoordelend element aanwezig is, maar niet voor selectiesituaties. Omdat de doelstelling is een vragenlijst te ontwikkelen die zowel in advies- als in selectiesituaties ingezet kan worden, is besloten om op basis van de normatieve versie een ipsatieve versie van de vragenlijst te ontwikkelen. Bij ipsatieve vragenlijsten worden kandidaten ‘gedwongen’ om een keuze te maken zodat er niet louter sociaal wenselijk geantwoord kan worden. Constructie van de ipsatieve versie van de carrièrewaardenvragenlijst Bij een ipsatieve vragenlijst kunnen kandidaten bij ieder item kiezen uit twee of meerdere alternatieven. Er zijn verschillende mogelijkheden om alternatieven tegenover elkaar te zetten. Zo zijn er bijvoorbeeld vragenlijsten waar uit vier alternatieven het meest en minst passende antwoord aangegeven moet worden. Voor de ontwikkeling van de ipsatieve versie van de CW (CW-I) is ervoor gekozen twee items, met dezelfde instemtendentie, tegenover elkaar te zetten. De ervaring van het onderzoeksteam is dat kandidaten sneller een keuze kunnen maken uit twee tegenover elkaar staande items dan bij items waarbij men vier alternatieven moet rangordenen. De items voor de CW-I zijn als volgt tot stand gekomen. Aan de hand van de scores op de CW-N van respondenten die de test in een selectiesituatie hadden ingevuld is de gemiddelde score van elk item bepaald. Er is van uitgegaan dat hierin de sociaal wenselijkheid is verdisconteerd. Vervolgens zijn de items systematisch aan elkaar gekoppeld waarbij de items met een vergelijkbaar gemiddelde bij elkaar zijn gezet. Hierbij is ervoor gezorgd dat van iedere carrièrewaarde een item tegenover elk van de andere carrièrewaarden wordt gezet. Dus bijvoorbeeld een item van Waardering en erkenning werd maar één keer gekoppeld aan een item van Samenwerking met een vergelijkbaar gemiddelde. Op deze wijze zijn 190 items gecreëerd. Elk item bestaat uit een duo met twee antwoordmogelijkheden (zie hieronder). Ik vind het erg leuk leiding te geven nbxmnvmxcvnxmvnxc aan anderen
Ik vind het belangrijk om te kunnen leren van collega’s
Afname itempool: Eerste itempool De eerste versie van de vragenlijst werd door ruim 70 proefpersonen ingevuld. Na analyse van de resultaten bleek dat een item met twee antwoordmogelijkheden weinig spreiding liet zien. Het kwam vaak voor dat het overgrote deel van de proefpersonen koos voor dezelfde stelling, dus bijna allemaal stelling A of bijna allemaal stelling B. Er is toen voor gekozen de items aan te bieden met vier antwoordmogelijkheden (zie hieronder).
10
Ik vind het erg leuk leiding te geven nbxmnvmxcvnxmvnxc aan anderen
Ik vind het belangrijk om te kunnen leren van collega’s
Tweede itempool De tweede versie van de ipsatieve CW is de vragenlijst zoals die nu in de praktijk gebruikt wordt en bekend staat onder de naam CW-I. Deze versie van de vragenlijst meet dezelfde 20 carrièrewaarden als de CW-N en bevat 190 items (iedere carrièrewaarde staat eenmaal tegenover elk van de andere carrièrewaarden). 2.2 De structuur van de CW-N en CW-I Na een aantal jaren van dataverzameling met de eerste definitieve versies van de CW-N en de CW-I, is er een nieuwe statistische analyse uitgevoerd op de verzamelde data. Om de schaalstructuur van een test te onderzoeken zijn verschillende analyses mogelijk. Voor exploratieve analyses kan een PCA (Prinicpal Component Analysis) gebruikt worden. Als er al wel schalen zijn geformuleerd, en het onderzoek een specifieke hypothese test, wordt een Multiple Group Method (MGM) gebruikt (Nunnally, 1978). Aangezien we willen weten of de eerdere gemaakte indeling van de items in de 20 carrièrewaarden overeenstemt met de huidige data, wordt de voorkeur gegeven aan de laatste methode. Er wordt berekend of een item inderdaad een hogere correlatie heeft met zijn eigen schaal dan met een andere schaal. Voor meer informatie over deze procedure zie Stuive, Kiers, Timmerman & Ten Berge (2008). Specifiek bij de MGM die hier is uitgevoerd is dat er gebruik is gemaakt van de formule van Steiger (1980) om de significantie te bepalen van de verschillen tussen afhankelijke correlaties. Na deze analyse heeft er naast een aantal wijzigingen in de structuur ook een naamswijziging plaatsgevonden. De carrièrewaarden Hectiek heeft de naam Dynamiek gekregen. Hectiek dekte de lading van de items niet helemaal en wordt vaak als negatief geïnterpreteerd. Er is gezocht naar een positievere naam die duidelijk aangeeft wat de schaal meet. Dynamiek gaf deze betekenis beter weer omdat het de mate van dynamiek aangeeft in een functie, van weinig dynamiek (rustig) tot veel dynamiek (hectisch). Alle onderstaande analyses zijn uitgevoerd op de normgroep. Voor gegevens over de onderzoeksgroep wordt u doorverwezen naar het hoofdstuk Normeringsonderzoek. 2.2.1 Structuur CW-N Aangezien de CW-N in adviessituaties wordt ingezet, is er een MGM uitgevoerd op de data die zijn verzameld tijdens adviessituaties. Uit deze analyse bleek dat negen van de 187 items niet op de juiste plek waren ingedeeld. Ze correleerden significant hoger met één van de andere schalen. Voor ieder van deze negen items is gekeken met welke schaal zij hoger correleerden en of ze logischerwijs verplaatst konden worden naar de betreffende schaal. Op deze wijze werden drie van de negen items naar een andere schaal verplaatst. Één van deze items was: ‘Ik zie in het werk stilstand als achteruitgang’. In eerste instantie was dit item ingedeeld in de schaal Ontwikkelen. De MGMresultaten lieten zien dat dit item een hogere correlatie had met de schaal Carrière. De definitie behorende bij de schaal Carrière is: Graag veel in het werk willen bereiken, hogerop willen komen. Het leuk vinden om prestaties te vergelijken met anderen. Het betreffende item sluit aan bij deze definitie. Zodoende werd dit item verplaatst naar de schaal Carrière. Wanneer het item inhoudelijk niet overeenkwam met de definitie van de schaal waar hij volgens de analyse in zou vallen, werd het item verwijderd. In totaal werden zes items verwijderd. 2.2.2 Structuur CW-I In de literatuur wordt gediscussieerd of de standaard psychometrische analyses uitgevoerd kunnen worden op ipsatieve data. Bij ipsatieve vragenlijsten hangt de score op de ene schaal af van de score op een andere schaal. Deze afhankelijkheid tussen de scores is in strijd met de basisassumpties van de klassieke testtheorie, wat gevolgen heeft voor de statistische analyse van ipsatieve data. Baron (1996) geeft echter aan dat wanneer de standaard analytische procedures bruikbare resultaten laten zien, deze gevolgd mogen worden. Zij beschrijft een onderzoek waarbij een factoranalyse is gedaan op 416 items behorende bij 32 schalen. Bij de resultaten van de normatieve data worden de 32 schalen duidelijk teruggevonden, bij de ipsatieve data worden 31 schalen gevonden. Hieruit kan de conclusie getrokken worden dat bij een groot aantal items, die behoren bij een duidelijke structuur, zowel op normatieve als op ipsatieve data factoranalyse kan worden toegepast (Baron, 1996).
11
De CW-I wordt zowel in advies- als in selectiesituaties ingezet. Om die reden is er zowel een MGM uitgevoerd op de data die zijn verzameld tijdens adviessituaties als op de data die tijdens een selectiesituatie zijn verzameld. De verwachting was dat ieder item een hoge positieve correlatie zou laten zien met zijn eigen schaal en een hoge negatieve correlatie met de schaal waarmee hij samen gepresenteerd wordt. Keuze voor de schaal links houdt immers in dat er niet gekozen wordt voor de schaal rechts. Voor 163 van de 190 items was dit inderdaad het geval. De overige 27 items lieten of hogere positieve of juist hogere negatieve correlaties met andere schalen zien. Om deze 27 items te verbeteren zal er opnieuw gekeken worden welke items van de CW-N qua gemiddelde dichtbij elkaar liggen. Hieruit zullen items samengesteld worden die als onderzoeksitems in de CW-I zullen worden aangeboden. Wanneer, na voldoende dataverzameling, blijkt dat deze onderzoeksitems een hoge positieve correlatie laten zien met hun eigen schaal en een hoge negatieve met de schaal waar ze aan gekoppeld zijn zullen de 27 ‘slechte’ items vervangen worden. Voorwaarde hierbij is wel dat iedere carrièrewaarden een combinatie moet vormen met alle overige carrièrewaarden. 2.2.3 Ontwikkelproces Het ontwikkelen van een vragenlijst is een continu proces. Het kan soms zo zijn dat na een analyse (bijvoorbeeld naar schaalstructuur), bepaalde items als onderzoeksitems worden ingezet in een volgende versie. Hierdoor maken de kandidaten in feite dezelfde versie als de normgroep, maar worden alleen de ‘goede’ items gebruikt in de resultaten. Als na enige tijd de vragenlijst opnieuw genormeerd wordt, wordt er opnieuw gekeken welke items geschikt zijn en welke niet. Er komen dus nooit items bij die de normgroep niet heeft gemaakt, er gaan alleen items af.
12
3. Normeringonderzoek Bij de carrièrewaardenvragenlijsten gaat het om een normgerichte interpretatie. Dat wil zeggen dat de scores van een kandidaat worden vergeleken met de normpopulatie. De normpopulatie is bij beide versies van de CW een representatie van de beroepsbevolking van Nederland. Door middel van weging is er voor gezorgd dat de onderzoeksgroep met betrekking tot opleiding, leeftijd, geslacht en werksituatie zo goed mogelijk overeenkomt met de beroepsbevolking van Nederland. Voor de beroepsbevolking hebben we ons gebaseerd op gegevens van het Centraal Bureau voor de Statistiek uit 2006 (CBS, 2007). De CW-N is alleen voor de adviessituatie genormeerd. De CW-I is voor twee testsituaties, selectie en advies, genormeerd. In dit hoofdstuk wordt nader beschreven hoe de normgroepen zijn gevormd en hoe de normering is uitgevoerd. 3.1 De normgroepen De CW wordt gebruikt in twee verschillende testsituaties, te weten de adviessituatie en de selectiesituatie. De CW-N kan ingezet worden bij adviessituaties en de CW-I bij zowel advies als selectiesituaties. Onder advies worden allerlei vormen van loopbaanbegeleiding, carrièreadvies en coaching verstaan. Kandidaten die in deze situatie de vragenlijst invullen komen tot andere, waarschijnlijk minder sociaal wenselijke scores dan kandidaten die zich in een selectiesituatie bevinden. Onder selectiesituaties verstaan wij bijvoorbeeld assessments bij sollicitatieprocedures. Bij selectiesituaties zal men eerder sociaal wenselijk antwoorden aangezien men door de selectie heen wil komen. Voor beide vragenlijstversies ligt de claim op de adviessituatie, de CW-I is ook voor de selectiesituatie genormeerd omdat deze veelal in een selectiesituatie als hulpmiddel is ingezet en de interpretatie zuiverder is als de resultaten van personen in een selectiesituatie ook vergeleken worden met een selectienormgroep. Voor beide versies van de CW zijn onafhankelijk van elkaar, op dezelfde wijze, normen berekend. De data waarover de normering is uitgevoerd, zijn voor de CW-N adviesgroep tussen 10-01-2003 en 15-04-2008 verzameld, voor de CW-I adviesgroep tussen 09-01-2003 en 16-04-2008 en voor de CW-I selectiegroep tussen 09-01-2003 en 15-04-2008. Voor de CW-N adviesgroep zijn er gegevens beschikbaar van 6761 personen, waarvan 43,6% mannen en 56,4% vrouwen, de gemiddelde leeftijd binnen deze groep is 36;9 jaar met een minimum van 15 jaar en een maximum van 63 jaar. Voor de CW-I adviesgroep zijn er gegevens beschikbaar van 11644 personen, waarvan 46,0% mannen en 54,0% vrouwen, de gemiddelde leeftijd binnen deze groep is 37;5 jaar met een minimum van 15 jaar en een maximum van 64 jaar. En voor de CW-I selectiegroep zijn er gegevens beschikbaar van 2088 personen, waarvan 38,5% mannen en 61,5% vrouwen, de gemiddelde leeftijd binnen deze groep is 33;2 jaar met een minimum van 15 jaar en een maximum van 63 jaar. De drie onderzoeksgroepen zijn met betrekking tot de volgende vier achtergrondvariabelen gewogen. 1. Opleiding
Het onderwijsniveau waarop de beroepsbevolking wordt ingedeeld is: lager onderwijs, middelbaar onderwijs en hoger onderwijs. De opleidingen die onder elk van de niveaus vallen zijn opgenomen in Bijlage 2.
2. Leeftijd
De variabele leeftijd is in drie categorieën ingedeeld. De beroepsbevolking valt binnen het leeftijdsbereik van 15 tot en met 65 jaar. Binnen dit leeftijdsbereik wordt een indeling gemaakt van 15-24 jaar, van 25-44 jaar en van 45-65 jaar.
3. Geslacht
De indeling op geslacht is naar man en vrouw.
4. Werksituatie
Er wordt onderscheid gemaakt tussen mensen die werken en de categorie geregistreerde werklozen, waarbij de vragenlijst is afgenomen bij cliënten van het CWI2.
2
Ten tijde van het onderzoek stond het UWV bekend als Centrum voor Werk en Inkomen (CWI).
13
3.1.1 Weging van de normgroepen Hoe zwaar de achtergrondvariabelen (opleiding, leeftijd, sekse en werksituatie) mee mogen wegen tijdens de normering is bepaald aan de hand van de beroepsbevolking. De gegevens over de beroepsbevolking zijn verkregen via de database van het CBS. Voor alle achtergrondvariabelen apart is in deze database aangegeven wat de representatie (%) is in de beroepsbevolking. De beroepsbevolking bestaat bijvoorbeeld voor 56,5% uit mannen en voor 43,5% uit vrouwen. De representatie van de achtergrondvariabelen in de beroepsbevolking wordt vergeleken met de representatie in onze database. Om dit te kunnen doen zijn allereerst combinaties van de vier achtergrondvariabelen gemaakt. Er ontstonden 36 groepen, en iedere kandidaat die de CW invult valt in een van deze 36 groepen (voorbeeld van een groep: man, laagonderwijsniveau, 25-44 jaar, nietCWI). Voor iedere groep is berekend hoe vaak proportioneel gezien de combinatie van de achtergrondvariabelen in onze database voorkomt. Dit is vergeleken met de proportie die in de beroepsbevolking gevonden werd. Wanneer een groep niet vertegenwoordigd was in onze database is ervoor gekozen deze groep aan te vullen. Van sommige respondenten in de database waren 3 van de 4 variabelen bekend. Deze respondenten zijn in eerste instantie niet in een groep geplaatst. Indien het zo was dat de groep, waar deze respondenten met drie van de vier factoren in zou vallen, extra data nodig had is de groep aangevuld met deze respondenten. Werd bijvoorbeeld de groep: vrouw, 44-65 jaar, hoogonderwijsniveau en nietCWI ondervertegenwoordigd bij de adviessituatie, is deze groep aangevuld met data waarvan drie van de vier factoren bekend waren. Bij de adviessituatie van de CW-N zijn de data bij drie groepen op deze manier aangevuld. Bij de adviessituatie van de CW-I zijn er twee van de 36 groepen op deze manier aangevuld. Bij de selectiesituatie van de CW-I hoefden er geen groepen aangevuld te worden. Door middel van weging zijn de proporties gevonden in onze database gelijk getrokken aan de proporties gevonden in de beroepsbevolking. De groepen die in onze database minder vertegenwoordigd waren dan in de beroepsbevolking, hebben een gewicht groter dan 1 meegekregen. Groepen die in onze database oververtegenwoordigd zijn hebben een gewicht kleiner dan 1 meegekregen. Het maximale gewicht wat een groep mee heeft gekregen werd op 1.5 gesteld zodat onder gerepresenteerde groepen in onze database niet te zwaar meewegen. De uiteindelijke gewichten worden gevormd door de CBS-proporties te delen door de in onze dataset gevonden proporties. Voorbeeld: bij een bepaalde groep hoort een CBS-proportie van 0.03. In onze database hebben we een proportie van 0.002. Wanneer deze getallen gedeeld worden ontstaat er een gewicht van 15. De betreffende groep zou het gewicht 15 meekrijgen. Omdat er gesteld is dat het maximale gewicht niet groter mag zijn dan 1.5 moet een gewicht 15 verkleind worden. Er is voor gekozen om bij de groep met het hoogste gewicht te berekenen door welk getal er gedeeld moet worden om het maximale van 1.5 te bereiken. Vervolgens worden de gewichten van de 36 groepen gedeeld door dit gevonden getal. Indien 15 het hoogst gevonden gewicht is zouden alle gewichten door 10 gedeeld moeten worden. Hier is voor gekozen omdat op deze manier de ondergerepresenteerde groepen niet te zwaar mee tellen en de over gerepresenteerde groepen nog een kleiner aandeel hebben.
14
Tabel 1: De verdeling van de achtergrondkenmerken in beide normgroepen.
Adviesgroep CW-N
Gewogen Adviesgroe p CW-N
Adviesgroep CW-I
Gewogen Adviesgroep CW-I
Selectiegroep CW-I
Gewogen Selectiegroep CW-I
man vrouw
N 2950 3811
% 43.6 56.4
N 382 294
% 56.5 43.5
N 5356 6288
% 46.0 54.0
N 2821 2176
% 56.5 43.5
N 804 1284
% 38.5 61.5
N 358 276
% 56.5 43.5
% 56.5 43.5
L.O. M.O. H.O.
2018 2840 1903
29.8 42.0 28.1
163 301 212
24.2 44.5 31.3
2691 4723 4230
23.1 40.6 36.3
1207 2225 1565
24.2 44.5 31.3
234 545 1309
11.2 26.1 62.7
153 283 199
24.2 44.5 31.3
24.2 44.5 31.3
15-24 jr. 25-44 jr. 45-65 jr.
1149 3723 1889
17.0 55.1 27.9
77 354 245
11.3 52.4 36.3
1542 6678 3424
13.2 57.4 29.4
567 2618 1813
11.3 52.4 36.3
403 1370 315
19.3 65.6 15.1
72 332 230
11.3 52.4 36.3
11.3 52.4 36.3
CWI Niet-CWI
5826 935
86.2 13.8
23 653
3.4 96.6
6056 5588
52.0 48.0
170 4827
3.4 96.6
196 1892
9.4 90.6
22 613
3.4 96.6
3.4 96.6
Beroepsbevolking
Uit de tabel wordt duidelijk dat in beide Adviesgroepen de achtergrondvariabele werksituatie een grote rol heeft gespeeld bij de weging. Ook zaten in de ongewogen normgroepen naar verhouding meer vrouwen dan mannen, in de beroepsbevolking is deze verhouding omgekeerd. Tevens zaten bij de Selectiegroep naar verhouding veel hoogopgeleiden. Landelijke representatie De data zijn verzameld bij 118 verschillende bedrijven gevestigd door heel Nederland. De schatting is dat de landelijke representatie vrij goed is met een lichtelijke overrepresentatie in Midden-Nederland. Hoe de normgroepen precies landelijk gerepresenteerd worden valt niet in getallen weer te geven. Aangezien het veelal assessmentorganisaties betreft of situaties waarbij mensen in een selectieprocedure zitten, zegt de locatie van het bedrijf niet of de kandidaten ook uit de betreffende regio komen. Hier komt nog bij dat de CW zowel op locatie als via internet afgenomen kan worden waardoor de kandidaten de vragenlijst ook thuis ingevuld zouden kunnen hebben. We beschikken alleen over de locatie van de bedrijven en niet over het adres van de kandidaten. Dit geldt voor zowel de Adviesgroep als de Selectiegroep. 3.2 Vaststellen normen Per schaal worden voor de drie (gewogen) normgroepen de schaalscores omgezet in stenscores. Dit zijn bij benadering normaalverdeelde scores op een schaal die loopt van 1 tot 10. Het theoretisch gemiddelde is 5.5 met een standaarddeviatie van 2, waarbij de spreiding van de ware scores is gefixeerd op 2. De schaal is symmetrisch en normaal verdeeld. Standaardscores, en dus ook stenscores, geven een beeld van hoe een bepaalde score zich verhoudt tot het gemiddelde van alle scores. Hoe men deze stenscores kan interpreteren wordt besproken in het hoofdstuk “Toepassing, interpretatie en gebruik”. De stenscores worden niet direct discreet berekend maar als intervalscore. Ze worden alleen discreet gerapporteerd. De procedure omzetting van ruwe schaalscores in stenscores wordt beschreven in van der Woud (2007). Dit artikel is opgenomen in Bijlage 3. In Tabel 2 wordt voor de drie normgroepen, per carrièrewaarde, de gemiddelde stenscore voor en na de weging weergegeven. Tevens worden de gemiddelde stenscores (van de carrièrewaarden) voor de categorieën van de achtergrondvariabelen weergegeven.
15
Tabel 2: Gemiddelde stenscore bij de schalen en de achtergrondvariabelen.
Gemiddelde stenscore* ongewogen Adviesgroep CW-N (N=6761)
Gemiddelde stenscore* gewogen Adviesgroep CW-N (N=676)
Gemiddelde stenscore* ongewogen Adviesgroep CW-I (N=11644)
Gemiddelde stenscore* gewogen Adviesgroep CW-I (N=4997)
Gemiddelde stenscore* ongewogen Selectiegroe p CW-I (N=2088)
Gemiddelde stenscore* gewogen Selectiegroep CW-I (N=635)
5.9 (2.2)
5.5 (2.2)
5.6 (2.2)
5.5 (2.2)
5.5 (2.2)
5.5 (2.2)
6.0 (2.2)
5.5 (2.2)
5.5 (2.2)
5.5 (2.2)
5.3 (2.2)
5.5 (2.2)
5.5 (2.2)
5.5 (2.1)
5.5 (2.4)
5.5 (2.4)
5.5 (2.4)
5.5 (2.4)
5.4 (2.2)
5.5 (2.1)
5.4 (2.6)
5.5 (2.6)
5.6 (2.5)
5.5 (2.5)
5.8 (2.2) 5.1 (2.3) 5.5 (2.2) 5.3 (2.4) 5.0 (2.3) 5.5 (2.4) 5.7 (2.4) 5.1 (2.5) 5.6 (2.4) 5.8 (2.1) 5.5 (2.3)
5.5 (2.1) 5.5 (2.2) 5.5 (2.2) 5.5 (2.1) 5.5 (2.1) 5.5 (2.2) 5.5 (2.1) 5.5 (2.1) 5.5 (2.2) 5.5 (2.1) 5.5 (2.1)
5.7 (2.2) 5.4 (2.3) 5.4 (2.5) 5.4 (2.3) 5.3 (2.2) 5.5 (2.3) 5.5 (2.2) 5.4 (2.3) 5.6 (2.5) 5.6 (2.1) 5.5 (2.2)
5.5 (2.2) 5.5 (2.3) 5.5 (2.4) 5.5 (2.2) 5.5 (2.2) 5.5 (2.3) 5.5 (2.2) 5.5 (2.3) 5.5 (2.5) 5.5 (2.1) 5.5 (2.2)
5.5 (2.2) 5.8 (2.2) 5.2 (2.3) 5.5 (2.4) 5.5 (2.1) 5.8 (2.4) 5.4 (2.1) 5.4 (2.2) 5.9 (2.4) 5.2 (2.2) 5.6 (2.2)
5.5 (2.2) 5.5 (2.2) 5.5 (2.4) 5.5 (2.3) 5.5 (2.2) 5.5 (2.4) 5.5 (2.2) 5.5 (2.4) 5.5 (2.5) 5.5 (2.2) 5.5 (2.3)
5.9 (2.3)
5.5 (2.1)
5.6 (2.2)
5.5 (2.2)
5.2 (2.1)
5.5 (2.2)
5.3 (2.3) 5.6 (2.3) 5.3 (2.3) 5.3 (2.3)
5.5 (2.1) 5.5 (2.1) 5.5 (2.2) 5.5 (2.2)
5.5 (2.3) 5.5 (2.3) 5.5 (2.3) 5.5 (2.4)
5.5 (2.3) 5.5 (2.2) 5.5 (2.2) 5.5 (2.3)
5.6 (2.3) 5.5 (2.1) 5.8 (2.2) 5.7 (2.3)
5.5 (2.4) 5.5 (2.3) 5.5 (2.2) 5.5 (2.3)
Totaalscore
5.5 (2.3)
5.5 (2.2)
5.5 (2.3)
5.5 (2.3)
5.5 (2.2)
5.5 (2.3)
Man Vrouw
5.6 (2.4)
5.6 (2.1)
5.5 (2.2)
5.6 (2.2)
5.5 (2.2)
5.4 (2.2)
5.4 (2.4)
5.4 (2.2)
5.3 (2.3)
5.3 (2.3)
6.1 (2.2)
5.6 (2.3)
Lager onderwijs Middelbaar onderwijs Hoger onderwijs
5.4 (2.7)
5.5 (2.3)
4.9 (2.3)
5.1 (2.3)
4.1 (2.6)
4.3 (2.5)
5.5 (2.4)
5.6 (2.1)
5.3 (2.3)
5.5 (2.3)
5.6 (2.2)
5.8 (2.1)
5.5 (2.1)
5.4 (2.0)
5.7 (2.2)
5.9 (2.2)
6.3 (2.0)
6.0 (2.0)
15-24 jaar 25-44 jaar 45-65 jaar
5.5 (2.3) 5.6 (2.4) 5.3 (2.5)
5.8 (2.2) 5.7 (2.1) 5.2 (2.2)
5.0 (2.2) 5.5 (2.3) 5.4 (2.2)
5.1 (2.2) 5.6 (2.3) 5.5 (2.3)
6.3 (2.2) 6.0 (2.2) 5.1 (2.3)
5.3 (2.4) 5.7 (2.2) 5.2 (2.2)
CWI Niet-CWI
5.4 (2.5) 5.6 (2.1)
5.4 (2.6) 5.5 (2.1)
5.2 (2.3) 5.5 (2.3)
5.1 (2.3) 5.5 (2.3)
3.8 (2.5) 6.1 (2.1)
3.3 (2.7) 5.6 (2.2)
Balans privéwerk Financiële beloning Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit Taakuitdaging Samenwerking Aandacht Dynamiek
*Stenscore inclusief de bijbehorende standaard deviatie tussen haakjes.
Tevens is de mate onderzocht waarin de schalen normaal verdeeld zijn, door middel van kurtosis en scheefheid (skewness). Een positieve waarde op kurtosis geeft aan dat de schaal een piek vertoont, terwijl een negatieve waarde een platte verdeling aangeeft. Een positieve waarde op scheefheid geeft aan dat er meer lage waardes zijn, terwijl een negatieve waarde een scheefheid naar rechts aangeeft. In onderstaande tabel zijn de waardes per normgroep weergegeven. Bovendien is in elke cel de zscore weergegeven. Voor grotere samples zoals deze wordt aangeraden om de ± 2.58 grens aan te houden voor z-scores (p <.01). In geen geval wordt deze grens overschreden, dus kunnen we aannemen dat de data op geen van de schalen scheefheid of kurtosis laat zien.
16
Tabel 3: Scheefheid en kurtosis per schaal per normgroep
Gewogen Adviesgroep CW-N (N=676) Skewness Balans privé-werk Financiële beloning Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit Taakuitdaging Samenwerking Aandacht Dynamiek Standaardfout
-0,062, (z= 1,19) -0,002, (z= 0,03) -0,08, (z= 1,53) -0,06, (z= 1,15) -0,052, (z= 1) -0,009, (z= 0,17) -0,049, (z= 0,94) -0,037, (z= 0,71) -0,037, (z= 0,71) -0,01, (z= 0,19) -0,044, (z= 0,84) -0,02, (z= 0,38) -0,089, (z= 1,71) 0,021, (z= -0,40) 0,005, (z= -0,09) -0,057, (z= 1,09) -0,034, (z= 0,65) -0,04, (z= 0,76) -0,019, (z= 0,36) -0,011, (z= 0,21) -0,052
Adviesgroep CW-I Gewogen (N=4997)
Kurtosis
Skewness
Kurtosis
0,008, (z= 0,04) -0,099, (z= -0,52) -0,12, (z= -0,63) -0,353, (z= -1,87) -0,126, (z= -0,67) -0,09, (z= -0,47) -0,081, (z= -0,43) -0,154, (z= -0,81) -0,021, (z= -0,11) -0,133, (z= -0,70) -0,08, (z= -0,42) -0,23, (z= -1,22) -0,374, (z= -1,98) -0,185, (z= -0,98) -0,114, (z= -0,60) -0,176, (z= -0,93) -0,221, (z= -1,17) -0,07, (z= -0,37) -0,127, (z= -0,67) -0,068, (z= -0,36) .188
0,002, (z= -0,00) -0,016, (z= 0,04) 0,005, (z= -0,01) 0,008, (z= -0,02) 0,001, (z= -0,00) 0,032, (z= -0,08) 0,013, (z= -0,03) 0,013, (z= -0,03) 0,003, (z= -0,00) 0,019, (z= -0,04) 0,009, (z= -0,02) 0,002, (z= -0,00) -0,006, (z= 0,015) -0,004, (z= 0,010) 0,011, (z= -0,02) 0,042, (z= -0,10) 0,018, (z= -0,04) 0,037, (z= -0,09) -0,011, (z= 0,028) 0,011, (z= -0,02) .035
-0,054, (z= -0,13) 0,13, (z= 0,33) 0,01, (z= 0,02) 0,021, (z= 0,05) -0,021, (z= -0,05) 0,108, (z= 0,279) -0,002, (z= -0,00) -0,048, (z= -0,12) -0,065, (z= -0,16) 0,048, (z= 0,12) -0,011, (z= -0,02) -0,082, (z= -0,21) -0,027, (z= -0,06) -0,044, (z= -0,11) 0,041, (z= 0,10) -0,077, (z= -0,19) -0,033, (z= -0,08) 0,037, (z= 0,09) -0,054, (z= -0,13) 0,069, (z= 0,17) .069
Selectiegroep CW-I Gewogen (N=423) Skewness -0,03, (z= 0,03) -0,023, (z= 0,02) -0,019, (z= 0,02) -0,006, (z= 0,00) -0,023, (z= 0,02) 0,027, (z= -0,03) -0,026, (z= 0,03) -0,018, (z= 0,02) -0,014, (z= 0,01) -0,015, (z= 0,01) -0,005, (z= 0,00) 0,002, (z= -0,00) -0,02, (z= 0,02) -0,019, (z= 0,02) -0,048, (z= 0,05) -0,023, (z= 0,02) -0,003, (z= 0,00) -0,002, (z= 0,00) -0,031, (z= 0,03) -0,017, (z= 0,02) .119
Kurtosis -0,013, (z= -0,01) 0,019, (z= 0,01) 0,029, (z= 0,02) -0,113, (z= -0,10) 0,059, (z= 0,05) -0,04, (z= -0,03) 0,39, (z= 0,35) 0,225, (z= 0,20) -0,103, (z= -0,09) 0,038, (z= 0,03) -0,043, (z= -0,03) -0,04, (z= -0,03) 0,193, (z= 0,17) -0,093, (z= -0,08) 0,037, (z= 0,03) -0,055, (z= -0,04) -0,135, (z= -0,12) -0,108, (z= -0,09) -0,071, (z= -0,06) -0,031, (z= -0,02) .237
* De z-score is berekend door de waarde van de scheefheid dan wel de kurtosis, te delen door de standaardfout.
Conclusie De normering van de CW-N en CW-I heeft plaatsgevonden door middel van weging. De gewogen normgroepen zijn een goede representatie van de beroepsbevolking met betrekking tot de achtergrondvariabelen opleiding, leeftijd, geslacht en werksituatie. In Bijlage 4 wordt per schaal, per normgroep een normtabel weergegeven. Tevens is aangetoond dat de data normaal verdeeld zijn.
17
4. Betrouwbaarheid De betrouwbaarheid van een vragenlijst geeft een indicatie van de nauwkeurigheid van het instrument. Het begrip heeft betrekking op de reproduceerbaarheid van de gemeten uitkomsten: in hoeverre komen de resultaten van een meting met het instrument bij een tweede keer (en derde keer, enzovoorts) overeen, of in hoeverre komen de uitkomsten bij een vergelijkbare set items overeen. De betrouwbaarheid van een vragenlijst kan op verschillende manieren bepaald worden. Zo kan dezelfde vragenlijst voor een tweede maal bij dezelfde persoon afgenomen worden zodat de resultaten van deze twee metingen met elkaar vergeleken kunnen worden (test-hertest betrouwbaarheid). Ook kunnen de scores op de ene helft van de vragenlijst vergeleken worden met de scores op de andere helft van de vragenlijst (split-half betrouwbaarheid). Het meest gebruikt, en geschikt bij een vragenlijst zoals de CW, is de berekening van de alfa (a-coëfficiënt). Dit is een maat voor interne consistentie (Nunnally, 1978). Bij een a groter dan .85 mag men spreken van een redelijk homogene groep items (Green, Salkind & Akey, 2000). Al deze methoden zijn gebaseerd op correlatieberekeningen. Bij een ipsatieve vragenlijst liggen de betrouwbaarheden meestal lager dan bij de normatieve variant. Voornamelijk bij vragenlijsten die bestaan uit een klein aantal schalen en waarbij de correlatie tussen de schalen hoog is, liggen de betrouwbaarheden lager. In de literatuur wordt als richtlijn aangegeven dat de betrouwbaarheden ongeveer dezelfde hoogte hebben als de correlaties tussen de normatieve en de ipsatieve schalen (Baron, 1996). 4.1 Betrouwbaarheid van de vragenlijsten Om uitspraken te kunnen doen over de betrouwbaarheid van de CW is de interne consistentie (Cronbach’s alfa) voor iedere schaal berekend. Dit is afzonderlijk gedaan voor alle gewogen groepen: de CW-N adviesgroep, de CW-I adviesgroep en de CW-I selectiegroep. De betrouwbaarheid van de schalen voor alle drie de groepen staat in Tabel 4. Tevens zijn hier de standaardmeetfouten en de standaardschattingsfouten voor de genormeerde scores vermeld.
18
Tabel 4: Betrouwbaarheid van de schalen voor de drie normgroepen.
Schaalnaam
Items CW-N
Adviesgroep CW-N (N=676) Alfa* SSM**/ SSF***
Items CW-I
Selectiegroep CW-I (N=635) Alfa* SSM**/ SSF***
Adviesgroep CW-I (N=4997) Alfa* SSM**/ SSF***
Balans privé-werk
8
0.80
1.00/ 0.89
19
0.82
0.94/ 0.85
0.84
0.87/ 0.80
Financiële beloning
8
0.86
0.81/ 0.75
19
0.81
0.97/ 0.87
0.82
0.94/ 0.85
Waardering en erkenning
12
0.91
0.63/ 0.60
19
0.70
1.31/ 1.10
0.71
1.28/ 1.08
Concrete resultaten
10
0.91
0.63/ 0.60
19
0.64
1.50/ 1.20
0.62
1.57/ 1.23
Zinvolle bijdrage
10
0.93
0.55/ 0.53
19
0.84
0.87/ 0.80
0.86
0.81/ 0.75
Carrière
8
0.86
0.81/ 0.75
19
0.80
1.00/ 0.89
0.77
1.09/ 0.96
Kwaliteit
8
0.83
0.91/ 0.82
19
0.70
1.31/ 1.10
0.67
1.40/ 1.15
Creatief denken
10
0.92
0.59/ 0.57
19
0.75
1.15/ 1.00
0.80
1.00/ 0.89
Beïnvloeden
8
0.90
0.67/ 0.63
19
0.84
0.87/ 0.80
0.84
0.87/ 0.80
Ondernemen
6
0.82
0.94/ 0.85
19
0.73
1.22/ 1.04
0.78
1.06/ 0.94
Hulp verlenen
12
0.92
0.59/ 0.57
19
0.82
0.94/ 0.85
0.85
0.84/ 0.77
Analyseren
9
0.89
0.70/ 0.66
19
0.73
1.22/ 1.04
0.78
1.06/ 0.94
Ontwikkelen
7
0.85
0.84/ 0.77
19
0.64
1.50/ 1.20
0.65
1.47/ 1.18
Fysiek actief zijn
10
0.92
0.59/ 0.57
19
0.83
0.91/ 0.82
0.88
0.74/ 0.69
Autonomie
10
0.87
0.77/ 0.72
19
0.79
1.03/ 0.92
0.83
0.91/ 0.82
Taakuitdaging
7 8
0.87 0.89
0.77/ 0.72 0.70/ 0.66
19 19
0.86 0.70
0.81/ 0.75 1.31/ 1.10
0.85 0.73
0.84/ 0.77 1.22/ 1.04
Samenwerking
12
0.89
0.70/ 0.66
19
0.78
1.06/ 0.94
0.80
1.00/ 0.89
Aandacht
7
0.86
0.81/ 0.75
19
0.80
1.00/ 0.89
1.00/ 0.89
Dynamiek
11
0.86
0.81/ 0.75
19
0.74
1.19/ 1.02
0.80 0.73
0.77
1.11/ 0.96
0.78
1.06/0.93
Zekerheid en stabiliteit
Gemiddelde
0.88
1.22/ 1.04
* Interneconsistentie ** Standaardmeetfout *** Standaardschattingsfout
De vragenlijst bestaat uit redelijk homogene, betrouwbare en stabiele schalen. De alfa’s van de normatieve versie zijn zoals verwacht hoger dan de alfa’s van de ipsatieve versie en zijn over het algemeen hoog tot zeer hoog te noemen. De alfa’s van ipsatieve schalen worden onder andere lager wanneer het aantal schalen van de vragenlijst kleiner is dan 10. Ook kunnen de interschaalcorrelaties van de normatieve versie een rol spelen bij het verlagen van de ipsatieve alfa’s. Als de interschaalcorrelaties hoger zijn dan r =.30, kan dit een effect hebben op de alfa’s van de ipsatieve versie (Bartram, 1996). Het blijkt dat de correlatie tussen een aantal schalen hoger is dan r =.30. Om te onderzoeken wat het effect van de interschaalcorrelaties van de CW-N op de alfa’s van de CWI is, zijn de correlaties berekend tussen de schalen van de CW-N en de schalen van de CW-I. In de literatuur wordt aangegeven dat de maximale hoogte van de interne consistentie van een ipsatieve schaal ongeveer gelijk is aan de correlatie tussen de ipsatieve en de normatieve schaal (Baron, 1996). In Tabel 5 worden deze correlaties aangegeven. Wat opvalt is dat de meeste alfa’s van de CW-I hoger zijn dan de correlaties tussen de schalen van beide vragenlijsten. De uitzonderingen hierop zijn de schalen Kwaliteit, Ondernemen en Ontwikkelen. Hieruit kunnen we opmaken dat de gevonden alfa’s van de ipsatieve versie naar alle waarschijnlijkheid dichtbij de maximale hoogte die gevonden kan worden liggen.
19
Tabel 5: Correlaties tussen schalen van de normatieve en de ipsatieve versie
Schaalnaam Balans privé-werk Financiële beloning Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit Taakuitdaging Samenwerking Aandacht Dynamiek
Correlatie* (N=80) 0.84 0.74 0.66 0.63 0.88 0.79 0.78 0.67 0.82 0.85 0.82 0.62 0.70 0.81 0.79 0.74 0.61 0.71 0.76 0.77
t-waarde**
p-waarde**
-2.08
0.041
5.24
0.000
-2.28
0.026
-2.56
0.012
* Alle correlaties zijn significant op het 0.01 niveau ** Alleen weergegeven voor de significante verschillen
4.2 Stabiliteit van de schalen Om een uitspraak te kunnen doen over de stabiliteit van de schalen is er een hertest uitgevoerd. Er hebben in totaal 77 personen meegedaan aan de hertest, waarvan 16 vrouwen (20.8%) en 61 mannen (79.2%). De gemiddelde leeftijd binnen deze groep is 35;6 jaar met een minimum van 22 jaar en een maximum van 59 jaar. In februari 2007 is de CW-I voor de eerste maal afgenomen. De hertest is negen maanden later ingevuld. De betrouwbaarheid (Cronbach’s alfa) van de schalen in het hertestonderzoek is gemiddeld 0.78 bij de eerste afname (lopend van 0.63 voor Ontwikkelen tot 0.88 voor Fysiek actief zijn) en gemiddeld 0.79 bij de tweede afname (lopend van 0.59 voor Concrete resultaten tot 0.90 voor Fysiek actief zijn). Om de stabiliteit van de schalen na te gaan zijn de correlaties berekend tussen de scores bij de eerste en de tweede testafname. Deze zijn in Tabel 6 weergegeven.
20
Tabel 6: De correlaties tussen de eerste en de tweede afname van de CW -I (adviessituatie).
Schaalnaam Balans privé-werk Financiële beloning Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit Taakuitdaging Samenwerking Aandacht Dynamiek Gemiddeld
Gemiddelde stenscore eerste afname* (N= 77) 5.4 (2.0) 5.7 (1.8) 5.8 (1.9) 5.0 (2.0) 5.0 (1.7) 7.0 (1.9) 5.1 (2.3) 5.8 (1.9) 5.8 (2.1) 4.7 (2.2) 5.1 (1.4) 6.2 (1.7) 5.5 (2.0) 5.2 (1.9) 5.3 (1.7) 5.0 (1.8) 7.0 (2.0) 5.2 (2.0) 5.5 (2.0) 5.8 (2.0)
Gemiddelde stenscore tweede afname* (N= 77) 5.4 (1.8) 6.1 (1.6) 5.8 (1.9) 5.0 (2.0) 4.7 (1.9) 6.9 (1.9) 4.8 (2.1) 5.7 (2.2) 5.8 (1.9) 4.7 (2.1) 4.9 (1.5) 6.0 (1.6) 5.0 (2.0) 5.5 (1.9) 5.5 (1.7) 5.2 (1.8) 7.0 (2.3) 4.9 (2.0) 6.0 (1.8) 6.1 (2.0)
5.5 (1.9)
5.5 (1.9)
Correlatie**
0.81 0.71 0.69 0.56 0.72 0.81 0.73 0.80 0.82 0.83 0.71 0.67 0.71 0.82 0.73 0.78 0.74 0.83 0.63 0.76
t-waarde***
p-waarde***
-2.28
0.03
2.75
0.01
2.34 -2.43
0.02 0.02
* Bijbehorende standaarddeviatie tussen haakjes ** Alle correlaties zijn significant op het 0.01 niveau *** Alleen weergegeven voor de significante verschillen (t-toets 0.05 niveau)
Er is met een t-toets nagegaan of er significante verschillen zijn tussen de eerste en de tweede afname. Uit de t-toets blijkt dat er vier schalen significant verschillen bij een 0.05 niveau (Financiële beloning, Ontwikkelen, Samenwerking en Aandacht). In bovenstaande tabel staan bij deze schalen de bijbehorende t-waarde en p-waarde weergegeven. De correlaties tussen de eerste en de tweede afname van de CW-I liggen dicht bij de betrouwbaarheid van de vragenlijst. Correlaties zijn over het algemeen lager dan de betrouwbaarheid omdat er ook reële veranderingen zijn. Hieruit kan opgemaakt worden dat de CW-I met een tussenliggende periode van negen maanden stabiel is.
21
5. Validiteit De validiteit van een vragenlijst geeft een indicatie van de mate waarin het instrument daadwerkelijk het construct meet dat het pretendeert te meten. Oftewel: meet een carrièrewaardenvragenlijst ook daadwerkelijk de carrièrewaarden van een persoon. Meer specifiek dient de validiteit aan te geven of iedere schaal meet wat het pretendeert te meten. Er zijn drie typen validiteit te onderscheiden. De externe validiteit geeft aan in welke mate de uitkomst van een test te generaliseren is. Dit is vooral afhankelijk van de kwaliteit van de normgroepen, die in hoofdstuk 3 uitgebreid aan de orde zijn gekomen. De interne validiteit van een vragenlijst geeft aan in welke mate er een causaal verband verondersteld kan worden, en of alternatieve hypothesen uitgesloten kunnen worden. In het geval van persoonlijkheidsvragenlijsten is dit zeer lastig dit aan te tonen. Door het belichten van verschillende aspecten van de validiteit van de vragenlijst kan dit toch toonbaar gemaakt worden. De laatste soort validiteit is de testvaliditeit en deze zal in dit hoofdstuk met name besproken worden. Testvaliditeit omvat criteriumvaliditeit en begripsvaliditeit. Criteriumvaliditeit geeft aan in welke mate de uitkomst van een vragenlijst overeenkomt met een criterium, bijvoorbeeld een andere vragenlijst. Wanneer dit criterium tegelijk met de te valideren vragenlijst wordt gemeten spreken we van concurrente validiteit, en wanneer dit in de toekomst wordt gemeten spreken we van predictieve validiteit. Bij begripsvaliditeit vraagt de onderzoeker zich af welke constructen bijdragen aan datgene dat gemeten wordt. In het geval van de CW vragen we ons af wat bijdraagt aan iemands carrièrewaarden, en wat daar niet aan bijdraagt. Constructen die niet bijdragen aan carrièrewaarden willen we dus ook niet meten. Discriminante validiteit geeft dit aan. Het onderscheid tussen criterium- en begripsvaliditeit is niet altijd duidelijk. Bij criteriumvaliditeit ligt de nadruk op datgene dat voorspeld wordt. Bijvoorbeeld in het geval van een IQ-test, is de werkgever er niet in geïnteresseerd of de kandidaat een figuur kan naleggen, maar in de veronderstelde intelligentie die dit weergeeft. In het geval van begripsvaliditeit is men juist wel geïnteresseerd in het huidige instrument, en is een eventuele samenhang met een ander instrument slechts bedoeld als ondersteuning dat het instrument meet wat het beoogt te meten. Alle toetsen zijn op het 5% niveau gedaan, indien er ook op het 1% niveau is getoetst, wordt dit vermeld bij het betreffende onderzoek. 5.1 Criteriumvaliditeit Ter ondersteuning van de criteriumvaliditeit (opgesplitst in concurrente en predictieve validiteit) hebben drie verschillende onderzoeken plaatsgevonden die hieronder besproken zullen worden. Voor alle toetsen is een significantieniveau van 5% gehanteerd. 5.1.1. Concurrente validiteit: Onderzoek met de FFPI Bij een ICT-bedrijf is begin 2007 een grootschalig onderzoek uitgevoerd waarbij de ruim 2700 werknemers werden uitgenodigd om tests en vragenlijsten te maken. Het doel van dit onderzoek was om normgegevens te verzamelen voor capaciteitentests die het bedrijf zou gaan gebruiken. Hierbij zijn voor validatieonderzoek ook onder andere de CW-I en de FFPI vragenlijst aangeboden. Om zeker te zijn dat de werknemers de tests serieus zouden invullen konden de werknemers prijzen winnen als ze deelnamen aan het onderzoek. In totaal hebben 350 werknemers de CW-I en de FFPI ingevuld. De FFPI De Five Factor Personality Inventory (Hendriks, Hofstee & de Raad, 1999) is een persoonlijkheidsvragenlijst waarmee op efficiënte wijze iemands scores op vijf brede eigenschapdimensies zijn vast te stellen. De dimensies van de FFPI zijn: Extraversie, Mildheid, Ordelijkheid, Emotionele Stabiliteit en (intellectuele) Autonomie. De FFPI bestaat uit 100 korte concreet-gedragsmatig geformuleerde items. De FFPI komt voort uit de lexicale benadering van persoonlijkheid, waarbij het doel is te komen tot een spaarzaam, maar zo volledig mogelijk model voor het beschrijven van de belangrijkste verschillen in gedrag. Het Abridged Big-Five dimensionaal Circumplex-model (AB5C-model) (Hofstee & de Raad,
22
1991; Hofstee, De Raad & Goldberg, 1992) vormde het uitgangspunt voor de ontwikkeling van de FFPI. Dit AB5C-model is een combinatie van het Five Factor Model en het interpersoonlijk circumplexmodel, waarin variabelen circulair worden geordend op basis van ladingen op twee loodrecht op elkaar staande factoren (Hendriks et al., 1999). Het interpersoonlijk circumplexmodel werd begin jaren '50 geïntroduceerd door Leary en zijn medewerkers. Bij de meeste psychologen is dit model bekend in de vorm van de Interpersonal Checklist (ICL) van LaForge en Suczek (LaForge & Suczek, 1955), die vaak als `de roos van Leary' wordt aangeduid. Het model zelf wordt meestal voorgesteld als een cirkelvormige ordening van zestien categorieën van interpersoonlijk gedrag, gelegen ten opzichte van twee orthogonale assen. Deze circumplex voorstelling is meer dan een handige presentatie. Achter deze eenvoud schuilt een inhoudelijk en psychometrisch interessante wetmatigheid. De zestien categorieën, vaak per twee gecombineerd tot acht octanten, zijn categorieën van gedrag die eerst uit intuïtie en steunend op klinische ervaring (LaForge, 1985) en later uit talloze empirische studies, door verscheidene onderzoekers, als belangrijke aspecten van interpersoonlijk gedrag werden teruggevonden. Zowel de aard, het aantal en de positie ten opzichte van de hoofdassen werden bevestigd. Dit alles wees erop dat de circumplexstructuur geen toevallige configuratie was. Vanaf het begin heeft het circumplexmodel dan ook vaak dienst gedaan als theoretisch referentiekader voor talrijke onderzoeken, waaronder die van de FFPI. Verwachtingen Er wordt een significante positieve correlatie verwacht tussen carrièrewaarden die typerend zijn voor bepaalde persoonlijkheden. Bijvoorbeeld Extraversie (FFPI) met Aandacht (CW), Ordelijk (FFPI) met Kwaliteit (CW) en Autonomie (FFPI) met de carrièrewaarde Beïnvloeden. Tevens worden er ook negatieve correlaties verwacht. Een voorbeeld hiervan is Mild (FFPI) en Beïnvloeden (CW). Het kan ook zo zijn dat iemand laag scoort op een bepaalde persoonlijkheidseigenschap en dit wil compenseren met bepaalde kenmerken van een baan. Een voorbeeld hierbij is een lage score Stabiel (FFPI) en een hoge score op Zekerheid en stabiliteit (CW). Omschrijving van de psychometrische kwaliteiten en de resultaten De onderzoeksgroep bestaat uit 350 personen waarvan 55 vrouwen (15.7%) en 295 mannen (84.3%). De gemiddelde leeftijd binnen deze groep is 34;6 jaar met een minimum van 21 jaar en een maximum van 61 jaar (van acht personen is de leeftijd onbekend). De correlatie tussen de factoren van de FFPI en de schalen van de CW-I zullen worden berekend. Bij het vergelijken van een vragenlijst met een criterium wordt een correlatie van 0,2 gezien als laag; een correlatie van 0,3 als middelmatig/gemiddeld; een correlatie van 0,5 wordt gezien als hoog (Cohen, 1992). Het is niet mogelijk de correlatie tussen de schalen van de FFPI en de schalen van de CW-I te berekenen omdat de FFPI niet op dezelfde manier met schalen werkt. Er is wel bekend welke begrippen onder de factoren van de FFPI vallen, zie hiervoor Bijlage 5. Door de begrippen van de FFPI te vergelijken met de definities van de schalen van de CW-I kan gekeken worden of de gevonden correlaties verklaarbaar zijn. De betrouwbaarheden van de factoren van de FFPI liggen bij dit onderzoek tussen alfa's van .80 (Autonomie) tot .87 (Extraversie). De betrouwbaarheid van de schalen van de CW-I is gemiddeld 0.78 (Cronbach’s alfa’s) met een minimum van 0.65 (Ontwikkelen) en een maximum van 0.89 (Fysiek actief zijn). In onderstaande tabel staat een overzicht van de gemiddelde genormeerde schaalscores en de bijbehorende spreiding. De spreiding komt overeen met de spreiding van de normgroep (2.0).
23
Tabel 7: De gemiddelde stenscore op de schalen van de CW-I en de bijbehorende spreiding binnen dit onderzoek (N=350).
Schaalnaam Balans privé-werk Financiële beloning
Gemiddelde 5.2 5.9
Standaarddeviatie 2.0 1.9
Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit Taakuitdaging Samenwerking Aandacht Dynamiek
5.7 5.3 4.6 7.4 5.2 6.0 6.2 4.8 4.8 6.0 5.5 5.0 5.3 4.7 6.8 5.2 5.9 5.8
1.8 2.2 1.8 2.0 2.3 1.9 2.0 2.1 1.5 1.7 2.0 1.9 1.8 1.7 1.9 1.7 2.2 1.9
Gemiddeld
5.6
1.9
Een overzicht van alle correlaties tussen de factoren van de FFPI en de schalen van de CW-I is opgenomen in Bijlage 6. De belangrijkste en opvallende resultaten zullen, per factor van de FFPI, in Tabel 8 worden weergegeven. In de eerste kolom zijn alle positieve significante correlaties weergegeven, op volgorde van grootte van de correlatie. In de tweede kolom worden alle negatieve significante correlaties weergegeven op volgorde van grootte van de correlatie. Tabel 8: Correlaties tussen de schalen van de CW-I en de factoren van de FFPI (N=350).
FFPI factor
Extraversie
Mild
Ordelijk Stabiel
Significante* positieve correlaties met schalen van de CW-I Ondernemen (.36) Beïnvloeden (.32) Samenwerking (.27) Aandacht (.24) Carrière (.18) Analyseren (.34) Hulp verlenen (.32) Zinvolle bijdrage (.24) Balans privé-werk (.19) Concrete resultaten (.19) Samenwerking (.18) Kwaliteit (.49) Concrete resultaten (.28) Zekerheid en stabiliteit (.27)
Ontwikkelen (.21) Beïnvloeden (.46) Creatief denken (.34) Ondernemen (.20) Autonoom Taakuitdaging (1.8) *Significant met een α van .01
Significante* negatieve correlaties met schalen van de CW-I Balans privé-werk (-.30) Zekerheid en stabiliteit (-.25) Analyseren (-.25) Zinvolle bijdrage (-.25) Aandacht (-.46) Carrière (-.35) Beïnvloeden (-.32) Autonomie (-.26) Ondernemen (-.24) Financiële beloning (-.18) Creatief denken (-.31) Autonomie (-.27) Ondernemen (-.21) Aandacht (-.21) Taakuitdaging (-.19) Zekerheid en stabiliteit (-.20) Zekerheid en stabiliteit (-.44) Balans privé-werk (-.33) Financiële beloning (-.29) Fysiek actief zijn (-.21)
De schalen van de CW-I correleren verklaarbaar met de factoren van de FFPI. Zoals verwacht correleert de factor Extraversie positief met Aandacht. Ondernemen, Beïnvloeden en Samenwerking zijn tevens carrièrewaarden die positief correleren met Extraversie. Bij de factor Mild wordt de
24
verwachte, hoge negatieve correlatie met Aandacht gevonden. Carrièrewaarden die juist positief met Mild blijken te correleren zijn Analyseren, Hulp verlenen en Zinvolle bijdrage. Als er naar de factor omschrijving van Mild wordt gekeken komen onder andere de volgende kernwoorden naar voren: mild, verdraagzaam, zachtaardig en houdt rekening met andermans gevoelens. De correlatie met Zinvolle bijdrage en Hulp verlenen wordt hierdoor duidelijk. Ordelijk blijkt de te verwachten hoge correlatie te laten zien met Kwaliteit. Er is een negatieve correlatie tussen Ordelijk en Creatief denken. Kennelijk hebben ordelijke mensen niet zo’n behoefte aan Creatief denken binnen een baan of zijn mensen die Creatief denken in een baan wel belangrijk vinden, niet ordelijk. Stabiel is een factor die op het eerste gezicht niet zo typerend correleert met een van de carrièrewaarden. Bij deze factor blijkt dat mensen die Stabiel zijn juist de behoefte hebben zichzelf te Ontwikkelen en geen behoefte aan Zekerheid en stabiliteit hebben. De positieve correlaties die bij Autonoom worden gevonden zijn naar verwachting. De negatieve correlaties bij deze factor zijn niet typerend, maar geven het inzicht dat autonome personen dus geen behoefte aan zekerheid en stabiliteit hebben. Ook vinden autonome personen de balans tussen werk en privé, Financiële beloning en Fysiek actief niet belangrijk. Conclusies Uit de beschreven resultaten over de samenhang van de factoren van de FFPI met de carrièrewaarden van de CW-I wordt meer duidelijk over de psychologische constructen die met de vragenlijsten gemeten worden. De uitkomsten komen sterk overeen met de verwachtingen. Hiermee heeft dit onderzoek een bijdrage geleverd aan de onderbouwing van de constructvaliditeit. 5.1.2. Predictieve validiteit verpleegkundigenonderzoek met 360 graden-beoordelingen Ter ondersteuning van de predictieve validiteit zijn twee onderzoeken uitgevoerd waarbij enige tijd na afname van de CW bepaalde arbeidscriteria zijn gemeten. Vervolgens is getoetst wat de voorspellende waarde van de CW is. Ook hier is een significantieniveau van 5% gehandhaafd. Sinds 2005 doet Ixly onderzoek onder leerling-verpleegkundigen die de Beroeps Begeleidende Leerweg (BBL) van de verpleegkundigenopleiding volgen. Het doel van het onderzoek is vaststellen wat de voorspellende waarde is van een aantal persoonlijke eigenschappen van leerlingverpleegkundigen voor de mate van succes in hun opleiding. Er is voor gekozen om alleen die leerlingen bij het onderzoek te betrekken die de opleiding volgen op basis van een leerwerkovereenkomst. De reden hiervoor is dat de inhoud van deze opleidingen sterker lijkt op de uiteindelijke werkpraktijk dan de inhoud van meer theoretisch ingerichte opleidingen. In praktijksituaties is bovendien – meer dan in een theoretische setting – een breder scala aan persoonlijke eigenschappen vereist om effectief te kunnen functioneren. De persoonlijke eigenschappen zijn aan het begin van de opleiding gemeten door de CW-I. De mate van succes in de opleiding is negen maanden later gemeten door middel van een 360 gradenfeedbackmonitor. De inhoud van de 360 graden-feedbackmonitor is door een ervaren psycholoog opgesteld en is in samenspraak met de deelnemende ziekenhuizen aangepast op de praktijksituatie van de leerling. De leerling vult de 360 graden-vragenlijst zelf in en nodigt daarnaast minimaal twee en maximaal tien personen uit die met hem of haar hebben samengewerkt. De personen die de leerlingen beoordelen worden onderverdeeld in vijf categorieën: leidinggevenden, werkbegeleiders, praktijkopleiders, gediplomeerd verpleegkundigen en derde- of vierdejaars leerling-verpleegkundigen. De leerling wordt beoordeeld op veertien competenties die ieder door middel van vijf gedragsindicatoren worden gemeten. De resultaten die hier besproken worden zijn resultaten van een tussentijdse analyse, na afloop van het eerste jaar van het onderzoek. Steekproef Aan het totale onderzoek werkten 204 leerling-verpleegkundigen mee (35 mannen en 160 vrouwen, van negen leerlingen is het geslacht onbekend) die de opleiding volgen op mbo- dan wel hbo-niveau. Ten tijde van de analyse hadden 48 leerlingen de 360 graden-test ingevuld (5 mannen en 42 vrouwen, van 1 leerling is het geslacht onbekend). De gemiddelde leeftijd van deze steekproef is 24;8 jaar (minimum leeftijd 18 jaar, maximum leeftijd 43 jaar). Van deze leerlingen volgen 33 de opleiding op mbo-niveau en twaalf leerlingen op hbo-niveau, van drie leerlingen is het opleidingsniveau onbekend. Verwachtingen Aangezien het onderzoek exploratief van aard is, worden geen vastomlijnde hypotheses gehanteerd. Volgens Bloemers en van der Molen ligt de voorspellende waarde die bij een instrument gevonden wordt meestal tussen de r = .20 en de r = .50 (Bloemers en van der Molen, 2004). Uit onderzoek van Schmidt en Hunter blijkt dat bij persoonlijkheidsinstrumenten relaties in de orde van r = .31 gevonden
25
worden (Schmidt en Hunter, 1998). De generieke verwachting is dan ook dat een aantal carrièrewaarden een samenhang van rond de r = .30 zullen vertonen met vrijwel alle competenties. Resultaten De betrouwbaarheid (Cronbach’s alfa) van de carrièrewaarden liggen bij dit onderzoek tussen .59 (Ontwikkelen) en .86 (Fysiek actief zijn). Als eerste zijn de gemiddelde stenscores van deze steekproef vergeleken met die van de normpopulatie. Met een t-toets is nagegaan of er verschillen zijn tussen de scores van beide steekproeven. Hieruit blijkt dat leerling-verpleegkundigen op 11 van de 20 carrièrewaarden significant anders scoren dan de normpopulatie. Leerling-verpleegkundigen hebben minder behoefte aan: Autonomie, Financiële beloning, Balans privé-werk, Ondernemen en Concrete resultaten. Op deze carrièrewaarden scoren ze significant lager dan de normpopulatie. Wel zoeken leerlingverpleegkundigen de volgende carrièrewaarden in hun baan: Dynamiek, Fysiek actief zijn, Hulp verlenen, Ontwikkelen, Samenwerking en Zinvolle bijdrage. Hier scoren de leerlingen significant hoger op dan de normpopulatie (zie Tabel 9). Tabel 9: Gemiddelde stenscore bij dit onderzoek en de vergelijking met de stenscore van de normgroep (N=48).
Gemiddelde Carrièrewaarden stenscore* t-waarde p-waarde Balans privé-werk 4.98 (1.79) -2.12 .03 Financiële beloning 4.03 (1.99) -4.75 .00 Waardering en erkenning 5.48 (2.07) Concrete resultaten 4.33 (2.29) -2.87 .00 Zinvolle bijdrage 6.71 (1.80) 3.34 .00 Carrière 5.02 (1.84) Kwaliteit 6.08 (2.46) Creatief denken 4.78 (1.87) Beïnvloeden 4.75 (1.65) Ondernemen 4.64 (1.66) -2.74 .01 Hulp verlenen 7.67 (1.97) 6.61 .00 Analyseren 5.34 (2.00) Ontwikkelen 6.25 (2.10) 1.97 .05 Fysiek actief zijn 6.65 (1.88) 3.51 .00 Autonomie 3.29 (1.86) -6.79 .00 Zekerheid en stabiliteit 5.25 (1.64) Taakuitdaging 5.67 (2.31) Samenwerking 6.91 (1.81) 4.33 .00 Aandacht 5.47 (2.07) Dynamiek 6.61 (2.20) 3.24 .00 * De bijbehorende standaarddeviatie staat tussen haakjes weergegeven
Er is voor gekozen om voor iedere leerling per gedragsindicator van een competentie een gemiddelde beoordeling te berekenen. Bij deze berekening zijn alleen de beoordelingen van de respondenten gebruikt. De zelfbeoordeling van de leerling is buiten beschouwing gelaten. De betrouwbaarheid (Cronbach’s alfa) van de competenties ligt tussen .89 (Relationele kwaliteiten) en .95 (Aanpassingsvermogen). De hoogte van deze betrouwbaarheden komen mede tot stand door de gemiddelde beoordelingen die per gedragsindicator berekend zijn. Over de gemiddelde beoordelingen per gedragsindicator van de competenties is een PCA met Varimax-rotatie uitgevoerd. Uit de resultaten van de PCA blijkt dat de eerste factor 67% van de variantie verklaart. In eerste instantie is daarom een totaalscore berekend gebaseerd op alle competenties. Hiermee zijn de correlaties berekend met de normscores van de CW-I. Hieruit blijkt dat de carrièrewaarde Waardering en erkenning (r = .35, p < .01) significant correleert met de totaalscore van de 360 graden-test. Naast deze analyse zijn de correlaties berekend tussen de beoordelingen op de veertien competenties en de genormeerde scores van de CW-I. Er zijn zestien significante verbanden gevonden, in Tabel 10 worden deze getoond. In Bijlage 7 staan alle gevonden correlaties. Daarvan hebben er zes betrekking op de carrièrewaarde Waardering en erkenning. De competenties Aanpassingsvermogen, Analytische kwaliteiten, Communicatieve basisvaardigheden, Emotionele stabiliteit, Kennis en Relationele kwaliteiten correleren positief en significant met Waardering en
26
erkenning. Vijf significante verbanden hebben betrekking op de carrièrewaarde Ondernemen. De competenties Analytische kwaliteiten, Discipline, Gedrevenheid, Kennis en Kwantiteit van het werk laten een negatieve significante correlatie zien met deze carrièrewaarde. De competenties Kennis en Relationele kwaliteiten laten een negatieve significante correlatie zien met de carrièrewaarde Taakuitdaging. Als laatste laat de competentie Relationele kwaliteiten een negatieve significante relatie zien met Creatief denken en een positieve relatie met Samenwerking en Zekerheid en stabiliteit. Tabel 10: Correlaties competenties 360 graden-test en de CW-I.
Carrièrewaarden (N=48) Waardering Onder- Taakuiten erkenning nemen daging
Creatief denken
Samen werking
Competenties 360 Aanpassingsvermogen .32* Analytische kwaliteiten .36* -.29* Beïnvloedend vermogen*** Communicatieve basisvaardigheden .32* Creativiteit/innovatie Discipline -.30* Emotionele stabiliteit .37** Gedrevenheid -.31* Kennis .34* -.32* -.30* Kwaliteit van het werk Kwantiteit van het werk -.33* Organisatorische kwaliteiten Relationele kwaliteiten .30* -.37* -.31** .32* Verpleegkundige vaardigheden *. Significant met een a van .05 ( 2- zijdig ) **. Significant met een a van .01 ( 2- zijdig ) *** Competenties zonder significante correlatie met een carrierewaarden zijn grijs gedrukt
Zekerheid en stabiliteit
.30*
Conclusies Op basis van de resultaten van de analyse kan geconcludeerd worden dat er sprake is van een samenhang tussen de competenties zoals gemeten met de 360 graden-methode en de carrièrewaarden die met de CW worden gemeten. Deze samenhang is in de orde van grootte die op basis van ander onderzoek verwacht mag worden (zie Schmidt en Hunter, 1998). Dit resultaat draagt bij aan de predictieve validiteit van de CW. De totaalscore gebaseerd op alle competenties van de 360 graden-test en de gemiddelde scores van zes van de veertien competenties die noodzakelijk zijn voor de werkzaamheden van een verpleegkundige laten een positieve significante correlatie zien met Waardering en erkenning. De overige acht competenties laten ook hoge positieve correlaties zien maar zijn tijdens deze tussentijdse analyse niet significant. Dit resultaat houdt in dat leerlingen die gemotiveerd worden door Waardering en erkenning beter zullen presteren in hun werk als verpleegkundige dan leerlingen die hier minder behoefte aan hebben. Als verpleegkundige krijg je veel waardering en erkenning van patiënten en diens familieleden. Hierdoor wordt aan de behoefte voorzien, wat motiverend en prestatieverhogend werkt. Ten tweede blijkt de carrièrewaarde Ondernemen van belang te zijn voor het presteren als verpleegkundige. Vijf van de veertien competenties laten een negatieve significante relatie zien met Ondernemen. De overige negen competenties laten ook negatieve correlaties zien maar zijn niet significant. Leerlingen die behoefte hebben aan het initiëren van acties, projecten en ondernemingen zullen minder goed presteren dan leerlingen die op deze carrièrewaarde een lage score laten zien. Waarschijnlijk is er in het werk als verpleegkundige relatief weinig ruimte om zelf dingen te ondernemen. Alle processen lopen via vaste regels en protocollen. Leerlingen die hier wel behoefte aan hebben raken gedemotiveerd waardoor ze slechter gaan presteren. Taakuitdaging laat met twee van de veertien competenties een significant negatieve correlatie zien. Leerlingen die behoefte hebben aan telkens nieuwe en afwisselende taken kregen een lagere beoordeling dan leerlingen die hier minder behoefte aan hebben. Aangezien dit verband maar voor twee van de veertien competenties werd gevonden moet de analyse na afloop van het totale onderzoek uitwijzen of er inderdaad sprake is van een relatie of dat deze resultaten op basis van toeval gevonden zijn.
27
Suggesties voor vervolgonderzoek Aangezien dit onderzoek exploratief van aard is zijn er geen hypotheses geformuleerd. Voor de generaliseerbaarheid van de resultaten is het raadzaam om bij vervolgonderzoek vooraf hypotheses te formuleren die tijdens de analyse getoetst kunnen worden. De hypotheses kunnen voortkomen uit de resultaten die gevonden zijn tijdens dit onderzoek. De te onderzoeken hypotheses zijn: Behoefte aan Waardering en erkenning is belangrijk voor het succesvol functioneren van (leerling-)verpleegkundigen. Weinig behoefte aan Ondernemen is belangrijk voor het succesvol functioneren van (leerling-)verpleegkundigen. Weinig behoefte aan Taakuitdaging is positief voor de prestatie van (leerling-)verpleegkundigen.
5.2 Begripsvaliditeit 5.2.1 Begripsvaliditeit: Schaalstructuur De belangrijkste indicatie van de constructvaliditeit van de CW-N en CW-I zijn de uitkomsten op de MGM (Multiple Group Method) die eerder aan bod is gekomen in de paragraaf “de structuur van de CW-N en CW-I”. Dit onderzoek is tegelijk uitgevoerd met de normering. Gegevens over de onderzoeksgroepen zijn dus terug te vinden in het hoofdstuk Normering. Voor de CW-N is er een MGM uitgevoerd op de adviesdata. De kandidaten in deze groep hebben allen de vragenlijst ingevuld in een adviessituatie. Voor de CW-I is er een MGM uitgevoerd op zowel de advies- als op de selectiedata. De kandidaten in deze laatste groep hebben de vragenlijst ingevuld tijdens een selectiesituatie. De achtergrondkenmerken van deze groepen zijn in het hoofdstuk Normering (paragraaf 3.1) beschreven. De berekeningen zijn gebaseerd op de gewogen onderzoeksgroepen. De resultaten van de afzonderlijke MGM’s zijn opgenomen in Bijlage 8. Opvallende punten bij deze uitkomsten zullen worden besproken. Waarden in de MGM-analyse geven de item-restcorrelatie weer van een item met zijn eigen en de correlatie met de andere schalen. Er wordt dus gecorrigeerd voor het feit dat een item hoog correleert met de eigen schaal. De weergave van de MGM-resultaten wordt verhelderd doordat er van drie kleuren gebruik is gemaakt, die ieder een betekenis hebben. Grijs betekent dat het item hoogst correleert met zijn eigen schaal en dat dit tevens een significante positieve correlatie is. Geel betekent dat het item niet significant correleert met zijn eigen schaal maar dat er ook geen andere schaal is waar het betreffende item significant mee correleert. De derde kleur is rood en dit betekent dat het item met een van de andere schalen wel significant correleert maar niet met de eigen schaal. CW-N Zoals besproken in paragraaf 2.2.1 zijn er zes items verwijderd na de eerste MGM. Drie items konden verplaatst worden naar een andere schaal. Na de aanpassing van de structuur is er opnieuw een MGM uitgevoerd op de adviesdata. Hieruit blijkt dat er geen enkel item ‘rood’ is. Er is geen item dat significant correleert met een andere schaal en niet met de schaal waarin hij is geplaatst. In totaal correleren dertien van de 181 items niet significant met hun eigen schaal maar ook niet met een andere schaal (geel). Alle overige 168 items correleren significant hoger met hun eigen schaal dan met een andere schaal (grijs). CW-I Bij de selectiedata blijken 27 items hoger met een andere schaal te correleren dan met hun eigen schaal. Zoals aangegeven in paragraaf 2.2.2 moeten deze items vervangen worden. Aan de hand van de CW-N data zullen hier nieuwe items voor gemaakt worden die tijdelijk als onderzoeksitems mee zullen lopen. Op het moment dat er voldoende data is verzameld, zal er opnieuw een MGM uitgevoerd worden om zo te ontdekken of deze nieuwe items de hoogste significante correlatie met hun eigen schaal hebben.
28
5.2.2 Begripsvaliditeit: Equivalentie van de CW-N en de CW-I De twee verschillende versies van de CW zijn aan een groep respondenten aangeboden om na te kunnen gaan of deze twee versies equivalent aan elkaar zijn. Er is medio 2008 bij 80 personen, waarvan 51 vrouwen (63,8%) en 29 mannen (36,3%), zowel de CW-I als de CW-N afgenomen. Van 35 personen uit deze groep is de leeftijd bekend. De gemiddelde leeftijd is 28;3 jaar met een minimum van 20 jaar en een maximum van 55 jaar. Om de equivalentie van de twee vragenlijsten te kunnen onderzoeken, worden de correlaties berekend tussen de schalen van de CW-I en de CW-N. Met een t-toets wordt nagegaan of er significant verschillende schalen zijn. In Tabel 11 worden hiervan de resultaten weergegeven (deze tabel is identiek aan Tabel 4, maar wordt voor het gemak hier nogmaals weergegeven). Tabel 11: Correlaties tussen schalen van de normatieve en de ipsatieve versie
Correlatie* t-waarde** (N=80) Balans privé-werk 0.84 Financiële beloning 0.74 -2.08 Waardering en erkenning 0.66 Concrete resultaten 0.63 Zinvolle bijdrage 0.88 Carrière 0.79 5.24 Kwaliteit 0.78 Creatief denken 0.67 Beïnvloeden 0.82 Ondernemen 0.85 Hulp verlenen 0.82 Analyseren 0.62 Ontwikkelen 0.70 -2.28 Fysiek actief zijn 0.81 Autonomie 0.79 Zekerheid en stabiliteit 0.74 Taakuitdaging 0.61 Samenwerking 0.71 -2.56 Aandacht 0.76 Dynamiek 0.77 * Alle correlaties zijn significant op het 0.01 niveau ** Alleen weergegeven voor de significante verschillen Schaalnaam
p-waarde** 0.041
0.000
0.026
0.012
Met een gemiddelde correlatie van 0.75 mag aangenomen worden dat de beide vragenlijsten in hoge mate equivalent aan elkaar zijn. Op schaalniveau blijken slechts vier schalen significant van elkaar te verschillen. Gezien deze equivalentie, kunnen resultaten van onderzoeken uitgevoerd met de CW-I ook betrokken worden op de CW-N en visa versa. 5.2.3 Begripsvaliditeit: Relatie met de achtergrondvariabelen Om na te gaan of de carrièrewaarden een relatie met de achtergrondvariabelen hebben, wordt er per variabele en per carrièrewaarde onderzocht of de gemiddelde scores voor de verschillende categorieën van deze variabelen significant van elkaar verschillen. Per achtergrondvariabele is voor iedere carrièrewaarde de gemiddelde stenscore berekend. Tijdens deze berekening zijn de data gewogen. Door middel van een ANOVA is gekeken of er significante verschillen zijn tussen de verschillende achtergrondvariabele. De N bij de CW-N Adviesgroep is gewogen 6761 (gewogen 676), de N bij de CW-I Adviesgroep is 11644 (gewogen 4997) en de N bij de CW-I Selectiegroep is 2088 (gewogen 635). Naast een ANOVA is ook de eta berekend die als associatiemaat dient voor variabelen met meer dan twee categorieën. Indien het verschil bij tweezijdige toetsing significant is op het 5% niveau, is dit met een * weergegeven bij de eta van de betreffende schaal.
29
Geslacht In Tabel 12 worden de gemiddelde stenscores per carrièrewaarde weergegeven voor de achtergrondvariabele geslacht. Tabel 12: Weergave gemiddelde stenscores voor de achtergrondvariabele geslacht per carrièrewaarde.
CW-N Advies (N=6761) Schaalnaam Balans privé-werk Financiële beloning Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit Taakuitdaging Samenwerking Aandacht Dynamiek
CW-I Advies (N=11644) eta man vrouw
CW-I Selectie (N=2088) eta man vrouw
.11* .10* .06*
5.3 5.7 5.4
5.8 5.2 5.7
.12* .11* .02
5.3 5.6 5.4
5.6 5.1 5.6
eta .16* .07
man 5.2 5.6
vrouw 5.9 5.3
.11* .03 .12* .16* .05 .18* .20* .17* .12* .11* .10* .11* .07
5.3 5.5 5.3 5.8 5.4 5.8 5.9 5.8 5.3 5.7 5.3 5.7 5.6
5.8 5.6 5.8 5.1 5.6 5.1 5.0 5.1 5.8 5.2 5.7 5.2 5.3 5.6
.02 .20* .20* .01 .11* .19* .13* .19* .07* .10* .01 .09* .07*
5.5 5.1 5.9 5.5 5.7 5.9 5.8 5.2 5.6 5.3 5.5 5.7 5.4
5.5 5.0 5.0 5.5 5.2 5.0 5.2 5.0 5.3 5.8 5.5 5.3 5.7
.00 .15* .21* .05 .08* .22* .01 .13* .04 .12* .01 .04 .02
5.4 5.3 5.2 5.2 5.9 5.0 5.7 5.1 5.7 5.5 5.4 5.8 5.1
5.7 5.6 5.6 5.2 5.3 5.2 5.9 5.6 5.3 5.3 5.0 5.4 5.3
.06 .05 .14* .12* .11*
5.4 5.6 2.2 5.7 5.3
5.4 5.0 5.2 5.8
.06* .17* .07* .10*
5.6 5.2 5.6 5.3
5.4 5.9 5.3 5.8
.02 .11* .07 .20
5.6 5.1 5.0 5.1
5.6 5.7 5.6 5.1
5.5
5.5
5.5
5.5
Gemiddeld 5.5 5.5 * significante verschillen NB: Alleen gemiddelde scores worden weergegeven.
Bij alle genormeerde groepen blijken vrouwen significant meer waarde te hechten aan de volgende carrièrewaarden: Balans privé-werk, Waardering en erkenning, Zinvolle bijdrage, Hulp verlenen, Ontwikkelen, Samenwerking en Dynamiek. Het verschil in Balans privé-werk toont een reeel verschil: mannen werken gemiddeld meer uren dan vrouwen. Mannen blijken in alle drie de groepen significant meer waarde te hechten aan de carrièrewaarden Carrière, Creatief denken, Beïnvloeden. In de tabel staan ook nog enkele carrièrewaarden die voor één of twee van de genormeerde groepen significant verschillen maar niet voor alle drie. De gevonden significante resultaten bij deze variabele zijn verschillen die ook in de literatuur teruggevonden worden. Voorbeelden hiervan zijn; vrouwen scoren gemiddeld hoger op Sociabiliteit, Zorgzaamheid en Contactbehoefte. Mannen scoren hoger op Status en Invloed (Beutel & Marini, 1995). Het grootste verschil dat wordt gevonden is 0.9 sten (Beïnvloeden, CW-N Advies). Dit komt overeen met .39 maal de standaarddeviatie.
30
Leeftijd In Tabel 13 staat per carrièrewaarde, voor de drie leeftijdsgroepen, de gemiddelde stenscore weergegeven. Tabel 13: Weergave gemiddelde stenscores voor de achtergrondvariabele leeftijd per carrièrewaarde.
CW-N Advies (N=6761) Schaalnaam Balans privéwerk Financiële beloning Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit. Taakuitdaging Samenwerking Aandacht Dynamiek Gemiddeld
CW-I Advies (N=11644)
CW-I Selectie (N=2088)
eta
15-24
25-44
45-65
eta
15-24
25-44
45-65
eta
15-24
25-44
45-65
.04
5.6
5.6
5.4
.06*
5.8
5.5
5.4
.05
5.2
5.5
5.6
.14*
6.1
5.6
5.2
.10*
6.1
5.5
5.3
.04
5.8
5.5
5.5
.13*
5.9
5.6
5.2
.00
5.5
5.5
5.5
.04
5.4
5.1
5.6
.02
5.5
5.5
5.5
.14*
4.8
5.4
5.9
.11*
4.9
5.1
5.8
.08 .18* .11* .07 .10* .15* .03 .12* .20 .10 .07
5.3 6.1 4.9 5.1 6.0 6.2 5.5 4.8 5.7 6.0 5.4
5.4 5.7 5.7 5.6 5.5 5.6 5.4 5.6 5.9 5.5 5.6
5.7 5.0 5.4 5.5 5.3 5.2 5.6 5.6 4.9 5.3 5.4
.07* .21* .11* .15* .08* .01 .07* .20* .11* .12* .12*
5.5 6.4 4.9 4.6 5.0 5.5 5.7 4.3 5.4 6.2 4.8
5.4 5.7 5.7 5.5 5.6 5.5 5.4 5.6 5.8 5.4 5.6
5.7 4.9 5.8 5.7 5.6 5.5 5.7 5.8 5.2 5.4 5.6
.11* .17* .09 .12* .20* .02 .09 .14* .20* .08 .21*
5.7 6.2 5.8 4.8 4.4 5.6 3.0 4.6 6.0 5.9 4.4
5.3 5.7 5.6 5.5 5.5 5.5 5.5 5.6 5.8 5.3 5.4
5.8 5.0 5.2 5.7 5.9 5.4 5.4 5.7 4.8 5.6 6.0
.02
5.4
5.5
5.5
.12*
6.2
5.4
5.4
.17*
6.5
5.5
5.2
.04 .04 .24* .09
5.3 5.7 5.7 5.2
5.6 5.5 5.6 5.7
5.5 5.4 4.9 5.3
.03 .10* .21* .03
5.3 5.5 6.6 5.7
5.6 5.3 5.6 5.5
5.5 5.8 5.0 5.4
.04 .07 .12* .20*
5.3 5.3 6.0 6.2
5.5 5.4 5.6 5.8
5.6 5.7 5.2 4.9
5.4
5.5
5.5
5.5
5.5
5.5
5.5
5.5
5.5
* significante verschillen NB: Alleen gemiddelde scores worden weergegeven.
Een carrièrewaarde die voor alle drie de genormeerde groepen significant van elkaar verschilt voor de variabele leeftijd, is Carrière. Men scoort naarmate men ouder wordt lager op deze carrièrewaarde. Dit is verklaarbaar aangezien men op latere leeftijd vaak al carrière heeft gemaakt of het minder belangrijk is gaan vinden. Ook verschilt de carrièrewaarde Beïnvloeden significant in alle drie de groepen, maar niet bij iedere groep in dezelfde richting. Bij de CW-N normgroep scoren mensen in de laagste leeftijdsgroep (15-24 jaar) hoger op Beïnvloeden. Bij de CW-I normgroepen ligt dit andersom, hierin scoren mensen in de hogere leeftijdsgroep juist hoger op Beïnvloeden. De score op Analyseren ligt voor alle normgroepen in de oudere leeftijdsgroep hoger. Blijkbaar vinden mensen analyseren op latere leeftijd belangrijker dan op jongere leeftijd. Ontwikkelen vindt men op latere leeftijd minder belangrijk. Dit is verklaarbaar gezien men al veel ontwikkeling heeft doorgemaakt. Tevens blijkt dat personen in de jongere leeftijdsgroepen meer behoefte aan aandacht hebben dan de personen in de latere leeftijdsgroep.
31
Opleiding Voor de variabele opleiding staan de verschillen in gemiddelde stenscores weergegeven in onderstaande tabel. In deze tabel staat L voor lager onderwijs, M voor middelbaar onderwijs en H voor hoger onderwijs.
Tabel 14: Weergave gemiddelde stenscores voor de achtergrondvariabele opleiding per carrièrewaarde.
Schaalnaam Balans privéwerk Financiële beloning Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit. Taakuitdaging Samenwerking Aandacht Dynamiek Gemiddeld
CW-N Advies (N=6761)
CW-I Advies (N=11644)
CW-I Selectie (N=2088)
eta
L
M
H
eta
L
M
H
eta
L
M
H
.05
5.7
5.5
5.4
.12*
5.9
5.5
5.2
.14*
6.2
5.8
5.2
.11*
5.7
5.7
5.2
.16*
6.1
5.5
5.1
.18*
6.4
5.6
5.0
.03
5.4
5.5
5.5
.03
5.4
5.5
5.6
.03
5.4
5.6
5.5
.03
5.7
5.5
5.3
.04*
5.4
5.5
5.6
.12*
4.8
5.3
5.9
.08 .07 .17 .05* .10* .03 .10* .06 .08 .17* .15*
5.6 5.2 5.7 5.5 5.3 5.6 5.8 5.3 5.3 6.0 5.1
5.3 5.6 5.8 5.4 5.4 5.4 5.5 5.6 5.4 5.6 5.4
5.7 5.6 5.0 5.7 5.8 5.5 5.3 5.5 5.7 5.0 5.9
.09* .08* .16* .18* .25* .01 .14* .18* .16* .22* .11*
5.3 5.4 5.9 5.0 4.8 5.5 5.8 4.9 4.9 6.1 5.2
5.4 5.4 5.7 5.4 5.4 5.5 5.6 5.5 5.5 5.6 5.5
5.8 5.8 5.0 6.0 6.2 5.5 5.1 6.0 6.0 4.9 5.8
.06 .18* .24* .21* .33* .20* .26* .17* .12* .23* .16*
5.7 5.0 5.6 4.6 4.4 5.1 6.3 4.6 5.0 6.3 5.3
5.5 5.3 5.7 5.2 4.9 5.3 5.6 5.6 5.7 5.6 5.4
5.4 6.2 4.9 5.8 6.0 6.1 5.1 5.5 6.2 4.8 5.7
.28*
6.1
5.8
4.6
.29*
6.3
5.7
4.6
.42*
6.9
6.0
4.6
.02 .01 .09 .04
5.5 5.5 5.3 5.5
5.5 5.5 5.5 5.6
5.6 5.5 5.7 5.4
.11* .03 .06* .09*
5.2 5.5 5.4 5.7
5.4 5.5 5.4 5.6
5.9 5.6 5.7 5.2
.19* .03* .12 .09
4.8 5.3 5.5 5.5
5.4 5.3 5.5 5.9
5.9 5.6 5.9 5.6
5.5
5.5
5.4
5.5
5.5
5.5
5.4
5.5
5.5
* significante verschillen NB: Alleen gemiddelde scores worden weergegeven.
Bij alle normgroepen blijkt dat lageropgeleiden de carrièrewaarden Financiële beloning, Hulp verlenen, Fysiek actief zijn en Zekerheid en stabiliteit belangrijker achten dan hoger opgeleiden. Hogeropgeleiden vinden Creatief denken, Beïnvloeden en Autonomie binnen alle normgroepen significant belangrijker dan de lageropgeleiden. Ook dit zijn verklaarbare en betekenisvolle resultaten.
32
Werksituatie In Tabel 15 staat voor iedere carrièrewaarde voor de achtergrondvariabele werksituatie - is de kandidaat werkend of werkzoekend (niet-CWI/CWI) - , de gemiddelde stenscore weergegeven.
Tabel 15: Weergave gemiddelde stenscores voor de achtergrondvariabele werksituatie per carrièrewaarde.
Schaalnaam Balans privé-werk Financiële beloning Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit Taakuitdaging Samenwerking Aandacht Dynamiek Gemiddeld
CW-N Advies (N=6761) nieteta CWI CWI .03 5.8 5.6 .04 6.0 5.5
CW-I Advies (N=11644) nieteta CWI CWI .02 5.7 5.5 .02 5.7 5.5 .01 5.4 5.5
CW-I Selectie (N=2088) nieteta CWI CWI .17* 7.2 5.3 .13* 6.6 5.2 .01 5.8 5.5
5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5
.01 .01 .04* .01 .02 .04* .01 .01 .02 .02 .03 .01 .04*
5.4 5.7 5.1 5.7 5.3 5.0 5.7 5.7 5.3 5.2 5.8 5.4 6.0
5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5 5.5
.03 .04 .09* .09* .08 .10* .02 .01 .05 .08 .07 .12* .12*
4.8 6.0 4.7 4.2 5.0 4.6 5.1 5.2 5.3 4.8 6.2 6.8 6.5
5.7 5.4 5.9 5.3 5.6 5.6 5.9 5.4 5.5 6.1 5.1 5.4 5.1
.00 .00 .02 .01
5.5 5.5 5.3 5.6
5.5 5.5 5.5 5.5
.08 .10* .02 .10*
4.9 4.4 5.8 4.5
5.7 5.6 5.7 5.8
5.5
5.5
5.4
5.8
.01 .00 .03 .04 .02 .02 .06 .02 .02 .03 .01 .03 .04
5.4 5.5 5.9 5.0 5.7 5.2 4.9 5.3 5.8 5.2 5.4 5.9 5.1
.05 .02 .00 .04 .02
6.0 5.2 5.6 5.1 5.3
5.5 5.5 5.5 5.5
5.5
5.5
* significante verschillen NB: Alleen gemiddelde scores worden weergegeven.
Dat er geen significante verschillen tussen de verschillende werksituaties wordt gevonden bij de normatieve versie van de vragenlijst, valt te verklaren doordat deze vragenlijst weinig is aangeboden aan kandidaten van het CWI. Wat voor de rest opvalt bij deze vergelijking is dat de kandidaten die voor het CWI de vragenlijst hebben ingevuld meer waarde hechten aan Balans privé-werk, Financiële beloning, Autonomie en Zekerheid en stabiliteit. Ze blijken juist minder waarde te hechten aan Carrière, Kwaliteit, Beïnvloeden, Samenwerking en Dynamiek. Deze verschillen tussen de twee groepen worden waarschijnlijk veroorzaakt door de situatie waar de werkloze (CWI) mensen zich in bevinden. Branche/sector Met behulp van t-toetsen is nagegaan welke schalen significante brancheverschillen in stengemiddelden laten zien. Gezien de grootte van de tabellen zijn deze weergegeven in Bijlage 9. Uit de analyse blijkt dat er voor bijna alle schalen brancheverschillen bestaan. In hoeverre dit een resultaat is van werkelijke verschillen, of de samplegrootte is onbekend. Gezien de aard van de branches zijn verschillen in carrièrewaarden te verwachten. Om deze reden pleiten wij ervoor geen aparte normgroepen per branche te maken. Conclusie Ondanks de grote aantallen personen in de normgroepen wordt maar een beperkt aantal significante verschillen gevonden. In termen van effectgrootte (Cohen, 1992) zijn de significante verschillen bij de achtergrondvariabelen niet dusdanig dat voor deze variabele aparte normgroepen gecreëerd moeten worden. Het kan interessant zijn deze gegevens bij de interpretatie te betrekken aangezien het veelal reële verschillen betreft, maar dit is niet noodzakelijk.
33
5.2.4 Begripsvaliditeit: Culturele bias De Carriere Waardenvragenlijst (CW) wordt veelvuldig gebruikt bij loopbaanvraagstukken. Omdat in Nederland personen uit verschillende culturen wonen en werken is het noodzakelijk dat de vragenlijsten cultureel rechtvaardig zijn. Cultureel rechtvaardig betekent dat er geen onterechte vertekening (bias) ontstaat bij individuele uitkomsten en dat alleen reële verschillen tussen individuen zichtbaar worden in relatie tot de gehele beroepspopulatie. Deze reële verschillen hebben immers betekenis voor de Nederlandse arbeidsmarkt. Dat vragenlijsten op het gebied van werkwaarden reële verschillen laten zien tussen groepen is te verwachten op basis van onderzoeksgegevens. Er zijn verschillen te verwachten op de dimensies Machtsafstand, Individualisme, Masculiniteit en Onzekerheidsvermijding (Hofstede, 2004). Nederland scoort in vergelijking tot de internationale gemeenschap als volgt: Tabel 16. Resultaten onderzoek Hofstede, 2004
Nederland t.o.v. internationaal Machtsafstand: Individualisme: Masculiniteit: Onzekerheidsvermijding:
gemiddelde Laag Hoog Laag (feminien) Gemiddeld
Alhoewel de CW niet hetzelfde meet als de culturele waarden van Hofstede, zou het kunnen dat er verschillen bestaan tussen allochtone en autochtone Nederlanders. Onderzoeksopzet Gedurende een periode van 2008 tot 2012 is mensen die de CW invulden gevraagd naar hun culturele achtergrond en nationaliteit. Deze vraag was niet verplicht, men kon ook aangeven geen informatie te willen geven. De vragenlijst is ingevuld in de praktijk van opdrachtgevers van Ixly bij loopbaanadvies en selectievraagstukken. De opdrachtgevers zijn verspreid over Nederland en werken in verschillende sectoren als re-integratie, outplacement, beroepskeuze, psychologisch onderzoek en assessment. In de onderzoeksopzet worden allochtone Nederlanders vergeleken met autochtone Nederlanders. De definitie van het begrip allochtoon is volgens het CBS (Centraal Bureau voor Statistiek) 'een persoon van wie ten minste één ouder in het buitenland is geboren’. Alle personen met een allochtone achtergrond zijn samengevoegd tot één groep. Hiermee verviel het verschil tussen de eerste en tweede generatie allochtonen. De onderzoeksgroep allochtonen is te typeren als een internationale groep, omdat verschillende landen vertegenwoordigd zijn. Hieronder, bij de bespreking van de resultaten, wordt een overzicht van de herkomst van de groep allochtonen weergegeven. Vervolgens zijn er analyses gedaan om te onderzoeken of er verschillen tussen allochtonen en autochtonen zijn te onderscheiden. Bij de CW is gebruik gemaakt van genormeerde stenscores. Voor het vaststellen van significante verschillen tussen groepen is gebruik gemaakt van een ANOVA. Cohen’s d is een maat voor effectgrootte. Deze gebruiken we om vast te stellen of een significant verschil ook daadwerkelijk betekenis heeft voor verschillen tussen groepen. Algemeen wordt er van uitgegaan dat een d >.30 een middelgroot verschil aangeeft. Pas vanaf d >.80 is er sprake van een groot verschil. Resultaten In totaal hebben 21584 mensen die de CW hebben gemaakt persoonsgegevens ingevuld waarvan 565 in te delen zijn onder de groep allochtoon en 21019 onder de groep autochtoon. Mede door de grote aantallen respondenten worden significante verschillen gevonden. Tabel 17 toont de herkomst van de groep allochtonen. Tabel 17. Herkomst groep allochtonen Carriere Waarden Normatief en Ipsatief
81 Duits 73 Turks 66 Belgisch
63 Marokkaans 41 Brits 27 Pools
27 Spaans 24 Italiaans 3 Chinees 299 Wil ik niet vertellen 145 Anders
Allereerst is gecontroleerd of de groep allochtonen significant verschilt van de autochtonen met betrekking tot leeftijd, geslacht en opleidingsniveau. Hiervoor zijn drie Chi Square-toetsen uitgevoerd.
34
Er was geen significante relatie tussen leeftijdsgroep en culturele achtergrond χ2 (2) = 5.67, p = .059. Ook was er geen significante relatie tussen geslacht en culturele achtergrond χ2 (1) = 2.36, p = .124. 2 De Chi Square-toets voor opleidingsniveau en culturele achtergrond was wel significant, met χ (2) = 10.91, p = .004, waarbij allochtonen ondergerepresenteerd waren in het middelste opleidingsniveau. De maat van effectgrootte voor Chi Square, Cramer’s V, was 0.29, wat een matige effectgrootte aangeeft. Concluderend kunnen we zeggen dat allochtonen en autochtonen gelijk verdeeld zijn over geslacht en leeftijd, maar dat allochtonen in lichte mate anders verdeeld zijn over de opleidingsniveaus. Vervolgens is gekeken naar de scores van allochtonen en autochtonen op de schalen van de CW. Dertien schalen laten significante verschillen zien tussen allochtonen en autochtonen. Tevens is Cohen’s d berekend: een maat voor effectgrootte. Deze laat zien dat er voor geen enkele schaal een middelgroot of groot verschil tussen allochtonen en autochtonen bestaat. De resultaten van de analyse zijn weergegeven in Tabel 18. Tabel 18. Uitkomsten culturele biasonderzoek Carriere Waarden Normatief en Ipsatief
Autochtoon (N=21019)
Allochtoon (N=565)
Schaal Aandacht Autonomie Beïnvloeden Creatief denken Dynamiek Financiële beloning Hulp verlenen Fysiek actief zijn Balans prive-werk Ondernemen Ontwikkelen Kwaliteit Carriere Analyseren
M 5,63 5,28 5,41 5,38 5,63 5,66 5,66 5,54 5,43 5,47 5,45 5,40 5,49 5,32
SD 2,18 2,21 2,19 2,28 2,28 2,21 2,22 2,20 2,17 2,32 2,41 2,31 2,29 2,25
M 6,01 5,09 5,20 5,48 5,15 6,12 5,33 5,38 5,45 5,36 5,92 5,85 6,14 5,29
SD 2,42 2,18 2,05 2,14 2,34 2,42 2,12 2,25 2,10 2,36 2,34 2,22 2,34 2,13
t-waarde -4,06 2,02 2,20 -1,03 4,93 -4,88 3,50 1,75 -0,21 1,19 -4,61 -4,60 -6,62 0,35
Sig.* ,000 ,043 ,028 ,301 ,000 ,000 ,000 ,080 ,836 ,235 ,000 ,000 ,000 ,730
Concrete resultaten Samenwerking Taakuitdaging Waardering en erkenning Zekerheid en stabiliteit Zinvolle bijdrage
5,31 5,51 5,44 5,54
2,39 2,20 2,27 2,28
5,38 5,42 5,46 5,07
2,47 2,26 2,33 2,54
-0,64 0,96 -0,22 4,82
,524 ,338 ,824 ,000
5,59 5,63
2,15 2,18
6,05 6,10
2,03 2,20
-5,01 -5,05
,000 ,000
Cohen's d -0,16 0,09 0,10 -0,05 0,20 -0,19 0,16 0,07 -0,01 0,05 -0,20
Gemiddeld verschil -0,38 0,19 0,21 -0,10 0,48 -0,46 0,33 0,16 -0,02 0,12 -0,47
-0,20 -0,28 0,02 -0,03 0,04 -0,01
-0,45 -0,65 0,03 -0,07 0,09 -0,02
0,19 -0,23 -0,21
0,47 -0,46 -0,47
* niet-significante waarden (p>.05) zijn grijs gedrukt
Conclusies De Carriere Waardenvragenlijst (CW) laat een aantal verschillen zien tussen allochtonen en autochtonen. Alhoewel deze verschillen significant zijn op het .05 niveau, zijn de effectgroottes allemaal lager dan .3. Omdat de gevonden verschillen relatief klein zijn, zal dit in de praktijk niet of nauwelijks tot andere interpretaties leiden. Belangrijk is te benadrukken dat de verschillen binnen groepen vele malen groter zijn dan de verschillen tussen groepen. Daarom is te stellen dat de CW vrij is van culturele bias en in de praktijk niet tot conclusies en adviezen zullen leiden die vertekend zijn door de sociaal culturele achtgrond van kandidaten. Omdat er geen sprake lijkt te zijn van culturele bias, is het cultureel rechtvaardig om iedereen te vergelijken met de algemene normgroep voor de Nederlandse beroepsbevolking.
35
5.2.5 Begripsvaliditeit: De CW en de Werkgerelateerde Persoonlijkheidsvragenlijst van Ixly De Werkgerelateerde Persoonlijkheidsvragenlijst (WPV) is een persoonlijkheidsvragenlijst die de persoonlijkheid in kaart brengt. De vragenlijst is voor het werkveld van Human Resource Management ontwikkeld en kan zowel bij adviessituaties als bij selectiesituaties ingezet worden (Orga, 2007). De vragenlijst bestaat uit 276 items die op een normatieve wijze worden aangeboden. Men moet op een vijfpuntsschaal aangeven of een stelling bij hem/haar past. De uitkomsten worden weergegeven in stenscores op de 25 schalen en vijf factoren. Zie Bijlage 10 voor een beschrijving van de factoren en schalen van de WPV. Tijdens assessmentprocedures of loopbaanadvies vullen de CW en de WPV elkaar goed aan. De WPV geeft een beschrijving van de persoonlijkheid van een kandidaat en de CW geeft een overzicht van de persoonlijke voorkeur en waarden op carrièregebied. Uit ervaring blijkt dat het niet zo hoeft te zijn dat als iemand hoog scoort op een bepaalde schaal van de WPV, men aan deze eigenschap ook per definitie waarde hecht binnen een baan. Het is interessant om te bekijken hoe de resultaten van deze twee tests correleren aangezien de verwachting is dat er overeenkomsten zullen zijn tussen persoonskenmerken en carrièrewaarden. Er zijn van 1256 personen data beschikbaar op zowel de WPV als de CW-N. Beide vragenlijsten zijn in adviessituaties afgenomen. Al deze gegevens zijn afkomstig uit de dataset van Orga en verkregen bij verschillende instellingen. Van 761 personen uit deze dataset is de leeftijd bekend, deze varieert van 16 tot 62 jaar met een gemiddelde leeftijd van 36;9 jaar. Van de personen van wie het geslacht bekend is zijn er 559 mannen en 669 vrouwen. De vragenlijsten zijn afgenomen tussen begin 2004 en halverwege 2006. Er zijn correlaties berekend tussen de factoren/schalen van de WPV en de schalen van de CW-N. De betrouwbaarheid van de schalen van de CW-N bij dit onderzoek is gemiddeld 0.88. Balans privé-werk heeft de laagste betrouwbaarheid (Cronbach’s alfa: 0.78) en Zinvolle bijdrage heeft de hoogste betrouwbaarheid (Cronbach’s alfa: 0.93). De betrouwbaarheid van de schalen van de WPV is gemiddeld 0.89 met als laagste betrouwbaarheid Competitie (Cronbach’s alfa: 0.87) en als hoogste betrouwbaarheid Zorgzaamheid (Cronbach’s alfa: 0.94). De betrouwbaarheid van de factoren van de WPV ligt tussen .96 en .97 (gestratificeerde alfa). Bij de berekening van de betrouwbaarheid van de factoren van de WPV is aangenomen dat de totale error-variantie hetzelfde is als bij de genormeerde Adviesgroep van de WPV. In onderstaande tabel staan de correlaties tussen de factoren van de WPV en de schalen van de CWN. De correlaties groter of gelijk aan .30 en kleiner of gelijk aan -.30 zijn vet gedrukt. Bij dergelijke onderzoeken worden correlaties die (absoluut) groter of gelijk zijn aan .30 gemiddeld genoemd en hoog indien ze groter zijn dan .50 (Cohen, 1992).
36
Tabel 19: Correlaties tussen de factoren van de WPV en de schalen van de CW.
CW-schalen (N=1256) Balans privé-werk Financiële beloning Waardering en erkenning Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken Beïnvloeden Ondernemen Hulp verlenen Analyseren Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit Taakuitdaging Samenwerking Aandacht Dynamiek
WPV-factoren (N=1256) Invloed -.24** .30** .17** .26** .18** .75** .22** .47** .73** .55** -.01 .39** .34** -.00 .35** -.02 .46** .19** .73** .33**
Sociabiliteit -.06* -.01 .21** .18** .25** .12** .15** .19** .29** .18** .46** .27** .27** -.00 -.03 -.09** .32** .57** .24** .31**
Gedrevenheid -.19** .10** .23** .44** .28** .49** .44** .66** .53** .47** .21** .63** .63** -.00 .36** .01 .71** .29** .32** .56**
Structuur .16** .18** .24** .35** .09** .06 .51** -.11* -.08** -.13** .30** .17** .17** .03 -.28** .55** -.02 .34** -.11** .19**
Stabiliteit -.22** .01 -.13** .14** .07* .23** .16** .21** .28** .24** .11* .28** .28** -08** -.08** .02 .41** .30** .05 .31**
** Significant met een a van .01 ( 2- zijdig ) * Significant met een a van .05 ( 2- zijdig )
De factor Invloed heeft een gemiddelde (.30) tot sterke (>.50) relatie met de carrièrewaarden (op volgorde van grootte van de correlatie) Carrière, Aandacht, Beïnvloeden, Ondernemen, Creatief denken, Taakuitdaging, Analyseren, Autonomie, Ontwikkelen, Dynamiek en Financiële beloning. De mensen die hoog scoren op de factor Invloed hechten sterk aan deze carrièrewaarden. De gevonden relaties zijn geheel volgens de verwachting. De factor Invloed bevat schalen als Status, Dominantie en Zelfvertoon. De definities van deze schalen sluiten goed aan bij de definities van de carrièrewaarden. De factor Sociabiliteit heeft een gemiddelde (.30) tot sterke (>.50) relatie met de carrièrewaarden (op volgorde van grootte van de correlatie): Samenwerking, Hulp verlenen, Taakuitdaging en Dynamiek. Hieruit blijkt dat sociale mensen de sociale componenten van het werk motiverend vinden. De factor Gedrevenheid heeft een gemiddelde (.30) tot sterke (>.50) relatie met de carrièrewaarden (op volgorde van grootte van de correlatie): Taakuitdaging, Creatief denken, Analyseren, Ontwikkelen, Dynamiek, Beïnvloeden, Carrière, Ondernemen, Kwaliteit, Concrete resultaten, Autonomie en Aandacht. Al deze carrièrewaarden zijn goed interpreteerbaar met de factor Gedrevenheid aangezien deze schalen bevat als Zelfontwikkeling, Vernieuwing en Originaliteit. De factor Structuur heeft een gemiddelde (.30) tot sterke (>.50) relatie met de carrièrewaarden (op volgorde van grootte van de correlatie): Zekerheid en stabiliteit, Kwaliteit, Concrete resultaten en Samenwerking. Hieruit blijkt dat gestructureerde mensen graag kwaliteit en concrete resultaten leveren. De factor Stabiliteit heeft een gemiddelde (.30) tot sterke (>.50) relatie met de carrièrewaarden (op volgorde van grootte van de correlatie): Taakuitdaging, Dynamiek, Analyseren en Samenwerking. Deze mensen zijn van zichzelf erg stabiel en hebben waarschijnlijk daarom juist behoefte aan taakuitdaging in een baan. Dat deze factor geen correlatie laat zien met de carrièrewaarde Zekerheid en stabiliteit zou als volgt verklaard kunnen worden: deze mensen zijn van zichzelf al stabiel en hebben binnen een baan geen behoefte aan stabiliteit. De tabel met alle correlaties tussen de schaalscores van de WPV en de schaalscores van de CW staat in Bijlage 11. Hieronder wordt in Tabel 20 per carrièrewaarde een overzicht gegeven van de WPV schalen waarmee de correlatie tenminste .30 is. De WPV-schalen die het hoogst correleren met de betreffende carrièrewaarde worden als eerste genoemd.
37
Tabel 20: Het verband tussen de schalen van de WPV en de CW.
WPV-schalen (N=1256) Carrièrewaarden
Positieve relatie
Negatieve relatie
Balans privé-werk Financiële beloning Waardering en erkenning
Regelmaat (.36) Status (.47)
Energie (-.30)
Concrete resultaten Zinvolle bijdrage Carrière Kwaliteit Creatief denken
Beïnvloeden
Ondernemen Hulp verlenen Analyseren
Ontwikkelen Fysiek actief zijn Autonomie Zekerheid en stabiliteit Taakuitdaging
Samenwerking Aandacht Dynamiek
x Volharding (.43), Zelfontwikkeling (.42), Energie (.33), Nauwkeurigheid (.32), Status (.32) Zorgzaamheid (.40) Status (.77), Competitie (.75), Zelfontwikkeling (.51), Zelfvertoon (.46), Dominantie (.44), Vernieuwing (.39), Energie (.38), Zelfvertrouwen (.37) Nauwkeurigheid (.59), Volharding (.54), Zelfontwikkeling (.46), Energie (.39), Ordelijkheid (.39) Originaliteit (.82), Vernieuwing (.54), Dominantie (.49), Zelfontwikkeling (.49), Onafhankelijkheid (.48), Zelfvertoon (.37), Zelfvertrouwen (.34), Competitie (.32), Status (.31), Energie (.31) Dominantie (.74), Zelfvertoon (.60), Status(.53), Competitie (.47), Originaliteit (.47), Vernieuwing (.46), Zelfvertrouwen (.43), Energie (.43) Status (.49), Originaliteit (.45), Dominantie (.44), Vernieuwing (.44), Zelfvertoon (.41), Competitie (.41), Onafhankelijkheid (.39), Zelfvertrouwen (.38), Zelfontwikkeling (.31), Energie (.30) Zorgzaamheid (.75), Hartelijkheid (.38), Conformisme (.33), Contactbehoefte (.32) Originaliteit (.60), Vernieuwing (.53), Zelfontwikkeling (.53), Dominantie (.45), Onafhankelijkheid (.40), Energie (.40), Nauwkeurigheid (.38), Zelfvertrouwen (.36), Volharding (.34) Zelfontwikkeling (.70), Vernieuwing (.56), Energie (.41), Status (.40), Originaliteit (.39), Volharding (.36), Dominantie (.30) x Onafhankelijkheid (.73), Originaliteit (.32)
Conformisme (-.45)
Regelmaat (.59), Conformisme (.46), Ordelijkheid (.31) Vernieuwing (.75), Originaliteit (.59), Zelfontwikkeling (.54), Energie (.51), Zelfvertrouwen (.48), Dominantie (.47), Sociaal ontspannen (.40), Status (.38), Onafhankelijkheid (.37), Zelfvertoon (.35), Incasseringsvermogen (.33) Contactbehoefte (.59), Zorgzaamheid (.51), Hartelijkheid (.49), Conformisme (.40), Positivisme (.35), Energie (.34), Sociaal ontspannen (.33), Volharding (.32), Vernieuwing (.31) Zelfvertoon (.69), Status(.59), Competitie (.58), Dominantie (.47) Energie (.72), Volharding (.49), Vernieuwing (.46), Zelfontwikkeling (.41), Hartelijkheid (.36), Zorgzaamheid (.33), Contactbehoefte (.31), Status (.31)
Regelmaat (-.34)
Het is opvallend dat er relatief weinig negatieve relaties tussen de carrièrewaarden en de schalen van de WPV worden gevonden. Autonomie correleert negatief met Conformisme. Dit is verklaarbaar aangezien de twee begrippen qua definitie vrijwel tegengesteld zijn. Taakuitdaging correleert negatief met Regelmaat, wat goed te verklaren valt doordat Taakuitdaging zeer sterk (.75) met Vernieuwing correleert. De laatste negatieve correlatie is die tussen Balans privé-werk en Energie. Blijkbaar hebben mensen die niet veel energie hebben veel behoefte aan een balans die eerder naar privé dan naar werk neigt. Naast de negatieve correlaties zijn er een aantal zeer hoge en goed verklaarbare positieve correlaties gevonden, bijvoorbeeld Carrière (CW-N) en Status (WPV), Creatief denken (CW-N) en Originaliteit
38
(WPV), Ontwikkelen (CW-N) en Zelfontwikkeling (WPV) en Autonomie (CW-N) en Onanfhankelijkheid (WPV). De gevonden correlaties tussen de CW-schalen en de WPV-schalen geven inzicht in het construct van de verschillende carrièrewaarden. Bij correlationeel onderzoek zijn de gevonden correlaties, zoals weergeven in bovenstaande tabel groot te noemen. Conclusies Uit de beschreven resultaten blijkt dat, zowel op factor als op schaalniveau van de WPV, de carrièrewaarden hoge correlaties laten zien tussen elkaar aansluitende constructen. De carrièrewaarden blijken vooral positief te correleren met de persoonlijkheidseigenschappen. Met dit onderzoek is per carrièrewaarde een goed inzicht gekregen van het construct dat gemeten wordt. 5.3 Conclusies met betrekking tot de validiteit van de CW Bij het onderzoek naar validiteit is onderscheid gemaakt tussen criteriumvaliditeit en begripsvaliditeit. Criteriumvaliditeit Uit onderzoek met de FFPI blijkt dat de schalen van de CW op te verwachten wijze samenhangen met die van de FFPI. Verder blijkt dat de CW ook voorspellende waarde heeft. Uit onderzoek blijkt dat scores op de CW predictief zijn voor prestaties van leerling-verpleegkundigen. Begripsvaliditeit Ten eerste is de interne structuur van de CW onderzocht door middel van een MGM-analyse. Hieruit blijkt dat de CW uit relatief homogene, betrouwbare en stabiele schalen bestaat. Verder is aangetoond dat de CWI en CWN met een gemiddelde correlatie van .75 in hoge mate equivalent aan elkaar zijn. Dit is niet alleen van belang voor het inzetten van de vragenlijsten in de praktijk, maar ook voor de in deze handleiding beschreven analyses. Voor de achtergrondvariabelen leeftijd, geslacht, opleiding en branche blijken er significante verschillen te bestaan. Deze verschillen zijn te verwachten gezien de aard van de variabelen, en er wordt aangenomen dat deze reëele verschillen weergeven. Om deze reden is er voor gekozen geen aparte normgroepen te maken voor deze variabelen. Onderzoek naar culturele bias laat zien dat er weliswaar significante verschillen zijn tussen allochtonen en autochtonen, maar dat de effectgrootte van deze verschillen niet groot is. Als laatste is er onderzoek gedaan naar de relaties tussen de CW en de Werkgerelateerde Persoonlijkheidsvragenlijst (WPV). Hieruit blijkt dat er verschillende goed verklaaarbare correlaties bestaan tussen de schalen van de CW en zowel de schalen als de factoren van de WPV.
39
6. Toepassing, interpretatie en gebruik In dit hoofdstuk zal de toepassing, interpretatie en het gebruik van de CW besproken worden. Er wordt ingegaan op de toepassingsmogelijkheden, het materiaal, de instructies voor de testafname, de vereiste kennis bij interpretatie en de beperkingen van de vragenlijst. De interpretaties van de testscores zullen aan de hand van een casus verhelderd worden. 6.1 Toepassingsmogelijkheden De CW kan in elke situatie ingezet worden waarbij het van belang is om meer te weten te komen over de carrièrewaarden van een persoon. De vragenlijst kan ingevuld worden door eenieder die deel uitmaakt van de Nederlandse beroepsbevolking. De CW is voornamelijk ontwikkeld om ingezet te kunnen worden bij loopbaanadvies en selectieprocedures. Bij selectiesituaties geeft de CW inzicht in de match tussen de kenmerken van een bepaalde functie en de carrièrewaarden van de persoon. Bij een adviessituatie wordt er een beeld verkregen van wat een persoon motiveert. Zodoende kan er gerichter naar een functie gezocht worden. Bij een adviessituatie kan gekozen worden tussen de CWN of de CW-I, bij selectiesituaties wordt de CW-I aanbevolen. 6.2 Materiaal en instructie voor de testafname Materiaal Alle vragenlijsten die Ixly aanbiedt worden afgenomen in de Test Toolkit. Dit is een online systeem dat aan professionals en consultants op het terrein van Human Resource Management een set kwalitatieve instrumenten biedt. De toolkit is te bereiken via http://www.test-toolkit.nl. Consultants krijgen, bij het afsluiten van een abonnement op de Toolkit, een gebruikersnaam en een wachtwoord toegewezen. De online vragenlijsten die Ixly biedt, zijn dus niet toegankelijk voor mensen die geen abonnement op de Toolkit hebben. Consultants kunnen hun kandidaten één of meerdere vragenlijsten toewijzen. Vanuit de Toolkit worden de kandidaten per e-mail geïnformeerd. In deze e-mail staan de inloggegevens van de kandidaat en informatie over de betreffende test(s) en vragenlijsten. Voor de handleiding voor consultants, zie Bijlage 13. Instructie De kandidaat kan met de verkregen inloggegevens inloggen via http://www.test-toolkit.nl. Op de openingspagina staat kort uitgelegd wie de test(s) heeft klaargezet en hoe de toolkit werkt. Ook staat er een algemene openingsvragenlijst klaar waar de kandidaat demografische gegevens invult. Er wordt aangegeven dat de gegevens anoniem verwerkt worden en alleen voor onderzoeksdoeleinden gebruikt zullen worden. Na de openingsvragenlijst krijgt de kandidaat een overzicht van alle tests die voor hem of haar zijn klaargezet en daarbij een korte uitleg per test. De kandidaat kan de tests in willekeurige volgorde maken. Aangezien de Carrière Waarden een persoonlijkheidsvragenlijst is, wordt deze zonder tijdsdruk afgenomen. Dit houdt in dat de kandidaat zoveel tijd als nodig krijgt voor het invullen van de vragenlijst. Uit de antwoorden die een persoon op de vragen geeft kan een beeld van diens persoonlijkheid betreffende zijn/haar carrièrewaarden gedestilleerd worden. De gemiddelde kandidaat heeft ongeveer 20 minuten nodig voor het invullen van de CW-N en ongeveer 30 minuten voor het invullen van de CW-I. Het is mogelijk om de vragenlijst te onderbreken en deze (op dezelfde computer) te hervatten. Bij de instructie van de vragenlijst wordt benadrukt dat het belangrijk is dat er niet te lang over de vragen moet worden nagedacht: de eerste ingeving dient ingevuld te worden. Ook krijgen kandidaten de instructie mee antwoorden te geven op basis van algemene situaties en niet op basis van uitzonderingen. Deze beide instructies zijn van belang om een zo betrouwbaar mogelijk beeld van de carrièrewaarden van een kandidaat te verkrijgen. Omdat de CW vragenlijst online wordt afgenomen, krijgen kandidaten altijd standaardinstructies. De CW-N bestaat uit 187 uitspraken. Met deze uitspraken kan een persoon het in bepaalde mate eens of oneens zijn. Dit kan aangeven worden op een vijfpuntsschaal die loopt van zeer mee eens tot zeer mee oneens.
40
De CW-I bestaat uit 190 items met twee tegenover elkaar staande stellingen. Men moet kiezen welke stelling het best op hem/haar van toepassing is. Dit kan aangeven worden op een vierpuntsschaal liggend tussen de twee uitspraken. Na het invullen van de vragenlijst worden de resultaten automatisch weggeschreven in de database van Ixly. De CW hoeft niet in een gecontroleerde omgeving afgenomen te worden. Dit is mogelijk aangezien het een zelfreflectievragenlijst betreft en er geen goede of foute antwoorden zijn. De kandidaat kan de CW thuis maken, wat tijdens advies- en selectieprocedures tijd en ruimte scheelt. 6.3 Vereiste kennis voor het gebruik van de test Als de CW door een professional gebruikt wordt om anderen te adviseren, dan moet gegarandeerd worden dat: - Diegene competent, gekwalificeerd, gelicenseerd of geautoriseerd is om psychologische tests te gebruiken voor de verschillende terreinen, zoals assessment, coaching, het geven van trainingen en Human Resource Management, waarin hij/zij werkzaam is. Één en ander in overeenstemming met de in het land geldende wet- en regelgeving. - Diegene zal handelen en gebruik maken van het product in overeenstemming met de nationale of internationale beroepsstandaarden en professionele ethiek. - Diegene zal handelen en gebruik maken van het product in overeenstemming met de nationale of internationale wet- en regelgeving, instructies en richtlijnen en alle andere toepasselijke overheid-of semi-overheidsregels. - Diegene het product enkel en alleen zal gebruiken voor de organisatie waar hij/zij werkzaam voor is of voor zijn/haar eigen bedrijf, in eigen naam en voor eigen rekening. Het is niet toegestaan het product te verkopen, leasen, kopiëren, geven, te overhandigen of over te dragen op welke manier dan ook aan welk bedrijf of persoon dan ook, behalve voor het gebruik van de producten en diensten als integraal onderdeel van de dienstverlening aan cliënten of voor gebruik binnen de organisatie die de directe werkgever van de professional is. - Voor bepaalde diensten of producten zal Ixly uw betrouwbaarheid en kennis als professional testen voordat diegene toegang tot deze service of producten krijgt. Ixly behoudt zich het recht voor zonder opgaaf van reden iemand toegang te weigeren. De kandidaat heeft de mogelijkheid om de vragenlijst tussentijds af te sluiten. De antwoorden die tot dan toe gegeven zijn worden lokaal opgeslagen op de computer van de kandidaat. Op deze manier is het niet mogelijk om de software te verlaten zonder dat de reeds gegeven antwoorden zijn opgeslagen. Het is echter wel noodzakelijk dat de kandidaat de CW afrondt op dezelfde computer en in dezelfde browser als waar de vragenlijst in eerste instantie op geopend is. De kandidaat wordt hierop gewezen voordat hij de vragenlijst start. Na het invullen van de gehele vragenlijst worden de resultaten automatisch weggeschreven in de database van Ixly Toolkit. Er is voor gekozen om de kandidaat niet de mogelijkheid te bieden om tijdens het maken van de vragenlijst terug te bladeren. Alhoewel dit bij een pen-en-papier afname wel mogelijk is, zijn wij van mening dat de automatisering van de vragenlijst in dit opzicht een verbetering teweeg brengt. Bij terugbladeren bestaat de mogelijkheid dat de kandidaat probeert een consistentie in zijn antwoorden te brengen die geen weerspiegeling is van de natuurlijke antwoordtendens. De kandidaten wordt aangeraden niet te lang bij antwoorden stil te staan en vanuit de eerste ingeving te antwoorden. Dit wordt niet bevorderd door de kandidaten de mogelijkheid te bieden eerder gegeven antwoorden te bekijken. De CW hoeft niet in een gecontroleerde omgeving afgenomen te worden. Dit is mogelijk aangezien het een zelfreflectietest betreft en er geen goede of foute antwoorden zijn. De kandidaat kan de CW thuis maken, wat tijdens advies- en selectieprocedures tijd en ruimte scheelt. Software en ondersteuning De CW kan op iedere computer met internetverbinding met werkende browser ingevuld worden. Verder zijn een toetsenbord en een muis noodzakelijk. De computer dient te voldoen aan onderstaande systeemeisen: -
Windows XP Professional SP2, Windows Vista, Windows 7, Apple OS X 10.4 of hoger Minimaal 512 MB aan RAM-geheugen en 10 MB vrije schijfruimte Schermresolutie minimaal 1024x768 pixels Internet Explorera (IE 6 of hoger), Firefox (3.x of hoger), Safari (3.x of hoger) Javascriptb moet door de browser uitgevoerd kunnen worden en Flashc (8 of hoger) geïnstalleerd
41
-
Internet verbinding met minimaal 2 Mbps / 256 KBps gemiddelde downloadsnelheidd Een "open verbinding" via poort 80 (geen Proxy)
ad a. In de cookie-instellingen van Internet Explorer zijn soms een paar kleine aanpassingen nodig. De helpdesk van Ixly kan hierbij ondersteunen. ad b. De manier waarop dit ingesteld moet worden is afhankelijk van de browser. Via http://www.browserchecker.nl/javascript-aanzetten.php kan gecheckt worden of javascript is ingeschakeld. Mocht javascript voor de betreffende browser waarin gewerkt wordt uit staan, wordt op deze site aangegeven hoe dit ingeschakeld kan worden. ad c. Op www.adobe.com/products/flash/about/ kunt u Flash downloaden of controleren welke versie op uw computer is geïnstalleerd. ad d. Dit is een benadering van de gemiddeld benodigde bandbreedte, per gebruiker op het netwerk. Voor een gemiddelde gebruiker volstaat een basale ADSL-verbinding. De beschikbare bandbreedte is te meten op www.speedtest.nl/TestSuite/
De tests en vragenlijsten worden, wanneer de kandidaat in het online systeem op <start> klikt, lokaal opgeslagen op de computer. De internetverbinding is alleen noodzakelijk bij de start van de vragenlijst en bij het versturen van de antwoorden naar de server (wanneer op de knop <einde> wordt geklikt). Mocht de internetverbinding tijdens het invullen van de vragenlijst wegvallen, dan ondervindt de kandidaat daar geen hinder van. Indien er geen internetverbinding is op het moment dat de antwoorden naar de server worden verstuurd krijgt de kandidaat daar een melding van. Zodra de verbinding hersteld is kunnen de antwoorden alsnog naar de server worden gestuurd. Tot die tijd blijven ze lokaal op de computer opgeslagen. Voor vragen over de systeemeisen en technische ondersteuning kunnen kandidaten contact opnemen met de helpdesk van Ixly Toolkit. De helpdesk is iedere werkdag van 08.00 tot 17.30 bereikbaar via
[email protected] of 088-4959000. Voor een overzicht van veelgestelde vragen met betrekking tot het gebruik van de Test Toolkit, zie Bijlage 14. 6.4 Beperkingen van de test In hoeverre de CW geschikt is voor uitgesproken (poli)klinische settings (patiënten), is vooralsnog onduidelijk. Er is tot nu toe nog geen onderzoek gedaan binnen deze setting. Tevens is de CW nog niet getoetst onder schoolpopulaties in de leeftijd van 15 jaar en jonger. Onderzoek zal moeten uitwijzen of de CW ook toepasbaar kan zijn binnen deze settings. Het zou een mooie aanvulling zijn als hier informatie over bekend wordt. Deze groepen vallen niet onder de doelgroep (beroepsbevolking), maar dit neemt niet weg dat de CW toepasbaar kan zijn binnen deze settings. 6.5 Interpretatie scores Er zijn twee geautomatiseerde rapportages beschikbaar, een grafische en een tekstuele. Het grafische rapport geeft alleen de stenscores op de afzonderlijke carrièrewaarden weer. De tekstuele geeft naast deze uitkomsten een tekstuele analyse van de resultaten. Aan te bevelen is om het tekstuele rapport te kiezen indien men (nog) niet vaak met deze vragenlijst heeft gewerkt en indien men deze teksten wenst op te nemen in een rapport. Dit maakt dat men meer vertrouwd raakt met de interpretatie van de CW. Gebruikt men deze vragenlijst frequent en is er alleen sprake van een mondelinge bespreking, dan is het niet nodig om een tekstueel rapport op te vragen. Het grafische deel wordt gerapporteerd in stenscores. Dit zijn een vorm van standaardscores, wat inhoudt dat zij een beeld geven van hoe een bepaalde score zich verhoudt tot het gemiddelde van alle scores. Deze schaal loopt van 1 tot 10. Stenscore 4, 5, 6 en 7 liggen allemaal binnen 1 standaarddeviatie van het gemiddelde. Stenscore 2, 3 en 8, 9 liggen tussen 1 en 2 standaarddeviatie van het gemiddelde. Stenscore 1 en 10 liggen meer dan 2 standaarddeviaties van het gemiddelde. De gemiddelde score in de normgroep ligt precies op de grens van de vijfde en zesde sten. Voor een voorbeeldrapport, zie Bijlage 12.
42
De percentages die horen bij de afzonderlijke stenscores zijn als volgt: Tabel 21: Stenscores met bijbehorende percentages.
Sten 1 2 3 4 5 6 7 8 9 10
Percentage (%) 2.3 4.4 9.2 15 19.1 19.1 15 9.2 4.4 2.3
Cumulatief percentage (%) 2.3 6.7 15.9 30.9 50.0 69.1 84.1 93.3 97.7 100
Als men een stenscore van 8 op een bepaalde schaal scoort betekent dit dat men tussen 1 en 2 standaarddeviaties hoger scoort dan het gemiddelde en dat 6,7% (4,4% + 2,3%) van de personen uit de normering een hogere score hebben behaald. Stenscores moeten vooral niet verward worden met schoolcijfers. 6.5.1 Primaire, secundaire en neutrale motivatoren en demotivatoren Bij de bespreking van de resultaten van de CW-N en de CW-I worden de twintig carrièrewaarden ingedeeld in primaire, secundaire en neutrale motivatoren en demotivatoren. Hoe de ruwe scores omgezet worden naar motivatoren en demotivatoren wordt hieronder stapsgewijs uitgelegd. 1. 2. 3. 4. 5.
6. 7. 8.
9. 10.
11.
Ruwe scores worden omgezet naar stenscores. De stenscores worden geordend van hoog naar laag. Het systeem zoekt naar het laagst mogelijke getal waaraan maximaal drie scores gelijk of hoger zijn. Het systeem trekt 1 af van het in stap 3 gevonden getal. Als er maximaal vijf stenscores hoger zijn dan of gelijk zijn aan het in stap 4 gevonden getal, is het in stap 4 gevonden getal de minimale stenscore die als primaire motivator wordt aangemerkt. Als er meer dan vijf scores gevonden worden die hoger zijn dan of gelijk zijn aan het bij stap 4 gevonden getal, dan is het bij stap 3 gevonden getal de minimale stenscore voor de primaire motivatoren. Vervolgens zoekt het systeem naar het hoogst mogelijke getal waaraan maximaal zeven scores gelijk of hoger zijn. Het systeem trekt 1 af van het bij stap 6 gevonden getal. Als er maximaal negen scores hoger zijn dan of gelijk zijn aan het bij stap 7 gevonden getal, dan is dit getal de minimale stenscore om als secundaire motivator te worden aangemerkt. Als er meer dan negen scores hoger zijn dan of gelijk zijn aan het bij stap 7 gevonden getal, dan is het getal dat bij stap 6 gevonden werd de minimale stenscore voor de secundaire motivatoren. Vervolgens zoekt het systeem naar de laagst voorkomende stenscore Als het in stap 9 gevonden getal groter is dan of gelijk is aan 3, is stenscore 3 de maximale stenscore om als demotivator aangemerkt te worden. Alle carrièrewaarden met een stenscore 3 of lager zullen dan worden aangemerkt als demotivator (kandidaten waarbij de laagst voorkomende stenscore 4 is zullen geen demotivatoren hebben). Als het in stap 9 gevonden getal kleiner is dan 3, zal het kleinste getal als maximale score voor een demotivator aangemerkt wordt. De scores die tussen het bij stap 8 en bij stap 10 gevonden getal liggen worden aangemerkt als neutrale motivatoren.
43
Voorbeeld: Geordende stenscores: A) 10 B) 9 C) 8 D) 8 E) 7 F) 7 G) 7 H) 7 I) 6 J) 6 K) 6 L) 5 M) 5 N) 5 O) 5 P) 4 Q) 3 R) 3 S) 2 T) 2 Berekening primaire motivatoren: -
Stap 3 levert het getal 9 (Er zijn twee scores groter of gelijk aan 9 en vier scores groter of gelijk aan 8. Omdat er maar maximaal drie scores naar voren mogen komen valt score 8 af en levert deze stap score 9 op. Stap 4 levert het getal 8 (9-1). Stap 5 levert ook het getal 8 op, aangezien er maar vier scores groter of gelijk aan 8 voorkomen.
In dit voorbeeld leveren stenscores 8 en hoger de primaire motivatoren op (A t/m D). Aangezien er minder dan vijf primaire motivatoren tussen stenscore 8 en 10 liggen is het niet noodzakelijk om het getal uit stap 3 voor de primaire motivatoren te gebruiken. Berekening secundaire motivatoren: -
Stap 6 levert het getal 8 (Er zijn vier scores groter of gelijk aan 8 en acht scores groter of gelijk aan 7. Omdat er maar maximaal zeven scores naar voren mogen komen valt score 7 af en levert deze stap score 8 op). Stap 7 levert het getal 7 (8-1) Stap 8 levert ook het getal 7 op aangezien er maar acht scores groter of gelijk aan 7 voorkomen.
Het getal 7 is de minimale stenscore die aangemerkt wordt als secundaire motivator. Alle scores tussen het getal gevonden bij stap 7 en het getal gevonden bij stap 4 komen in het rapport onder de secundaire motivatoren te staan. In dit voorbeeld zullen er vier carrièrewaarden aangemerkt worden als secundaire motivator (E t/m H). Berekening demotivatoren: Stap 9 levert het getal 2. Stap 10 levert ook het getal 2 aangezien het laagst voorkomende getal niet 3 of hoger is. In dit voorbeeld zullen twee demotivatoren (S en T) naar voren komen.
44
Berekening neutrale motivatoren: Alle scores die liggen tussen het getal gevonden bij stap 8 en bij stap 10 zullen worden aangemerkt als neutrale motivatoren. In dit voorbeeld zullen de scores I t/m R aangemerkt worden als neutrale motivatoren. Betekenis motivatoren: Primaire motivatoren geven iemands kernmotivatoren aan. Het is wenselijk dat de kenmerken van een functie een grote mate van overlap hebben met iemands primaire motivatoren. Is dit niet het geval, dan zal dit de persoon waarschijnlijk demotiveren. De secundaire carrièrewaarden geven een verdere inkleuring aan het type functie of omgeving dat een persoon als motiverend ervaart. Ze geven randvoorwaarden aan. Neutrale motivatoren zijn geen noodzakelijke motivatoren. Iemand kan geruime tijd zonder deze motivatoren zonder gedemotiveerd te raken. Ook zal iemand niet gedemotiveerd worden wanneer deze motivatoren toch in de functie voorkomen. Zeer lage carrièrewaarden werken als demotivatoren. Als iemands score op Waardering en erkenning bijvoorbeeld zeer laag is, dan werken complimenten en waardering juist averechts op de motivatie. Complimenten hebben dan paradoxaal genoeg een demotiverende werking. Scoort Creatief denken laag als carrièrewaarde, dan demotiveren functies waarin toch een beroep op creativiteit wordt gedaan. Ten slotte een waarschuwing. Een vragenlijst blijft een vragenlijst. Onzes inziens kunnen vragenlijsten nooit geïnterpreteerd worden zonder een interview. Het is altijd mogelijk om een verkeerd beeld te geven van jezelf door middel van een vragenlijst. Dit is zeker het geval als de vragenlijst redelijk transparant is, zoals bij de CW het geval is. De waarde van deze vragenlijst is vooral gelegen in het feit dat het snel een breed beeld geeft van wat iemand motiverend vindt in het werk. Dit geeft een onderbouwing aan de interviews en adviesgesprekken met kandidaten. 6.5.2 Betekenis van de carrièrewaarden Voor een goede interpretatie is het belangrijk te weten wat de betekenis van de carrièrewaarde is. Voor de duidelijkheid is het overzicht hiervan opgenomen in Bijlage 1. 6.5.3 Interpretatie scores bij een selectiesituatie en een adviessituatie De carrièrewaardenvragenlijst wordt zowel in adviessituaties als in de context van selectieassessment ingezet. Binnen de adviessituaties kan gekozen worden voor de normatieve (CW-N) of ipsatieve variant (CW-I). Binnen de context van selectie dient de CW-I ingezet te worden. De reden hiervoor is dat de N-variant bij selectiesituaties veelal zeer hoge scores op alle schalen laat zien. Het doel van de vragenlijst is inzicht geven in de carrièrewaarden van kandidaten. Carrièrewaarden worden ook wel motivatoren of drijfveren genoemd. In onze visie zijn deze termen synoniemen omdat carrièrewaarden aangeven door welke omstandigheden, activiteiten of resultaten mensen gemotiveerd worden. Wanneer de waarde aanwezig is in het werk zal men hier energie van krijgen en gemotiveerd zijn. Wanneer Samenwerking belangrijk is en de functie biedt gelegenheid tot samenwerken, dan zal dat bijdragen aan de motivatie. Wanneer belangrijke waarden afwezig zijn kan demotivatie of desinteresse optreden. Wanneer het bereiken van Concrete resultaten belangrijk is, maar die niet direct herkenbaar zijn in het werk, kan dat tot een lagere motivatie leiden. Iemand met deze score zou bijvoorbeeld minder gemotiveerd kunnen zijn door meer beleidsmatige functies of functies waar het geruime tijd duurt voordat resultaten zichtbaar zijn. Omgekeerd, wanneer de omgeving (een baan) een appel doet op bepaalde waarden, terwijl die waarden niet aanwezig zijn bij de persoon, zal de functie eveneens als minder motiverend ervaren worden. Bijvoorbeeld, iemand met een lage score op Hulp verlenen die vanuit de waarden Zinvolle bijdrage en Waardering en erkenning in een hulpverlenende functie terecht is gekomen, zal dit uiteindelijk toch als minder motiverend ervaren. Immers, deze waarden ondersteunen niet direct de activiteit hulp verlenen, alleen het resultaat van die hulpverlening. Bij verpleegkundigen die in een dynamische, soms hectische omgeving werken, zien we dat die schaal toch van enig belang is, al speelt die veelal geen rol bij de keuze voor het beroep verpleegkundige.
45
In het rapport worden primaire, secundaire, neutrale en demotiverende carrièrewaarden gegeven (zie voor uitleg paragraaf 6.5.1). In het rapport kan het voorkomen dat er geen primaire of demotiverende carrièrewaarden aangetroffen worden. In dat geval zijn er meer dan drie waarden die de hoogste score laten zien of zijn er geen waarden met een zeer lage score. De waarden geven aan in welke mate een bepaalde functie als motiverend ervaren zal worden. Ze zijn daarmee leidend bij loopbaankeuzes. Hoewel de carrièrewaarden geen rechtstreekse relatie heeft met competenties – en dus niet rechtstreeks ingezet kan worden voor selectie – zijn carrièrewaarden wel richtinggevend in wat iemand doet en wil leren. Iemand die hoog op Ondernemen en Beïnvloeden scoort, zal veel situaties opzoeken waarin hij dat kan doen. Daarmee is het waarschijnlijk dat die persoon daardoor ook een leercurve door gaat maken. Maar zoals gezegd, het resultaat van die leercurve hangt niet af van de carrièrewaarde, maar van het onderliggende talent welke vooral door persoonlijkheid en door intelligentie gedreven is. De CW-I wordt toch zinvol ingezet in de context van selectie. De informatie uit de lijst kan helpen inzicht te krijgen in hoe de functie aansluit bij de waarden en daarmee ook de verwachte motivatie en verblijfsduur in een functie. Als een functie beter aansluit bij de waarden, zal de kandidaat mogelijk langer in de functie blijven en zich mogelijk meer inzetten waardoor het aanwezige talent maximaal ontplooid kan worden. Andere instrumenten moeten informatie geven over dat aanwezige talent. Om de interpretatie van de CW-I en de CW-N te illustreren heeft een psycholoog toegelicht hoe hij de vragenlijsten bij selectie-assessment en loopbaanadvies toepast. 6.5.3.1 Selectie-assessment met de CW-I Hoewel de vragenlijst CW-I geen uitspraken doet over de vraag hoe competent iemand een functie vervult, geeft het wel inzicht in de vraag of de functie motiverend genoeg is voor de kandidaat en welke dynamiek van de persoon uitgaat. Immers, eenzelfde functie kan door verschillende personen totaal anders ingevuld worden. Binnen selectie is alleen de ipsatieve versie bruikbaar (CW-I) omdat daar de items gebalanceerd zijn voor sociale wenselijkheid. Situatie en vraagstelling Een zakelijke dienstverlener zocht een nieuw aan te stellen marketingmanager. Tot op heden was marketing als taak belegd bij de commercieel directeur, met een marketingassistent en externe adviseurs. Door een nieuwe marketingmanager aan te stellen wilde men marketing professionaliseren. De afdeling zou ook uitgebreid gaan worden. De onderneming wilde doorgroeien op de Nederlandse markt, maar ook de activiteiten uitbreiden naar Duitsland en België. Er was één kandidaat voor de functie, namelijk de externe adviseur Pauline Petersen. Omdat men haar al kende, wilde men vooral een sterkte-zwakteanalyse. Naast de CW-I bestond het assessmentprogramma uit interviews, twee simulaties, persoonlijkheidsvragenlijsten (WPV) en vier capaciteitentests. Hier bespreken we alleen de resultaten op de CW-I.
46
Resultaten CW-I
Analyse We zien een uitgesproken profiel, wat ook wel verwacht wordt bij een ipsatieve versie. Bij een normatieve versie waren er waarschijnlijk meer sterke voorkeuren naar voren gekomen. Bij de CW-I gaat het meer om de rangorde dan om de exacte waarde. Balans privé-werk laat een sterke gerichtheid op het werk zien, richting workaholic. Dat is voor een werkgever een pré, zolang het niet ten koste van gezondheid gaat. De overige waarden laten het volgende patroon zien: Primaire Waarden: Secundaire Waarden: Neutraal: Demotivatoren:
Carrière,Taakuitdaging Kwaliteit Financiële beloning Analyseren Fysiek actief zijn Overige waarden Zinvolle bijdrage, Ondernemen
Het profiel laat een gedreven, carrièregerichte vrouw zien, die uitdagingen zoekt en kwaliteit wil leveren. Dat kan richting perfectionisme gaan. Daarnaast is Analyseren en Financiële beloning belangrijk. Die laatste waarde gaat niet alleen naar de persoon, maar ook naar de functie en de organisatie. Voor een marketingfunctie is het een pré dat iemand financiële resultaten belangrijk vindt, zeker bij een financiële dienstverlener. Zorgwekkend is de lage score op Ondernemen. Bespreking met kandidaat Bij een carrièrewaardenvragenlijst is het belangrijk in het interview te onderzoeken welke dynamiek en achtergrond de scores hebben. De meeste uitkomsten herkende Pauline. Wel vond de ze de score op Ondernemen te laag. Ze gaf aan inderdaad zelfstandig ondernemerschap af te wijzen. Maar Pauline vond zichzelf wel ondernemend in de context van het bedrijf. Het criteriumgerichte interview liet wel enkele voorbeelden van initiatieven zien, maar daarin herkenden we vooral iemand die uitdagingen zocht en overwegend vanuit carrièreperspectief initiatief nam en minder het ondernemende en creatieve. Pauline vond het vooral prettig goede analyses te maken en marketingprocessen goed in te richten: wat wordt geïnvesteerd en wat levert het op (Financiële beloning, Analyseren). Ze vond dat ze weliswaar goed op creatief gebied mee kon denken, maar dat ze daarvoor graag met anderen samenwerkt. Qua opstelling in een team zien we een gepaste balans tussen Samenwerking en Autonomie: richting een zelfstandige rol in teamverband, wat erg passend is bij de cultuur van het managementteam waar ze onderdeel van zou moeten uitmaken.
47
Advies Vanuit de CW-I en het interview zijn de volgende opmerkingen in de rapportage opgenomen. Mevrouw Petersen is een hardwerkende, gedreven, zeer gemotiveerde kandidaat die veel energie meebrengt en een hoge kwaliteit nastreeft. Haar benadering kenmerkt zich door een sterke financiële analyse van marketingprocessen: gericht op analyses van het rendement van investeringen. Minder herkenbaar in het profiel is ondernemerschap. Daarin zal de samenwerking met de commercieel en algemeen directeur belangrijk zijn. Het eindadvies was positief, mede door zeer hoge scores op de capaciteitentests en zeer goede analyses van de managementsimulatie. Als aandachtspunt werd ondernemerschap genoemd. 6.5.3.2 Loopbaanadvies met de CW-N Situatie en vraagstelling Mevrouw Bernadine Janssen (44) is na zes jaar afdelingssecretaresse geweest te zijn bij een brancheorganisatie met 75 mensen, office manager geworden. Naast secretariële werkzaamheden voor de directeur, stuurt ze een team van vier secretaresses aan. Na een jaar geeft Bernadine aan het niet zo naar haar zin te hebben en dat ze misschien wat anders wil. Omdat haar directeur altijd erg tevreden over haar was, is haar een “midcareerprogramma” aangeboden, om na te denken over het verdere verloop van haar loopbaan. Dit kan zijn in dezelfde functie of een andere functie intern of extern. Ze zit niet op de schopstoel. Naast een aantal gesprekken is de CW-N afgenomen. De resultaten van de CW-N staan hieronder.
Analyse Bij de analyse kijken we eerst naar de primaire, secundaire, neutrale waarden en demotivatoren. Die zijn op te vragen bij het tekstuele rapport, maar kunnen ook afgelezen worden door naar de clusters te kijken. Primaire waarden geven aan wat voor iemand echt belangrijk is in het werk. Meestal wil men al deze waarden duidelijk herkennen in een functie. De secundaire zijn ook van belang, maar daarbij is iets meer speelruimte. Demotivatoren zijn waarden die men juist niet aan wil treffen in werk. Meestal zijn er drie tot vijf primaire en een groep van vier tot acht secundaire waarden te herkennen. Demotivatoren komen niet altijd voor, soms zijn er twee of drie in het profiel te herkennen. Primaire Waarden: Secundaire Waarden:
Dynamiek, Taakuitdaging, Analyseren Kwaliteit, Carrière, Ontwikkelen, Concrete resultaten,
48
Neutraal: Demotivatoren:
Financiële beloning, Zekerheid en stabiliteit, Overige, met ook nog relatief lage scores op Beïnvloeden, Aandacht, Fysiek actief zijn Waardering en erkenning, Ondernemen.
Het profiel is behoorlijk uitgesproken, dus Bernadine geeft aan sterke voorkeuren te hebben. Haar Balans privé-werk ligt in het midden: ze haalt ongeveer even veel voldoening uit werk als uit privé. Eerst bespreken we het waardepatroon ten opzichte van de huidige functie. De primaire en secundaire waarden komen allemaal goed naar voren in het werk, dat zijn voor Bernadine de pluspunten. Er is voldoende Dynamiek, uitdaging en ze vindt dat haar hersens voldoende aan bod komen (Analyseren). Ze kan kwaliteit leveren, vindt dat ze aan haar carrière kan werken, zich kan ontwikkelen en concrete resultaten boekt. Ook qua Zekerheid en stabiliteit en Financiële beloning voelt ze zich in haar organisatie op haar plek. De pijn zit hem in het Ondernemen en vooral Beïnvloeden. Nu ze ook personal assistent is voor de algemeen directeur, en niet voor twee beleidsmedewerkers, wordt er meer initiatief van haar verwacht. Dat doet ze wel, maar het ligt haar eigenlijk niet goed. Zo moet ze externe contacten opzoeken en initiatieven nemen om bijeenkomsten op te zetten. Het aansturen van de andere secretaresses doet ze te weinig (Beïnvloeden). Ze delegeert vooral, maar coacht en controleert niet. Ze verlangt taakvolwassenheid van haar medewerkers waar dat onvoldoende het geval is. Bovendien doet ze het zelf niet voor complimentjes (Waardering en erkenning) en haar medewerkers hebben dat wel nodig. Ze geeft daarmee te weinig sturing en feedback aan haar medewerkers. Advies In dit geval werd er niet direct een advies gegeven door de adviseur, maar onderzocht Bernadine zelf wat deze waarden voor haar betekenen. Daarvoor gebruikten we een methode waarbij zij haar huidige functie beoordeelt door een rapportcijfer aan iedere waarde toe te kennen. De vraag is: in hoeverre wordt die waarde gevraagd en of gehonoreerd in de huidige functie? Zelf kwam ze op deze wijze tot de conclusie dat haar vorige baan haar beter paste dan de huidige. Daarin stuurde ze geen anderen aan. Bovendien was het wel voldoende dynamisch, maar werd geen ondernemerschap gevraagd, het was reactiever. Toch was ze wel op die baan uitgekeken (Taakuitdaging, Ontwikkelen). Om die reden wilde ze niet langer bij haar huidige organisatie blijven. Daarom is besloten dat zij op zoek zou gaan naar een nieuwe functie, die leek op haar ‘oude’ baan, maar met wel voldoende dynamiek, taakuitdaging en mogelijkheden voor ontwikkeling. Omdat het relatief makkelijk was, werd besloten geen verdere begeleiding (outplacement) aan te bieden. Binnen een half jaar vond Bernadine een baan als office manager (zonder medewerkers) binnen een internationale handelsorganisatie. Daar moest ze vooral processen stroomlijnen, een uitdaging die ze graag oppakte. 6.5.4 De relaties tussen carrièrewaarden met betrekking tot beroepsindicaties In de rapportage is er een groepering gemaakt in de carrièrewaarden naar een logische indeling, namelijk opbrengsten, activiteiten en omgeving. Er zijn ook andere indelingen mogelijk waarin relaties tussen carrièrewaarden betekenisvol zijn. Een aantal van deze relaties is belangrijk voor de interpretatie van de carrièrewaarden. Eerst zullen we de relaties tussen de gehanteerde driedeling bespreken en vervolgens enkele clusters, die gezamenlijk geïnterpreteerd kunnen worden. Opbrengsten, activiteiten en omgeving De activiteiten geven de intrinsieke motivatie weer. Het is belangrijk in een profiel om te onderzoeken of er carrièrewaarden zijn die behoren tot de primaire motivatoren. Deze geven namelijk de richting van de motivatie aan. Zijn alle carrièrewaarden uit de activiteiten hoog, dan zal iemand moeite hebben te kiezen tussen verschillende banen, alles is immers motiverend. Scoren deze carrièrewaarden allen laag, dan is er ook een keuzeprobleem, maar dan omdat niets lijkt aan te spreken. De carrièrewaarden in deze rubriek geven vooral inzicht in het type functie of takenpakket dat aansluit bij de motivatie van een kandidaat. De opbrengsten geven vooral het soort extrinsieke motivatoren aan waarvoor men gevoelig is. Deze kunnen wel degelijk een sterke motiverende werking hebben, maar omdat ze van extern komen is er wel het risico van afhankelijkheid en gewenning. Bij Financiële beloning worden mensen gemotiveerd door geld, maar kan het zijn dat men ook steeds meer nodig heeft. Bij Waardering en erkenning kan een zekere afhankelijkheid ontstaan van Waardering en erkenning. Bij loopbaanadvisering kan het
49
voorkomen dat, wanneer iemand voornamelijk door dit type waarden gemotiveerd wordt, de keuze voor een baan vooral pragmatisch is. De groep waarden die uit de omgeving afkomstig zijn, kunnen meer gezien worden als randvoorwaarden, als eisen die men aan een organisatie of omgeving stelt om gemotiveerd te kunnen raken. Is er sprake van voldoende autonomie? Kan ik mij voldoende in de kijker spelen (profilering)? Ontmoet ik voldoende mensen? Deze waarden kunnen helpen bepalen of de context waarin de functie uitgeoefend wordt, aansluit bij de carrièrewaarden van de kandidaat. Sociale component Er is een duidelijke sociale component aanwezig in de carrièrewaarden, vooral de volgende waarden: Waardering en erkenning, Aandacht, Hulp verlenen, Samenwerking en Autonomie. Zijn de eerste drie alle hoog en de laatste erg laag, dan betreft dit mensen die duidelijk aangeven een sterke voorkeur te hebben om veel met mensen samen te werken en zelf in relatie tot anderen werk te verrichten. Is ook Zinvolle bijdrage hoog, dan gaat het zeker om hulpverleningsfuncties. Vallen Hulp verlenen en Zinvolle bijdrage beide in het middengebied, dan gaat het meer om dienstverlening. Zijn Waardering en erkenning, Aandacht en Samenwerking hoog, maar is Hulp verlenen juist laag, dan is het een risico om een hulpverlenende baan te accepteren. Er is dan vooral sprake van meer extrinsieke motivatie, en de activiteit zelf wordt minder als motiverend ervaren. Is de sociale component geheel afwezig, dan wijst iemand omgaan met anderen duidelijk af. Deze mensen zullen zich kenmerken door solisme, zakelijkheid en ongeduldigheid naar anderen. Financiële beloning, Ondernemen, Creatief denken en Zekerheid en stabiliteit Indien Ondernemen hoog is, en Zekerheid en stabiliteit laag, dan is er waarschijnlijk een authentieke wens tot zelfstandig ondernemerschap. De sociale component en Autonomie geven aan of dit samen met anderen is, of meer solistisch. Is ondernemerschap hoog en Zekerheid en stabiliteit ook hoog, dan gaat het meer om een initiatiefrijke functie binnen een groter kader, zeker als ook Autonomie laag is. Financiële beloning geeft aan of het ondernemerschap ook gedreven is door een wens daar veel geld mee te verdienen. Is dat het geval, dan kan het zo zijn dat niet ondernemerschap zelf motiverend is, maar de wens om veel geld te verdienen. Dit is op zich geen bezwaar, maar er kunnen wel risico’s aan kleven. Is Financiële beloning echter zeer laag, en Ondernemen hoog, dan is er een risico te weinig rekening te houden met financiële afwegingen. Als Creatief denken laag is, bij een hoge score op Ondernemen, dan is het belangrijk dat creativiteit wel voldoende gewaarborgd is, omdat ondernemerschap een zekere mate van creativiteit vraagt. Dit kan bijvoorbeeld door anderen vorm gegeven worden in een samenwerking of in een franchiseconstructie. De cognitieve component De begrippen Creatief denken en Analyseren geven samen een cognitieve kant aan. Beide hebben een hoge onderlinge samenhang, maar het kan ook voorkomen dat de ene hoog en de andere laag is. Als beide hoog zijn, dan gaat het vooral om een intellectuele uitdaging die men zoekt, waar de hersens voldoende aan het werk gezet worden. Is Analyseren hoog, maar Creatief denken laag, dan gaat het vooral om het maken van berekeningen en analyses op bestaande informatie, het uitpluizen en uitzoeken van zaken. Deze personen vinden zichzelf dan minder creatief of oplossingsgericht. Is Creatief denken hoog en Analyseren laag, dan gaat het vooral om nieuwe zaken en om innovatie, zonder voort te bouwen op het bestaande, zonder nadrukkelijke analyses. Zijn beide laag, dan worden intellectuele aspecten in het werk over het algemeen afgewezen. Samenwerking en Autonomie Het is informatief om deze carrièrewaarden in hun samenhang te bekijken. Is Samenwerking hoog en Autonomie laag, dan gaat het om een echte “teamspeler”, die een volgende rol in het team kan hebben. Is Samenwerking hoog en Autonomie ook, dan gaat het om een zelfstandige functie in de context van een team of organisatie, bijvoorbeeld als professional. Is Autonomie hoog en Samenwerking laag, dan gaat het om zelfstandige, zelfs solistische functies. Is Autonomie laag en Samenwerking laag, dan kan er sprake zijn van een volgzame houding in een solistische functie, waar wel strak leidinggegeven wordt. Dit is nog sterker indien ook Zekerheid en stabiliteit hoog is. Het ‘passieve’ profiel Hoewel het gevaarlijk is dit zo te noemen, kan er wel een zelfzuchtige tendens optreden in het profiel. Hiervan is sprake wanneer Financiële beloning en Waardering en erkenning de belangrijkste
50
carrièrewaarden zijn die hoog scoren, Dynamiek juist laag scoort en er geen enkele activiteit hoog scoort. Het statusgerichte profiel Financiële beloning, Carrière en Beïnvloeden geven gezamenlijk een sterke statusgerichtheid aan. Ook hier geldt dat als andere carrièrewaarden juist laag zijn, eigenlijk uitsluitend de status van een baan als motiverend ervaren wordt. Tellen andere carrièrewaarden mee, dan geven die feitelijk de richting aan van functies en banen die als motiverend kunnen worden ervaren. Het managementprofiel Indien vooral Beïnvloeden een hoge waarde aangeeft, Carrière, Hulp verlenen, Analyseren, Creatief denken, Ondernemen, Autonomie en Samenwerking allen minimaal in het middengebied zitten, dan is er sprake van een managementprofiel. Is Ondernemen even hoog of hoger dan Beïnvloeden, dan gaat het om het leiding geven aan een eigen zaak. Is Hulp verlenen en Samenwerking laag, dan zal het vooral om taakgericht leiderschap gaan. Het uitdagingcluster Hoge scores op Ontwikkelen, Taakuitdaging, Dynamiek en juist lage scores op Zekerheid en stabiliteit geven een grote behoefte aan uitdaging, vernieuwing en variatie aan. Er is een sterke behoefte zichzelf verder te ontwikkelen en nieuwe en uitdagende dingen mee te maken. Dit kan leiden tot snelle demotivatie, men kan snel uitgekeken raken op een baan. Men wenst een steile leercurve mee te maken. Alles hoog of alles laag Bij de normatieve vragenlijst kan het voorkomen dat alle motivatoren óf hoog óf laag scoren. Dit kan het gevolg zijn van foutief, lukraak of ongeïnteresseerd invullen van de vragenlijst. Daarom is het belangrijk dit te toetsen bij een kandidaat. Inhoudelijk kunnen lage scores wijzen op een algehele demotivatie of zelfs depressie. Niets heeft dan een motiverende werking. Zijn de scores allemaal hoog, dan kan dit er op wijzen dat een kandidaat juist overal enthousiast voor is, of dat hij of zij zich op een bepaalde wijze wil profileren. Is iemand overal enthousiast voor, dan is het vaak moeilijk voor die persoon om keuzes te maken. Dit kan voortkomen uit een gebrek aan zelfkennis, maar het is ook mogelijk dat iemand werkelijk overal enthousiast over is. Als de situatie onterecht toch als een selectiesituatie ervaren wordt en iemand zich positief wil profileren, dan is dit in de normatieve vragenlijst goed mogelijk. De scores zijn dan niet een juiste afspiegeling van iemands carrièrewaarden. De ipsatieve vragenlijst geeft dan een betere weergave van de carrièrewaarden.
51
Literatuur Allport, G.W., & Odbert, H. S. (1936). Trait names. A psycho-lexical study. Psychological Monographs, 47 (211), 171. Baron, H. (1996). Strengths and limitations of ipsative instruments. Journal of Occupational and Organizational Psychology, 69, 49-56. Bartram, D. (1996). The relationship between ipsatized and normative measures of personality. Journal of Occupational and Organizational Psychology, 69, 25-39. Beutel, A., & Marini, M. M. (1995). Gender and Values. American Sociological Review, 60 (3), 436448. Bloemers, W., & van der Molen, H. (2004). Het (genegeerde) belang van intelligentie voor arbeidsprestaties. In: Opleiding & Ontwikkeling, tijdschrift voor Human Resource Development. Den Haag: Delwel. Cattell, R. B. (1943). De description of personality: basic traits resolved into clusters. Journal of Abnormal and Social Psychology, 38 (4), 476-506. Centraal Bureau voor de Statistiek, http://statline.cbs.nl/statweb/.
Statline.
Op
20
december
2007
ontleend
aan
Cohen, J. (1992). A Power Primer, Psychological Bulletin, 112 (1), 155-159. Dose, J. J. (1997). Work Values: An integrative framework and illustrative application to organisational socialization. Journal of Occupational and Organizational Psychology, 70, 219-240. Drenth, P. J. D. (1981). De Psychologische test. In: Duijker, H.C.J., Vroon, P.A. (ed.) (1981). Codex Psychologicus. Amsterdam: Elsevier. Elizur, D., Borg, I., Hunt, R., & Beck, I. M. (1991). The structure of work values: a cross cultural comparison. Journal of Organizational Behaviour, 12, 21-38. Furnham, A., Forde, L., & Ferrari, K. (1999). Personality and work motivation. Personality and Individual Differences, 26, 1035-1043. Green, S. B., Salkind, N.J., & Akey, T. M. (2000). Using SPSS for windows. Analysing and understanding data (2nd Ed.). New Jersey: Prentice Hall. Hagström, T., & Kjellberg, A. (2007) Stability and change in work values among male and female nurses and engineers. Scandinavian Journal of Psychology, 48, 143-151. Hendriks, A .A. J., Hofstee, W. K. B., & De Raad, B. (1999). Handleiding bij de Five-Factor Personality Inventory (FFPI). Amsterdam: Harcourt Test Publishers. Hofstede, G. (1998). Attitudes, values and organizational culture: disentangling the concepts. Organization Studies, 19, 477–492. Hofstee, W. K. B., & De Raad, B. (1991). Persoonlijkheidsstructuur: De AB5C-taxonomie van Nederlandse eigenschapstermen. Nederlands Tijdschrift voor de Psychologie, 46, 262-274. Hofstee, W. K. B., De Raad, B., & Goldberg, L. R. (1992). Integration of the Big Five and circumplex approaches to trait structure. Journal of Personality and Social Psychology, 63, 146-163. Johnson, M. K. (2001). Change in job values during the transition to adulthood. Work and Occupations, 28, 315.
52
Judge, T. A., & Bretz, R. D. Jr. (1992). Effects of work values on job choice decision. Journal of Applied Psychology, 77 (3), 261-271. Keller, L. M., Bouchard, T. J., Arvey, R. D., Segal, N. L., & Dawis, R. V. (1992). Work values: genetic and environmental influences. Journal of Applied Psychology, 77 (3), 79-88. Knezevic, M. (1998). Work values of students in Mostar schools. Cities, 15 (2), 75-83. LaForge, R. (1985). The early development of the Freedman-Leary-Coffey Interpersonal System. Western Psychological Association: Interpersonal circumplex models: 1948-1983 (1983, San Francisco, California). Journal of Personality Assessment, 49, 613-621. LaForge, R., & Suczek, R. R. (1955). The interpersonal dimension of personality: III. An interpersonal check list. Journal of Psychology, 24, 94-112. Meglino, B. M., Ravlin, E. C., & Adkins, C. L. (1989). A Work Values Approach to Corporate Culture: A Field Test of the Value Congruence Process and Its Relationship to Individual Outcomes. Journal of Applied Psychology, 74, 424-432. Meglino, H. M., & Ravlin. E. C. (1998). Individual values in organisations: concepts, controversies and research. Journal of Management, 24, 351-389. Nunnally, J. C. (1978). Psychometric Theory. USA: McGraw-Hill Inc. Orga (2007). Handleiding bij de WPV (Werkgerelateerde Persoonlijkheidsvragenlijst). Niet gepubliceerd. Zeist: Orga, intern verslag Roe, R. A., & Ester, R. (1999). Values at work: empirical findings an theoretical perspective. Applied Psychology Review, 48, 1-21. Sagie, A., Elizur, D., & Koslowsky, M. (1996). Work values: A theoretial overview and a model of their effects. Journal of Organizational Behavior 17, 503-514. Salgado, J. F., & Fruyt, F. de (2005). Personality in personnel selection. In A. Evers, N. Enderson & O. Smit-Voskuijl (Eds.), The Blackwell handbook of personnel selection (pp. 175-197). USA: Blackwellpublishing. Schein, E. H. (1975). How career anchors hold executives to their career paths. Personnel, 52 (3), 1124. Schmidt, F. L., & Hunter, J. H. (1998). The Validity an Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 85 Years of Research Findings. Psychological Bulletin, 124, 262-274. Schwartz, S. H. (1999). A theory of cultural values and some implications for work. Applied Psychology: An International Review, 48 (1), 23-47. Shapira, Z., & Griffith, T. (1990). Comparing the work values of engineers with managers, production, and clerical workers: A multivariate analysis. Journal of Organizational Behavior, 11, 281-292. Steiger, J. H. (1980). Tests for comparing elements of an correlation matrix. Psychological Bulletin, 87, 245-251. Stuive, I., Kiers, H. A., Timmerman, M. E., & Ten Berge, J. M. F. (2008). The empirical verification of an assignment of items to subtests: Oblique Multiple Group Method versus Confirmatory Common Factor Analysis. Unpublished manuscript. Super, D. E. (1953). A theory of vocational development. American Psychologist, 8 (5), 185-190.
53
Super, D. E. (1973). The work values inventory. In D. G. Zytowski (Ed.). Contemporary approaches to interest measurement (pp. 189–205). Minneapolis. MN: University of Minnesota Press. Tjoa, A. S. H. (1993). Handleiding Nederlandse Bewerking van Edwards Personal Preference Schedule. Lisse: Swets & Zeilinger. Woud, M. E. A. van der (2007). Normering van testscores met behulp van het continue fitmodel. Univariate normering met behulp van arcsinus transformatie van cumulatieve proporties. Niet gepubliceerd. Orga. Zeist: intern verslag. Zand, D. van, Knispel, K., Rogier, A., & Jongeleen, J. (2006). Zakelijke communicatie (2e druk). Amsterdam: Pearson Education Benelux.
54
Bijlagen Bijlage 1
Beschrijving van de schalen van de CW
Bijlage 2
De beroepsbevolking ingedeeld naar geslacht, leeftijd, opleiding en werkstatus
Bijlage 3
Woud, M.E.A. van der (2008). Normering van testscores met behulp van het continue fitmodel. Univariate normering met behulp van arcsinus transformatie van cumulatieve proporties*
Bijlage 4
Per normgroep per schaal de normscores weergegeven*
Bijlage 5
De factoren van de FFPI
Bijlage 6
Correlaties tussen de factoren van de FFPI en de schalen van de CW-I
Bijlage 7
Correlaties tussen de 360 graden-vragenlijst en de CW-I
Bijlage 8
Resultaten van de MGM-analyse
Bijlage 9
Resultaten van het onderzoek naar brancheverschillen*
Bijlage 10
De schalen en factoren van de WPV
Bijlage 11
Correlaties tussen de schaalscores van de WPV en de schaalscores van de CW
Bijlage 12
Rapport loopbaanadvies
Bijlage 13
Handleiding bediening en mogelijkheden Toolkit voor consultants
Bijlage 14
Lijst veelgestelde vragen gebruik Toolkit.
* Omdat deze bestanden zeer groot zijn worden ze meegeleverd op CD-ROM.
55
