Validering Skills Indicator

Validering Skills Indicator 2007

Opdrachtgever: TFC Arnhem

Dick Slettenhaar BAROC Knowledge Consultancy (101207)

Validering SI

- 1/25 -

Inhoud Validering Skills Indicator .......................................................................................................... 1 Inleiding ...................................................................................................................................... 3 Validiteit en betrouwbaarheid..................................................................................................... 4 Inleiding .................................................................................................................................. 4 Procedure SI............................................................................................................................ 4 Bepalen betrouwbaarheid en validiteit ................................................................................... 5 Resultaten ................................................................................................................................... 7 Betrouwbaarheid ..................................................................................................................... 7 Factoranalyse ...................................................................................................................... 7 Betrouwbaarheid ................................................................................................................. 8 Validiteit ................................................................................................................................. 8 Algemeen ............................................................................................................................ 8 Interactie tussen gebruiker en feed-backer(s)? ................................................................. 10 Gebruikers......................................................................................................................... 11 Feed-backers ..................................................................................................................... 18 Discussie ................................................................................................................................... 21 Samenvatting ........................................................................................................................ 21 De validiteit van SI ............................................................................................................... 22 De toekomst van SI ............................................................................................................... 23 Voortdurend onderzoek van SI ......................................................................................... 23 Standaardfeedback ............................................................................................................ 23 Online-community ............................................................................................................ 23 Portfolio ............................................................................................................................ 23 Een geschikte omgeving ................................................................................................... 24

Validering SI

- 2/25 -

Inleiding De Skills Indicator® is een persoonlijkheidstest op basis van 360º feedback, bedoeld om individuele sterktes en zwaktes te beoordelen. De 360º feedback methodiek staat al jaren in een groeiende belangstelling omdat deze testvorm eenvoudig – lees: tegen geringe kosten en tijdsbeslag - is toe te passen en behoort tot de klasse van de zogeheten ‘peer reviews’ welke in onderzoeken relatief hoog scoren op het criterium predictieve validiteit. Door deelnemers aan deze test zichzelf te laten beoordelen op specifieke vaardigheden en anderen te vragen de deelnemer te beoordelen op diezelfde vaardigheden levert de Skills Indicator een realistisch beeld van sterke punten en aandachtspunten voor verbetering van de competenties van de betreffende deelnemer. De testenserie werd onder de naam Skills Indicator vanaf de jaren ’90 (?) ontwikkeld door het Australische psychologenpaar Eve Ash en Peter Quarry. In 2000 (?) kwam een samenwerking met TFC Training Facilities Center tot stand, waarna TFC uiteindelijk in 2005 de intellectuele eigendomsrechten en de wereldwijde exploitatie overnam, terwijl Ash&Quarry betrokken bleven voor de ontwikkeling van nieuwe Skills Indicator® testen. Inmiddels zijn er meer dan 25 verschillende competentiegebieden waarvoor Skills Indicator tests zijn ontwikkeld, benevens 15 functieprofielen. Naast de standaard testen worden maatwerkversies samengesteld voor competentiegebieden die opdrachtgevende organisaties in overleg definiëren. De Skills Indicator® testen worden in diverse talen aangeboden, zowel online als op papier, en worden wereldwijd gedistribueerd via een netwerk van gelicenseerde Area Partners en Resellers. De nederlnadstalige versie staat bekend als de ‘Vaardigheidsmeter’. De gebruikende professionals zijn trainers, opleiders, coaches, testpsychologen en HR-functionarissen. Individuele gebruikers kunnen de test voor self-assessments hanteren. Als instrument voor leren en ontwikkeling heeft de Skills Indicator® tal van voordelen: • De lerende krijgt kwalitatief hoogwaardige feedback op zijn vaardigheden en prestaties • De lerende kan zijn eigen inschatting toetsen aan die van anderen • De test is nuttig om ontwikkelingsbehoeften aan het licht te brengen, op individueel en groepsniveau • De test is zinvol als evaluatie-instrument na een periode van ontwikkeling • De test is multi-linguaal, dwz dat feedback in andere talen moeiteloos online kan worden verwerkt • De testresultaten lenen zich als input voor dialoog, groepsbespreking en coaching, maar niet noodzakelijkerwijs: de testrapportering is ook voor de leek-deelnemer inzichtelijk. Om beter op vragen van bestaande en potentiële gebruikers te kunnen antwoorden besloot TFC om de meest gebruikte variant van Skills Indicator®, namelijk de online versie, aan een valideringsonderzoek te laten onderwerpen. Het onderzoek werd uitgevoerd onder enkele duizenden Nederlandse gebruikers van het instrument en werd in de loop van 2007 afgerond. Over de aanpak en conclusies in termen van validiteit en betrouwbaarheid wordt in dit rapport verslag uitgebracht.

Validering SI

- 3/25 -

Validiteit en betrouwbaarheid

Inleiding Rondom de geldigheid van getrokken conclusies spelen een tweetal belangrijke begrippen: validiteit en betrouwbaarheid. Een conclusie is valide als gemeten is wat gemeten behoorde te worden. De betrouwbaarheid is een uitspraak die samenhangt met de spreiding (breedte) rondom de uitspraak. Een metafoor: iemand schiet een aantal malen met een geweer op een schietschijf. Daarbij mikt hij op de roos. Als het resultaat een klein wolkje in een hoek van de schietschijf is dan is het afschieten van het geweer betrouwbaar. Is de wolk groot dan is deze niet betrouwbaar. Ligt de roos midden de wolk dan is het afschieten van het geweer valide, ongeacht de grootte van de wolk. Een goed instrument leidt dus tot èn betrouwbare èn valide conclusies. Dus zowel betrouwbaarheid als validiteit moeten bepaald worden. Wat is valide? Er wordt vaak gesproken over valide instrumenten. Dat is eigenlijk onjuist. Alleen conclusies kunnen valide zijn. Er kan dus wel gezegd worden: ‘Het gebruik van dit instrument leidt (bij goed gebruik) tot valide conclusies’.

Procedure SI Iemand staat voor een (belangrijke) keuze in zijn leven. Hij opteert b.v. voor een ander type functie. Hij heeft een bepaald beeld van de vaardigheden die hij in dezen bezit. Om dit beeld te verbeteren en te onderbouwen vult hij de SI in, en laat dit ook doen door één of meer personen die zijn vaardigheden kunnen beoordelen (360° feedback). De score(s) van de andere(n) vergelijkt hij met die van hemzelf. Op basis daarvan maakt hij de keuze om door te gaan op het gekozen pad, of een andere weg in te slaan. Redenering: Door SI in te vullen en om 360° feedback te vragen verbetert de gebruiker het zicht op zijn eigen vaardigheden betreffende een bepaalde te vervullen functie of functieveld. Bedreigingen: M.b.t. de getrokken conclusies: Vooringenomenheid bij trekken conclusie (beide partijen) ‘Oogkleppen’ bij trekken conclusie (beide partijen) M.b.t. de beoordeling van de validiteit van SI: De resultaten uit SI kunnen ook pas later in het keuze proces pregnant worden Remedies: Zorgvuldige selectie van feed-backer(s): ‘Wie kan mij goed beoordelen?’ i.p.v. ‘Wie is het met mij eens/wil mij verder helpen?’. Zelf: Een open houding m.b.t. tot de toekomstige uitslag. Ook een negatieve uitkomst kan positief benut worden. Een functie vervullen zonder de nodige vaardigheden maakt ook niet gelukkig. Eerlijk invullen. Modellering van de redenering Validering SI

- 4/25 -

Vooronderstellingen

Selectie feedbacker(s) SI

Scores

Vragenlijst

Expert(s) Figuur 1. Model van de procedurele werking van SI

Bepalen betrouwbaarheid en validiteit De betrouwbaarheid is te bepalen uit de scorepatronen. Statistische pakketten hebben daarvoor een functie. Validiteit Krathwohl (1998) onderscheid twee vormen van validiteit: interne en externe validiteit. Interne validiteit Beoordeeld moet worden of de getrokken conclusies geloofwaardig zijn. De basis voor de werking van SI zijn de vragenlijsten. Daarmee staat of valt de validiteit. Ze moeten de verschillende aspecten van het domein ‘afdekken’. Daarnaast moet de vraagstelling zodanig zijn dat het scoren van de vragen een goed beeld oplevert. Bronnen voor de bepaling van de interne validiteit:  De vragenlijsten. Kenmerken: afdekken domein en formulering o Als de vragenlijsten door experts zijn gemaakt valt aan te nemen dat ze valide zijn o Ze kunnen door andere experts beoordeeld worden op validiteit  De beleving van de feed-backer(s) op het scoren (kan ik een goed beeld geven de gebruiker?) o Dit kan via een korte vragenlijst afgevraagd worden  De beleving van de gebruiker op het scoren (kan ik een goed beeld geven de mezelf?) o Dit kan via een korte vragenlijst afgevraagd worden  De beleving van de gebruiker op de getrokken eindconclusie(s) (heeft het gebruik van SI een goed beeld van mezelf gegeven?) o Dit kan via een korte vragenlijst afgevraagd worden o Het zou kunnen dat de ‘eindbeleving’ van de gebruiker voldoende is over validiteit te oordelen. Deze dekt immers de andere stappen af. Maar de soms afwijkende meningen van de feed-backers komen daar mogelijk niet goed genoeg in terug Opmerking: als uit de beleving van feed-backers en gebruikers validiteit blijkt, dan mag aangenomen worden dat uit het gebruik van SI valide conclusies getrokken kunnen worden. De beoordeling van de vragenlijsten is dan niet nodig. T.b.v. het bepalen van de interne validiteit zijn de volgende gegevens nodig, te bepalen via een vragenlijst Validering SI

- 5/25 -



De beleving van de feed-backer(s) op het scoren (kan ik een goed beeld geven de gebruiker?)  De beleving van de gebruiker op het scoren (kan ik een goed beeld geven de mezelf?)  De beleving van de gebruiker op de getrokken eindconclusie(s) (heeft het gebruik van SI een goed beeld van mezelf gegeven?) Aanbeveling: voeg deze vragen toe aan SI. Dan is in de toekomst verder onderzoek en validering mogelijk. Externe validiteit Het gaat om generaliseerbaarheid. Beoordeeld moet worden of het instrument ook in de toekomst zal leiden tot geloofwaardige conclusies, eventueel ook naar andere of nieuwe doelgroepen. In het geval van SI is aan te nemen dat als SI in het verleden tot betrouwbare en valide uitspraken heeft geleid, dat in de toekomst ook wel zo zal zijn. In ieder geval zijn er geen redenen om het tegendeel aan te nemen. Er is immers geen of nauwelijks sprake van andere of nieuwe doelgroepen. Door TFC aan te leveren gegevens T.b.v. het bepalen van de betrouwbaarheid zijn de volgende gegevens nodig:  Vrager: o Eigen nummer o Scores op SI o Volledig ingevuld?  Feed-backer(s): o Nummer(s) o Relatie met vrager Format: Excel Deze gegevens zijn aanwezig in de gestuurde dummy. Daaruit kunnen ze gedestilleerd worden. Aanleveren volgens de dummy is OK, niet nodig zijn de velden:  Password  FirstName  LastName  Email Te doen: ‘Oude’ gebruikers en hun feed-backers een separate vragenlijst sturen (beter: online afnemen) De interne validiteit is te bepalen uit de scores op de extra vragenlijsten. Aanleveren in format: zie ‘betrouwbaarheid’.

Validering SI

- 6/25 -

Resultaten Betrouwbaarheid De betrouwbaarheid werd bepaald aan de hand van het aanwezige bestand van afgenomen vragenlijsten. Reductie van het aanwezige bestand:  Alleen de resultaten van de vier meest gebruikte instrumenten werden meegenomen in de berekeningen  Alle records met ‘progress’ minder dan 21  Alle records met namen waarvan bekend is dat ze SI invulden met het oogmerk ‘eens kijken wat het is’ Over bleven 5695 records: • 1770 gebruikers • 3925 feedbackers Per top-4 instrument en voor gebruikers dan wel feedbackers afzonderlijk worden de verschillende analyses uitgevoerd. Allereerst wordt een factoranalyse uitgevoerd om afhankelijkheden op te sporen en na te gaan of bepaalde clusters van vragen een specifieke betekenis hebben. Daarna wordt als maat voor de betrouwbaarheid Crohnbach’s alpha bepaald. Voor alle analyses werd gebruik gemaakt van SPSS 12.0.1.

Factoranalyse Indicator

Communicatie Gebruikers Feedbackers Leidinggeven Gebruikers Feedbackers Time-management Gebruikers Feedbackers Persoonlijke effectiviteit Gebruikers Feedbackers

Significante correlaties tussen vragen (Totaal aantal correlaties: 780)

Factoren Aantal

Verklaren samen …% van de variantie

0 0

9 12

67 77

9 0

9 10

69 76

199 13

12 14

68 81

46 0

11 13

64 74

Het aantal significante correlaties tussen de vragen is klein, m.u.v. de vragenlijst van Timemanagement, ingevuld door de gebruikers, valt in het bijzonder op door het grote aantal significante correlaties. Die vragenlijst moet nog eens goed bekeken worden. De andere vragenlijsten zijn met zorg samengesteld. De verschillen tussen gebruikers en feedbackers suggereren dat gebruikers de vragenlijsten wat anders ervaren/ondergaan/invullen dan feedbackers. De eerste factor verklaart doorgaans alleen al de helft van het genoemde percentage van de variantie. De tweede factor draagt meestal zo’n 10% bij aan de variantie. De rest van de

Validering SI

- 7/25 -

factoren dragen allemaal maar in geringe mate bij aan de variantie. De eerste en de tweede factor omvatten steeds (nagenoeg) alle vragen. Uit analyse komen geen duidelijke en geen zinvolle clusters van vragen voort. De betrouwbaarheid kan bepaald worden op basis van alle vragen.

Betrouwbaarheid Als maat voor de betrouwbaarheid wordt Cronbach’s alpha bepaald. Indicator Communicatie Leidinggeven Time-management Persoonlijke effectiviteit

Users n 710 487 202 371

Feedbackers n Cronbach’s alpha 1402 0,950 1428 0,952 305 0,937 790 0,932

Cronbach’s alpha 0,956 0,947 0,896 0,916

De gevonden betrouwbaarheid is groot. Dit is consistent met de hoge mate van onafhankelijkheid van vragen.

Validiteit De validiteit wordt bepaald aan de hand van een daarop toegesneden vragenlijst die is toegezonden aan gebruikers en feedbackers van de top-4 instrumenten. Per top-4 instrument en voor gebruikers dan wel feedbackers afzonderlijk worden de verschillende analyses uitgevoerd. Daarna wordt als maat voor de betrouwbaarheid Crohnbach’s alpha bepaald. Voor alle analyses werd gebruik gemaakt van SPSS 12.0.1. In het vervolg worden de resultaten van de vragenlijst gepresenteerd.

Algemeen In totaal hebben 159 gebruikers en 240 feedbackers de vragenlijst ingevuld. 1. Was u bekend met het principe van 360 graden feedback? Communicatie

Leidinggeven

Persoonlijke effectiviteit # %

TimeManagement # %

#

%

#

%

31 31

50,0 50,0

26 13

66,7 33,3

21 17

55,3 44,7

13 7

38 27

58,5 41,5

56 35

61,5 38,5

40 14

74,1 25,9

15 14 1

Totaal #

%

65,0 35,0

91 68

57,2 42,8

50,0 46,7 3,3

149 90 1

93,7 56,6 0,6

Gebruikers Ja Nee Feed-backers Ja Nee nvt

Interpretatie Ongeveer de helft van de gebruikers en de feed-backers is bekend met 360° feedback.

Validering SI

- 8/25 -

2. Wat vond u van de instructies voor het gebruik van de Vaardigheidsmeter Online? Communicatie

Leidinggeven

#

%

#

%

Gebruikers Zeer slecht Slecht Matig Voldoende Goed Zeer goed Geen mening

2 1 18 36 4 1

3,2 1,6 29,0 58,1 6,5 1,6

1 1 11 25 1

2,6 2,6 28,2 64,1 2,6

n

62

Feed-backers Zeer slecht Slecht Matig Voldoende Goed Zeer goed Geen mening

23 38 1 2

n

65


3 15 19 1

39

1

1,5

38

1 1 22 60 2 5

35,4 58,5 1,5 3,0

7,9 39,4 50,0 2,6

1,1 1,1 24,2 65,9 2,2 5,5

14 37 1 2

91

TimeManagement # %

1 13 5 1

5,0 65,0 25,0 5,0

20

25,9 68,5 1,9 3,7

Totaal #

%

3 6 57 85 7 1

1,9 3,8 35,8 53,5 4,4 0,6

159

2

6,7

15 10 3

50,0 33,3 10,0

54

30


TimeManagement # %

2 3 59 150 14 12

0,8 1,3 24,6 62,5 5,8 5,0

240

Interpretatie Slechts een enkeling vindt de instructies onvoldoende: • Een kleine 6 % vaqn de gebruikers • Ca. 2 % van de feedbackers 3. Heeft u de vragen zo eerlijk mogelijk ingevuld? Communicatie

Gebruikers Zeer mee eens Eens Oneens Zeer mee oneens Geen mening Niet ingevuld n Feed-backers Zeer mee eens Eens Oneens Zeer mee oneens Geen mening Niet ingevuld n

Leidinggeven

#

%

#

%

28 32

45,2 51,6

23 16

59,0 41,0

2

3,2

62

30 34 1

65

39

46,2 52,3 1,5

15 23

39,5 60,5

38

Totaal #

%

13 6

65,0 30,0

79 77

49,7 48,2

1

5,0

3

1,9

20

159

48 40 1

52,7 44,0 1,1

27 23

50,0 42,6

13 15

43,4 50,0

118 112 2

49,2 46,7 0,8

2

2,2

2 2

3,7 3,7

1 1

3,3 3,3

5 3

2,1 1,3

91

54

30

240

Interpretatie Validering SI

- 9/25 -

De vragenlijsten zijn zeer serieus ingevuld

Interactie tussen gebruiker en feed-backer(s)? 4. Zijn de resultaten voor u aanleiding om in gesprek te gaan met de mensen die u feedback hebben gegeven? Communicatie

Gebruikers Zeer mee eens Eens Oneens Zeer mee oneens Geen mening Niet ingevuld n

Leidinggeven


TimeManagement # %

#

%

#

%

7 31 14 1

11,3 50,0 22,6 1,6

1 29 3 2

2,6 74,4 7,7 5,1

3 20 11 1

7,9 52,7 28,9 2,6

2 9 1 2

7 2

11,3 3,2

3 1

7,7 2,5

3

7,9

5 1

62

39

38

Totaal #

%

10,0 45,0 5,0 10,0

12 89 29 6

7,5 56,0 18,2 3,8

25,0 5,0

18 4

11,3 2,5

20

159

Interpretatie Veel gebruikers (ca. twee derde) willen interactie met de feedbacker(s). 4. Had u de vragen liever anoniem ingevuld, zodat de ander niet kan zien welke feedback u gaf? Communicatie

Feed-backers Zeer mee eens Eens Oneens Zeer mee oneens Geen mening Niet ingevuld n

Leidinggeven


TimeManagement # %

#

%

#

%

1 5 36 16

1,5 7,7 55,4 24,6

5 13 42 21

5,5 14,3 46,2 23,1

1 4 26 18

1,9 7,4 48,2 33,3

1 5 12 7

7

10,8

10

10,9

4 1

7,4 1,9

5

65

91

54

Totaal #

%

3,3 16,7 40,0 23,3

8 27 116 62

3,3 11,3 48,3 25,8

16,7

26 1

10,8 0,4

30

240

Interpretatie Er is onder feedbackers weinig behoefte aan anonimiteit (slechts ca. 15 %) 5. Had u de gebruiker graag toelichting gegeven op de feedback die u gaf? Communicatie

Feed-backers Zeer mee eens Eens Oneens Zeer mee oneens Geen mening Niet ingevuld n

Validering SI

Leidinggeven


TimeManagement # %

#

%

#

%

3 38 18

4,6 58,5 27,7

14 46 16 4

15,4 50,5 17,6 4,4

8 35 5

14,8 64,7 9,3

2 13 8 1

6

9,2

11

12,1

5 1

9,3 1,9

5 1

65

91

54

30

Totaal #

%

6,7 43,3 26,7 3,3

27 132 47 5

11,3 55,0 19,6 2,1

16,7 3,3

27 2

11,3 0,8

240

- 10/25 -

Interpretatie Nogal wat (ongeveer twee derde) feedbackers willen ook interactie met de gebruikers Toont een grote betrokkenheid met het gebeuren De resultaten over deze drie vragen tonen dat SI bij voorkeur gebruikt wordt in een setting waarin interactie over het invullen en de uitkomsten van SI mogelijk is.

Gebruikers 6. Met welk doel heeft u gebruik gemaakt van de Vaardigheidsmeter Online? [gebruikers] Communicatie • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

trainingsbehoefte inventariseren Inventarisatie vaardigheden vooraf als cursist Communicatie Empowerment leerdoelen vaststellen beeldvorming van anderen over mij en mijn functioneren verhelderen Als intake bij een cursus. Cursusdoeleinden -> persoonlijke ontwikkeling kapstok voor cursus CE Startpunt cursus communicatie empowerment Voor af gaand aan de M.O.T. training cursus cursus communicatie binnen de bank Ik zat in een cursus waarin aan ons gevraagd werd om 360 graden feedbacks van jezelf te laten maken.. Communicatie empowerment training Cursus MOT T.b.v. communicatiecursus. ivm cursus communiceren in de bank Cursus werkvoorbereider , persoonlijke toetsing ! cursus werkvoorbereider, communicatie cursus. de response was overigens af en toe zeer slecht. Voor een cursus die ik ging volgen Studie school Voor mijn communicatievaardigheden Om mijn eigen inzicht over mijzelf te vergelijken met hoe anderen dit zien. meten waar je staat. verbeteren eigen aandachtgebieden inzicht te krijgen in of mijn beeld van mijzelf overeenkomt met die anderen van mij hebben Inzicht krijgen in de vaardigheid om daarna te verbeteren. reïntegratie uitgezet onder collega's m.b.t. cursus. mijn vaardigheden toepassen op mijn huidige functie Intern klanten onderzoek Wat kan ik nog verbeteren aan mijzelf t.o.v. medewerkers en/of werk. Het testen van mijn eigen skills en de hierop gekregen feedback Om feedback te vragen bij collega’s en leiding voor een cursus Zelf analyse Input voor vaardigheidstraining Persoonlijke ontwikkelingplan opstellen meer inzicht krijgen in mezelf Cursus voorbereiding en feedback test In het kader van een communicatietraining die ik heb gevolgd. persoonlijke ontwikkeling Bepalen hoe anderen mijn vaardigheden ervaren

Validering SI

- 11/25 -

• • • • • • • • • • • •

te weten komen hoe anderen mijn vaardigheden beoordelen Training i.c.m. feedback om te zien hoe collega's mijn vaardigheden ervaren. inzicht krijgen in het zicht van anderen op eigen vaardigheden In het kader van het Medewerker Ontwikkelings Traject met als doel voorafgaand feedback te verkrijgen van direkte collega's op het onderwerp Communicatie Om mijn communicatie vaardigheden te toetsen Om bepaalde punten te verbeteren die onvoldoende waren maar ook om te zien waar ik meer als voldoende voor behaalde Allround inzicht in eigen competenties Inzicht in persoonlijke ontwikkelpunten. via werk om beter inzicht van jezelf te krijgen analyseren of vragenlijst klantenservice inzetbaar was bij opdrachtgever weet niet

Leidinggeven • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •

Invullen voor de cursus leiding geven. Testen Coaching traject (op maat) Voorbereiding MOP training Cursus brug naar leiderschap op het werk Informatie Eigen competenties te bepalen en te verbeteren vanuit psychologie achtergrond geinteresseerd in vragenlijsten. Om te zien hoe ik zelf funcktioneer en hoe andere dat zien kennis verijking Feedback verzamelen en aan elkaar leren geven Persoonlijke Ontwikkeling Verbeterpunten voor mijzelf vinden Om te spiegelen en de vaardigheden te verbeteren. Uitproberen of het een handig feedback instrument si voor onze doelgroep (managers en vakspecialisten in hoge salarisgroepen) om in mijn team mijn ontwikkel- en sterke punten te kunnen bespreken. Daarnaast om ontwikkelpunten voor de perfromance contract op te kunnen stellen in het kader van een opleiding "Basivaardigheden leidinggeven" om te zien hoe ver ik sta in het doen en kunnen van leiding geven feedback krijgen op mijn eigen functioneren development Eigen aandachtpunten te onderzoeken Ontwikkelpunten duidelijk krijgen. om te kijken of mijn zelf beeld een beetje klopt en om een pop te kunnen maken test om competenties te toetsen Training ontwikkeling leiderschapsvaardigheden. groei Nulmeting kursus leiderschapsontwikkeling Bruikbaarheid voor testen voor teams Om na te gaan welke eigenschappen van mijzelf voor verbetering in aanmerking komen om daar dan ook aan te kunnen gaan werken Bewustwording van leiderschapseigenschappen. check om feedback te ontvangen feedback geven aan anderen nulpunt bepalen tbv ontwikkeling vaardigheden Spiegel meer informatie te krijgen over mijzelf inz. mijn functioneren Om mijn competenties beter in beeld te brengen Inzicht in mijn positie binnen organisatie en evt leerdoelen uit distilleren.

Validering SI

- 12/25 -

Persoonlijke effectiviteit •

SUPPORT Personeelsdiensten gebruikt dit instrument om een coachvraag inzichtelijk te krijgen.

• • • • • • • • • • • • •

Bevestiging van zelfkennis en aanscherpen van vaardighheden en bewustwording. Interesse voor mogelijk gebruik binnen onze organisatie. opleiding tot verkoopadviseur Als onderdeel van de MOT training was dit een opdracht aan alle deelnemers Als uitgangspunt voor functioneringsgesprek. functioneringsgesprek cursus t.b.v. cursus als voorbereiding op cursus Om te kijken hoe het werkt Gewoon kijken wat er uit komt. Dus hoe is de meetwijze? tbv. een cursus effectief communiceren vanuit mijn studie technische bedrijfskunde heb ik mijn medestudenten en collega's gevraagd om feedback te geven. Studie opdracht Hogeschool Utrecht Beter beeld van mezelf krijgen en hoe anderen mij zien. persoonlijke ontwikkeling effectiviteit wat anderen voor beeld van mij hebben testen vaardigheden en interesse medewerkers De Vaardigheidsmeter maakte onderdeel uit van een training Communicatie. studie verplicht door voormalig werkgever opleiding aan de HU TBK voorbereiding op training persoonlijke effectiviteit en communicatie school Zelfreflectie MOT cursus beter volgen kennis over mijzelf vergaren Opleiding Hogeschool Utrecht het was een onderdeel van een opdracht van de hoge school Utrecht Om voor mij zelf er achter te komen wat mijn eventuele sterke en zwakke punten zijn. En er achter te komen hoe een ander er over denkt. studie doeleinde Interne cursus persoonlijke effectiviteit Voorbereiding interne cursus school Hier was door ons management voor gekozen bij wijze van oefening op het gebied van competenties en vaardigheden.

• • • • • • • • • • • • • • • • • • • • • • •

Time-Management • • • • • • • • • • •

time management efficiency training inzicht in eigen vaardigheden, leerdoelen vaststellen cursus time management Cursus Time Management Ter voorbereiding op de cursus time-management. Meer georganiseerd werken testen en inhoudelijk kijken naar meerwaarde Voor volgen van cursus ivm werkzaamheden Ivm een cursus inzicht krijgen in eigen vaardigheden t.a.v. timemanagement

Validering SI

- 13/25 -

• • •

• • • • • •

Kijken hoe het instrument werkt en of ik iets kon leren om mijn time managementvaardigheden bij te schaven. om een beeld te krijgen van mijn ontwikkelbehoefte Om van andere, en ook van mezelf, te weten te komen hoe eenieder over elkeer denkt. Zelf kan je wel denken dat je goed ben, maar van andere krijg je mogelijk je zwakke punten te horen. Wat mijn echter opviel is dat de personen die voor mijn deze vaardigheidsmeter hebben ingevuld positiever waren dan ik zelf. opdracht training meer inzicht te krijgen Had ik nodig voor the time-managment training voorbereiding cursus Time management cursus Als voormeting, voorafgaand aan een training.

Interpretatie Vooral: • Gebruik als voorbereiding op een cursus • Gebruik in een cursus • Voor zelfanalyse • Soms als voorbereiding op een functioneringsgesprek 7. Vond u het (emotioneel) moeilijk om de vragen eerlijk te beantwoorden? Communicatie

Zeer mee eens Eens Oneens Zeer mee oneens Geen mening Niet ingevuld n

Leidinggeven

#

%

#

%

4 33 21

6,5 53,2 33,9

5 22 11

12,8 56,4 28,2

3 1

4,8 1,6

1

2,6

62

39


TimeManagement # %

Totaal #

%

9 20 8

23,7 52,6 21,1

3 8 8

15,0 40,0 40,0

21 83 48

13,2 52,2 30,2

1

2,6

1

5,0

5 2

3,1 1,3

38

20

159

Interpretatie Slechts een enkeling (ca. 13 % van de gebruikers) vond het moeilijk om de vragen in te vullen. Samen met vraag 3. wijst dit er op dat de ingevulde vragenlijst een goede basis vormt voor (zelf- en of 360°-)analyse. 8. Gaf het invullen van de zelfanalyse-vragenlijst Vaardigheidsmeter Online u al een goed beeld van uw sterktes en zwaktes in de gekozen vaardigheid? Communicatie


Validering SI

#

%

55 3

88,7 4,8

4

62

6,5

Leidinggeven # 1 30 5 1

77,0 12,8 2,6

2

5,2

39

%

Persoonlijke effectiviteit # % 1 2,6 36 94,8 1

2,6

TimeManagement # % 2 10,0 15 75,0 1 5,0 1 5,0 1

38

20

5,0

Totaal # 4 136 9 3

% 2,5 85,5 5,7 1,9

7

4,4

159

- 14/25 -

Interpretatie Het invullen van de zelfanalyse-vragenlijst gaf voor een kleine 90 % van de gebruikers op zich al een goed beeld van uw sterktes en zwaktes in de gekozen vaardigheid. Dit resultaat suggereert dat het wellicht wenselijk is om SI uit te breiden met standaard reacties, zoals dat b.v. bij de instrumenten op de Volkskrant-site gebruikelijk is. SI kan dan op twee manieren worden ingezet: als zelfanalyse-instrument en als instrument met 360°-feedback. 9. Had de feedback van anderen een meerwaarde ten opzichte van het beeld dat u kreeg uit uw eigen beantwoording van de vragenlijst? Communicatie


Leidinggeven

# 10 42 2 2

% 3,3 67,7 3,2 3,2

# 7 25 3 1

% 17,9 64,1 7,7 2,6

5 1

8,1 1,6

3

7,7

62

39

Persoonlijke effectiviteit # % 5 13,2 25 65,8 5 13,2

3

7,9

38

TimeManagement # % 3 15,0 14 70,0 1 5,0

2

10,0

20

Totaal # 25 106 11 3

% 15,7 66,7 6,9 1,9

13 1

8,2 0,6

159

Interpretatie De feedback van anderen wordt in hoge mate (ruim 80 %) als een meerwaarde gevoeld. Uit de vragen 8 en 9 volgt dat SI als zelfanalyse-instrument gebruikt wordt en als feedback instrument. Dit wekt de suggestie dat het nuttig is de zelf-analyse functies van SI te versterken. 10. Heeft het gebruik van de Vaardigheidsmeter Online u een goed beeld van uw sterktes en zwaktes in de gekozen vaardigheid gegeven? Communicatie


Leidinggeven

# 5 48 3 1

% 8,1 77,4 4,8 1,6

# 4 27 5

% 10,3 69,2 12,8

3 2

4,8 3,2

1 2

2,6 5,1

62

39


TimeManagement # % 1 5,0 15 75,0 1 5,0 1 5,0 2

38

20

10,0

Totaal # 13 123 11 2

% 8,2 77,2 6,9 1,3

6 4

3,8 2,5

159

Interpretatie SI wordt door ca. 85 % van de gebruikers positief gewaardeerd als middel om sterktes en zwaktes in de gekozen vaardigheid op te sporen.

Validering SI

- 15/25 -

11. Heeft het gebruik van de Vaardigheidsmeter u geholpen bij keuzes in uw eigen ontwikkeling en carrière? Communicatie


Leidinggeven

# 2 31 16 2

% 3,2 50,0 25,8 3,2

# 2 17 10 2

% 5,1 43,6 25,6 5,1

10 1

16,1 1,6

7 1

17,9 2,6

62

39

Persoonlijke effectiviteit # % 1 2,6 18 47,4 8 21,1 2 5,3 8 1

21,1 2,6

38

TimeManagement # % 8 7 1

40,0 35,0 5,0

4

20,0

Totaal

20

# 5 74 41 7

% 3,1 46,5 25,8 4,4

29 3

18,2 1,9

159

Interpretatie SI dient voor ongeveer de helft van de gebruikers als instrument om keuzes met betrekking tot eigen ontwikkeling en carrière te maken. Er is een substantieel aantal gebruikers waarvoor dat niet geldt. De redenen daarvoor zijn niet erg duidelijk. Dit behoeft nader onderzoek. 12. Heeft het gebruik van de Vaardigheidsmeter Online geleid tot een wijziging in de keuze van vervolgstappen in uw carrière? Communicatie


# 2 8 35 5

% 3,2 12,9 65,5 8,1

11 1

17,7 1,6

62

Leidinggeven #

%

8 23 6

20,5 59,0 15,4

2

5,1

39

Persoonlijke effectiviteit # % 1 2,6 7 18,4 24 63,2 2 5,3 4

10,5

38

TimeManagement # %

Totaal #

%

1 13 3

5,0 65,0 15,0

24 95 16

15,1 59,7 10,0

3

15,0

20 1

12,6 0,6

20

159

Interpretatie Voor ca. 65 % van de gebruikers geldt dat het gebruik van SI niet heeft geleid tot een wijziging in de keuze van vervolgstappen in de carrière. 13. Hebt u in een later stadium nog gebruik gemaakt van de resultaten van de Vaardigheidsmeter Online? Communicatie


Validering SI

Leidinggeven

# 1 21 27 4

% 1,6 33,9 43,5 6,5

# 1 17 15 2

% 2,6 43,6 38,5 5,1

8 1

12,9 1,6

3 1

7,7 2,6

62

39

Persoonlijke effectiviteit # % 3 7,9 4 10,5 24 63,2 3 7,9 3 1 38

7,9 2,6

TimeManagement # %

Totaal

8 6 1

40,0 30,0 5,0

# 5 50 72 10

4 1

20,0 5,0

18 4

20

% 3,1 31,4 45,3 6,3 11,3 2,5

159

- 16/25 -

Interpretatie Voor de instrumenten ‘Communicatie’, ‘Leidinggeven’ en ‘Time-Management’ geldt dat bijna de helft van de gebruikers in een later stadium van de resultaten van SI nog eens gebruikt maakt. Voor het instrument ‘Persoonlijke effectiviteit’ geldt dat ongeveer een vijfde later nog eens gebruik maakt van de resultaten van SI. 14. Komen de resultaten overeen met die van andere tests of assessments die u al eens deed? Communicatie


Leidinggeven

# 1 26 4 1

% 1,6 41,9 6,5 1,6

# 1 19 6 1

% 2,6 48,7 15,4 2,6

29 1

46,8 1,6

11 1

28,2 2,6

62

39

Persoonlijke effectiviteit # % 20 4

52,6 10,5

14

36,8

38

TimeManagement # % 1 5,0 10 50,0 1 5,0

7 1

35,0 5,0

Totaal # 3 75 15 2

% 1,9 47,2 9,4 1,3

61 3

38,4 1,9

20

Interpretatie Voor zover men andere tests dan wel assessments gedaan heeft, komen de resultaten volgens de gebruikers goed overeen met de uitkomsten daarvan. Deze uitkomst ondersteunt de hypothese dat er door gebruik te maken van SI valide uitspraken gedaan kunnen worden. 15. Heeft u behoefte aan persoonlijk advies omtrent uw ontwikkeling en loopbaan, gelet op de resultaten van de feedback? Communicatie


# 1 10 29 10

% 1,6 16,1 46,8 16,1

12

19,4

62

Leidinggeven # 2 10 20 5

% 5,1 25,6 51,3 12,8

2

5,1


39

38

18,4

TimeManagement # % 5 12 1

25,0 60,0 5,0

2

10,0

20

Totaal # 4 34 80 18

% 2,5 21,4 50,3 11,3

21 2

13,2 1,3

159

Interpretatie Ongeveer een kwart van de gebruikers heeft behoefte aan persoonlijk advies omtrent uw ontwikkeling en loopbaan, gelet op de resultaten van de feedback.

Validering SI

- 17/25 -

16. Hoe waardeert u de Vaardigheidsmeter Online? Communicatie

1 2 3 4 5 6 7 8 9 10 Niet ingevuld n m SD Zonder ‘enen’ n m SD

# 1

% 1,6

3 8 21 24 4 1

4,8 12,9 33,9 38,7 6,5 1,6

62

Leidinggeven # 1

% 2,6

1 3 4 13 16

2,6 7,7 10,3 33,3 41,0

1

2,6

39


1 4 21 12

2,6 10,5 55,3 31,6

38

TimeManagement # % 1 5,0

2 8 9

10,0 40,0 45,0

20

Totaal # 3

% 1,7

1 7 18 63 61 4 2

0,6 4,4 11,3 39,6 38,4 2,5 1,3

159

7,24 1,29

7,00 1,50

7,16 0,72

7,05 1,57

7,14 1,25

61 7,34 1,01

38 7,16 1,14

38 7,16 0,72

19 7,37 0,67

159 7,14 1,25

Interpretatie De ‘enen’ vormen een uitzondering. Door hun extreme waarde wegen ze zwaar mee in de berekening van het gemiddelde. Daarom zijn gemiddelde en standaarddeviatie ook berekend zonder deze ‘enen’. De waardering voor SI is ruim een ‘7’. Er worden nauwelijks onvoldoendes gegevens (in totaal 6,7 %). Het instrument ‘Leidinggeven’ valt relatief iets minder in de smaak (ca. 13 % onvoldoendes)

Feed-backers 17. Vond u dat u de gebruiker van de Vaardigheidsmeter Online voldoende kende om de vragen te kunnen beantwoorden? Communicatie


Leidinggeven

# 9 48 3 2

% 13,8 73,8 4,6 3,1

# 12 67 7

% 13,2 73,6 7,7

3

4,6

5

5,5

65

91


4

54

7,4

TimeManagement # % 1 3,3 22 73,3 5 16,7 1 3,3 1

30

3,3

Totaal # 29 172 23 3

% 12,1 71,7 9,6 1,3

13

5,4

240

Interpretatie In de meeste gevallen (ca. 84 %) kenden de feedbackers de gebruikers voldoende om zinvolle feedback te kunnen geven.

Validering SI

- 18/25 -

18. Kon u door het invullen van de vragenlijst een goed beeld geven van de gekozen vaardigheid van de gebruiker? Communicatie


Leidinggeven

# 1 55 3

% 1,5 84,6 4,6

# 1 76 7

% 1,1 83,5 7,7

6

9,2

7

7,7

65

91


5

9,3

54

TimeManagement # % 1 3,3 19 63,3 5 16,7

4 1

13,3 3,3

30

Totaal # 4 196 17

% 1,7 81,7 7,1

22 1

9,2 0,4

240

Interpretatie De feedbackers vinden in hoge mate (ca. 83 %) dat ze door het invullen van de vragenlijst een goed beeld konden geven van de gekozen vaardigheid van de gebruiker. Voor het instrument ‘Time-management is dat iets minder. 19. Miste u in de vragen belangrijke aspecten van die vaardigheid? Communicatie

Ja Nee Nvt n

# 4 61

% 6,2 93,8

65

Leidinggeven # 9 82

91

% 9,9 90,1

Persoonlijke effectiviteit # % 4 7,4 50 92,6

54

TimeManagement # % 3 10,0 26 86,7 1 3,3 30

Totaal # 20 219 1

% 8,3 91,3 0,4

240

Interpretatie Verreweg de meeste feedbackers (ruim 90 %) misten geen belangrijke aspecten. Op de open vraag welke aspecten dan wel gemist werden werd het volgende genoemd (er zijn typefouten verbeterd): Ad instrument ‘Communicatie’: • •

• •

Helaas is het al zolang geleden dat ik de vaardigheidsmeter heb ingevuld, veel weet ik er niet meer van. Heb ik nu niet meer paraat, is iets te lang geleden dat ik het heb ingevuld. Maar in het algemeen vond ik het een (te) algemene vragenlijst. Alhoewel ik ook wel begrijp dat je voor één persoon geen maatwerk kunt maken. Mijn conclusie: Voor één persoon zou ik deze vorm van 360graden feedback niet toepassen en voor een grote groep zou ik een maatwerk lijst met vragen en/of stellingen willen hebben waarin de deelnemers/invullers/organisatie zich beter kunnen herkennen. Non-verbale versus verbale communicatie. Stemgebruik (volume / intonatie)en het effect daarvan op anderen Aspecten die ik miste, dat je antwoorden niet kon toelichten. Dat geeft dan een eendimensionaal van de persoon. Misschien dan een uitgebreidere vragenlijst. sa toelichten.

Ad instrument ‘Leidinggeven’: •

• • • • • •

Het is veel te lang geleden dat ik de 360° feedback heb in gevuld. Dus weet ik dat niet meer. Ik kon een aantal dingen niet kwijt. Net als toen kwamen de aan te klikken antwoorden niet overeen met de te kiezen antwoorden. Soms was de vraag te breed, konden meer antwoorden gegeven worden Vragen waren vaak onvoldoende van toepassing omwille van gebrek aan ervaring en anciënniteit Lastig als iemand potentieel wil meten maar nog niet echt in zijn functie zit, Lijkt deze meter niet voldoende geschikt voor, Toelichting op antwoord. Vragen mbt communicatie met de groep als geheel. Te veel om op te noemen

Validering SI

- 19/25 -

Ad instrument ‘Persoonlijke effectiviteit’: • • • •

De vragen minder suggestief stellen Ik heb gereageerd vanuit de privé-situatie, meeste vragen waren werkgerelateerd. Meer persoonlijk en concreter Moeilijk te zeggen, maar meer de behoefte om niet altijd te moeten kiezen uit een 'minste/meeste'om dat soms niets van toepassing was !

Ad instrument ‘Time-Management’: • •

werkzaamheden eind van de dag af, flexibiliteit in het werk niet zozeer aspecten maar ik vond het niet logisch dat je niet per vraag kon selecteren om "geen mening" in te vullen i.p.v. ineens per vragengroep dit te moeten invullen.

Interpretatie De feedbackers vinden in hoge mate dat er geen belangrijke aspecten van de vaardigheid ontbreken. Voor zoverre er aspecten genoemd andere zaken aangeduid worden: deze meenemen met een volgende aanpassing van SI. 20. Had uw relatie met de gebruiker invloed op de manier waarop u de vragen beantwoordde? Communicatie


Leidinggeven

# 5 30 21 5

% 7,7 46,2 32,3 7,7

# 2 34 39 8

% 2,2 37,4 42,9 8,8

4

6,2

8

8,8

65

91


14,8

54

TimeManagement # %

Totaal

13 12 4

43,3 40,0 13,3

# 8 96 95 20

1

3,3

21

30

% 3,3 40,0 39,6 8,3 8,8

240

Interpretatie Deze vraag is achteraf gezien te ruim gesteld en kan tweeledig worden opgevat. De relatie kan immers positief en negatief zijn. 21. Zette de vragenlijst u aan het denken over uw eigen vaardigheden? Communicatie


Leidinggeven

# 2 38 15

% 3,1 58,5 23,1

# 2 54 23 1

% 2,2 59,3 25,3 1,1

9 1

13,8 1,5

11

12,1

65

91


54

14,8

TimeManagement # % 3 10,0 13 43,3 7 23,3

7

30

23,3

Totaal # 8 136 57 3

% 3,3 56,7 23,8 1,3

35

14,6

240

Interpretatie Het invullen van de vragenlijst zette veel feedbackers (60 %) aan het denken over de eigen vaardigheden.

Validering SI

- 20/25 -

Discussie Samenvatting Algemeen In totaal hebben 159 gebruikers en 240 feedbackers de vragenlijst ingevuld. Ongeveer de helft van de gebruikers en de feed-backers is bekend met 360° feedback. Slechts een enkeling vindt de instructies voor het gebruik van de Vaardigheidsmeter Online onvoldoende. De vragenlijsten zijn zeer serieus ingevuld. Interactie tussen gebruiker en feed-backer(s)? Veel gebruikers willen interactie met de feedbacker(s). Er is onder feedbackers weinig behoefte aan anonimiteit Nogal wat feedbackers willen ook interactie met de gebruikers Toont een grote betrokkenheid met het gebeuren De resultaten over deze drie vragen tonen dat SI bij voorkeur gebruikt wordt in een setting waarin interactie over het invullen en de uitkomsten van SI mogelijk is. Gebruikers SI wordt vooral gebruikt: • Als voorbereiding op een cursus • In een cursus • Voor zelfanalyse Soms als voorbereiding op een functioneringsgesprek Slechts een enkeling vond het moeilijk om de vragen in te vullen. Samen met vraag 3. wijst dit er op dat de ingevulde vragenlijst een goede basis vormt voor (zelf- en of 360°-)analyse. Het invullen van de zelfanalyse-vragenlijst gaf op zich al een goed beeld van de sterktes en zwaktes in de gekozen vaardigheid. Dit punt ondersteunt de conclusie dat door het gebruik van SI valide uitspraken kunnen worden over de vaardigheden van de gebruiker. Het resultaat op de vorige vraag suggereert dat het wellicht wenselijk is om SI uit te breiden met standaard reacties, zoals dat b.v. bij de instrumenten op de Volkskrant-site gebruikelijk is. SI kan dan op twee manieren worden ingezet: als zelfanalyse-instrument en als instrument met 360°-feedback. De feedback van anderen wordt in hoge mate als een meerwaarde gevoeld. Uit de vragen 8 en 9 volgt dat SI als zelfanalyse-instrument gebruikt wordt en als feedback instrument. Dit wekt de suggestie dat het nuttig is de zelf-analyse functies van SI te versterken. SI wordt positief gewaardeerd als middel om sterktes en zwaktes in de gekozen vaardigheid op te sporen. SI dient voor ongeveer de helft van de gebruikers als instrument om keuzes met betrekking tot eigen ontwikkeling en carrière te maken. Er is een substantieel aantal gebruikers waarvoor dat niet geldt. De redenen daarvoor zijn niet erg duidelijk. Dit behoeft nader onderzoek.

Validering SI

- 21/25 -

Voor twee derde tot drie kwart van de gebruikers geldt dat het gebruik van SI niet heeft geleid tot een wijziging in de keuze van vervolgstappen in de carrière. Voor de instrumenten ‘Communicatie’, ‘Leidinggeven’ en ‘Time-Management’ geldt dat bijna de helft van de gebruikers in een later stadium van de resultaten van SI nog eens gebruikt maakt. Voor het instrument ‘Persoonlijke effectiviteit’ geldt dat ongeveer een vijfde later nog eens gebruik maakt van de resultaten van SI. Voor zover men andere tests dan wel assessments gedaan heeft, komen de resultaten volgens de gebruikers goed overeen met de uitkomsten daarvan. Ongeveer een kwart van de gebruikers heeft behoefte aan persoonlijk advies omtrent uw ontwikkeling en loopbaan, gelet op de resultaten van de feedback. De waardering voor SI is ruim een ‘7’. Er nauwelijks onvoldoendes. Feedbackers In de meeste gevallen kenden de feedbackers de gebruikers voldoende om zinvolle feedback te kunnen geven. De feedbackers vinden in hoge mate dat ze door het invullen van de vragenlijst een goed beeld konden geven van de gekozen vaardigheid van de gebruiker. De feedbackers vinden in hoge mate dat er geen belangrijke aspecten van de vaardigheid ontbreken. Voor zoverre er aspecten genoemd andere zaken aangeduid worden: deze meenemen met een volgende aanpassing van SI. Deze twee punten ondersteunen de conclusie dat door het gebruik van SI valide uitspraken kunnen worden over de vaardigheden van de gebruiker. Het invullen van de vragenlijst zette veel feedbackers aan het denken over de eigen vaardigheden.

De validiteit van SI In de vragenlijst zijn enkele vragen opgenomen om na te gaan of de vragenlijsten van SI ‘dekkend’ zijn met betrekking tot opsporen van vaardigheden van de gebruiker. De uitkomsten daarvan, gecombineerd met de (hoge) betrouwbaarheid van de onderzochte instrumenten, ondersteunen de hypothese dat door het gebruik van SI valide uitspraken gedaan kunnen worden over de vaardigheden van de gebruiker. Strikt genomen gaat het om interne validiteit: de uitspraak dat er door het gebruik van SI valide uitspraken gedaan zijn over de vaardigheden van de gebruiker. Om te beslissen over externe validiteit moeten we ons nog afvragen of deze uitspraak geëxtrapoleerd kan worden naar andere gebruikers, en naar de instrumenten die niet onderzocht zijn. Extrapolatie naar andere (nieuwe) gebruikers: die gebruikers maken deel uit van de onderzochte doelgroep en vertonen geen nieuwe kenmerken. Het gaat dan eigenlijk over de vraag in hoeverre de steekproef relevant genoeg is. Het gaat om een groep gebruikers die de moeite genomen heeft om te reageren op de oproep tot evaluatie en die uit te voeren. Deze groep heeft SI gebruikt waarvoor deze bedoeld is. Er kan dan ook met de nodige voorzichtigheid worden aangenomen dat op dit punt aan de externe validiteit voldaan wordt. Extrapolatie naar andere instrumenten: het onderzoek naar de vier onderzochte instrumenten geeft resultaten die in hoge mate overeenstemmen. Op een enkel punt wijkt een instrument wat af van de anderen. Er is echter geen reden gevonden om te concluderen dat de extrapolatie naar

Validering SI

- 22/25 -

andere instrumenten niet gedaan mag worden. We veronderstellen dan ook met de nodige voorzichtigheid dat deze extrapolatie ook gedaan mag worden. Eindconclusie: door het gebruik van SI kunnen valide uitspraken gedaan worden over de vaardigheden van de gebruiker.

De toekomst van SI Voortdurend onderzoek van SI De uitkomsten van het onderzoek roept hier en daar specifieke vragen op, zoals • naar afwijkingen van de trend • verschillen tussen gebruikers en feedbackers Het zou verstandig zijn als dit soort vragen met ‘een druk op de knop’ onderzocht kan worden. Dat vraagt om • opslag van resultaten in een database • de mogelijkheid om eenvoudig vragenlijsten te genereren en ‘uit te zenden’ • de mogelijk om statistische bewerkingen op de database te kunnen uitvoeren, als onderdeel van het systeem waaronder SI ‘draait’ • investeren in onderzoek rondom SI Een dergelijke opzet biedt ook de mogelijkheid om van elk SI-instrument, op elk moment, de betrouwbaarheid te bepalen. En ook van een deel van de vragen. Zo kan ook snel van nieuwe instrumenten de kwaliteit van de vragenlijsten bepaald worden.

Standaardfeedback De resultaten van het onderzoek geven aan dat het gewenst is om SI uit te breiden met standaardfeedback, zodat de gebruiker al direct een idee heeft over de uitkomsten.

Online-community In het gebruik van SI zou ook een coach een rol kunnen/moeten spelen. Deze bespreekt de resultaten van gebruiker en feedbacker(s) met de gebruiker. De coach heeft de beschikking over de resultaten van gebruiker en feedbacker(s). Dat zal/kan iemand uit het bedrijf zijn, maar dit kan ook een dienst zijn die extern, door TFC of partner, wordt aangeboden. Dit kan onafhankelijk van tijd en plaats (asynchroon), via internet. Daartoe dient dan een onlinecommunity te worden ingericht. Zo’n online-community kan ook tailor-made als product aan de markt worden aangeboden.

Portfolio Het gebruik van instrumenten zoals SI en de toenemende noodzaak van zelfsturing vragen om een instrument waarin alle activiteiten die in het kader hiervan ondernomen worden op een handzame manier gestructureerd worden. Het tegenwoordig in onderwijs en opleidingen gebruikte veel gebruikte instrument hiertoe is het (elektronische, online) portfolio. Dit bevat behalve de klassieke ‘etalage’ met bewijzen van competentie(s) voor extern gebruik ook nog drie andere onderdelen:

Validering SI

- 23/25 -

• • •

het archief, waarin alle ruwe stukken, resultaten, afgewezen producten, e.d. bewaard worden, voor eigen gebruik de POP (Persoonlijk OntwikkelingsPlan) met de producten in ontwikkeling. Hierover vindt communicatie met een coach plaats De bewijzen van competentie, voor intern gebruik

Een online-portfolio kan gecombineerd worden met de/een online-community.

Een geschikte omgeving KASS van KonICT (www.konict.nl) biedt de mogelijkheden om alles wat onder ‘De toekomst van SI’ genoemd is te realiseren en als afzonderlijke producten, dan wel als geïntegreerd product, aan de markt aan te bieden.

Validering SI

- 24/25 -

Literatuur Krathwohl, D.R. (1998). Methods of Educational & Social Science Research. An Integrated Approach - 2nd edition. Longman, New York. Shadish, W.R., Cook, Th. D. & Campbell, D.T. (2002). Experimental and Quasi-Experimental Designs for Generalizes Causal Inference. Houghton Mifflin Company, Boston. Tartwijk, J. van, Driessen, E., Hoeberigs, B., Kösters, J. Ritzen, M. Stokking, K. & Vleuten, C. van der (2003). Werken met een elektronisch portfolio. Wolters-Noordhoff bv. Groningen/Houten. Internet: NIST/SEMATECH e-Handbook of Statistical Methods: http://www.itl.nist.gov/div898/handbook/index.htm Handboek ‘Werken met een elektronisch portfolio’: http://www.icto.ic.uva.nl/surf/nl_portfolio/Handboek/index.htm

Validering SI

- 25/25 -

Validering Skills Indicator

Recommend Documents